Тәжірибелі блогерлердің көпшілігі robots.txt дегеннің не екенін және сізге бұл файл не үшін қажет екенін біледі. WordPress-те блог орнатқаннан кейін бірнеше автор бірден robots.txt файлын жасауға асығады.
Robots.txt - бұл сіздің сайтыңыздың түбірлік каталогына жүктелген және тексеріп шығушыларға арналған нұсқаулықтан тұратын мәтіндік файл. Оны қолданудың басты мақсаты - сайттағы жеке парақтар мен бөлімдерді индекстеуге тыйым салу. Сонымен бірге robots.txt көмегімен сіз дұрыс домендік айна көрсете аласыз, сайт картасы жолын тағайындай аласыз және сол сияқтылар.
Қазіргі заманғы іздеу жүйелерінің көпшілігі танымал CMS-ті жақсы басқаруды үйренді және әдетте бұған арналмаған мазмұнды индекстеуге тырыспайды. Мысалы, сіз robots.txt файлында тікелей көрсетпесеңіз де, Google сіздің WordPress блогтарыңыздың әкімші аймағын индекстемейді. Алайда, кейбір жағдайларда тікелей тыйым салуды қолдану әлі де пайдалы болуы мүмкін. Әңгіме ең алдымен қайталанатын мазмұнға тыйым салу туралы болып отыр.
Кейбір веб-шеберлер санаттар мен тегтер парақтарын индекстеуге тыйым салуға дейін барады, өйткені олардың мазмұны ішінара негізгі беттің мазмұнын қайталайды. Бірақ көпшілігі мақаланың мазмұнын толығымен қайталайтын және іздеу жүйелеріне мүлдем арналмаған трекбекке және парақшаға тыйым салумен шектеледі. Мұндай сақтық шарасы сайттың нәтижелерін «таза» етіп қана қоймай, мүмкін іздеу сүзгілерінен құтқарады, әсіресе жаңа Google Panda алгоритмі енгізілгеннен кейін.
Robots.txt файлы үшін ұсынылған директивалар (ол кез-келген WordPress блогында жұмыс істейді):
Пайдаланушы-агент: * Рұқсат етілмейді: /wp-login.php Рұқсат етілмейді: /wp-register.php Рұқсат етілмейді: /xmlrpc.php Рұқсат етілмейді: / wp-admin Рұқсат етілмейді: / wp-қамтиды Рұқсат етілмейді: / wp-мазмұн / плагиндер Рұқсат етілмейді: / wp-мазмұн / кэш Рұқсат етілмейді: / wp-мазмұн / тақырыптар Рұқсат етілмейді: / трекбэк / Рұқсат етілмейді: / қоректену / Рұқсат етілмейді: * / трекбект / Рұқсат етілмейді: * / feed /
Robots.txt-те wp-admin және wp-include әкімшілік қалталары индекстеу үшін толығымен жабылғанын ескеріңіз. Wp-мазмұн қалтасы жартылай ғана жабық, өйткені онда индекстелуі керек блогыңыздың барлық суреттері бар жүктеулер каталогы бар.
Сізден тек жоғарыдағы кодтан директиваларды көшіру керек (әр директива жаңа жолда жазылуы керек екенін ескеріңіз), оларды robots.txt деп аталатын мәтіндік файлға сақтап, өз сайтыңыздың түбірлік каталогына жүктеңіз.
Google Webmaster Tools және Yandex Webmaster интерфейстері арқылы robots.txt дұрыс жұмыс істеп тұрғанын әрдайым тексеруге болады.
