Іздеу жүйелері арқылы сайттарды индекстеуді басқарудың құралдарының бірі - robots.txt файлы. Ол негізінен барлық немесе кейбір роботтардың белгілі бір бет топтарының мазмұнын жүктеуіне жол бермеу үшін қолданылады. Бұл іздеу жүйесінің нәтижелеріндегі «қоқыстардан» арылуға мүмкіндік береді және кейбір жағдайларда ресурстардың рейтингін айтарлықтай жақсартады. Табысты қолдану үшін robots.txt файлының дұрыс болуы маңызды.
Қажетті
мәтіндік редактор
Нұсқаулық
1-қадам
Ерекше алып тастау ережелері орнатылатын роботтардың тізімін жасаңыз немесе кеңейтілген robots.txt стандартының директивалары, сонымен қатар стандартты емес және арнайы директивалар (нақты іздеу жүйесінің кеңейтімдері) қолданылады. Бұл тізімге сайттың серверіне таңдалған роботтар жіберген HTTP сұрауының тақырыптарының Пайдаланушы-Агент өрістерінің мәндерін енгізіңіз. Роботтардың атауларын іздеу жүйесі сайттарының анықтамалық бөлімдерінен де табуға болады.
2-қадам
Бірінші қадамда жасалған тізімдегі роботтардың әрқайсысына кіруге тыйым салынуы керек сайт ресурстарының URL топтарын таңдаңыз. Барлық басқа роботтар үшін бірдей операция жасаңыз (индекстеу боттарының анықталмаған жиынтығы). Басқаша айтқанда, нәтиже индекстеуге тыйым салынған сайт бөлімдеріне, парақтар топтарына немесе медиа-мазмұн көздеріне сілтемелері бар бірнеше тізім болуы керек. Әр тізім әр түрлі роботқа сәйкес келуі керек. Барлық басқа боттар үшін тыйым салынған URL мекен-жайлардың тізімі болуы керек. Сайттың логикалық құрылымын сервердегі деректердің физикалық орналасуымен салыстыру негізінде тізімдер жасаңыз, сонымен қатар беттердің URL мекен-жайларын сәйкес топтастырыңыз. олардың функционалдық сипаттамалары. Мысалы, сіз бас тарту тізіміне кез-келген қызмет каталогтарының мазмұнын (орналасқан жері бойынша топтастырылған) немесе барлық пайдаланушы профилі беттерін (мақсаты бойынша топтастырылған) енгізе аласыз.
3-қадам
Екінші қадамда жасалған тізімдердегі ресурстардың әрқайсысы үшін URL белгілерін таңдаңыз. Тек стандартты robots.txt директиваларын және анықталмаған роботтарды қолданатын роботтарға арналған алып тастау тізімдерін өңдеген кезде максималды ұзындықтағы URL мекенжайларын бөліп көрсетіңіз. Қалған мекен-жайлар жиынтығы үшін арнайы іздеу жүйелерінің сипаттамаларына сәйкес шаблондар жасауға болады.
4-қадам
Robots.txt файлын жасаңыз. Оған директивалар тобын қосыңыз, олардың әрқайсысы белгілі бір роботқа тыйым салатын ережелер жиынтығына сәйкес келеді, олардың тізімі бірінші қадамда жасалған. Соңғысынан кейін барлық басқа роботтарға арналған директивалар тобы болуы керек. Ереже топтарын бір бос жолмен бөліңіз. Әр ереже роботты анықтайтын User-agent директивасынан басталуы керек, содан кейін URL топтарын индекстеуге тыйым салатын «Рұқсат етпеу» директивасы. Үшінші қадамда алынған жолдарды «Рұқсат етпеу» директиваларының мәндерімен жасаңыз. Директивалар мен олардың мағыналарын қос нүктемен бөліңіз. Мына мысалды қарастырыңыз: User-agent: YandexDisallow: / temp / data / images / User-agent: * Disallow: / temp / data / Бұл директивалар жиынтығы негізгі роботқа нұсқау береді Яндекс іздеу машинасы / темп / деректер / кескіндер / подстрині бар URL мекенжайын индекстемейді. Ол барлық басқа роботтардың / temp / data / бар URL мекенжайларын индекстеуіне жол бермейді.
5-қадам
Robots.txt-ті кеңейтілген стандартты директивалармен немесе арнайы іздеу жүйесінің директиваларымен толықтырыңыз. Мұндай директивалардың мысалдары: Хост, Сайт картасы, Сұраныс ставкасы, Бару уақыты, Crawl-кешігу.
