Например, Вам нужно, чтобы конкретная страница Вашего сайта была закрыта для индексации поисковых систем, таких как Google, Яндекс и т.д.
Вы легко можете произвести изменения в robots.txt:
Запрет индексации файла
User-agent: * # для всех поисковиков Disallow: /file.html
Тем самым вы запретили всем поисковикам индексировать файл (страницу) file.html.
Запрет индексации папки (директории)
User-agent: * Disallow: /pictures/
Тем самым вы запретили всем поисковикам индексировать папку pictures.
Запрет индексации всего сайта
User-agent: * Disallow: /
Данные примеры запрещают индексировать страницы (папки) всем сайтам. Вы также можете запретить индексировать страницы (сайт) каком-то конкретному поисковику. Например:
Запрет индексации сайта роботом Google и/или Яндекс
Google:
User-agent: Google # запретить индексировать сайт для Google Disallow: /
Яндекс:
User-agent: Yandex # запретить индексировать сайт для Яндекса Disallow: /
Внимание! Между первым Disalow: / и следующим User-agent: Yandex обязательно должен быть пробел (пустая строка).
Это все замечательно, так можно бесконечно добавлять туда файлы. А что если, у меня динамический сайт, и разделы постоянно появляются и мне надо какие-то разделы закрывать от индексации. Не буду же я добавлять в robots.txt постоянно новую строчку, пусть даже и динамически. Так этот файл вырастет когда-нибудь до небывалых высот, чего не хотелось бы.
Выход есть.
Запрет от индексации конкретной динамической страницы
Для этого нужно всего лишь между тегами <head> и </head> вставить следующий код:
<meta name=”robots” content=”noindex, nofollow”>
Вот и все. Текущую страницу, поисковики индексировать не будут. Можете быть спокойны.
