vizitka
✔ Готовое решение
✔ Срок: от 4-9 дней
✔ Моб. версия
✔ Контекстная реклама в ПОДАРОК!
koropat
✔ Уникальный дизайн
✔ Срок: от 25 дней
✔ Моб. версия
✔ Система управления сайтом
internet-magazin
✔ Уникальный дизайн
✔ Срок: от 30 дней
✔ Моб. версия
✔ Покупательская корзина
SEO позиции
ТОП5 ключевых запросов нашей компании в Яндекс и Google
Создание сайта - это половина дела!
КОМПЛЕКСНОЕ ПРОДВИЖЕНИЕ ВАШЕГО БИЗНЕСА В СЕТИ ИНТЕРНЕТ
Наши услуги:
- разработка сайтов любой сложности!

Файл Robots.txt

В корневом каталоге каждого ресурса можно найти файл под названием Robots.txt. Он дает указание роботам поисковых систем о том, какие страницы стоит проиндексировать. Если роботы поисковиков – это стандартные программы, то они будут следовать тем указаниям, которые устанавливает файл Robots.txt.

Этот файл должен располагаться в самом корне сайта, только тогда он сможет выполнять возложенные на него функции.

Если существует несколько поддоменов, то в каждом корневом каталоге необходимо располагать этот файл.

С помощью такого файла можно облегчить доступ к информации специальных программ, которые индексируют страницы ресурса, и иметь возможность попасть в базу данных поисковых систем.

Файл Robots.txt играет большую роль в работе всего ресурса. Если бы его не было, то, возможно, поисковым роботам, которые отлавливают страницы в интернете, не удалось бы обнаружить эти странички. Это привело бы к тому, что сайт не попал в базу данных той или иной системы, а значит пользователи не знали бы о его существовании.

<-- Вернуться