Robots.txt

У людей, которые мало знакомы с Html, всегда возникает много вопросов,как работать с robots.txt. Но мало кто хочет сидеть и искать нудную информацию и рассматривать не понятные теги. Для тех кто хочет все изучить быстрее и остальное время провести на практике, я решил написать эту статью.

,

В начале разъясним важность этого файла. Поисковики в первую очередь обратят внимание на robots при посещении сайта, но данный файл не является обязательной его составляющей.

,

И у некоторых сайтов он может просто не существовать, как например сайты визитки. Но если вам хочется скрыть от индексации страницы, то без robots.txt вам не обойтись.

,

Первый тег.


User-agent: – после двоеточия вы можете указать название любого поискового бота или же системы, от которой хотите запретить индексацию вашего сайта. Если после двоеточия поставить *, User-agent:*, то вы запретите индексировать ваш сайт всех поисковых роботов и поисковиков.

,

Второй тег.


Disallow: – после двоеточия вы можете прописать файл или папку, которую хотите закрыть от индексации. Например, Disallow:/img/ – это будет означать, то что вы запретели индексацию всех файлов или папок находящихся в папке img.

,

Третий тег.


Host: – важная и специфическая команда. Все знают, что сайты могут быть как с www так и без него. Для людей это один и тот же сайт, но для поисковиков может оказаться

,

совершенно два разных ресурса. Если Яндекс увидит это, то без проблем поделит тИЦ, который есть на вашем сайте пополам. Чтобы этого не произошло, нужно после двоеточия прописать желаемый вариант своего сайта. Например, 7age.ru. стоит отметить, что все команды нужно прописывать до индексации сайта.

,

Так же есть дополнения, команда allow, пример:


Disallow:/img/


Allow:/img/miniimg/

,

Такой код будет означать, что в запрещенной от индексации папке, будет доступна к индексации папка miniimg.

,

Подробная информация купить квартиру в одинцово у нас на сайте.