Файл robots.txt позволяет запретить индексирование определенных разделов сайта, а также указать главное зеркало сайта, указать путь до xml карты сайта и задать дополнительные параметры индексации для роботов поисковых систем. Вот такой функциональностью обладает этот маленький,...
robots.txt
Здравствуйте, постоянные читатели блога и те, кто заглянул сюда впервые. Сегодня хочется рассказать немного о своих наблюдениях за роботом Яндекса. Может быть, то о чем я расскажу, не будет для вас новым, но мне кажется,...