Для чего владельцы сайтов используют файл robots.txt и http-заголовок?

для чего владельцы сайтов используют файл robots.txt и http-заголовокЯ, как владелец этого сайта-блога Я спросил у Яндекса, объясняю — robots.txt использую для управления поисковыми роботами, которые заходят на мой блог и сканируют его (индексируют). Так вот, в этом файле я могу указать, что индексировать, а что — не надо.

А вот про http-заголовок затрудняюсь ответить. Лично я его не использую. Его формирует сервер, на котором работает сайт, а использует и читает его — твой браузер и, опять таки, сервер. Короче, этими http-заголовками они между собой общаются.



Рубрика: Для чего.

Понравилось? Поделись с другими :)


Оставить комментарий или два