Делаем правильный robots.txt ( + разные CMS)

Одним из главных технических моментов продвижения любого сайта является его индексирование. Для определения нужных для индекса страниц используется файл robots.txt, который лежит в корне сайта и содержит директивы для поисковых систем. Содержание Что такое robots.txt? Требования к файлу роботс Содержимое файла Формат строки файла robots.txt Директива User-agent Директива Disallow Директива Allow Директива Sitemap Директива Host … Читать далее Делаем правильный robots.txt ( + разные CMS)