в SEO

Индексация сайта. Что это? Как проверить и ускорить?

БесполезноНе очень как-тоСреднеПолезноОчень полезно (3 голосов, средняя оценка: 3,67 максимум из 5)

Коллеги, приветствую вас! Этой статьей я открываю большую серию материалов, посвященных отдельным аспектам СЕО оптимизации. И начнем мы с самых базовых понятий. Сегодня рассмотрим индексацию сайта.

Содержание:

Что такое индексация сайта

Индексация — процесс обхода вашего сайта роботом поисковой системы с целью добавления страниц (или других материалов) в выдачу (индекс). Для молодых сайтов актуально добавление не новых страниц, а всех. А для уже проиндексированных проектов — только добавление новых страниц (про переиндексацию измененных материалов мы сейчас говорить не будем).

Важно понимать, что страницы сайта появляются в поиске не сразу, а через некоторое время (обычно 1-2 апдейта, что в понятных единицах означает 1-4 недели). Поэтому, если вы выкладываете новый сайт или новую статью на сайт, то имейте ввиду, что материал уже должен быть полностью готов, ведь поиск очень быстро его добавит в свою базу!

Страницы, которые проиндексированы, вы и видите, когда задаете любой поисковой запрос!

indeksatsia-01

Проиндексированные страницы в Яндексе

Как проверить индексацию сайта

Есть несколько способов проверить индексацию вашего сайта. Они все очень простые и не занимают много времени.

Способ 1: Запрос вида site:

Просто заходите в Яндекс или Гугл и вводите запрос site:vash-site.ru и в результате выдачи вы увидите все свои проиндексированные страницы. Вот, к примеру, как это выглядит для моего блога

indeksatsia-02

Результат индексации блога Eduardkozlov.ru

Мы видим, что проиндексировано 90 страниц.

Способ 2: Онлайн сервисы

Сегодня есть множество онлайн-сервисов, которые позволяют проверить индексацию сайта (платно или бесплатно). Я в аудитах использую pr-cy.ru Вы же можете использовать любой другой, который вам больше нравится.

indeksatsia-03

Оценка проиндексированности блога eduardkozlov.ru в сервисе pr-cy

Видим, что число проиндексированных страниц (90) совпадает для двух этих способов.

Способ 3. Яндекс Вебмастер (или Гугл Вебмастер)

В кабинетах вебмастера также можно проверить индексацию сайта. Но там данные с небольшой задержкой, которую следует учитывать при анализе.

indeksatsia-04

Страницы в индексе по версии Яндекс Вебмастер

Мы видим, что Яндекс Вебмастер утверждает, что проиндексировано 84 страницы, хотя мы видели, что их уже 90. Вот так проявляется задержка данных. Кстати, страниц, которые загружены роботом, больше — 148. Там спрятаны все дубли страниц, и служебные страницы сайта, которые я не хочу индексировать.

Как отправить сайт на индексацию

Если у вас сайт новый, то лучше всего будет его добавить в Яндекс Вебмастер и Гугл вебмастер. Тогда он автоматически будет поставлен в очередь на индексацию. Тем более, эту операцию вам в любом случае будет нужно сделать, если вы хотите полноценно работать с сайтом.

Что же делать, если сайт не новый?

Тут есть два способа:

Отправка на индексацию через панель вебмастера

В Яндекс Вебмастере необходимо перейти в список сайтов и справа нажать на кнопку «Сообщить о новом сайте».

Затем откроется форма добавления URL, через которую и можно добавить ссылку в очередь на обход роботом.

Данный способ уже не работает так, как это было раньше. Его вряд ли можно рекомендовать для использования

Индексация с помощью сервисов

Есть специальные сервисы, которые позволяют быстро переиндексировать сайт. Например, GETBOTGURU. Работа с ним достаточно проста: создаете проект, добавляете ссылки, которые нужно проиндексировать, и пополняете счет. Стоимость услуги доступная для каждого вебмастера.

Ускорение индексации. Как?

Опять же, с помощью сервиса GETBOTGURU можно существенно ускорить попадание новых страниц в индекс поисковых систем. Страница может появиться в выдаче уже через несколько часов. Это особенно важно для сайтов-новостников.

У поиска есть так называемый «быстробот» и «быстровыдача». При обходе этим ботом сайтов, страницы автоматически добавляются в быстровыдачу, а рядом с ними появляется отметка даты. Это и означает,что страница попала в быстровыдачу.

indeksatsia-05

Подмешивание быстровыдачи в стандартную

Если в дальнейшем поисковая система сочтет данную страницу полезной, то она автоматически появится и в обычной выдаче. Именно таким образом и осуществляется ускоренная или быстрая индексация новых страниц сайта.

Раньше для ускорения индексации использовался твиттер, сейчас же эта тема работает не так здорово.

Техника прикармливания быстробота

Быстробот — робот, который добавляет страницы в быстровыдачу Яндекса.

Такая техника существует и она очень проста: регулярно писать полезный контент на сайт. В этом случае есть большая вероятность того, что быстробот вас заметит и будет автоматически добавлять новые страницы в быстровыдачу.

Если у вас сайт новостей, то попробуйте добавить его в Яндекс Новости. Практически на всех сайтах там сидит быстробот, и они не испытывают проблем с индексацией.

Как закрыть сайт от индексации

Существуют два способа закрытия сайта от индексации.

Способ 1. Используем Robots.txt

Его суть: необходимо прописать директиву Disallow для корневой папки сайта. Тогда сайт не попадет в индекс. Правда, тут есть одна особенность. В 80% случаев после запуска финальной версии сайта про эту директиву забывают, и сайт может неиндексироваться месяцами, а его владелец — нести колоссальные убытки!

Способ 2. Используем htaccess авторизацию

Подробно этот способ будет рассмотрен в статье, которая посвящена файлу .htaccess

Суть: мы закрываем доступ через серверное окно авторизации. Поисковые роботы также не могут «достучаться» до сайта и не добавляют его в индекс. Правда, чтобы производить раобты на сайте, необходимо вводить логин и пароль.

Индексация и различные СMS

Влияет ли CMS на индексацию? Влияют руки, которые её настраивают!

Индексация wordpress сайтов

Сайты на WordPress (WP) очень популярны из-за простоты и бесплатности этой системы управления контентом. Поэтому среди них огромное количество «кривых» сайтов, которые не индексируются или индексируются крайне плохо.

Выход простой: проводить аудиты сайта, а лучше — заказать разработку сайта у профессионалов (скромно порекомендую наши услуги).

Проблема Вордпресса — дубли страниц. Если вы их закроете от индексации, а также другие служебные страницы — то проблем с индексом у вас не будет.

Узкие места: страницы комментариев, фильтрация, медиафайлы, теги

Индексация сайтов на Joomla

Джумла посложнее вордпресса, но сайтов на ней также огромное множество. При этом она может генерировать дубли достаточно активно, что плохо сказывается на индексации ресурса.

Узкие места: фильтрация, теги, дубли меню

Индексация сайтов на 1С-Битрикс

Из-за своей высокой цены сайты на Битриксе практически всегда разрабатываются профессиональными студиями (мы также очень активно работаем с битриксом). Многие его не любят из-за громоздкости, но при наличии ровных рук сайты работают отлично. При этом проблемы с дублями также присутствуют и нуждаются в устранении

Узкие места: фильтрация, пагинация товаров, теги

Можете посмотреть ролик по индексации сайтов, который я специально подготовил для вас! До новых встреч на блоге!

БесполезноНе очень как-тоСреднеПолезноОчень полезно (3 голосов, средняя оценка: 3,67 максимум из 5)

Хотите задать вопрос или заказать услугу? Пишите!

Ваше имя (обязательно)

Ваш e-mail (обязательно)

Суть вопроса

Сообщение

Гарантирован ответ в течение 1 часа в рабочее время!

Понравилась статья? Поделись ею с друзьями!

в SEO | 4 декабря 2015 | 79 Слов |

Оставить комментарий

Комментарии