в SEO

Дубли страниц сайта. Находим и устраняем

БесполезноНе очень как-тоСреднеПолезноОчень полезно (15 голосов, средняя оценка: 2,60 максимум из 5)

Рост количества дублей страниц – одна из основных причин, способствующих потере трафика и ухудшению позиций сайта. Существует множество факторов, влияющих на увеличение числа дублей. Как правило, их планомерный рост обусловлен особенностями работы CMS, а также сознательным или неосознанным размещением ссылок на дубли с других порталов.

Содержание статьи:

Современные поисковые алгоритмы постоянно оптимизируются. Сегодня разработчики внедряют технологию, способную самостоятельно распознавать и исключать из поиска дубли страниц. Но, как показывает практика, результат работы такого функционала далек от совершенства. Поэтому владельцу сайта лучше всего избавляться от дублей, опираясь на собственные силы и возможности.

Негативные последствия индексации дублей:

  1. Некорректное распределение внутреннего ссылочного веса. Зачастую на сайте образуются дубли страниц из-за неграмотного размещения внутренних ссылок. В результате, некоторые дубли набирают больше веса, чем оригинал, что недопустимо.
  2. Проблемы с индексацией ресурса. Предположим, сайт состоит из нескольких тысяч страниц. На каждую страницу создается собственный дубль. В результате, сайт увеличивается в несколько раз. Иногда могут создаваться несколько дублей одновременно и они впустую тратят краулинговый бюджет вашего сайта.
  3. Снижение внешнего ссылочного веса. Например, посетитель остался доволен ресурсом и решил оставить на страницу внешнюю ссылку. Если он просматривал дубль, то и ссылка будет идти именно на него. Таких дублей может набраться очень много!
  4. В результатах поисковой выдачи меняется релевантная страница. В любой момент поисковые алгоритмы могут воспринять дубль более релевантным запросу. При смене страницы в результатах выдачи происходит существенное снижение позиций и трафика.

Сегодня Яндекс относится к дублям не очень строго. Они, в некоторых случаях, могут не оказывать никаких изменений на результаты поиска. Но вот поисковая система Google к дублям относится более ответственно, поэтому лучше удалить дубли страниц.

Увендомление о дублях страниц в Гугле

Поиск дублей страниц

1. Google Webmasters

Самый простой способ – анализ данных с помощью сервиса Google Webmasters. Для того, чтобы с помощью программы отыскать дубли, следует зайти в панель инструментов и выбрать пункт ”Вид в поиске”. Далее нужно перейти по ссылке ”Оптимизация HTML”.

Интерфейс Гугл Вебмастер

Очень важны следующие пункты: ”Повторяющиеся заголовки”, ”Повторяющиеся метаописания”. Это связано с тем, что на страницах зачастую дублируется не только контент, но и мета-данные. Проанализировав страницы, которые отображаются во вкладках, можно отыскать все существующие дубли. Грамотные веб-мастера периодически используют указанные выше вкладки на поиск ошибок.

В том случае, если у владельца сайта нет доступа к панели, то сайт все равно можно проверить на наличие дублей. Для этого следует воспользоваться обыкновенным поиском. В поисковой строке вводится запрос:

  • A. Для Google вводится запрос в форме: site: sitename.ru intitle:анализ сайтов.
  • B. Для Яндекса вводится запрос в форме: site: sitename.ru title:

Вместо sitename необходимо указать название своего сайта и часть заголовка, дубль которого нужно отыскать.

2. Анализ полученных после индексации данных

Для анализа лучше всего отдавать предпочтение тем поисковым системам, которые проиндексировали максимальное количество страниц. Как правило, такой системой является именно Google.

Результат работы оператора site: в гугле

С помощью оператора site: можно увидеть весь список страниц. В конце такого списка есть ссылка ”Показать скрытые результаты”. Нажав на ссылку, можно увидеть скрытые страницы. Таким образом можно легко найти дубли страниц на небольшом сайте.

3. Анализ фрагментов текста

Выше описаны способы, позволяющие отыскать дубли при совпадении мета-тегов. Но, бывают ситуации, когда на сайте есть дубли с уникальными мета данными. Для их поиска следует ввести фрагмент текста в поисковой системе, используя расширенный поиск. Текст должен располагаться в кавычках.

Поиск дублей по тексту в Яндексе

После того, как все дубли будут обнаружены, их следует своевременно удалить (закрыть от индексации). В файле robots.txt можно запретить доступ поисковым роботам к определенным разделам. Также для того, чтобы убрать дубли страниц может использоваться специальный атрибут rel=»canonical».

Поиск дублей по контенту в Google

4. С помощью специального софта

Сегодня проверить дубли страниц можно и с помощью специального софта. Например, с помощью NetPeak Spider.

Базовые дубли

К базовым относятся:

  • дубли главной страницы
  • дубли www / не www

Они должны быть обязательно устранены с помощью 301 редиректа.

Дубли страниц в Joomla

Любая система управления генерирует дубли. Джумла — не исключение. Вообще, в joomla убрать дубли страниц достаточно просто. Нужно понимать, откуда они получаются:

  1. Фильтры в каталоге товаров (joomshopping генериует массу дублей страниц)
  2. Страницы пагинации с товарами
  3. Страницы пагинации с новостями
  4. Страницы компонентов (например, k2)

Достаточно просто убрать убрать дубли страниц joomla 3 можно с помощью правил в файле robots.txt.

Для каталогов, если товар может присутствовать в нескольких категориях, то для удаления дублей страниц в Джумле лучше использовать rel=»canonical»

Дубли страниц в WordPress

Вордпресс также генерирует дубли страниц. В данной CMS это страницы категорий, тегов. Если встроены плагины электронной коммерции, то они могут плодить дубли в огромном количестве.

Убрать дубли страниц в wordpress достаточно просто с помощью robots.txt

Дубли страниц в Opencart

Система OpenCart также неидеальна в плане дублей. С учетом того, что реализовать ЧПУ на таком сайте — задача нетривиальная, то и борьба с дублями тут несколько затруднена.

Источники дублей аналогичны: фильтры товаров, товарные категории

Можно попытать убрать дубли страниц opencart с помощью robots.txt, но лучше использовать rel=»canonical»

Дубли страниц в Битрикс

В системе управления битрикс дубли страниц также являются проблемой. Источник всё тот же: категории, товарные фильтры. Тут ещё в дело входят кривые руки разработчиков. Поэтому иногда сайты на битрикс могут генерировать миллионы дублей, которые нужно сразу закрывать от индексации.

Сюда же добавляется проблема со страницей 404 (страница не найдена), когда несуществующие страницы из-за некорректных настроек сервера отдают статус 200 (страница найдена).

Удалять дубли в битрикс нужно ещё на этапе разработки. И уделять этому повышенное внимание!

Дубли страниц в dle

Источник дублей страниц в DLE такой же, как и в WordPress. Методы борьбы с ними аналогичные.

Дубли страниц в modx

В modx дубли также возникают в категориях, тегах и фильтрах. Методы борьбы стандартные.

БесполезноНе очень как-тоСреднеПолезноОчень полезно (15 голосов, средняя оценка: 2,60 максимум из 5)

Хотите задать вопрос или заказать услугу? Пишите!

Ваше имя (обязательно)

Ваш e-mail (обязательно)

Суть вопроса

Сообщение

Гарантирован ответ в течение 1 часа в рабочее время!

Понравилась статья? Поделись ею с друзьями!

в SEO | 4 января 2016 | 106 Слов |

Оставить комментарий

Комментарии

  1. Еще бы примеры привели для тех типовых вариантов, по которым могут эти дубли располагаться — было бы хорошо, а так ничего нового.

    • В статье перечислены основные проблемные моменты сайтов. У 95% они все типовые