Как найти и убрать дубли страниц. .

дабликаты страниц

Как найти и убрать дубли страниц. Оптимизация сайта

   Как писал в предыдущей статье дубли страниц влияют на индексацию и выдачу сайта в поисковых системах и, соответственно, уменьшают заработок вебмастеров. Поэтому необходимо от них избавиться, но сначала найти.

Способов найти дубли страниц существует несколько. Один из простейших — воспользоваться Яндекс или Гугл вебмастером и сравнить количество страниц загруженных и участвующих в поиске.

Как пример рассмотрим Яндекс вебмастер:

яндекс вебмастер

Просмотрите раздел «Исключено роботом» — здесь страницы с ошибками (404, 403 и др.), а также файлы.

«Загружено роботом» — все страницы, файлы и редирект. Осталось сравнить со «Страницами в поиске».

Данный способ хорош для маленьких веб-ресурсов.

2 способ

Введите в форму поиска Google «site:ваш сайт» (запомните число проиндексированных страниц). Затем «site:ваш сайт/&» — покажет количество страниц участвующих в поиске и сравните. При отличии кол-ва в разы — велика вероятность наличия дублей страниц, но это не обязательно. В поиск часто не включаются страницы с копипастом (украденным контекстом) и не несущие смысла.

Для небольшого сайта проверить можно вручную, а убрать их не составит проблем. Но для массивного портала придется действовать иначе.

Т.к. дубли страниц возникают (чаще всего) из-за плагина ЧПУ (человеко-понятные урлы), то и найти страницы такие не составит труда. Достаточно проверить наличие в загрузке страниц с ЧПУ и динамические (числовой и символьный).

3 способ

Найти через контент. Т.е. берем с любых текстов по уникальному предложению (не менее 10 слов) и вводим в поиск. Если ссылок на ваш сайт окажется несколько — дубли есть. Но и в этом случае большие порталы заставят попотеть своих админов, а если это ГС (говносайт), то и вероятность выпадения даже целых разделов из поиска велика.

4 способ

Самый простой и быстрый — воспользоваться программой Xenu`s Link Sleuth. Работать с программой не сложно (необходимы минимальные знания английского языка).

  1. Создаете новый проект (нажмите «File» — «Check URL», ввести адрес сайта и нажать «OK»
  2. По окончании сканирования экспортировать результат в любой текстовый редактор
  3. Начать поиск дублей страниц

Как убрать дубли страниц

Когда найдете дубли страниц необходимо их убрать. Для этого также существует несколько способов и каждому подойдет отдельный (возможно придется использовать все).

  1. Убрать «вручную» — подойдет для малых сайтов и дублей, созданных также вручную
  2. Создание 301 редиректа (при вводе одной ссылки будет перекидывать на другую) — поможет в случае не прописывания Host в Robots.txt из-за чего нельзя определить что важнее страницы с www. или без.
  3. Закрытие индексации в robots.txt через Disallow (можно закрыть отдельные страницы, папки, разделы и т.д.)

Так можно найти и убрать дубли страниц. Не стоит забывать что поисковые машины воспринимают сайт не как люди.

Ссылка на основную публикацию