Доброго времени суток, уважаемые читатели. Как обычно, долго ничего не писал, но это не значит, что я совсем исчез, комментарии читаю, отвечаю. А на этот раз как-то случайно снова столкнулся с проблемой дублей страниц в WordPress, решил её, и заодно решил записать себе здесь шпаргалку, как это делается. Может, и кому-то из вас тоже пригодится.
Начну с предистории. Тема дублей страниц как-то поднималась Борисовым. Тогда он написал на своем блоге, что плагин All in One SEOPack неправильно обрабатывает канонические ссылки, и т.п. Дубли могут образовываться самые разные. Например, если у меня есть страница со ссылкой www..html, то если просто дописать к ней любой мусор, то окажется, что можно попасть и на такую «левую» страницу, например, по ссылке www..html/222
Хотя страница и одна и та же, но ссылки совершенно разные, и ведут как бы на разные страницы — дубликаты. Если будете переходить по ссылкам на этой странице-дубле, то будете попадать на такие же «неправильные» страницы. Бесконечное количество таких ссылок-дубликатов есть даже у главной страницы. А что будет, если на них зайдет поисковый робот и пойдет по ссылкам индексировать все подряд? Проблема будет.
Особо углубляться в это не буду, просто попробуйте дописать так ссылку на своем блоге, и если она сработает, то это знак, что проблема есть. А если нажмете в браузере Ctrl+U, то сможете увидеть код страницы и если в значении canonical тоже окажется прописана эта неправильная ссылка, и надо с этим что-то делать.
В общем, Борисов тогда подробно расписал все детали этой проблемы, наверняка многие читали, а желающие могут почитать. Он предложил радикальный вариант решения проблемы – якобы перейти на плагин Platinum SEO Pack, потому что он правильнее и т.п. Я тоже тогда перешел на этот плагин, думал, и в самом деле будет лучше… Да, такой проблемы со ссылками в нем нет, но зато имеются другие, но об этом я упомяну в конце.
Сегодня же хочу рассказать, как убрать дубли страниц в WordPress, пользуясь при этом плагином All in One. На самом деле все проблемы идут не от самого плагина, а от неправильной его настройки и настройки блога.
Проблема решается в 2 этапа. Начнем по порядку.
Переходим в настройки плагина и ставим галочку вот здесь:
No pagination for Canonical URLs означает, что для страниц цифровые приписки к ссылкам добавляться не будут. Это уже часть решения проблемы, но не все.
В некоторых шаблонах есть на страницах постов ссылки «Предыдущая статья» и «Следующая статья». Они тоже могут вести на дубликаты страниц, если родительская страница сама дубликат. Иногда в настройках премиум-шаблонов эти пункты можно просто отключить. Люди, которые ориентируются в коде, могут найти и удалить вывод этих ссылок. А можно просто перейти в «Редактор», и в файле functions.php своей темы добавить такие строки:
add_filter(‘aioseop_prev_link’, ‘__return_empty_string’);
add_filter(‘aioseop_next_link’, ‘__return_empty_string’);
Добавлять их надо в самом начале этого файла, сразу после
Настройка сервера
Нужно сделать еще одну вещь. Чтобы посетитель, перейдя по ссылке-дубликату, все-равно попадал на правильную страницу-оригинал, нужно добавить пару строк в файл.htaccess. В этом файле можно задать собственные настройки для сервера, и он находится в корне сайта, то есть в папке, где лежат все файлы сайта.
Итак, заходим на хостинг, в менеджер файлов, или подключаемся к хостингу через FTP, находим этот файл. Можно его скачать себе на компьютер и открыть блокнотом – лучше использовать блокнот Notepad++, потому что он правильно работает с разными кодировками, и ничего не портит, в отличие от стандартного блокнота.
В файле htaccess надо добавить 2 строчки. Но они зависят от того, как у Вас настроены ссылки страниц.
RewriteRule (.*)\.html\/(+)$ $1.html
RewriteRule ^index\.php$ — [L]
RewriteCond %{REQUEST_URI} !(/page*)
RewriteRule (.*)\/(+) $1
После этого отредактированный файл htaccess нужно вернуть на прежнее место, если его скачивали на компьютер, или просто сохранить изменения, если редактировали его прямо на сервере.
На этом все, больше никакие ссылки с цифровыми приписками работать не будут – посетители автоматически будут попадать только на правильные страницы. Также и поисковый робот не сможет перейти по ссылкам-дубликатам. Конечно, если поисковик уже проиндексировал гору мусора, то постепенно он его выбросит из индекса, но в итоге останутся только реально существующие страницы, что и требуется.
О плагинах Platinum и All in One
Перейти на плагин Platinum труда не составляет – он просто импортирует себе все настройки из All in One. и прописанные у страниц Title, Description и Keyword остаются на месте. Но у этого плагина есть два очень существенных недостатка:
Title правильно отображается в редакторе, а вот на сайте или блоге на многих страницах он куда-то исчезает. Попросту говоря – не отображается. Релевантность резко падает, а с ней и позиции, и посещаемость…
Platinum уже несколько лет не обновлялся. Он писался для WordPress версии, кажется, 2.7. Сейчас есть версия WordPress 4.4, пока плагин на ней работает, но что будет дальше, никто не знает. Перестанет работать после обновления движка, и что делать с титлами и описаниями сотен, а у некоторых и тысяч страниц? Ставить другой плагин и снова все вписывать — адский труд…
В общем, я тоже обнаружил, что на многих страницах Title не выводится, хотя я его вписывал, и это мне надоело. А тут, как назло, Борисов же сказал, что назад с Platinum на All in One настройки не переносятся… Переписывать каждую страницу не хотелось…
Но, оказывается, есть решение простое и красивое. Если у Вас стоит плагин Platinum, а Вы хотите перенести все в All in One, то сначала включите оба.
Потом ставите плагин SEO Data Transporter, как обычно, из админки – он есть в библиотеке. После активации в админке, в меню «Инструменты» появится пункт SEO Data Transport. Идете туда, и видите такую простую панельку:
Здесь все элементарно. В левом списке выбираете плагин, из которого надо переносить данные, а в правом списке – куда переносить. Ставите, как на скриншоте, и нажимаете кнопку Analyze. Плагин смотрит, что там можно перенести и если все хорошо, можно нажать кнопку Convert, хотя я сразу ее нажал.
Чудесным образом все титлы и описания переносятся из Platinum в All in One, а потом Platinum можно просто отключить. Так же можно отключить и плагин SEO Data Transporter – он свою работу сделал.
Вот и все. Хотя здесь у меня много букв и все кажется сложным, на самом деле убрать дубли в WordPress – дело пары минут. Еще проще происходит и переезд назад на плагин All in One. Я на этом блоге сделал все минут за 5, потому что смотрел в инструкцию. На другом блоге все заняло еще меньше.
А общая мораль сей басни — меньше надо слушать всяких гуру, чтобы потом не пришлось откатывать все назад, а это время, нервы, а иногда и деньги. Больше я никого не слушаю)
Доброго времени суток!
Дубликаты страниц , или дубли — одна из тех проблем, о которой не подозревают многие вебмастера. Из-за такой ошибки, некоторые полезные WordPress-блоги теряют позиции по ряду запросов, и порою их владельцы даже не догадываются об этом. Каждый видит в статистике, что посещаемость веб-страницы упала, но разыскать и исправить ошибку могут не все. В этой статье пойдет речь о том, как найти дубли страниц сайта.
Что такое дубликаты страниц?
Дубли – это две и больше страниц с одинаковым контентом, но разными адресами. Существует понятие полных и частичных дублей. Если полные — это стопроцентный дублированный контент исходной (канонической ) страницы, то частичным дублем может стать страница, повторяющая ее отдельные элементы. Причины появления дублей могут быть разными. Это могут быть ошибки вебмастера при составлении или изменении шаблона сайта. Но чаще всего дубли возникают автоматически из-за специфики работы движков, таких как WordPress и Joomla. О том, почему это происходит, и как с этим справляться я расскажу ниже. Очень важно понимать, что вебсайты с такими повторениями могут попасть под и понижаться в выдаче, поэтому дублей стоит избегать.
Как проверить сайт на дубли страниц?
Практика показывает, что отечественный поисковик Яндекс относится к дублям не так строго, как зарубежный Гугл. Однако и он не оставляет такие ошибки вебмастеров без внимания, поэтому для начала нужно разобраться с тем, как найти дубликаты страниц.
Во-первых, нам нужно определить, какое количество страниц нашего сайта находится в индексе поисковых систем. Для этого воспользуемся функцией site:my-site.ru, где вместо my-site.ru вам нужно подставить свой url. Покажу, как это работает на примере своего блога. Начнем с Яндекса. Вводим в строку поиска site:сайт
Как видим, Яндекс нашел 196 проиндексированных страниц. Теперь проделаем то же самое с Google.
Мы получили 1400 страниц в общем индексе Гугл. Кроме основных страниц, участвующих в ранжировании, сюда попадают так называемые «сопли». Это дубли, либо малозначимые страницы. Чтобы проверить основной индекс в Google, нужно ввести другой оператор: site:сайт/&
Итого в основном индексе 165 страниц. Как видим, у моего блога есть проблема с количеством дублей. Чтобы их увидеть, нужно перейти на последнюю страницу общей выдачи и нажать «показать скрытые результаты ».
Снова перейдя в конец выдачи, вы увидите примерно такое:
Это и есть те самые дубли, в данном случае replycom . Такой тип дублей в WordPress создается при появлении комментариев на странице. Есть множество разных видов дублей, их названия и способы борьбы с ними, будут описаны в следующей статье.
Наверняка у вас возник вопрос, почему в Яндексе мы не увидели такого количества дублей, как в Google. Все дело в том, что в файле robots.txt (кто не знает что это, читайте « ») на блоге стоит запрет на индексацию подобных дублей с помощью директивы Disallow (подробнее об этом в следующем посте). Для Яндекса этого достаточно, но Гугл работает по своим алгоритмам и все равно учитывает эти страницы. Но их контент он не показывает, говорит, что «Описание веб-страницы недоступно из-за ограничений в файле robots.txt».
Проверка на дубли страниц по отрывку текста, по категориям дублей
Кроме вышеописанного способа, вы можете проверять отдельные страницы сайта на наличие дублей. Для этого в окне поиска Яндекс и Google, можно указать отрывок текста страницы, после которого употребить все тот же site:my-site.ru. Например, такой текст с одной из моих страничек: «Eye Dropper - это дополнение позволяет быстро узнать цвет элемента, чем-то напоминает пипетку в Photoshop». Его вставляем в поиск Гугл, а после через пробел site:my-site
Google не нашел дублей это страницы. Для Яндекса проделываем то же самое, только текст страницы берем в кавычки «».
Кроме фрагментов текста, вы можете вставлять ключевые фразы, по которым, к примеру, у вас снизились позиции.
Есть другой вариант такой же проверки через расширенный поиск. Для Яндекса — yandex.ru/advanced.html .
Вводим тот же текст, url сайта и жмем «Найти ». Получим такой же результат, как и с оператором site:my-site .
Либо такой поиск можно осуществить, нажав кнопку настроек в правой части окна Яндекс.
Для Гугла есть такая же функция расширенного поиска.
Теперь посмотрим, как можно выявить группу дублей одной категории. Возьмем, к примеру, группу tag.
И увидим на странице выдачи по данному запросу следующее:
А если попросить Гугл вывести скрытые результаты, дублей группы tag станет больше.
Как вы успели заметить, дубликатов страниц создается очень много и наша задача – предотвратить их попадание в индекс поисковиков.
Поиск дублей страниц сайта: дополнительные способы
Кроме ручных способов, есть также возможность автоматически проверить сайт на дубли страниц.
Например, это программа Xenu , предназначенная для технического аудита сайта. Кроме дубликатов страниц, она выявляет . Это не единственная программа для решения таких задач, но наиболее распространенная.
Также в поиске дублей страниц помогает Google Webmaster, здесь можно выявить страницы с повторяющимися мета-тегами:
Тут вы посмотрите список урлов с одинаковыми тайтлами или описанием. Часть из них может оказаться дублями.
На сегодня все. Теперь вы знаете, как найти дубликаты страниц. В мы подробно разберем, как предотвратить их появление и удалить имеющиеся дубли.
Мощь? Ну тогда получите еще одну! Не менее мощную. Кучу дублей replytocom вы нашли, это хорошо!
Вот сегодня найдете еще кучу других дублей, которые так же убивают, отравляют ваш блог и плодятся эти дубли все быстрее и быстрее с каждым днем...
Вообще! То что я сейчас расскажу в этой статье это фишки взятые из курса и по идее я не хотел писать эту статью, выставляя ее на всеобщее обозрение. Как говориться, не хотел палить тему. НО! Посидев, подумав, я пришел к выводу, что это просто необходимо сделать.
Почему? А потому что после статьи про дубли replytocom я увидел, что многие начали тупо копировать мой файл robots.txt и думать, что теперь у них все будет в шоколаде. Смотреть на это просто так я не могу, так что приходится вот этой статьей спасать тех засранцев, которые скопировали мой роботс даже ни о чем не думая.
Ну да ладно, в курсе 3.0 есть и так много интересных и полезных фишек. Все естественно на блоге этом спалены никогда не будут.
Итак ок! Поехали. Вспоминаем идею моей прошлой статьи про дубли replytocom. Идея заключается в том, что не надо закрывать в robots.txt доступ к чему либо на блоге. Мы наоборот все открываем, мол, — «Привет робот заходи, все смотри», он приходит и видит метатег:
Таким образом он уже не будет брать страницу в сопли. А если в роботсе будет закрыто, то возьмет все равно на всякий пожарный. =) По количеству комментариев к прошлой статье я понял, что многие ни чего не поняли. было куча вопросов и про robots и про плагин и про редирект и т.д.
Короче ребята, вот тут все ответы на ваши вопросы. Посмотрите это видео перед тем, как читать статью дальше.
Гут! Теперь вспоминаем как мы находили дубли replytocom в выдаче google! Вот так:
site:site.ru replytocom
Как найти дубли страниц на wordpress?
Ок, теперь давайте будем искать другие дубли страниц. А именно дубли:
feed
tag
page
comment-page
attachment
attachment_id
category
trackback
Искать их так же как и replytocom. Снова давайте я поиздеваюсь над уже не просто легендарным, а легендарнейшим Александром Быкадоровым . Захожу в google и вбиваю вот так:
Жму - «Показать скрытые результаты» и вижу вот что:
490 дублей страниц. Feed — это отростки на конце url статей. В любой вашей статье нажмите ctr + u и в исходном коде увидите ссылку с feed на конце. Короче от них надо тоже избавляться. Вопрос — как? Что нам все рекомендуют делать в интернете? Правильно, добавлять что-то подобное в robots.txt:
Disallow: */*/feed/*/
Disallow: */feed
Но если мы посмотрим на блоги, то у всех есть feed в выдаче google. Ну так получается не работает запрет в Роботсе верно? Как тогда от них избавляться? Очень просто — открытием feed в robots.txt + редирект. Об этом дальше.
Хорошо! Это мы проверили только дубли страниц feed, а давайте еще другие проверим. В общем набирайте вот так в google:
site:site.ru feed
site:site.ru tag
site:site.ru attachment
site:site.ru attachment_id
site:site.ru page
site:site.ru category
site:site.ru comment-page
site:site.ru trackback
Все как обычно! Сначала вбиваем, потом идем в конце и нажимаем «показать скрытые результаты» . Вот что я вижу у Александра:
Ну дублей tag, comment-page и trackback у Саши я не нашел. Ну как вы свои блоги проверили? У вас сейчас случайно не такое же лицо, которое я показал в прошлой статье в конце (см. фото)? Если такое, то печально. Ну ни чего, сейчас все поправим.
Как избавиться от дублей страниц?
Итак! Что надо сделать? Первым делом берем вот этот файл robots.txt и ставим его себе:
User-agent: * Disallow: /wp-includes Disallow: /wp-feed Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Host: site.ru Sitemap: http://site.ru/sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/
Только не забудьте site.ru заменить на ваш блог. Так, ок. Роботс поставили. То есть открыли все, что было закрыто. А у многих закрыто было многое и category и tag и feed и page и comment и т.д. и т.п. Теперь нам надо на страницах дублей где есть возможность поставить метатег noindex тот самый:
А где этой возможности нет, там ставим редирект со страницы дубля на основную страницу. Сейчас чтобы вы не сошли с ума о того, что я тут буду рассказывать, лучше сделайте следующее:
Шаг №1: Добавьте вот эти строки в свой файл.htaccess:
RewriteRule (.+)/feed /$1 RewriteRule (.+)/comment-page /$1 RewriteRule (.+)/trackback /$1 RewriteRule (.+)/comments /$1 RewriteRule (.+)/attachment /$1 RewriteCond %{QUERY_STRING} ^attachment_id= RewriteRule (.*) $1?
Файл этот лежит у вас в корне блога где и папки wp-admin, wp-content и т.д. Вот качните его на пк, откройте блокнотиком и добавьте. Вот так все должно примерно быть:
# BEGIN WordPress RewriteEngine On RewriteBase / RewriteCond %{QUERY_STRING} ^replytocom= RewriteRule (.*) $1? RewriteRule (.+)/feed /$1 RewriteRule (.+)/comment-page /$1 RewriteRule (.+)/trackback /$1 RewriteRule (.+)/comments /$1 RewriteRule (.+)/attachment /$1 RewriteCond %{QUERY_STRING} ^attachment_id= RewriteRule (.*) $1? RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] # END WordPress
Шаг №2: Вот этот код добавьте в файл function.php сразу в начале после
/*** ДОБАВЛЯЕМ meta robots noindex,nofollow ДЛЯ СТРАНИЦ ***/ function my_meta_noindex () { if (is_paged() // Все и любые страницы пагинации) {echo ""." "."\n";} } add_action("wp_head", "my_meta_noindex", 3); // добавляем свой noindex,nofollow в head
Шаг №3: Заходим в плагин All in One Seo Pack и ставим вот так:
Шаг №4: Заходим в админку — Настройки — Обсуждения и убираем галочку с "Разбивать комментарии верхнего уровня на страницы":
Окей. Это все. Теперь надо ждать переиндексации, чтобы все дубли опять же вылетели из выдачи.
Что мы сделали? Повторю, в robots.txt мы все открыли, о есть теперь робот будет заходить беспрепятственно. Далее на таких страницах как page, tag и category он будет видеть тот самый запрещающий метатег noindex и соответственно не будет брать страницу в выдачу.
На страницы page мы добавили метатег руками вот тем кодом, который вы вставили в файл function.php из шага №2, а страницы tag и category закрылись метатегом благодаря тому, что в плагине All in One Seo Pack мы поставили галочки там где надо, как я показал в шаге №3.
На страницах feed, attachment, attachment_id, comment-page и trackback этот метатег мы не ставили, мы поставили 301 редирект добавлением нескольких строк в.htaccess, что я вам дал в шаге №1.
В админке в настройках обсуждения мы сняли галочку, чтобы у нас комментарии не разбивались на страницы и не создавали новые url.
В общем теперь робот приходя на эти страницы (feed, attachment, attachment_id, trackback), будет автоматически перебрасываться на основные страницы и как правило, дублированные не забирать в выдачу. Редирект — сила! Ну вот собственно и все.
Если вы будете использовать эту схему, то дублей у вас не будет. Схема рабочая и проверена. Кстати пользуясь случаем хочу немного похвастаться. Вот что у меня было по проиндексированным страницам в вебмастере google в апреле:
А вот что сейчас:
А вот что по трафику с Google:
Как видите дублей все меньше становится и трафик все выше и выше. Короче все работает! Честно говоря так обидно, что аж 2 года сидел с этими дублями, не знал про них вообще, как от них избавиться и как следствие сидел на 140-150 посетителях в сутки с google. =))
Кстати трафик с Яндекса тоже заметен уже.
Естественно не все сразу. Жду год. Поставил себе такой срок. Уверен, что за год все дубли уйдут. Вот за 2 месяца ушло более 7200. А как обстоят дела у вас? =) Мне тут уже люди пишут кстати, поставили мою схему и посещалка вверх пошла.
Ребята, схема понятна? Если что вот еще видео специально записал, посмотрите, может быть тут я объяснил по понятнее:
На этом тему дублированного контента на блоге я заканчиваю. Что еще не сказал. Мы с вами рассмотрели нахождение только, так скажем, официальных =))) дублей. Есть еще кроме дублей — шлак и прочий мусор. Его тоже нужно уметь находить и удалять. Вот например некоторые мусорные страницы блога Александра Быкадорова:
И таких вот кривых соплей может быть очень и очень много! У кого-то их тысячи. Как находить этот мусор и много еще чего интересного, я рассказывал в курсе Как стать блоггером тысячником 3.0 . Сегодня последний день цена 2370 и 2570, завтра будет 3170 и 3470.
Помните — хороший сайт — это сайт, на который пришел робот, загрузил главную страницу index, все стальные страницы вашего блога типа «Об авторе», «Контакты»..., и все ваши статьи! Все, больше ни чего в выдачу забирать он не должен. Если забирает, но это печально и плохо.
В заключение статьи хотелось бы поблагодарить Сашу Алаева , мега супер-пупер крутого SEOшника, за помощь в создании и robots.txt и.htaccess. Эти рекомендации и не только эти, очень помогли мне в написании этих двух статей про дубли, а так же в создании курса КСБТ 3.0.
Ну все! Напишите в комментариях кто сколько у себя дублей нашел! =) Может быть у вас еще есть какие-то дубли в выдаче? Можно попробовать разобраться в их устранении!
P.S. Давайте поржем еще раз в завершении. Вот лицо человека, который через несколько лет ведения блога узнал, что у него куча дублей и мусора в выдаче:
Всем пока и удачных выходных!
С уважением, Александр Борисов
Table of Contents
Что такое дубли страниц?
Очень часто владельцы wordpress сайтов начинают беспокоиться, если не понимают из-за чего отдельные страницы проваливаются в выдаче. Причиной тому могут быть дубли страниц. Это страницы, содержащие материалы с идентичным или похожим контентом. Речь о страницах архивов дат, рубрик, авторов и комментариев. При этом они могут располагаться под разными адресами, что позволяет дублям конкурировать с основной статьей за место в поисковой выдаче. В этом материале мы расскажем как избавиться от дублей страниц.
Создание дублей страниц на сайте
Как мы уже рассказывали ранее, дубли одной конкретной страницы, где размещена одна конкретная статья создаются и в архивах дат, и в рубриках или категориях (могут называться по-разному), а также на страницах с комментариями. Благодаря этому пользователи могут сортировать посты и находить по определенным критериям нужные. Система делает это автоматически.
Давайте посмотрим как это выглядит на примере архива дат. Предположим нам нужно выбрать все статьи за ноябрь. На главной странице сайта кликните на ссылку в виджете с указанием месяца.
Дубли в комментариях
При работе с комментариями вебмастерам следует учитывать, что как таковые, дубли страниц создаются при наличии древовидной системы обсуждения. В том числе если обсуждений очень много и комментариям не хватает места на одной странице, то часть их перемещается на следующие. И в этом случае вам необходимо удалить дубли страниц в wordpress, иначе проиндексированные страницы станут своеобразной ловушкой для пользователей. Они просто попадут на страницу комментариев статьи, а не на саму статью, после чего посетители, скорее всего покинут сайт. SEO-продвижение явно пострадает от большого количества отказов.
Как удалить дубли с помощью плагина WordPress
Чтобы не разбираться с провалами в поисковой выдаче, лучше заранее провести профилактическую работу. А именно удалить дубли страниц в wordpress. Мы предлагаем вам воспользоваться плагином оптимизации сайтов . В его арсенале большой спектр полезных функций для удаления дублей страниц. Скачайте данное приложение и установите, так мы сможем рассказать о всех фичах более предметно.
После активации перейдите в меню настроек плагина: «Настройки» => «Clearfy меню» =>
Начнем по порядку, с удаления архивов дат. Здесь стоит сразу уточнить, что удалять дубли в буквальном смысле мы не будем. Их просто отключат от индексирования. И это важнее, чем избавиться фактически от копий страниц. Если дубликаты не видит поисковик, значит пользователь перейдет на основную, нужную вам для продвижения страницу и не заблудится в многообразии ссылок-клонов. Чтобы запустить функцию нажмите кнопку ВКЛ.
Чтобы удалить метки архивов, нужно поставить редирект со страниц тегов на главную. Для этого активируйте функцию ниже. Аналогично предыдущим. Обратите внимание на серую метку со знаком вопроса. Она указывает на то, что негативных последствий настройка не вызовет.
Для каждой фотографии или видео wordpress создает отдельную «страницу вложений» с возможностью комментирования, что является своеобразным якорем оптимизации. Подробней об этом мы говорили в предыдущей . Нажимаем кнопку ВКЛ.
Если у вас на сайте пагинация настроена таким образом, что контент размещается сразу на нескольких страницах, то в конце URL, в том или ином виде, будет добавляться порядковый номер каждой страницы. Clearfy же, предложит вам удалить постраничную навигацию записей. То есть каждая страница одной статьи будет редиректиться на основную. Нажмите кнопку ВКЛ.
Если у вас настроены древовидные комментарии, то их иерархия создаст благоприятные условия для создания копий страниц. Выглядит это так: вы отвечаете на чей-то комментарий и одновременно в URL появляется переменная?replytocom – это значит, что поисковик видит в этом не ответ на комментарий, а отдельную страницу, так как адрсе отличается. Удалить дубли страниц в wordpress и выполнить редирект вы можете активировав данную функцию.
Заключение
Время и силы, затраченные на продвижение сайта или отдельных статей могут уйти впустую. Если не позаботиться об удалении дублей страниц заранее. Они индексируются поисковиком и могут составить конкуренцию основным статьям. После прочтения данной статьи мы надеемся, что вы оценили весь спектр представленных функций и теперь вам будет несложно удалить дубли страниц в wordpress.
Приветствую всех читателей блога!
Сегодня я расскажу, как за дубли страниц на wordpress блоге, часто попадают по или БАН, начинающие владельцы сайтов, выбравшие эту sms для своего блога. В этом посте, Вы узнаете, как убрать дубли страниц с помощью файла robots.txt из индекса Яндекс и Google.
Но сначала я кратко расскажу о том, почему появляются дубли страниц на сайте, а затем, как решить эту проблему. Если предисловие читать не хотите, то можете сразу перейти ко второй части статьи.
Что такое дубли страниц на сайте
Самый распространённый движок wordpress, выбирают большинство пользователей для своих сайтов за его простоту, надёжность и богатый внутренний функционал. Но вместе с этой простотой, на wordpress, есть несколько недостатков, которые «недостатками» являются только для начинающих пользователей, до конца не изучивших все возможности и недостатки этой платформы.
Поэтому для всех, кто не знает, поясняю, что wordpress имеет технические свойства генерировать много дубликатов одних и тех же статей, каждая из которых, находится в категориях, метках, архивах по месяцам и по авторам. Дублируются ещё и странички из поисковой формы блога и пагинации, новостной ленты новостей RSS и дубли страниц комментариев.
- То есть если в действительности, у Вас на сайте, написано только 100 статей, то в реальности проиндексированных статей, будет в 3-5 раз больше. Как я уже сказал в предыдущем абзаце, каждая статья будет продублирована в тэге и архиве.
- Раньше, когда во всю процветал бизнес на продаже ссылок с сайта, то для получения максимальной прибыли, у сайта должно быть, как можно больше страниц. Поэтому wordpress, был идеальной платформой для создания многостраничных сайтов. Но со временем, поисковые алгоритмы научились распознавать этот обман и стали бороться с такими сайтами, накладывая на них АГС или БАН (последнее наказание, чаще).
Ничего не подозревающие пользователи, создавали сайт на этом движке, начинали наполнять его контентом и через некоторое, время обнаруживали, что их интернет ресурс, наказан и в поиске, осталось от 1 до 9 страниц.
Появление дубликатов страниц, поисковые алгоритмы расценили, как сайт, создающийся для торговли ссылками. Хотя, при этом, он ни в каких ссылочных биржах участвовал, то есть не продавал и не покупал ссылки с сайта и на сайт.
Как убрать дубли страниц
Совет 1
На самом деле ответ на вопрос, как убрать дубли страниц, простой. Для этого в файле robots.txt, нужно запретить индексацию того, чего не нужно «скармливать» в индекс ПС (смотрите список ниже). Вот и всё!
Как составить файл robots.txt я рассказывал в статье, ссылку на которую только что указал. Там же, Вы узнаете, что обозначает каждая строчка, и что мы запрещаем к индексации.
Типы дублей страниц:
- replytocom
- feed
- page
- comment-page
- attachment
- attachment_id
- category
- trackback
Из всего этого количества, можно не закрывать для индексации категории.
Совет 2
Обязательно нужно настроить редирект с www..ru и наоборот. Прямо сейчас, можете это проверить следующим образом. В строке браузера, наберите адрес сайта с www перед названием домена, то есть www..
Если всё нормально, то домен будет без www. Если у сайта доменов много, то с них делайте редирект на главное зеркало сайта.
Совет 3
Если установлен плагин All in One Seo Pack, а он должен быть обязательно установлен, то в настройках, обязательно поставьте галочки в чекбоксе «Канонические URL’ы».
Совет 4
Если заметили, что в индексе Google у Вас проиндексировано больше страниц, чем есть на самом деле, то нужно сделать следующее. Заходите в админ панели на вкладку «Параметры», «Обсуждение» и здесь обязательно (настоятельно рекомендую) снимите галочку напротив пункта «Разбивать комментарии верхнего уровня на страницы».
Если этого не сделать, то у каждого комментария, будет отдельная страница дубль со своим url адресом (replytocom), которая появляется, при нажатии на кнопку формы комментирования «Ответить», когда включены древовидные комментарии, которые нужно так же отключить. Иначе, сколько будет комментариев у отдельно взятой статьи, столько же и её дублей.
Проверить в Google дубли страниц с комментариями, можно введя url адрес своего блога, с приставкой site: перед доменом и replytocom после него. На скриншоте ниже, Вы можете видеть результат проверки моего блога. Как видите, всё в порядке.
Надеюсь, что после прочтения этой статьи, Вы знаете, как удалить дубли страниц. А после того, как примените все полученные знания на своём блоге, то если сделали всё так как нужно, то после индексации, кол-во страниц в индексе Google, должно уменьшится.
И ещё раз напоминаю, что в wordpress дубли страниц, появляются из за технических особенностей этого движка и появляются только в Google, решить которые я рассказал в Способах 2, 3 и 4.
