Канонические URL – это загадка для многих людей, и потому многие могут неправильно использовать такие URL для задания, к примеру, 301 редиректа. Люди предполагают, что эта возможность имеет отношение к SEO, однако они не знают, когда и как следует использовать их. В WordPress в частности (по сравнению с обычным HTML сайтом) может быть достаточно тяжело вручную задавать канонические URL для каждой страницы сайта без обращения к плагинам вследствие работы шаблонов темы, имеющихся в системе управления контентом.
В этой статье мы поможем разрешить некоторые пользовательские вопросы, которые связаны с каноническими URL. Пользователи, которые не работают с WordPress, также могут найти эту статью полезной для себя, поскольку в ней будут предложены основные принципы канонических адресов, применимые к любой системе управления контентом или к методам разработки.
Обратите внимание, что эта статья может показаться для вас достаточно сложной, если у вас нет технических навыков, связанных с WordPress, базовым HTML или SEO. Мы познакомим вас сначала с основными терминами. Если вдруг что-то в статье вам покажется непонятным, вы всегда можете поискать в поисковой системе ответы на возникшие вопросы.
Что представляет собой канонический URL?
Канонический URL (часто описываемый как rel=canonical, канонический тег и т.д.) – это то, что используется поисковыми системами при отсылке к материалу на вашем сайте, когда страница с материалом имеет несколько версий на вашем сайте или даже в сети. Сегодня канонические URL используются для решения некоторых сложных проблем с дублированием контента, и иногда эта возможность применяется для задания 301 редиректа.
Google предлагает прекрасное объяснение целей канонических URL . Я настоятельно рекомендую изучить его. Они сделали его максимально ясным.
Возможно, вы считаете, что ваш сайт не имеет дублированного контента. Прекрасно, если вы позаботились о том, чтобы ваш контент не повторялся на разных страницах. В противном случае это может вылиться в снижение ваших показателей в поисковой выдаче.
Если вы решили продублировать текст на вашем сайте, подумайте об этом серьезно: если бы вы были поисковой системой, которая старается дать ответ на пользовательский запрос, вы бы предложили пользователю две идентичных страницы в поисковой выдаче? Нет! Это бесполезно для людей. Вместо этого вы бы предложили столько разнообразных результатов в выдаче (SERP), сколько сможете найти, что, соответственно, полностью отвечало бы поисковым потребностям людей.
Таким образом, если вы дублируете контент на своем сайте, вы можете – и должны – ожидать, что Google не будет ранжировать все ваши страницы. Однако это не слишком хорошо, если вы думаете только о показателях поисковых систем и присутствию в SERP.
Дубли URL-адресов, о которых вы, возможно, не знали
Отлично, давайте вернемся назад и предположим, что мы убедились в уникальности наших страниц сайта. Однако у вас по-прежнему могут остаться некоторые «скрытые» дублируемые URL, о которых вы просто не знаете (в реальности они, конечно же, не скрыты). Это может удивить вас, но вы должны знать – поисковые системы видят следующие URL как совершенно обособленные, отдельные, даже если они выводят на экран один и тот же контент:
- http://www.examplesite.com (обратили внимание на www?)
- http://examplesite.com
- https://examplesite.com (обратили внимание на https?)
- http://www.examplesite.com/ (обратили внимание на слэш в конце?)
- http://examplesite.com/index.php
Именно по этой причине нам и нужны канонические URL в теге HEAD кода HTML всех ваших страниц. Вы должны сообщить поисковым системам, какую из версий всех вышеупомянутых URL (и других версий) они должны просмотреть.
Да, вы должны принять окончательное решение о том, собираетесь ли вы использовать www или нет во всех ваших ссылках в процессе веб-маркетинга. Вы должны придерживаться одной ссылочной стратегии по всему сайту, и даже за его пределами. Все те, кто пользуется вашими URL, должны знать это: сотрудники, партнеры, каталоги, в которых вы перечислены, люди, которые ссылаются на вас – все.
Вы также должны определиться с тем, будете ли вы использовать слэш в конце URL, а также будете ли вы использовать https (если вы принимаете на сайте важную информацию, такую как, к примеру, данные кредитных карт). Выберите один вариант и придерживайтесь его. На вашем месте я бы выбрал тот, который используется чаще всего, чтобы избежать головной боли при исправлении своих URL.
К счастью, если вы пользуетесь WordPress, то большую часть этих проблем удастся решить. Мы рассмотрим разные плагины и другие вещи, которые помогут вам справиться с этим.
Однако есть и другие места, в которых канонические URL оказываются очень полезными.
Дублируемый контент, создаваемый таксономиями
Допустим, вы пишете статью, и вы включаете ту статью в многочисленные рубрики блога с разными метками в WordPress (все это называется таксономиями). Люди всегда делают это. Или, допустим, вы занимаетесь электронной коммерцией, и ваши продукты появляются в многочисленных рубриках. У нас появляется проблема: контент может быть представлен несколько раз по разным URL, что упрощает пользователям навигацию по сайту. К примеру:
- http://examplesite.com/store/candy/chocolate-truffles
- http://examplesite.com/store/foods/chocolate-truffles
Вы хотите, чтобы ваши пользователи могли найти шоколадные трюфели в двух рубриках: «candy» и «food». Это прекрасно. Но какой из двух URL должен быть проиндексирован поисковыми системами? Помните, что они не станут ранжировать оба URL. Таким образом, вы должны выбрать это самостоятельно. И именно в этом случае на первый план выходят канонические URL. Такие URL расскажут поисковым системам: «эй, этот контент точно такой же, что и на другой странице; пожалуйста, проиндексируй его».
Помните, что ни одна поисковая система не обязана повиноваться данной канонизации, и они могут проигнорировать ее, если посчитают ее неправильной.
Использование перекрестных канонических URL при дублировании контента с других сайтов
Есть самая важная причина, почему вам требуется канонический URL. Про нее мы поговорим ниже (есть и другие, но они более сложные, при этом принцип – тот же самый). Бывает так, что вы публикуете на своем сайте контент, который также появляется на других сайтах. Самый простой пример такой ситуации – синдикация (к примеру, пресс-релизы).
Допустим, ваша компания публикует пресс-релиз и передает его на ваш сайт. Это вполне нормальное явление. Однако пресс-релизы работают следующим образом: они могут бесплатно использоваться любым издателем контента. Они специально создаются для того, чтобы их копировали и распространяли. Есть даже целые сети синдикации, как, к примеру, PRWeb. Это достаточно старая форма маркетинга.
Однако она порождает проблемы с SEO. Для робота поисковой системы контент пресс-релиза на вашем сайте является точно таким же, как контент пресс-релиза на других новостных сайтах. Как понять, где оригинал? Какой URL выводить в SERP (поисковой выдаче)? Помните – вы должны его выбрать.
Обычно поисковые системы выбирают его самостоятельно, если вы ничего им не предложите. И делается такое предложение при помощи канонического URL. В случае с пресс-релизами, однако, маловероятно, что каждый небольшой новостной журнал будет задавать канонический URL, указывающий на ваш сайт. Помните, что многие про это просто не знают. Я сомневаюсь, что они будут торопиться с указанием оригинального источника контента и с соответствующим кодированием HTML. Они ведь публикуют по несколько разных статей в день.
Таким образом, вы должны позаботиться об этом на своем сайте. На вашем месте я бы использовал канонический URL на странице, содержащей ваш пресс-релиз, и ссылался бы на его копию в основной сети синдикации, в которой вы опубликовали статью для последующей дистрибуции. К примеру, вы можете сослаться на копию статьи на сайте PRweb.com (если вы используете этот сервис).
Если вы хотите увидеть живой пример ситуации, не касающейся пресс-релизов, и при этом затрагивающей канонические URL, давайте посмотрим на следующую статью, которую я написал для KISSmetrics год назад:
Вскоре после этого сайт Entrepreneur.com взял эту статью, потому что у них было соглашение с KISSmetrics (помните, у них было разрешение!)
Теперь у нас есть тот же самый контент, доступный по двум URL адресам. В техническом плане это – дублируемый контент, а это плохо! Однако не стоит бояться. Если вы посмотрите исходный код статьи на Entreprenuer.com, то вы найдете там следующее:
Это говорит поисковым системам о том, где был представлен оригинальный контент, что является верным решением. Это также снимает подозрения о краже контента в глазах поисковых роботов (которые не могут знать о ваших законных правах на публикацию работы).
Однако не стоит создавать целый сайт, состоящий из статей других людей. В этом случае канонический URL вряд ли поможет вам с ранжированием. Поэтому не злоупотребляйте данной тактикой.
В каких случаях вы не можете использовать канонические URL для внешнего дублируемого контента
Я хочу рассказать об этом, поскольку я часто сталкиваюсь с такими ситуациями. Если вы хотите вывести описание компании или персональную биографию на вашем сайте, я не рекомендую использовать те же самые слова и фразы, которые вы используете в ваших социальных профилях или в других местах сети.
Если вы задаете то же самое описание, которое указано у вас в LinkedIn или на вашей бизнес-странице Google Plus, то вы, по сути, дублируете контент. Не стоит использовать канонический URL на странице About, и подцеплять к ней ваш профиль из социальной сети. Ваша страница About должна ранжироваться самостоятельно. В таком случае, пожалуйста, используйте уникальное описание для внешнего использования. Я делаю так для всех своих клиентов.
Как использовать канонические URL в WordPress
Есть несколько способов сделать это, но я собираюсь показать вам самый лучший, которым пользуюсь я сам: просто воспользуйтесь плагином WordPress SEO от Joost De Valk.
Как только вы установите этот плагин на своем сайте, он позволит вам позаботиться о многочисленных SEO показателях, в том числе и о канонических URL. Однако плагин предлагает и другие настройки, на которые нужно обратить внимание.
На скриншоте ниже вы можете видеть, что на экране редактирования отдельной записи или страницы (плагин работает и для произвольных типов записей) панель WordPress SEO предлагает массу настроек и полей. Чтобы задать канонические URL, которые вы можете использовать для разных вещей – пресс-релизов или внешних дублей контента, – перейдите на вкладку Advanced:
Щелкните по выпадающему списку, чтобы выбрать тип URL для канонического адреса в теге head всех ваших страниц:
Когда не нужно использовать канонический URL
Во-первых, прочтите следующую в блоге Google Webmaster Central о распространенных ошибках с rel=canonical URL. Убедитесь в том, что вы – или ваш разработчик – не допустили их. Во-вторых, не используйте канонические URL в следующих ситуациях:
Когда вы хотите сделать 301 редирект
Если вы хотите перенаправить одну страницу к другой, чтобы пользователи, которые ввели старый URL или нажали на мертвую ссылку, были перенаправлены к новому URL, вам нужно использовать 301 редирект. Не используйте для этого канонические URL. Однако в SEO они часто применяются таким вот образом.
Редирект означает, что есть только одно место, где представлен контент, и вы вынуждаете пользователей перейти к этой странице. Это подходит, к примеру, в том случае, если вы перенесли свой сайт на новый домен или настроили новую структуру URL вследствие реконструкции сайта. Вы можете также использовать 301 редирект для отправки людей к версии вашего сайта с www или без www (это позволяет убедиться в том, что никто не перейдет на ваш сайт по неправильному адресу).
Благодаря каноническим адресам, вы можете иметь тот же самый контент на разных страницах в сети, и иметь один «оригинальный» источник контента. Иными словами, разные страницы, содержащие один и тот же контент, могут существовать и просматриваться пользователями.
Однако еще в 2011 году Рэнд Фишкин провел один интересный эксперимент, в котором он использовал канонический URL в хэдере всех страниц старого домена, чтобы таким образом улучшить ранжирование другого нового домена. И это сработало. Он поведал об этой истории в своей записи . Запись также объясняет, почему канонические URL так важны для кросс-доменной синдикации контента в мире SEO. Я не думаю, что сегодня это сработает, но можете попробовать в качестве эксперимента.
Когда вы хотите, чтобы поисковые системы проигнорировали вашу страницу
Помните, что rel=canonical – это не решение проблем с дублями контента. Поисковая оптимизация гораздо сложнее, и иногда более подходящее решение заключается в том, чтобы использовать файл robots для закрытия страниц от индексации. Именно поэтому плагин WordPress SEO включает в себя соответствующие опции.
Я рекомендую своим клиентам закрывать от индексации некоторые страницы, которые не являются полезными для посетителей. К примеру, зачем вам в выдаче страница Terms and Conditions, страницы входа в систему? Их там быть не должно. Лучше освободить дорогу более ценному контенту. К нему относятся продающие страницы, описания товаров и информативные записи блога.
Я также советую использовать правило no-index для страниц с очень малым количеством контента (поскольку ваш сайт в таком случае выглядит слишком несодержательным) и для архивов, которые дублируют контент. В WordPress это применимо к архивам авторов, архивам по дате, и, в моем случае, к архивам меток (поскольку они содержат тот же контент, что и архивы рубрик). Вы можете также закрыть от индексации произвольные типы записей и их архивы, если они только передают контент с других страниц вашего сайта.
Примечание: если вы что-то закрываете от индексации, то вам нужно будет удалить этот контент также из карты сайта, иначе это приведет к ошибкам в Google Webmaster Tools.
Поправляем URL-адрес для соответствия его с каноническим указателем
Помните, мы говорили выше о том, что нужно выбрать одну версию URL, которая будет использовать во всех ссылках с данного момента? Отлично, как только вы сделаете это, вам нужно будет «почистить» или исправить URL-адреса на вашем сайте и в других местах, чтобы они ссылались на выбранную вами версию. Допустим, что вы приняли решение использовать версию без www на вашем сайте. Теперь вам нужно убедиться в том, что все внешние и внутренние ссылки используют выбранную вами версию. Если нет, то надо постараться изменить URL-адреса. Да, это может показаться достаточно сложным действием, но это стоит того.
Чтобы быстро заменить все URL на своем сайте, вы можете использовать такой инструмент, как Search Replace DB . Однако используйте его только в том случае, если вы понимаете, что вы делаете.
Есть также плагины, которые позволяют провести поиск и замену через консоль WordPress. После проведенной замены удалите все, что соединено с вашей базой данных, чтобы избежать лишних рисков, связанных с безопасностью.
Чтобы справиться с мертвыми ссылками в записях и страницах, воспользуйтесь плагином, таким как, к примеру, Redirection , который выполнит эту задачу за вас.
Когда вы все это сделаете, убедитесь в том, что вы вошли в свой аккаунт Google Webmaster Tools и установили предпочтительный URL для вашего сайта. Кроме того, отправьте обе версии – с www и без www – вашего сайта в Google Webmaster Tools, чтобы задать предпочтения.
Заключение: используйте канонические URL для преимуществ в плане SEO
Надеемся, мы справились с хаосом, который имелся вокруг канонических ссылок и влияния их на SEO. Если вы по-прежнему не разобрались во всех аспектах, я рекомендую перейти по ссылкам, приведенным в данной статье. Однако самое лучшее достижение – теперь вы знаете, как использовать канонические адреса, знаете, что у них есть потенциал, который позволит добиться великолепных SEO результатов.
Дублированный контент – проблема, с которой могут справиться далеко не все владельцы бизнес-сайтов. Порой у них просто нет времени, чтобы решать эту проблему. К счастью, поисковые системы понимают, что порой тот же самый контент может быть доступен по разным URL-адресам, причем вполне законно. Поисковые системы предложили нам инструмент, который мы можем использовать – так давайте же воспользуемся им в своих интересах!
Канонический тег (rel=”canonical”) является довольно важным инструментом поисковой оптимизации. Зачастую он даже лучше, чем 301 редирект при работе с дублированным контентом.
Разберём более подробно этот тег.
Что плохого в дублированном контенте
Дублированный контент – это два одинаковых по своему содержанию документа. Когда Google видит дубль, он старается исключить его из индекса, т.к. по идее пользователь не захочет видеть один и тот же документ в поисковой выдаче несколько раз. Да и к тому же самому поисковику не хочется постоянно обрабатывать тысячи и даже миллионы дублированных страниц, тратя на это свои производственные мощности.
Проблема для веб-мастера состоит в том, что если одна и та же информация находится на разных страницах, то в выдаче будет только одна из этих страниц. Но url, который выберет Гугл, не всегда является наиболее оптимальным для пользователя, и не всегда является первоисточником.
Пока поисковик не определит первоисточник, результаты выдачи не будут удовлетворять целям первоначального автора контента. В данном случае канонический тег имеет ограниченную пользу, поскольку те, кто крадут ваш контент, скорее всего, не будут ставить теги.
С другой стороны, если дублирование происходит на вашем сайте, то тег будет как нельзя кстати. Даже если на вашем сайте будут ссылки на дублированный контент, ценность для выдачи будет составлять только страница-первоисточник. Таким образом, даже при наличии ссылок на несколько дублей, значимой для Google будет считаться только одна из этих страниц. И не пострадает.
Естественно, это не лучшее решение с точки зрения SEO. Но это не приведёт к каким-либо санкциям со стороны Гугла.
Что такое тег rel=”canonical”
Тег имеет следующий синтаксис: Таким образом Google и Bing поймут, что все дубли ссылаются на канонический адрес, указанный в теге. Гугл имеет чёткое представление по поводу использования данного тега:
Да, rel=”canonical” должен использоваться только для выбора предпочитаемой страницы при дублировании (незначительные различия в содержании допустимы).
Другими словами, используйте его только для борьбы с дублированным контентом. При использовании его для других целей вы можете быть уличены в поисковом спаме.
Проблемы дублированного контента
Реализуйте теги надлежащим образом на вашем сайте. Это убережёт вас от проблем дублированного контента, некоторые из которых связаны с системами управления сайтами (CMS):
- Tracking Codes . Некоторые системы требуют добавления переменных в конце url-адреса для обратных ссылок на ваш сайт. Формат может быть такой: www.example.com?tracking-variable или такой: www.example.com/example.htm?tracking-code. Проблема заключается в том, что поисковые системы разделяют адреса, даже если те различаются всего одним символом. Хотя Google и Bing и имеют в своём распоряжении технологии, которые помогают определять такие адреса, до сих пор возникает множество ошибок при их обработке. Интересно будет отметить, что некоторые ссылаются на ваш сайт, дабы получить взаимную обратную ссылку, используя данный метод. Канонический тег защитит вас от этого.
- Приставки к url . Как мы уже уяснили, любые два адреса, отличающиеся хотя бы одним символом, рассматриваются как отдельные страницы. И есть несколько случаев, когда приставки к адресам могут привести к дублированию контента. К ним относятся, например, дополнительный язык сайта (русская и английская версии страницы) или создание движком дополнительных страниц (ярко выражено в WordPress).
- Разбивка на страницы . Это когда сайт разбивается автоматически на несколько страниц с одинаковым контентом. Например, если у вас интернет-магазин и продукцию можно отсортировать по цвету товара или по его цене (при этом для результата сортировки генерируется отдельная страница с одинаковыми описаниями товаров).
- WWW . По большей части это не проблема, т.к. Google обычно правильно определяет адреса с www и без. Но до сих пор бывает такое, что поисковик индексирует как бы две версии сайта (example.com и www.example.com). В результате половина вашего контента проиндексирована с www, а другая половина – без www. Обычно это дело прописывается в robot.txt, но и канонический тег тут тоже может помочь.
- Если невозможно реализовать 301 редирект . Как ни странно, но в некоторых случаях у веб-мастера нет возможности реализовать 301 редирект, например, из-за ограниченного доступа к серверу. Канонический тег в данном случае является альтернативой, с той лишь разницей, что исходная страница будет продолжать существовать.
Но всё-таки, в соответствии с политикой Google, канонический тег это рекомендация, а не обязательное для исполнение правило. Эта опция поможет владельцам сайтов самостоятельно указывать, какую страницу Гугл должен считать канонической. Таким образом, для Google будет проще определить, какую страницу необходимо включить в индекс при дублировании контента.
Как указать каноническую страницу из числа одинаковых или похожих
Если у вас есть одна страница, доступная по нескольким URL, или разные страницы с похожим контентом (например, версии для мобильных устройств и компьютеров), Google будет считать один URL каноническим , а остальные – его копиями . Сканирование канонического URL будет выполняться намного чаще, чем его копий.
Сообщите нам, какой из URL является каноническим. В противном случае мы выберем его самостоятельно или будем считать оба адреса равноценными, а это может привести к нежелательным последствиям. Дополнительные сведения представлены в разделе ниже, где говорится о том, для чего нужно выбирать канонический URL .
Как указать каноническую страницу
Существует несколько способов указать каноническую страницу из числа повторяющихся:
| Способ | Описание |
|---|---|
| Рекомендации, которые имеют силу независимо от выбранного способа нормализации URL. | |
|
Добавьте в код всех повторяющихся страниц тег . Плюсы Минусы
|
|
|
Включите в ответ страницы заголовок rel=canonical. Плюсы
Минусы
|
|
|
Укажите канонические страницы в файле Sitemap. Плюсы
Минусы
|
|
| Используйте код статуса 301, чтобы сообщить роботу Googlebot, что URL, заданный в качестве нового адреса страницы, ведет на ее более актуальную версию. | |
| Вариант страницы в формате AMP | Если один из вариантов страницы – AMP, укажите каноническую страницу и ее варианты согласно инструкциям для AMP. |
Общие положения
Ниже приведены общие инструкции по указанию канонических URL.
- Не обозначайте канонические страницы с помощью файла robots.txt .
- Не используйте инструмент удаления URL для указания канонической страницы: в этом случае из результатов поиска будут удалены все варианты URL.
- Не указывайте разные URL одной страницы в качестве канонических одним и тем же или разными способами (например, не надо добавлять один URL, используя файл Sitemap, другой – с помощью атрибута rel="canonical").
- Не пытайтесь предотвратить выбор канонической страницы, применяя директиву noindex . Она предназначена для исключения страницы из индекса.
Обязательно выделяйте каноническую страницу при использовании атрибутов hreflang . Выбирайте для этого страницу на том же языке или ее вариант на наиболее близком языке.
Используйте канонический URL при настройке ссылок на своем сайте. Это поможет нам понять, какую страницу вы считаете приоритетной.
О преимуществах HTTPS по сравнению с HTTP в канонических URL
При определении канонических ссылок Google отдает предпочтение страницам HTTPS, если при этом не возникают проблемы, например следующие:
- Страница HTTPS использует недействительный сертификат SSL.
- Страница HTTPS содержит небезопасные зависимости (кроме изображений).
- Страница HTTPS выполняет переадресацию на страницу HTTP.
- Страница HTTPS указывает на страницу HTTP с помощью атрибута rel="canonical" .
Кроме того, вы можете дополнительно указать, что адресу HTTPS следует отдавать предпочтение. Вот как это сделать:
- Добавьте переадресацию с HTTP-страницы на HTTPS.
- Добавьте ссылку rel="canonical" , ведущую со страницы HTTP на страницу HTTPS.
- Используйте протокол HSTS .
Как предотвратить использование страницы HTTP в качестве канонической:
- Проверяйте сертификаты SSL, а также ссылки со страницы HTTPS на HTTP. Ошибки в них могут привести к тому, что каноническим будет считаться адрес HTTP. При этом реализация протокола HSTS не имеет значения.
- В файлах Sitemap и компонентах указывайте страницу HTTPS, а не HTTP.
- Не используйте сертификат SSL/TLS для некорректного хоста (например, если example.com передает сертификат для www.example.com). Этот сертификат должен соответствовать полному URL сайта или являться групповым, то есть пригодным для использования на нескольких субдоменах.
Только для опытных пользователей: как заставить роботов Google игнорировать динамические параметры
Вы можете сообщить Google о параметрах, которые следует игнорировать. Подробные сведения представлены в Справочном центре . При использовании этой функции наши роботы не будут обрабатывать повторяющийся контент, что упростит им работу. Например, если вы укажете, что нужно проигнорировать параметр sessionid , мы посчитаем идентичными следующие страницы:
- https://www.example.com/dresses/green.php?sessionid=273749
- https://www.example.com/dresses/green.php
Способы
Указать канонический URL для повторяющихся URL или похожих страниц можно одним из способов, описанных ниже.
Какой бы способ вы ни выбрали, обязательно следуйте приведенным выше общим рекомендациям.
Используйте атрибут rel="canonical"
Используйте в заголовке страницы тег . Он указывает, что соответствующая страница копирует другую.
Предположим, вы хотите указать страницу https://example.com/dresses/green-dresses , содержание которой воспроизводится на других, в качестве канонической. Выполните следующие действия:
Пометьте все повторяющиеся страницы с помощью элемента link с атрибутом rel="canonical". Добавьте в раздел
этих страниц элемент , содержащий атрибут rel="canonical" и ссылку на каноническую страницу:Если у канонической
страницы есть вариант для мобильных устройств,
добавьте элемент link с атрибутом rel="alternate" и ссылкой на мобильную версию:
В случае необходимости добавьте атрибуты hreflang или настройте переадресацию другими способами .
Используйте следующую структуру URL: https://www.example.com/dresses/green/greendress.html
Не
применяйте такой вариант: /dresses/green/greendress.html
Используйте HTTP-заголовок rel="canonical"
Если у вас есть доступ к настройкам сервера, можно указывать канонический URL для документов в формате, отличном от HTML (например, PDF), с помощью атрибута rel="canonical" в заголовках HTTP (а не с помощью HTML-тегов).
Например, если на вашем сайте по нескольким разным URL доступен файл PDF, можно возвращать заголовок HTTP rel="canonical" , чтобы сообщить роботу Googlebot, какой из этих URL является каноническим:
Link:
В настоящее время этот способ поддерживается только для веб-поиска.
Элементы link с атрибутом rel="canonical" должны содержать абсолютные пути, а не относительные
. Подробнее:
Правильно: http://www.example.com/downloads/white-paper.pdf
Неправильно:
/downloads/white-paper.pdf
Укажите канонический URL для каждой страницы в файле Sitemap . Все страницы в нем предлагаются в качестве канонических. Googlebot будет определять, какие из них являются повторяющимися (при наличии), по их контенту.
Мы не гарантируем, что URL в файле Sitemap будут рассматриваться как канонические во всех случаях. Но в целом это удобный способ для определения приоритетных URL на крупном сайте.
Не включайте в файл Sitemap неканонические страницы, если вы его используете.
Используйте код статуса 301 для URL удаленных страниц
Это позволяет исключить устаревшие адреса и обеспечить переадресацию на новые.
Предположим, на вашу страницу можно перейти по следующим URL:
- https://example.com/home
- https://home.example.com
- https://www.example.com
Выберите один из этих адресов в качестве канонического и используйте переадресацию 301 на стороне сервера, чтобы перенаправлять на данный адрес трафик с других URL. Это один из самых надежных способов обеспечить переход пользователей и поисковых систем на нужную страницу. Код статуса 301 означает, что запрашиваемая страница находится по другому адресу.
Если у вас есть доступ к сервису веб-хостинга, попробуйте найти в представленных на нем справочных материалах документацию по настройке переадресаций 301.
Эта информация оказалась полезной?
Как можно улучшить эту статью?
Привет, друзья. Пора бы мне уже довести до логического завершения тему про управление индексацией сайта. Я вам напомню, какие методы управления индексацией вообще существуют: файл robots.txt, мета-тег robots, заголовок X-Robots-Tag, ну и 301-редирект здесь можно упомянуть, как метод борьбы с дублями, что так же является неотъемлемой частью качественной индексации. И обо всем этом я вам уже рассказывал, но есть еще один очень важный и интересный способ борьбы с дублями, в чем-то альтернатива редиректу, это атрибут rel="canonical" , который присваивается тегу link и располагается в части
любой html-страницы.Выглядит это как-то так:
Что немаловажно – данный тег поддерживается всеми поисковыми системами , в том числе нашими любимыми Яндекс и Google.
Итак, сегодня я вам расскажу, как и для чего нужно использовать тег rel canonical , в каких ситуациях он действительно эффективен, а заодно убедимся в этой самой эффективности на реальном эксперименте. Приготовьтесь:)
Для начала напомню вам о тех постах, что я затронул в начале:
Сперва стоит пройтись по теории, чтобы понять для чего данный атрибут вообще был создан, какие цели преследовались и узнать, что же рекомендуют поисковики.
Теория и справка от поисковых систем
Привожу ссылки на официальную позицию поисковых систем: Google об атрибуте rel="canonical" и Яндекс про атрибут rel="canonical" тега . Разумеется, и mail.ru тут как тут – про значение canonical в теге — не могли же они отстать от Яндекса, но это и хорошо, все под копирку, нам же проще.
Что такое каноническая страница? Это рекомендуемый экземпляр из набора страниц с очень похожим содержанием.
Зачем нужно указывать каноническую страницу? Если поисковая система видит, что страницы очень похожи или одинаковы, то согласно алгоритмам в результатах поиска появится только одна предпочтительная страница, которая, по мнению поисковой системы, лучше всего отвечает на запрос пользователя.
А как мы знаем, поисковик не всегда угадывает наши желания, потому лучше перестраховаться и указать нужную страницу самостоятельно. Сделать это можно добавив ссылку rel="canonical" в раздел
неканонических версий всех страниц HTML.Еще оказывается, можно указывать каноническую ссылку для не HTML содержимого , а, например, для pdf, doc или других файлов при помощи заголовков. Типа как X-Robots-Tag HTTP header, только тут будет Link HTTP header. Но это уже совсем для гик-маньяков, так что рассказывать об этом не буду.
Что будет, если атрибут rel="canonical" указывает на несуществующую страницу? А если каноническими назначено несколько страниц набора? В этом случае поисковая система просто проигнорирует данные правила и будет поступать, как и раньше — вычислять подходящий экземпляр из набора страниц согласно алгоритмам.
Можно ли использовать атрибут rel="canonical" для указания канонического URL на другом домене? Можно, но не нужно. Важно понимать, что атрибут canonical это всего лишь подсказка или рекомендация, а не строгое правило в отличие от редиректа, который и стоит использовать в данном случае.
На основании всего вышенаписанного, а так же по информации из других официальных источников (блоги поисковых систем и блоги их сотрудников) можно сделать выводы о том, что тег link rel="canonical":
- Это рекомендация, а не правило, а потому может быть проигнорирован в следующих случаях:
- Документ по каноническому адресу не существует, отдает ответ 404;
- Каноническая страница закрыта от индексации в robots.txt или мета-тегом;
- В html-коде страницы указано сразу несколько атрибутов rel canonical;
- Адрес канонического документа указывает на другой домен или поддомен;
- Присутствует цепочка назначений rel="canonical", т.е. для документа А каноническим указан документ Б, а в это время для документа Б указан каноническим документ В;
- Необходимо указывать только для дублирующих или очень схожих страниц, а не для склейки двух разных страниц или передачи веса;
- Адрес канонической страницы может указывать сам на себя;
- Поддерживается всеми поисковыми системами: в Яндексе с 23 мая 2011 года, в Google с 12 февраля 2009.
Практическое применение и эксперимент
Все, с теорией покончено, теперь я вам расскажу, зачем и для чего я использую тег rel="canonical" на своих сайтах. Главное и основное – это борьба и предупреждение появления дублей. В основном это дубли, связанные с параметрами или метками в url. Не всегда уместно бороться с этими проблемами . Метки иногда очень важны, например, когда ведется кампания в контексте и в метках передаются важные статистические сведения, да и много еще чего можно отслеживать метками. Закрывать такие адреса в robots.txt мне не по душе, использовать мета роботс не получится, а редирект уничтожит все данные.
Классический пример использования канонических адресов это интернет магазины с кучей сортировок по еще большей куче различных параметров товаров – мне кажется, ради этого и придумали данный атрибут.
Это все понятно. Но вот только о самом главном для нас seo’шников нигде не сказано – а как дела обстоят с передачей ссылочного веса? Что если на неканонический адрес стоят ссылки, что же будет с канонической страницей, получит ли она от этого бонусы? А если сперва появилась ссылка, а rel="canonical" был указан позже? А что будет, если все наоборот?
Вопросов много, а официальных комментариев нет. На вопросы кто виноват и что делать, ответ один – надо ставить эксперимент! Хотел я такой эксперимент поставить, но оказалось, что его уже не так давно провел Игорь, автор блога bakalov.info , за что ему огромное спасибо.
Вот цитата с его блога о том, какова цель, какие варианты развития событий и ожидаемый результат:
Цель эксперимента: выяснить, будет ли передан «вес ссылки» со страницу А на страницу С, в том случае, если страница А ссылается на страницу Б, а на странице Б стоит rel="canonical", который указывает, что канонической страницей является страница С.
Вариант №1. Страница А ссылается на страницу Б и эта ссылка проиндексирована поисковыми системами. Через некоторое время на странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что в итоге приводит к исключению страницы Б из индекса.
Вариант №2. На странице Б устанавливается rel="canonical", который указывает, что канонической является страница С, что приводит к исключению страницы Б из индекса. Через некоторое время после этого со страницы А на страницу Б устанавливается ссылка.
Необходимо выяснить в каком из двух вариантов будет передан «вес ссылки» со страницы А на страницу С. Под «весом ссылки» я понимаю так называемый «анкорный вес», т.е. если страница акцептор ищется по тексту стоящей на нее ссылки, то считаем, что «вес ссылки» передается, если не ищется, то не передается.
Полное описание и ход эксперимента .
Я же сообщу результаты эксперимента и выводы:
Для Яндекса не имеет значения, что появилось раньше – rel="canonical", или внешняя ссылка – в любом случае «вес ссылки» будет передан с неканонического URL на канонический.
Для Google на самом деле все аналогично, хотя в посте Игоря говорится иначе: если канонический адрес был указан и страницы уже склеились, а потом появилась внешняя ссылка, то вес передается, а если внешняя ссылка появилась раньше, чем каноникал, то вес не перетекает.
Просто «перетекание» веса во втором случае заняло несколько больше времени, ведь согласно комментарию на блоге сказано, что каноническая страница все же ищется по анкорному тексту.
Короче, все работает!
В очередной раз обобщая всю информацию изложенную в посте, хочу сказать, что использовать тег link rel="canonical" нужно . В первую очередь это отличный способ предотвратить дублирование контента (особенно это касается ошибок и недоработок большинства CMS) и наложение санкций за это со стороны поисковых систем.
Удачи вам, друзья! Оставляйте комментарии и задавайте вопросы.
Если ваш сайт имеет идентичный или очень похожий контент, доступный по разным URL , тогда новый формат позволит указать тот URL , который должен возвращаться в поисковой системе. Также можно быть уверенным, что все характеристики, такие как ссылочный вес и т.д. передадутся на нужную версию адреса.
Теперь вы можете добавить этот тег, для указания вашей версии адреса, внутри тега
на страницах с дублированным контентом:Таким образом, Google поймет, что все дубликаты ссылаются на канонический адрес, указанный в теге. Дополнительные свойства адреса, такие как PageRank и связанные сигналы также перенесутся с дублированных страниц на указанную.
Подобный тег будет полезным в основном при использовании различных движков (phpBB, IPB , WordPress, и т.д., напр. сайту ipbskins.ru – разработка дизайна сайта на IPB , приходится использовать длинный robots.txt в целях избежания дублированного контента), создающих множество похожих страниц, например, это могут быть страницы:
печатной версии статьи:
http://site.ru/article01.html?print=true
текстовой версии статей для моб. телефонов:
http://site.ru/lofiversion/article01.html
дублированные из-за недостатка движка:
http://site.ru/articles/?id=1&category=new
http://site.ru/articles/?id=1&tag=keyword
и ряд других…
Этот стандарт может быть адаптирован любой поисковой машиной при индексации сайта.
Для популярного блог-движка WordPress уже разработан плагин canonical , вставляющий тег на нужные страницы. Другие популярные движки для блогов, форумов, интернет-магазинов и т.д. также в ближайшем будущем расширят свою функциональность (следите за обновлениями).
Ответы на некоторые популярные вопросы по тегу:
Является ли rel=“canonical” подсказкой или директивой?
Это подсказка, которую мы берем во внимание и во взаимодействии с другими сигналами вычисляем наиболее релевантную страницу для отображения в поисковых результатах.
Могу ли я использовать относительный путь для указания canonical, например так: ?
Да, относительные пути распознаются также, как и в обычном теге . Даже если вы введете тег
Это нормально, если канонические адреса содержат не полностью дублированный контент?
Мы позволяем небольшие различия, такие как порядок сортировки в таблице продуктов. Также мы понимаем, что канонические адреса могут парситься роботом в разное время, поэтому все это нормально.
Что если rel=“canonical” возвращает 404 ошибку?
Мы продолжим индексировать ваш контент и использовать эвристический подход, для определения канонического адреса, однако, мы рекомендуем, чтобы вы использовали существующие URL
в качестве канонических.
Что если rel=“canonical” ещё не проиндексирован?
Мы стараемся достучаться до канонического URL
быстро. Как только мы его проиндексируем, тогда сразу же перерассмотрим подсказку rel=“canonical”.
Может ли канонический урл содержать редирект?
Да, вы можете указать редирект, в этом случае поисковая машина обработает просесс перенаправления как обычно и попытается проиндексировать новый адрес.
Что если я имею противоречивые сигналы для rel=“canonical”?
Наши алгоритмы мягкие: мы можем следовать по каноническим цепям, однако, мы настоятельно рекомендуем, чтобы вы на страницах указывали единственный канонический адрес, чтобы быть уверенным в оптимальном результате канонизации.
Может ли этот тег для ссылки предложить канонический адрес на совершенно другом домене?
Нет. Чтобы мигрировать на другой домен, более подходящ. В настоящее время Google поддерживает канонизацию внутри поддоменов или внутри одного домена. Таким образом, владельцы сайтов могут указать www.example.com
вместо example.com
или help.example.com
, однако, не могут указать example.com
вместо example-widgets.com
.
Звучит интересно, но могу ли я увидеть пример?
Да, wikia.com помогла нам, как трастовый тестер. Например, вы замтетите, что исходный код по адресу http://starwars.wikia.com/wiki/Nelvana_Limited содержит rel=canonical http://starwars.wikia.com/wiki/Nelvana
.
Два адреса почти идентичны, исключая то, что Nelvana_Limited, первый URL , содержит короткое сообщение возле заголовка. Это хороший пример использования тега в будущем. С rel=canonical, свойства двух адресов обьединяются и поисковые результаты отображают нужную версию.
Если у вас есть какие-либо вопросы по использованию нового тега, вы можете их задать в комментариях на официальном блоге Google для вебмастеров .
1. Помимо избавления от естественного дублированного контента (из-за недостатка движка), мы также избавляемся от дублированного контента искусственного, когда конкуренты нам пытаются насолить, добавляя в страницы с произвольными параметрами в URL .
2. Теперь нет надобности использовать robots.txt для запрета индексации таких страниц, как “печатная версия” и других дубликатов (напр. в WordPress нужно было закрывать путь /teg/) и угождать каждому поисковику отдельно (есть общие стандарты для robots.txt, но есть также и ряд особенностей работы каждого поисковика с этим файлом, поэтому мы раньше не могли предусмотреть запрет индексации некоторых страниц сразу для всех ботов).
3. Мы теперь имеем хороший инструмент для ускорения индексации сайта 🙂
