Теги nofollow noindex — оптимизация ссылок и текста

Теги nofollow noindex — оптимизация ссылок и текста

Многие оптимизаторы знают, что показатели ТИЦ и PR зависят в первую очередь от количества и качества ссылок на сайт. Но если ваш ресурс ссылается на другие, особенно не подходящие по тематике, то его вес падает. В этой статье будет рассказано, как правильно закрыть ненужные внешние ссылки и текст от индексации с помощью тегов nofollow noindex.

Noindex

Тег noindex используется, чтобы запретить индексацию какой-то определенной части текста. Следует помнить, что ссылки и изображения этот тег от поисковиков не закрывает. Если все-таки попытаться закрыть этим тегом анкор со ссылкой, то под индексацию не попадет только анкор (словосочетание), а сама ссылка однозначно попадает в индекс.

Noindex запрещает индексацию части кода, находящуюся между открывающим и закрывающим тегами. Вот пример:

<noindex> Этот текст Яндекс не индексирует </noindex>

Естественно, его не стоит путать с мета-тегом ноиндекс, который прописывается вначале страницы, они имеют различные задачи. Если взять мета-тег <meta name=»robots» content=»noindex,nofollow»> , то он запрещает индексирование всей страницы и переход по ссылкам. Этот запрет можно также прописать в файле robots.txt и такие страницы поисковыми роботами не будут учтены.

Валидный noindex

Некоторые HTML-редакторы noindex не воспринимают, поскольку он не является валидным. К примеру, в WordPress визуальный редактор его попросту удаляет. Но валидность тегу все же придать можно:

<!— noindex —> Текст закрыт валидным ноиндекс <!—/ noindex —>

Если в HTML-редакторе прописать тег в такой форме, то он будет абсолютно валиден и можно не бояться, что он исчезнет. Тег noindex воспринимает только поисковый бот Яндекса, робот Гугла на него абсолютно не реагирует.

Некоторые оптимизаторы допускают ошибку, когда советуют закрыть все ссылки такими тегами noindex и nofollow, но об этом будет рассказано ниже. Что касается работы тега ноиндекс, то она безотказна. Абсолютно вся заключенная в этих тегах информация в индекс не попадает. Но некоторые вебмастера утверждают, что иногда все же текст внутри этих тегов индексируется ботами – да, действительно такое случается.

А это все потому, что Yandex изначально индексирует полностью весь html-код страницы, даже находящийся внутри noindex, но затем происходит фильтрация. Поэтому вначале действительно проиндексирована вся страница, но через некоторое время html-код срабатывает и тест, заключенный в этот тег «вылетает» из индексации.

Можно даже не соблюдать вложенность тега noindex – он все равно сработает (об этом рассказывается в справочной Яндекса). Не забывайте, используя, открывающий <noindex> в конце исключаемого текста поставить закрывающий </noindex>, а то весь текст, идущий после тега не проиндексируется.

Nofollow

Атрибут rel=»nofollow» имеет задачу закрывать от поисковиков ссылки, расположенные в тексте. Он используется оптимизаторами для исключения передачи веса со ссылающегося ресурса на ссылаемый. Яндексу об этом атрибуте прекрасно известно.

Необходимо знать, что nofollow вес на странице не сохраняет – если ссылка заключена в этот тег. Вес ресурса по ней не переходит, а наоборот «сгорает» или при присутствии на странице других не закрытых атрибутом ссылок, вес будет распределяться между ними. И если на странице сайта присутствует хотя бы одна внешняя активная ссылка, то вес страницы будет уходить.

Даже если вы закроете все внешние ссылки атрибутом nofollow – то вес все равно сохранен не будет – он «сгорит». Поэтому все внешние ссылки закрывать не имеет смысла.

Основным отличием между nofollow и noindex является то, что нофоллоу – атрибут для тега <a>, который запрещает передачу веса по ссылке, а ноиндекс – это тег, который закрывает от индексации нужный вам текст. Вот пример использования атрибута nofollow:

<a href=»http://адрес_сайта» rel=»nofollow»>Текст ссылки</a>

Естественно, в ссылках, которые ведут на внутренние странички блога атрибут nofollow ставить бессмысленно, хотя бывают исключения. В тех случаях, когда вес со страницы нужно передать по выбранным внутренним ссылкам, все остальные можно закрыть.

Пример совместного использования nofollow и noindex

Прекрасно себя чувствуют оба тега nofollow и noindex, когда они находятся в непосредственной близости. Вот пример их использования:

<noindex><a href=»http://адрес_сайта/» rel=»nofollow»>Текст ссылки</a></noindex>

Оформление ссылки, таким образом, поможет вам удержать вес страницы и к тому же поисковый бот Яндекса анкор не увидит. В заключении нужно сказать, что не нужно закрывать тегом ноиндекс ссылки, таким образом, вы запрещаете индексацию только анкора, но не самой ссылки. Для нее будет достаточно одного атрибута нофоллоу.

Как закрыть контент от индексации — пошаговое руководство

Больше полезных статей, кейсов и мануалов. Подпишись на обновления!

Иногда возникают такие ситуации, когда нужно Закрыть от индексации часть контента. Пример такой ситуации мы рассматривали здесь.

Также, иногда нужно:

• Скрыть от поиска техническую информацию
• Закрыть от индекса не уникальный контент
• Скрыть сквозной,повторяющийся внутри сайта, контент
• Закрыть мусорные страницы, которые нужны пользователям, но для робота выглядят как дубль

Постараемся в данной статье максимально подробно расписать инструменты при помощи которых можно закрывать контент от индексации.

Закрываем от индексации домен/поддомен:

Для того, чтобы закрыть от индексации домен, можно использовать:

1. Robots.txt

В котором прописываем такие строки.

При помощи данной манипуляции мы закрываем сайт от индексации всеми поисковыми системами.

При необходимости Закрыть от индексации конкретной поисковой системой, можно добавить аналогичный код, но с указанием Юзерагента.

Иногда, же бывает нужно наоборот открыть для индексации только какой-то конкретной ПС. В таком случае нужно составить файл Robots.txt в таком виде:

Таким образом мы позволяем индексировать сайт только однайо ПС. Однако минусом есть то, что при использовании такого метода, все-таки 100% гарантии не индексации нет. Однако, попадание закрытого таким образом сайта в индекс, носит скорее характер исключения.

Для того, чтобы проверить корректность вашего файла Robots.txt можно воспользоваться данным инструментом просто перейдите по этой ссылке http://webmaster.yandex.ru/robots.xml.

2. Добавление Мета-тега Robots

Также можно закрыть домен от индексации при помощи Добавления к Код каждой страницы Тега:

META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»

Куда писать META-тег “Robots”

Как и любой META-тег он должен быть помещен в область HEAD HTML страницы:

Данный метод работает лучше чем Предыдущий, темболее его легче использовать точечно нежели Вариант с Роботсом. Хотя применение его ко всему сайту также не составит особого труда.

3. Закрытие сайта при помощи .htaccess

Для Того, чтобы открыть доступ к сайту только по паролю, нужно добавить в файл .htaccess, добавляем такой код:

После этого доступ к сайту будет возможен только после ввода пароля.

Защита от Индексации при таком методе является стопроцентной, однако есть нюанс, со сложностью просканить сайт на наличие ошибок. Не все парсеры могут проходить через процедуру Логина.

Закрываем от индексации часть текста

Очень часто случается такая ситуация, что необходимо закрыть от индексации Определенные части контента:

• меню
• текст
• часть кода.
• ссылку

Скажу сразу, что распространенный в свое время метод при помощи тега <noindex> не работает.

<noindex>Тут мог находится любой контент, который нужно было закрыть</noindex>

Однако существует альтернативный метод закрытия от индексации, который очень похож по своему принципу, а именно метод закрытия от индексации при помощи Javascript.

Закрытие контента от индексации при помощи Javacascript

При использовании данного метода текст, блок, код, ссылка или любой другой контент кодируется в Javascript, а далее Данный скрипт закрывается от индексации при помощи Robots.txt

Такой Метод можно использовать для того, чтобы скрыть например Меню от индексации, для лучшего контроля над распределением ссылочного веса. К примеру есть вот такое меню, в котором множество ссылок на разные категории. В данном примере это — порядка 700 ссылок, если не закрыть которые можно получить большую кашу при распределении веса.

Данный метод гугл не очень то одобряет, так-как он всегда говорил, что нужно отдавать одинаковый контент роботам и пользователям. И даже рассылал письма в средине прошлого года о том, что нужно открыть для индексации CSS и JS файлы.

Подробнее об этом можно почитать тут.

Однако в данный момент это один из самых действенных методов по борьбе с индексацией нежелательного контента.

Точно также можно скрывать обычный текст, исходящие ссылки, картинки, видео материалы, счетчики, коды. И все то, что вы не хотите показывать Роботам, или что является не уникальным.

Как закрыть от индексации конкретную страницу:

Для того, чтобы закрыть от индекса конкретную страницу чаще всего используются такие методы:

• Роботс txt
• Мета robots noindex

В случае первого варианта закрытия страницы в данный файл нужно добавить такой текст:

Таким образом данная страница не будет индексироваться с большой долей вероятности. Однако использование данного метода для точечной борьбы со страницами, которые мы не хотим отдавать на индексацию не есть оптимальным.

Так, для закрытия одной страницы от индекса лучше воспользоваться тегом

META NAME=»ROBOTS» CONTENT=»NOINDEX, NOFOLLOW»

Для этого просто нужно добавить в область HEAD HTML страницы. Данный метод позволяет не перегружать файл robots.txt лишними строчками.

Ведь если Вам нужно будет закрыть от индекса не 1 страницу, а к примеру 100 или 200 , то нужно будет добавить 200 строк в этот файл. Но это в том случае, если все эти страницы не имеют общего параметра по которому их можно идентифицировать. Если же такой параметр есть, то их можно закрыть следующим образом.

Закрытие от индексации Раздела по параметру в URL

Для этого можно использовать 2 метода:

• Txt
• Meta robots

Рассмотрим 1 вариант

К примеру, у нас на сайте есть раздел, в котором находится неуникальная информация или Та информация, которую мы не хотим отдавать на индексацию и вся эта информация находится в 1 папке или 1 разделе сайта.

Тогда для закрытия данной ветки достаточно добавить в Robots.txt такие строки:

Если закрываем папку, то:

Если закрываем раздел, то:

Также можно закрыть определенное расшерение файла:

Данный метод достаточно прост в использовании, однако как всегда не гарантирует 100% неиндексации.

Потому лучше в добавок делать еще закрытие при помощи

META NAME=»ROBOTS» CONTENT=»NOINDEX”

Который должен быть добавлен в секцию Хед на каждой странице, которую нужно закрыть от индекса.

Точно также можно закрывать от индекса любые параметры Ваших УРЛ, например:

?”любой повторяющийся параметр”

Однозначно самым простым вариантом является закрытие от индексации при помощи Роботс.тхт, однако, как показывает практика — это не всегда действенный метод.

Методы, с которыми нужно работать осторожно:

Также существует достаточно грубый метод Закрытия чего — либо от роботов, а именно запрет на уровне сервера на доступ робота к конкретному контенту.

1. Блокируем все запросы от нежелательных User Agents

Это правило позволяет заблокировать нежелательные User Agent, которые могут быть потенциально опасными или просто перегружать сервер ненужными запросами.

В данному случае плохим ботом можно указать Любую поисковую машину, парсер либо что либо еще.

Подобные техники используются например для скрытия от робота Ахрефса ссылки с сайта, который был создан/сломан, чтобы конкуренты сеошники не увидели истинных источников ссылочной массы сайта.

Однако это метод стоит использовать если вы точно знаете, что хотите сделать и здраво оцениваете последствия от этих действий.

Использование HTTP-заголовка X-Robots-Tag

Заголовок X-Robots-Tag, выступает в роли элемента HTTP-заголовка для определенного URL. Любая директива, которая может использоваться в метатеге robots, применима также и к X-Robots-Tag.

В X-Robots-Tag перед директивами можно указать название агента пользователя. Пример HTTP-заголовка X-Robots-Tag, который запрещает показ страницы в результатах поиска различных систем:

В заключение

Ситуации, когда необходимо закрыть контент от индексации случаются довольно часто, иногда нужно почистить индекс, иногда нужно скрыть какой-то нежелательный материал, иногда нужно взломать чужой сайт и в роботсе указать disalow all, чтобы выбросить сайт зеркало из индекса.

Основные и самые действенные методы мы рассмотрели, как же их применять — дело вашей фантазии и целей, которые вы преследуете.

Хорошие статьи в продолжение:

А что вы думаете по этому поводу? Давайте обсудим в комментариях!)

Настройка индексирования. Какие страницы закрывать от поисковых роботов и как это лучше делать

Каким бы продуманным не был сайт, он всегда будет иметь страницы, нежелательные для индексации. Обработка таких документов поисковыми роботами снижает эффект SEO-оптимизации и может ухудшать позиции сайта в выдаче. В профессиональном лексиконе оптимизаторов за такими страницами закрепилось название «мусорные». На наш взгляд этот термин не совсем корректный, и вносит путаницу в понимание ситуации.

Мусорными страницами уместнее называть документы, не представляющие ценности ни для пользователей, ни для поисковых систем. Когда речь идет о таком контенте, нет смысла утруждаться с закрытием, поскольку его всегда легче просто удалить. Но часто ситуация не столь однозначна: страница может быть полезной с т.з. пользовательского опыта и в то же время нежелательной для индексации. Называть подобный документ «мусорным» — неправильно.

Такое бывает, например, когда разные по содержанию страницы создают для поисковиков иллюзию дублированного контента. Попав в индекс такой «псевдодубль» может привести к сложностям с ранжированием. Также некоторые страницы закрывают от индексации с целью рационализации краулингового бюджета. Количество документов, которые поисковики способны просканировать на сайте, ограниченно определенным лимитом. Чтобы ресурсы краулеров тратились исключительно на важный контент, и он быстрее попадал в индекс, устанавливают запрет на обход неприоритетных страниц.

Как закрыть страницы от индексации: три базовых способа

Добавление метатега Robots

Наличие атрибута noindex в html-коде документа сигнализирует поисковым системам, что страница не рекомендована к индексации, и ее необходимо изъять из результатов выдачи. В начале html-документа в блоке <head> прописывают метатег:

Эта директива воспринимается краулерами обеих систем — страница будет исключена из поиска как в Google, так и в «Яндексе» даже если на нее проставлены ссылки с других документов.

Варианты использования метатега Robots

Закрытие в robots.txt

Закрыть от индексации отдельные страницы или полностью весь сайт (когда это нужно — мы поговорим ниже) можно через служебный файл robots.txt. Прописав в нем одну из директив, поисковым системам будет задан рекомендуемый формат индексации сайта. Вот несколько основных примеров использования robots.txt

Запрет индексирования сайта всеми поисковыми системами:

Закрытие обхода для одного поисковика (в нашем случае «Яндекса»):

Запрет индексации сайта всеми поисковыми системами, кроме одной:

User-agent: *
Disallow: /
User-agent: Yandex
Allow: /

Закрытие от индексации конкретной страницы:

User-agent: *
Disallow: / #частичный или полный URL закрываемой страницы

Отдельно отметим, что закрытие страниц через метатег Robots и файл robots.txt — это лишь рекомендации для поисковых систем. Оба этих способа не дают стопроцентных гарантий, что указанные документы не будут отправлены в индекс.

Настройка HTTP-заголовка X-Robots-Tag

Указать поисковикам условия индексирования конкретных страниц можно через настройку HTTP-заголовка X-Robots-Tag для определенного URL на сервере вашего сайта.

Заголовок X-Robots-Tag запрещает индексирование страницы

Что убирать из индекса?

Рассмотрев три основных способа настройки индексации, теперь поговорим о том, что конкретно нужно закрывать, чтобы оптимизировать краулинг сайта.

Документы PDF, DOC, XLS

На многих сайтах помимо основного контента присутствуют файлы с расширением PDF, DOC, XLS. Как правило, это всевозможные договора, инструкции, прайс-листы и другие документы, представляющие потенциальную ценность для пользователя, но в то же время способные размывать релевантность страницы из-за попадания в индекс большого объема второстепенного контента. В некоторых случаях такой документ может ранжироваться лучше основной страницы, занимая в поиске более высокие позиции. Именно поэтому все объекты с расширением PDF, DOC, XLS целесообразно убирать из индекса. Удобнее всего это делать в robots.txt.

Страницы с версиями для печати

Страницы с текстом, отформатированным под печать — еще один полезный пользовательский атрибут, который в то же время не всегда однозначно воспринимается поисковиками. Такие документы часто распознаются краулерами как дублированный контент, оказывая негативный эффект для продвижения. Он может выражаться во взаимном ослаблении позиций страниц и нежелательном перераспределении ссылочного веса с основного документа на второстепенный. Иногда поисковые алгоритмы считают такие дубли более релевантными, и вместо основной страницы в выдаче отображают версию для печати, поэтому их уместно закрывать от индексации.

Страницы пагинации

Нужно ли закрывать от роботов страницы пагинации? Данный вопрос становится камнем преткновения для многих оптимизаторов в первую очередь из-за диаметрально противоположных мнений на этот счет. Постраничный вывод контента на страницах листинга однозначно нужен, поскольку это важный элемент внутренней оптимизации. Но в необработанном состоянии страницы пагинации могут восприниматься как дублированный контент со всеми вытекающими последствиями для ранжирования.

Первый подход к решению этой проблемы — настройка метатега Robots. С помощью noindex, follow из индекса исключают все страницы пагинации кроме первой, но не запрещают краулерам переходить по ссылкам внутри них. Второй вариант обработки не предусматривает закрытия страниц. Вместо этого настраивают атрибуты rel=”canonical”, rel=”prev” и rel=”next”. Опыт показывает, что оба этих подхода имеют право на жизнь, хотя в своей практике мы чаще используем первый вариант.

Страницы служебного пользования

Технические страницы, предназначенные для административного использования, также целесообразно закрывать от индексации. Например, это может быть форма авторизации для входа в админку или другие служебные страницы. Удобнее всего это делать через директиву в robots.txt. Документы, к которым необходимо ограничить доступ, можно указывать списком, прописывая каждый с новой строки.

Директива в robots.txt на запрет индексации всеми поисковиками нескольких страниц

Речь идет об элементах, которые ориентированы на уже существующих клиентов, но не представляют ценности для остальных пользователей. К ним относят: страницы регистрации, формы заявок, корзину, личный кабинет и т.д. Индексацию таких элементов целесообразно ограничить как минимум из соображений оптимизации краулингового бюджета. На сайтах электронной коммерции отдельное внимание уделяют закрытию страниц, содержащих персональные данные клиентов.

Закрытие сайта во время технических работ

Создавая сайт с нуля или проводя его глобальную реорганизацию, например перенося на новую CMS, желательно разворачивать проект на тестовом сервере и закрывать его от сканирования всеми поисковыми системами в robots.txt. Это уменьшит риск попадания в индекс ненужных документов и другого тестового мусора, который в дальнейшем сможет навредить поисковому продвижению сайта.

Заключение

Настройка индексирования отдельных страниц — важный компонент поисковой оптимизации. Вне зависимости от технических особенностей каждый сайт имеет документы, нежелательные для попадания в индекс. Какой контент лучше скрывать от роботов и как это делать в каждом конкретном случае — мы подробно рассказали выше. Придерживаясь этих рекомендаций, вы оптимизируете ресурсы поисковых краулеров, обеспечите быстрые и эффективные обходы приоритетных страниц, и что самое важное — обезопаситесь от возможных проблем с ранжированием.

Тег noindex. Как правильно пользоваться?

Многие из нас слышали о тегах noindex и nofollow, что ими пользуются, что-то там закрывают в коде страницы и вроде как это даже положительно сказывается на продвижении сайта в поисковой выдаче. Если Вы желаете избавиться от этих самых «что-то там» и «вроде как» в своем понимании использования этих тегов, то этот обзор для Вас.

В этой статье будут рассмотрены все тонкости использования noindex и к чему это в конечном итоге приводит оптимизаторов и «переоптимизаторов». В следующем обзоре мы также тщательно пройдемся по атрибуту nofollow, чтобы окончательно расставить все точки над «и» в использовании этих инструментов.

Как пользоваться?

В рекомендациях для вебмастеров от Яндекса предлагается для использования две версии данного тега.

Отличие между ними только в том, что второй вариант валиден (не содержит в себе ошибки с точки зрения документации html). В остальном же оба варианта используются для скрытия от индексации поисковым роботом Яндекса (для гугла используются другие фишки) определенной части html кода страницы.

Пользоваться тегом noindex элементарно – достаточно просто заключить внутрь тега все содержание страницы, которое мы не хотим открывать поисковику.

Любопытным моментом также является то, что при его использовании не обязательно соблюдать принцип вложенности тегов html. Мы просто закрываем содержимое откуда хоти докуда хотим. Главное не забыть поставить закрывающий тег, иначе робот не увидит весь код страницы идущий после открывающего тега.

Особенности применения

1. Тег noindex закрывает от индексации весь код содержащийся внутри него КРОМЕ картинок и ссылок. Это вызвано в первую очередь тем, что для них предусмотрено использование атрибута nofollow.
2. Им СТОИТ пользоваться для скрытия кодов счетчиков сайта, форм подписок на рассылки, баннеров, часто повторяющегося контента (по типу цитат), слишком часто меняющихся фрагментов страницы, нецензурных выражений (рекомендация от авторов- вообще соблюдайте культуру речи и будет вам Добро).
3. Бесполезно его использовать для скрытия только ссылок, рекламы от яндекс директ и гугл адсенс.

Осторожно, переоптимизация! Или вредные советы для вебмастеров.

Многие «умелые» оптимизаторы давно приспособили этот тег для удовлетворения своих изощренных желаний в продвижении страниц. Рассмотрим до чего можно дойти и почему этого делать не стоит:

• Исключая лишние фразы и куски текста из содержания страницы можно изменять сниппеты (описания сайта в поисковой выдаче) по своему желания. Помимо глобальной потери времени этот подход еще грозит санкциями от поисковой системы, которая при «осознании» факта мошенничества вполне может ответить санкциями к и злишне ретивому мастеру.
• Если сниппеты для Вас это лишь детский сад, то можно пойти и дальше. А давайте покажем каждому поисковику свое содержание страницы? С учетом того, что noindex работает только в Яше, то достичь этой цели достаточно просто. Даже не знаю стоит ли писать что делают Гугле и Яндекс с теми, кого поймали на манипулировании алгоритмами поиска?
• Если в тексте использовано слишком много ключевых слов, то можно лишние ключи поскрывать этим тегом. Только почему не потратить это время на простое приведение текста в порядок? Вопрос для размышления. Таким подходом мы добиваемся: А- того, что текст остается заспамленным для пользователей ресурса; Б- яндекс не дурак и отлично понимает когда его пытаются обмануть, потому страницы с слишком часто используемым тегом noindex достаточно быстро «проваливаются» в поисковой выдаче.

Подводя итоги

Как noindex не крути, а он по-прежнему остается инструментом не белой, а серой оптимизации сайта. Не взирая на оправданность его использования во многих ситуациях, помните, что алгоритмы поисковых систем продолжают активно развиваться и поисковик и так понимает что и где у сайта расположено, хоть пока и не придает этому особого значения.

Из минусов также можно отметить то, что после появления поддержки в Яше атрибута nofollow весь рунет ожидает прекращения поддержки noindex. На сегодняшний день о этом ничего не слышно, но прельщаться этим не стоит.

Закрываем дубли от индексации. Noindex, nofollow и rel canonical

На финальных этапах разработки сайта необходимо обратить максимум внимания техническим аспектам оптимизации сайта. Задачей №1 для SEO специалиста является правильная и полная индексация сайта.

Индексация сайта

Индексация сайта – это автоматический процесс сбора информации о содержании сайта, который выполняют поисковые роботы. После чего данные страниц сайта попадают в поисковую выдачу.

Для того, что бы все страницы сайта успешно попали в поисковую выдачу мы должны проследить за тем, что бы все контентные страницы были доступны для поисковых роботов. Дать рекомендации поисковому роботу можно при помощи таких инструментов как robots.txt, а так же sitemap. Кроме проблемы доступности нужных страниц в поиске, есть еще и проблема скрытия от поисковых роботов ненужных данных (страницы пагинации, фильтров, и другие дубли). Нужно запомнить, что и robots.txt и sitemap носят преимущественно рекомендательный характер и могут привести к индексации нежелаемых данных. Что же делать что бы правильно закрыть дубли страниц от индексации?

Закрываем дубли при помощи команды Noindex, nofollow

То что гарантированно обеспечит отсутствие дублей в поисковой выдаче – это тег:

<meta name=»robots» content=»noindex, nofollow»>,

поисковый робот не при каких обстоятельствах не внесет в индекс информацию со страницы с таким тегом. Не имеет значения разрабатывает вам сайт веб студия или вы
используете готовое решение интернет-магазина, в любом случае дополнительная внимательность не помешает. Страницы на которых нужно использовать тег noindex, nofollow

Noindex, follow для страниц пагинации

В некоторых случаях желательно использовать вот такую комбинацию

<meta name=»robots» content=»noindex, nofollow»>.

Данная комбинация очень хорошо подходит для страниц пагинации. Дело в том, что поисковому роботу очень удобно индексировать новые статьи или товары проходясь по страницам пагинации, но в плане контента данные страницы бесполезны. Поэтому мы даем роботу команду что чтение данных страниц возможно, но добавление их в индекс запрещено.

Rel canonical

Еще один тег, который создан специально для улучшения индексации вашего сайта это тег rel canonical. В коде страницы он имеет такой вид: <link href=»ссылка основной страницы» rel=»canonical» />. Этот тег так же можно использовать для решения проблем страниц пагинации. Для того, что бы поисковая система не индексировала множество дублей, достаточно на все страницы пагинации добавить такой код, а вместо слов “ссылка основной страницы” указать например первую страницу пагинации (которая должна быть в индексе). На некоторых сайтах оптимизаторы используют данный тег на всех страницах, указывая в поле для канонической ссылки ссылки (основная страница) ссыклу самой страницы. Это так же помогает поисковой системе отсеять дубли, которые могли появиться при переходе по непрямой ссылке.