Всем хочется, чтобы опубликованные материалы мгновенно попадали в индекс и сразу же приводили посетителей. Особенно это актуально при продвижении в Яндексе, которому порой требуется несколько апдейтов для индексации новой страницы. А что если за это время истечет актуальность статьи? Получается, что вы зря потратили ресурсы на ее создание. Если вы хотите, чтобы статьи уже спустя пару часов после публикации были доступны в поиске, следуйте представленным ниже советам.

Почему не индексируется сайт?

Проблемы с индексацией сайта бывают трех типов:

• страницы долго индексируются (зачастую причина - в низкой частоте обновления контента на сайте, и робот просто реже его посещает; также проблема может крыться в плохой SEO-оптимизации, некачественном контенте и сайте в целом);
• страницы не индексируются ни Яндексом, ни Google (в этом случае нужно убедиться, что не установлен запрет на обход площадки роботами в robots.txt , настройках хостинга или в мета-тегах robots);
• страницы не индексируются только одним поисковиком (стоит проверить сайт на фильтры поисковых систем).

Последние две проблемы устраняются или очень легко (если нужно просто разрешить индексацию страниц) или очень долго (если придется выводить сайт из-под санкций Яндекса или Google). В этой же статье рассмотрим именно способы ускорения индексации.

Способы ускорения индексирования сайта поисковиками

1. Улучшите внутреннюю SEO-оптимизацию

Сделайте внутреннюю перелинковку

В теле статей ставьте ссылки на другие страницы сайта. Также добавьте похожие записи (в конце статей) и популярные или новые записи (в сайдбаре). Не делайте более 3-4 уровней вложенности - страницы на 5 и 6 уровне индексируются хуже.

Хотите научиться расставлять внутренние ссылки так, чтобы улучшить поведенческие показатели и позиции в поиске? В статье «Как сделать перелинковку для успешного SEO и роста конверсий » описаны все самые эффективные подходы.

Пишите полезные и уникальные тексты

Если вы размещаете плагиат или поверхностный рерайт, то не удивляйтесь, что страницы не попадают в индекс. Поисковики считают такой контент дублирующимся и не несущим ценности для пользователей. О том, какими должны быть грамотно оптимизированные тексты для сайта, читайте .

Чаще публикуйте записи и обновляйте страницы

Поисковики любят «живые» сайты. Если несколько месяцев ничего не размещали, то робот перестает регулярно посещать сайт.

Как поддерживать актуальность сайта:

• публикуйте новые записи не реже 1 раза в неделю;
• добавляйте ссылки со старых страниц на новые материалы;
• актуализируйте и обновляйте информацию на сайте;
• настройте заголовки Last-Modified и If-Modified-Since (так поисковики будут обходить старые страницы только после внесенных на них изменений).

Устраните дубли на сайте

Дубли создают не только неудобства для вебмастеров, но и ухудшают качество сайта в глазах поисковиков. Они могут быть:

• явными (URL со слешем в конце и без него, с WWW и без WWW, с HTTP и HTTPS, с GET-параметрами);
• неявными (дубли страниц с комментариями, страницы товаров со схожими описаниями, страницы пагинации).

Устраняются они путем настройки 301 редиректа , указания канонических страниц , с помощью robots.txt. Все способы с примерами описаны в статье «Что такое дубли на сайте и как с ними бороться?» .

2. Используйте инструменты для вебмастеров

После запуска сайта обязательно зарегистрируйте его в панелях для вебмастеров: в Яндекс.Вебмастере и Google Search Console. Так вы сообщите поисковикам о появлении нового сайта, сможете отслеживать динамику индексации, будете получать уведомления об ошибках.

После создания новой страницы или обновления старой необходимо уведомить об этом поисковики, чтобы ускорить индексацию (переиндексацию). Делается это с помощью так называемых «аддурилок» (от англ. «add URL» - «добавить URL»).

В Яндексе этот инструмент находится в Вебмастере (раздел Индексирование / Переобход страниц). Введите новый URL и нажмите «Отправить».

«Аддурилка» Яндекса

До изменения в 2018 году интерфейса Search Console в Google был инструмент, который позволял добавлять любую страницу для переобхода. До сих пор в сети «висит» масса статей со ссылками на этот инструмент и описанием его работы, но он больше не поддерживается .

Старая «аддурилка» Google

Новые страницы в Google уже не нужно куда-то добавлять для индексации - достаточно того, чтобы они были в sitemap.xml. А вот старые страницы, на которых вы изменили контент, можно переиндексировать быстрее. Для этого перейдите в новый интерфейс Search Console в раздел «Проверка URL», введите адрес интересующей страницы и нажмите кнопку «Запросить индексирование». Это сигнал роботу обойти страницу вне очереди.

Данные действия - не гарантия попадания страницы в индекс или ускорения процесса (сами же поисковики ничего не обещают). Но поскольку такие инструменты есть, ими грех не воспользоваться.

Когда на сайте 10, 100 или 1000 страниц, то о полноте индексации, как правило, переживать не стоит. Но если речь идет о большом проекте (в основном, это интернет-магазины) с сотнями тысяч документов (а порой и несколькими миллионами), то с индексированием могут возникнуть проблемы.

Ниже я расскажу, как улучшить индексацию, чтобы добиться максимального количества эффективных посадочных страниц в индексе поисковых систем.

Индексация - основа поискового трафика. Непроиндексированная страница не принесет посетителей из поиска. Плохое качество индексации - один из главных "звонков" о проблемах в ранжировании сайта.

Поисковые системы стали более избирательны, чем ранее. С каждым годом количество сайтов и, соответственно, страниц растет чуть ли не в геометрической прогрессии. Если добавлять в индекс все, что на них публикуется, то это будет дополнительными расходами на серверные мощности. Поэтому поисковики выбирают, что и сколько им индексировать.

От чего отталкиваться?

Нельзя просто ввести, например, в google site:domen.ru, посмотреть результаты и сказать, что мой сайт плохо индексируется. Почему? Во-первых, количество проиндексированных страниц необходимо смотреть в Google Search Console и/или Яндекс.Вебмастер. Данные из поисковой выдачи могут серьезно отличаться от реальных.

Во-вторых, полученное количество документов в индексе нужно сравнивать с числом полезных страниц ресурса. Что сюда входит:

1. Категории/разделы;
2. Карточки товаров;
3. Статьи в блоге;
4. Фильтры, метки или теги (если индексируются);
5. Обзоры пользователей;
6. Отзывы;
7. Служебное меню ("О компании", "Услуги", "Оплата", "Доставка" и т. п.);
8. Бренды/производители;
9. Новости

В общем, необходимо проанилизировать структуру проекта и сложить количество всех полезных страниц. Затем полученную сумму сравнивать с числом документов в индексе по данным поисковых систем. Если:

Главные задачи:

1. запретить к индексации все лишнее на сайте;
2. давать только измененный и непроиндексированный контент;
3. помочь поисковым системам найти важные страницы.

1. Настройте Last-Modified и If-Modified-Since

Это HTTP-заголовки, которые сообщают индексирующему роботу о последнем изменении страницы. Если она изменена, то он зайдет на нее и проиндексирует (в случае если о ней до этого не знал)/переиндексирует. Если нет (сервер возвращает ответ "304 Not Modified") - проигнорирует и перейдет к другой.

Зачем это делать? Дело в том, что у каждого ресурса имеются свои ограничения по количеству просканированных документов за раз - краулинговый бюджет. На его величину влияет качество проекта, актуальность контента, частота обновлений и т.п.

В итоге краулинговый бюджет не тратится на неизмененные страницы - увеличивается число проиндексированных документов.

2. Избавьтесь от дублей и "мусорных" страниц

Второй по счету, но не по важности пункт. Краулинговый бюджет может тратиться не только на неизмененный контент, но и также на дубли и "мусор". Что сюда входит? В основном это страницы:

• поиска;
• с ошибками 404;
• календаря;
• с сессиями в URL;
• фильтров;
• тегов/меток;
• с некачественным контентом: пустые, спамные;
• служебные (корзина, административная панель);
• с версиями для печати;
• сортировок.

Это далеко не полный список. Все случаи индивидуальны. Как правило, качественный аудит расставляет точки над i .

На заметку . Редиректы и альтернативные страницы ( , hreflang и, вероятно, ) также забирают краулинговый бюджет.

3. Организуйте грамотную перелинковку

Пункт "лежит" на поверхности, но не все им пользуются. - сильный фактор для улучшения индексации. На что здесь можно обратить внимание:

• блок "похожие товары";
• сопутствующее;
• популярные;
• со скидкой и по акции;
• предыдущий/следующий товар;
• хлебные крошки

Чем меньше вложенность страниц, тем лучше для индексации. Следите, чтобы до любого документа можно было добраться с главной за 3-5 кликов.

4. Создайте Sitemap: XML + HTML

Тоже общеизвестный пункт, но со своими особенностями. Частые ошибки:

• неработающие подкарты со старыми урлами (когда-то все работало, но спустя время перестало - необходимо иногда проверять sitemap);
• все ссылки на одной странице (ограничение 50.000 URL на одну карту; если больше - создавать несколько подкарт);
• sitemap на поддомене (нужно публиковать карту в рамках основного доменного имени).

Есть следующий интересный способ. В карту сайта добавляются не все, а только непроиндексированные документы. Сам такой метод не тестировал, но логика в нем несомненно имеется . Первое - реализовать подобное будет не совсем просто (необходима дополнительная разработка, взаимодействие с Яндекс.Вебмастером/Google Search Console). Второе - использовать только тогда, когда стоит задача добавить в индекс, действительно, большое количество URL"s.

5. Уменьшите время загрузки сайта и оптимизируйте сервер

Многие вебмастера знают, что если сканировать медленный сайт, например, Screaming Frog SEOSpider или XENU, то программы работают существенно дольше. У индексирующих роботов схожий принцип работы. Чем меньше 5хх-ошибок и быстрее:

• ответ от сервера;
• генерация страниц;
• отдача контента;
• и т. п.

тем легче поисковому пауку будет взаимодействовать с сайтом, тем полнее он будет индексироваться.

Пункт важен не только в индексации, но и в рамках ранжировании. Им в принципе пренебрегать не стоит.

6. Плавно увеличивайте число страниц

Поставьте планировщик, который будет публиковать все страницы постепенно. Например, можно разделить общее количество на 2-6 месяцев (в зависимости от масштабов). Так поисковому роботу будет легче индексировать ресурс. Дополнительный бонус - раз проект постоянно обновляется, то он развивается (сигнал для ранжирования).

7. Направьте трафик на непроиндексированные страницы

"Трафик и индексация, где здесь связь?" - спросите вы. Раньше, может быть и не было, но сейчас есть. 2 пункта:

• Сервисы статистики (например, Яндекс.Метрика) могут отправлять непроиндексированные документы на индексацию. Что мешает Google Analytics делать то же самое (хотя официальных подтверждений я не нашел).
• Браузеры (Яндекс.Браузер, Google Chrome) могут поступать аналогично.

Логика в следующем: раз страницу посещают, то, скорее всего, она полезная, а значит должна быть в индексе. Устанавливайте сервисы статистики от поисковых систем и приобретайте трафик. Не обязательно дорогой контекстный. Можно задействовать и другие источники:

• социальные сети;
• тизерные системы;
• задания на почтовиках;
• САРы.

Соответственно, "лить" трафик на непроиндексированные документы.

8. Поставьте ссылки

Еще один дополнительный сигнал поисковым системам о том, что сайт нужно индексировать наиболее полно. Вечные ссылки на каждую страницу, конечно же, не поставишь. Здесь больше важен общий уровень доверия со стороны поисковиков.

Можно использовать общую ссылочную стратегию для основных продвигаемых страниц (будет также полезно). Немного "рискованный" вариант - использование арендных ссылок, но без фанатизма (подбирать , высокий уровень вложенности и использовать ).

Добавить в индекс несколько миллионов документов не совсем простая задача. В каких-то случаях может помочь только 1-2 пункта, но лучше использовать весь комплекс. А какие способы вам кажутся самыми эффективными? Может быть, вы знаете другие варианты? Буду рад пообщаться с вами на эту тему в комментариях.

Индексация в поисковых системах – добавление сведений о сайте в базу данных, которая используется при выводе результатов поиска информации. Результаты поиска:

Индексацию выполняет робот поисковой машины.

Для чего необходимо ускорить индексацию сайта в Яндексе и Google

Увеличение скорости индексации защищает сайт от воровства статей. Проблема возникнет, когда текст опубликуют на ресурсе, который индексируется быстрее. Из-за этого пользователи чаще увидят информацию оттуда, а поисковая система решит, что все остальные копии - заимствование текста.

Обычно страницы попадают в индекс с запозданием в 3-15 дней. Понятно, что для новостных и событийных ресурсов это – огромная проблема. Часто Вас интересуют новости двухнедельной давности?

От скорости индексации косвенно зависит позиция сайта в списке результатов поиска и количество посетителей ресурса.

Особенности ускоренной индексации сайтов поисковыми системами

Существуют отличия в процессе индексации сайтов разными поисковыми системами. Обычно получается, что Google индексирует новую страницу раньше, чем Yandex.

Индексация Гуглом занимает 2 или 3 суток. Страница попадает в индекс и становится доступной для пользователей.

Чтобы увидеть, в какую сторону развивать сайт для его быстрой индексации гуглом – достаточно посмотреть результаты поиска за последние 24 часа по Вашей тематике.

Индексация Яндексом происходит иначе. Страницы попадают в индекс при обновлении поисковой выдачи. Есть система «быстробот», с помощью которой страница может оказаться в поисковой выдаче буквально в течение дня.

Если это произошло, то можно не ждать обновления выдачи Яндекса.

Виртуальный хостинг сайтов для популярных CMS:

Есть ряд способов, с помощью которых ускоряют индексацию сайта.

Регистрация в панелях для Вебмастеров поисковых систем.

Специальные сервисы созданы для ведения истории сайтов – их индексации, анализа ключевых слов и переходов. Добавление сайта в «Яндекс Вебмастер» и «Вебмастер Google» позволяет выполнить много полезных для ускорения индексации действий.

Панели для вебмастеров расположены по адресам https://webmaster.yandex.ru для Яндекса и https://www.google.com/webmasters/tools для Google. Для работы с сервисами Google требуется регистрация Гугл-аккаунта (для Яндекса соответственно – аккаунта в системе Яндекс).

Полезно зарегистрироваться для работы с панелями разных систем поиска – Рамблер, Yahoo, Апорт и других.

Добавление новой страницы в Аддурилки поисковых систем

Внесение страницы в Add Url – единственный рекомендованный Яндексом путь ускорения индексации.

Создание правильного файла robots.txt

В документ «robots.txt» заносят правила индексации сайта и ссылок. Такой файл возможно сделать самостоятельно, но для этого есть и специальные сервисы.

Готового рецепта тут нет, т.к. в зависимости от используемого движка сайта нужно закрывать «лишние» файлы и папки. Вот пример robots.txt для интернет магазина на OcStore (русская ветка OpenCart)

Готовый файл помещают в корневую папку сайта. После этого файл также проверяется сервисами для вебмастеров.

Если, например, не указать параметры сортировки – это может повлечь за собой попадание в индекс сотен и тысяч одинаковых страниц. В итоге поисковая система сочтет их дублями и «выкинет» из индекса все, кроме одной. Шанс, что эта одна и будет максимально отвечать на вопрос пользователя – минимален.

Поэтому найдите для своего движка сайта рекомендуемый robots.txt с пояснениями что и почему закрывается. Очень важно – не добавляйте туда что попало. Например, одна-единственная директива «Disallow /» без указания конкретной страницы запретит к индексации весь сайт. То есть, ни одна страница Вашего сайта не будет показываться в результатах поиска.

Создание карты сайта в формате sitemap.xml

Файл «Sitemap.xml» создается специально для поисковых систем. В нем содержится список страниц для индексации. Каждую новую статью надо внести в карту sitemap.xml.

Карта формата xml должна быть проверена на правильность перед загрузкой в инструменты для вебмастеров.

Создание карты сайта в формате html

Карта требуется для всех ресурсов. Хорошо, если на ней обозначены все страницы сайта.

Когда на сайте появилась новая статья, её нужно сразу внести в карту html. Файл создается для индексации и удобства пользователей.

Качество и частота написания уникального контента для сайта.

От частоты появления новых статей зависит, как часто робот будет посещать сайт. Регулярное добавление новой информации в разы увеличивает скорость индексации. Считается полезным создание жесткого графика появления новой информации – 1 раз в 3 дня или 2 раза в неделю. Робот будет заходить на сайт по этому расписанию и искать новые статьи.

Поэтому новостные ресурсы публикуют десятки страниц в день – это залог того, что робот поисковых систем будет посещать такой сайт ежедневно. По этим же причинам очень быстро в результатах поиска появляются записи в соцсетях.

Контент низкого качества негативно влияет на индексацию. Не рекомендуется допускать:

• копирования чужих статей;
• публикации текста с большим количеством ошибок;
• добавления статей с высокой плотностью ключевых фраз.

Объем статьи тоже влияет на скорость индексации. Желательно публиковать информацию длиной не менее 1500 символов и уникальностью выше 80 – 90%. Полезно добавить к статье хотя бы одну картинку.

Использование социальных сетей.

Минимум, который можно и нужно делать – кросспостинг в соцсети. Т.е. материалы сайта размещаются либо полностью, либо частично в социальных сетях.

Поисковые системы следят за появлением новой информации в сервисах социальных закладок – Toodoo, БобрДобр, МоеМесто, Delicious. Для увеличения скорости индексирования страницы можно оставлять там ссылки на неё. Популярность закладок минимальна, но способ еще работает.

Размещение внешних ссылок на новые статьи сайта.

Кроме самостоятельного добавления ссылок из социальных сетей, можно заказывать их. Они быстро индексируются и помогают в этом другим сайтам. Недорого можно заказывать можно ссылки из ЖЖ.

На сегодняшний день зависимость скорости индексации от появления внешних ссылок минимальна. С учетом высокой стоимости таких ссылок на «крутых» сайтах – дешевле ежедневно публиковать свой тематический контент на своем сайте.

Добавление сайта в различные рейтинги

Перелинковка страниц сайта.

Перелинковка сайта улучшает результаты выдачи и ускоряет индексацию. Суть метода – связь всех статей ссылками. Особенно это важно для молодых сайтов.

Пример перелинковки на нашем сайте:

Популярный способ – создание виджета в садбаре последних статей. Наличие ссылки на новую информацию на всех страницах сайта ускоряет скорость реакции робота на появление новой информации на сайте.

Другие способы ускорения индексации

1. Создание RSS-трансляции на сайте. Существует способ распространения ссылки на новую страницу по базе сайтов. Для этого подходит программа Pingxpetfree и другие rss-ленты. Рекомендуется создать аккаунт в Feedburner и транслировать записи туда.
2. Использование «правила трех кликов». Для улучшения индексации и поведенческих факторов сайта рекомендуется распределить страницы таким образом, чтобы до них было не более трех переходов от главной.
3. Анонсирование новых статей. Регулярное анонсирование новых статей в блогах и социальных сетях привлекает на сайт робота. Скорость индексации растет из-за ссылок из Twitter, ВКонтакте, LiveJournal, LiveInternet. Успех применения метода зависит и от популярности страницы в социальной сети или блогплатформе.
4. Общение на форумах Сообщения и комментарии на форумах и в блогах подходят для индексации нового сайта. Чтобы использовать этот метод, стоит обратить внимание на популярные и хорошо индексируемые ресурсы. Для привлечения робота к каждой записи использовать такой способ не стоит.
5. Добавление кнопок социальных сетей на сайт. Добавление кнопок социальных сетей упрощает процедуру копирования ссылки на страницу. Нажатие этих кнопок пользователями поможет увеличить и посещаемость ресурса.

Как видите, существует множество способов ускорить индексацию сайта в Яндексе и гугле, причем часть из них помимо индексации способны привести к Вам на сайт заинтересованную аудиторию.

Век живи, век учись. Отличная поговорка, которая еще раз напоминает нам о том, что невозможно объять необъятное и узнать все сразу. Надо сказать спасибо, что об этом способе я все-таки узнала, лучше поздно, чем никогда. Если вы еще не знаете, как быстро проиндексировать новую статью, то читайте внимательно и не пропустите эту фишку: «Как ускорить индексацию статьи в Google».

Для начала выложу свой результат ускорения попадания статьи в Google. Сразу скажу, что 4 минуты — не самый быстрый результат, так как я совершенно случайно вспомнила о том, что нужно об этой фишке рассказать своим читателям, и только после того, как я проделала все действия по расшариванию статьи, решила проверить ее в поиске Гугла. Очень была обрадована, что на третьей странице поиска я нашла свежую, только что написанную статью.

Что нужно сделать?

Нужно зайти в инструменты веб-мастера Google, и найти слева, на панели управления раздел «Сканирование». Выберите в этом разделе пункт «Посмотреть как googlebot».

Введите адрес страницы или сайта без названия домена и нажмите «Сканировать», затем — «Добавить в индекс». После этого в появившейся форме нажмите «Сканировать только этот URL».

Еще раз обращаю ваше внимание: если адрес страницы https://сайт/internet-uroki-soveti/kak-uskorit-in…stati-v-google, вводить нужно только internet-uroki-soveti/kak-uskorit-in…stati-v-google. После проделанных вами действий страница отобразится в панели со статусом «готово». Если вы на картинке заметили статус «частично выполнено», то это как раз следствие неправильно введенного адреса страницы. Ошиблась)) Бывает и такое.

Еще одна фишка

Но это еще не все. Ускорить можно и индексацию всего сайта. Целиком. Вы наверное видели в панели инструментов вебмастера диаграмму с количеством проиндексированных страниц сайта. На картинке данные двух сайтов:

Больше всего пугает первая картинка, где количество проиндексированных страниц сильно отличается от количества отправленных в индекс. То есть, я их отправляю в индекс, а индексироваться они не хотят категорически. Что будем делать? Будем лечить, а именно, отправим в индекс карту sitemap.xml. Точно так же, как мы это сделали со страницей сайте в разделе «Посмотреть как googlebot». Таким образом, мы попробуем обратить внимание поисковика на наш сайт и будем внимательно следить за изменением ситуации.

Если Google не желает самостоятельно заглядывать на наши сайты, отправим ему личные приглашения, верно? Ведь вовремя проиндексированные статьи направят к нам посетителей, страждущих найти ответы на свои вопросы, чего, собственно, мы и добиваемся — увеличения посетителей из поисковых систем.

Если вы уже убедились в том, что ваша статья или сайт проиндексированы, то можно и отдохнуть. Предлагаю вам посмотреть классное видео про Северную Корею. Просто красиво!

Дорогие читатели, сегодня мы поговорим об ускорении индексации сайта или блога.

Что такое индексация сайта? Это добавление ваших вновь написанных статей в индекс (базу) поисковых систем. Т.е. чем быстрее поисковый робот пришел на ваш сайт и скопировал к себе новые статьи, тем быстрее они проиндексируются и тем лучше! Сейчас я обо всем по порядку расскажу.

Почему важно ускорить индексацию сайта

Для ускорения индексации, конечно, наиболее важна XML карта сайта. Не забудьте указать ее адрес в вебмастере и файле robots.txt. Данный способ хорош тем, что нужно один раз сделать и забыть.

Настройте файл robots.txt

Используйте Аддурилки поисковых систем

Аддурилка (англ. Add URL – добавить адрес) – сервис, через который можно сообщить поисковой системе о выходе новой статьи. Это своего рода очередь на индексацию, в которую вы становитесь, написав новую статью.

Кроме того, добавив статью в аддурилку Яндекса вы получите ответ по результату индексирования. Или сервис сообщит вам об ошибке или невозможности индексации статьи. Так что данный сервис очень удобен для ускорения индексации сайта, конечно, если вам не лень каждый раз добавлять в него статьи.

Настройте пинг

Пинг – сигнал, который ваш сервер посылает поисковым системам при публикации статьи. Этот сигнал сообщает, что новую статью необходимо проиндексировать. Данный способ ускорения индексации сайта так же удобен тем, что не требует никаких действий, кроме разовой настройки.

Настраивается просто: зайдите в «Параметры» -> «Написание». В самом низу в «Сервисы обновления» впишите список пинг-северов. Полный список скопируйте из .

О том, как ускорить индексацию сайта яндексом и гуглом можно говорить бесконечно. Рассмотренные способы – самые удачные и полезные на мой взгляд.

Я советую вам использовать как можно больше из перечисленных способов для ускорения индексации сайта, и результат не заставит ждать. Но если вы знаете еще какие-то важные и действенные способы, непременно пишите в комментариях.

Всем быстрой индексации!