Индексация сайта, страниц: как ускорить, как закрыть от индексации

Оглавление

Начинающему вебмастеру приходится разбираться во многих сложных терминах и процессах. Разработка сайта – это лишь первый шаг, чтобы на него приходили посетители, необходимо заниматься продвижением, а индексация является основным этапом, она предполагает добавление проекта в базы поисковых систем и прочих сервисов.

Что такое поисковая индексация сайта (веб индексация) – как закрыть или ускорить, сколько она длится по времени, как её запустить? Обо всём этом мы расскажем на данной страничке. Вопросы актуальные как никогда, прирост сайтов только увеличивается, а вместе с этим растет количество новичков, которым нужны ответы.

Индексация страниц сайта

Процесс индексации сайта подразумевает сбор данных о ресурсе и его отдельных страничках, с целью их предоставления в поисковой выдаче. Простыми словами, это когда боты Гугла, Яндекса и прочих сервисов собирают информацию и добавляют её в результаты поиска в соответствии с подходящими запросами.

Не всем нужна индексация, некоторые проекты собирают трафик без поисковых систем. К примеру, если они наполнены не уникальным контентом, площадку быстро исключают из базы. Приходится использовать альтернативные способы продвижения – ссылки, социальные сети, видеохостинги, реклама и так далее.

Рекомендуем использовать разные инструменты для тестирования сайта, они помогают определить слабые стороны, собирать статистику, создавать стратегию продвижения и не только.

Трафик из поисковых систем является ценным, потому что это целевая аудитория и добывается он бесплатно. Запустить индексацию не сложно, есть несколько способов, а также с помощью различных хитростей, её удается ускорить. Если поисковый бот увидит хотя бы одну страничку, он обязательно проверит и другие (если они не закрыты от индексации).

Что входит в индексацию сайта?

При сканировании площадок, используется сразу несколько роботов. Одни сначала собирают основную информацию, другие её структурируют, а потом анализируется множество факторов. Какие данные проверяются при индексации сайта? Перечень огромный, по-другому не получится выдавать действительно релевантные результаты в поиске.

Внешние и внутренние ссылки;
Заголовки, ключевые слова;
Title и description;
Карту сайта;
Скорость загрузки;
Юзабилити сайта;
Ошибки в коде;
Сложность и уникальность текста;
Структура сайта.

Это лишь небольшая часть критериев, проверяемых ботами. После индексации начинается ранжирование, это процесс распределения позиций в выдаче. Если добавить сайт в поисковые системы не составляет труда, то вывести его на первые места крайне сложно и это уже отдельная тема.

Как проверить индексацию сайта?

Проверка индексации сайта возможна несколькими способами. Самый простой – сделать запрос в поиске. Чтобы не пытаться отыскать ресурс по ключевым словам, используйте специальную команду site:адрес.сайта. В этом случае поисковик выдаст странички только по указанному домену:

За индексацией опытные вебмастера следят через официальные сервисы от поисковых систем – Яндекс Вебмастер и Гугл Консоль. В них собирается подробная статистика о площадке, можно посмотреть не только на проиндексированные странички, но ещё и проверить запросы, посещаемость и многое другое:

В сервисе для вебмастеров от Яндекса под индексацию выделен целый блок, где можно посмотреть статистику обхода (роботом вашего сайта), проверить статистику страниц в индексе, посмотреть структуру, проверить по ссылке, посмотреть карту сайта, заголовки и описания, получить прочую информацию.

Также много данных по индексации представлено в Google Search Console, об этом инструменте у нас есть подробная статья.

Ещё один способ проверки индексации – использование сервисов для проведения аудита сайта. Они позволяют проанализировать ресурс и получить о нём множество данных, в том числе и о страничках, которые добавлены в поисковые системы:

Этот пример взят с сервиса Pr Cy. На главной странице есть строка для ввода адреса сайта. Указываешь ссылку и запускаешь проверку, потом получает данные, среди которых указано, сколько страниц добавлено в Яндекс и Гугл. Также для этого пригодятся следующие инструменты:

Убедиться, что поисковые системы уже проиндексировали сайт, не сложно. Также с помощью некоторых инструментов можно проверить индексируется ли определенная страничка или узнать общее количество страниц, добавленных в основные поисковики.

Как добавить сайт в индексацию?

После запуска ресурса он не попадает в поиск, роботы обходят практически весь интернет, но им нужно указать адрес. Есть два варианта открыть сайт для индексации:

Использовать сервисы для вебмастеров от Google и Яндекса. Регистрируйтесь, добавляйте площадку, можете воспользоваться функциями переобхода, добавить файл Sitemap, но и без этого, ресурс начнут индексировать.
Более долгий вариант – оставить где-нибудь ссылку на сайт. Рано или поздно, роботы увидят её и начнут процесс индексации. Важно, ссылка должна быть размещена на индексируемом сайте. Однако, это не дает никаких гарантий.

Лучше воспользоваться первым способом, иначе придется ждать и надеяться. Также учтите, что перед добавлением ресурса в поисковую выдачу, его проанализируют. Есть масса причин, по которым могут отказать, например, наличие вредоносного ПО или отсутствие уникального контента.

Время индексации сайта

Невозможно спрогнозировать, когда поисковые боты полностью проанализируют сайт и добавят его в выдачу. Отправить сайт на индексацию не сложно, потом остается только ждать. В среднем у Google на это уходит неделя, а вот Яндекс справляется за 2-3 недели. В Яндекс Вебмастере есть раздел «Статистика обхода»:

Вот вам конкретный пример, с 25 ноября по 1 января робот проверял ресурс 2 раза – 29 ноября и 1 декабря. За месяц получается примерно 2 раза, но промежуток между посещениями всего несколько дней. Более того, не факт, что после очередной проверки, будут проанализированы все страницы.

Как ускорить индексацию сайта?

Часто пользователи жалуются, что их площадки долго индексируется. Дольше всего приходится ждать владельцам новых ресурсов. Возможно, это займет больше месяца, но потом, если вы будете регулярно добавлять новые материалы, скорость увеличивается. Так, самая шустрая индексация обычно у новостных порталов. Несколько способов ускорить процесс:

Добавить сайт в Google Search Console и Яндекс Вебмастер, добавить там файл Sitemap;
Регулярно добавлять новый контент (делать равномерно, не выкладывать всё и сразу);
Устанавливать внутреннюю перелинковку между новыми и старыми страницами;
Публиковать ссылки на новые странички в открытом доступе (например, в соц. сетях);
Используйте качественный хостинг с хорошим аптаймом (Provisov.net или Host4biz);
В Яндекс Вебмастер используйте функцию «Переобход страниц»;
В Google Console есть похожий инструмент (Проверка URL → Запросить индексирование);
Добавьте на главную страницу блок, где будут размещаться ссылки на новые посты;
Размещайте анонсы новых страничек на других ресурсах (форумы, дзен и т.д.);
Используйте систему тегов, они также будут повышать видимость страничек;
Регулярно обновляйте sitemap.xml, на крупных сайтах можно сделать несколько версий.

Сделайте максимально удобную и продуманную структуру сайта, есть правило 3 кликов, по которому на любую страничку с главной можно перейти, выполнив максимум 3 перехода. Ускоренная индексация сайта постепенно становится постоянной, если в этом есть смысл для поисковиков (т.е. часто появляется что-то новое).

Сайт закрыт от индексации, что это значит?

Индексация сайта в поисковых системах может и не проводиться вовсе, либо по каким-то причинам процесс приостановили. Если просто робот долго не заходит на ресурс, стоит ещё подождать. А если проблема длится уже более 2 месяцев, стоит зайти в сервисы для вебмастеров, где должны быть выведены уведомления. Частые причины:

Установлен запрет индексации сайта;
Появились технические проблемы в работе сайта;
Сайт попал под фильтры поисковых систем (например, за неоригинальный контент);
Сервер недоступен (проблемы у хостинг-провайдера).

Технические проблемы нужно решать самостоятельно, провайдера хостинга легко поменять. Про запрет индексации расскажем отдельно. Самое страшное – попадание под фильтры. Их поисковики накладывают на сайты, которые по ряду причин относятся к не качественным. Такие площадки вылетают из выдачи и в будущем больше не индексируются. За что накладывают санкции?

Большая исходящая ссылочная масса;
Не качественная внешняя ссылочная масса;
Не уникальный контент;
Размещение скрытого текста;
Переспам ключевыми словами;
Не качественный контент (много воды).

Это далеко не все причины, попасть под фильтры можно по множеству причин, начиная с попытки собирать лишние данные о посетителях и заканчивая накрутками поведенческих факторов. Правда некоторые санкции не предусматривают исключение из выдачи или отказ от индексации, а в виде наказания ухудшаются позиции.

Как закрыть сайт от индексации?

Вебмастера могут по своему усмотрению отключить (запретить) индексацию сайта. Кто-то делает это после запуска, чтобы сначала доработать проект, кто-то закрывает некоторые странички, могут быть иные причины. Делается это тремя способами:

Через robots.txt

Файл robots.txt добавляется в корневую директорию сайта, он служит для управления индексацией. Там прописываются команды для закрытия всего ресурса или отдельных страничек. Для этого используется команда Disallow. Подробную и актуальную информацию вы найдете в официальной справке Яндекса.

Тегом noindex

Самый простой способ – в коде странички добавить тег noindex. Удобный вариант, когда нужно закрыть от индексации определенную страничку. Чтобы этим воспользоваться, необходимо в начале HTML кода поставить открывающий тег <noindex> и в конце закрывающий </noindex>. Также их можно установить для определенной части текста или на внешние ссылки.

Авторизацией

Даже если установлены запрещающие команды и теги, индексация сайта поисковиками всё равно может проводиться, потому что на странички есть ссылки на сторонних ресурсах. Чтобы гарантировано закрыть их от проверки, сделайте доступ с авторизацией (требуется вход для просмотра).

Используйте наш список бирж и форумов по купле и продаже ссылок, через них можно приобретать внешние ссылки, чтобы ускорилась индексация новых сайтов.

Если вы заметили, что сайт долгое время не индексируется, хотя никаких уведомлений в Яндекс Вебмастер или Гугл Консоль нет, обратитесь в поддержку. А если намерено закрыли некоторые странички, это можно проверить через сервисы, о которых рассказывалось выше.

Вопросы и ответы

С индексацией сайтов связано много вопросов, новички интересуются не только тем, как проходит данный процесс и сколько времени занимает. Пробежавшись по форумам, мы собрали самые популярные из них:

Как поисковые системы находят странички для индексации?

Основная масса – это добавляемые пользователями ресурсы, через сервисы для вебмастеров от поисковых систем. Также проверяются документы и страницы, на которые размещаются ссылки и те, которые попадаются роботу при сканировании всего интернета.

От чего зависит скорость индексации?

Факторов много, основные из них – это частота публикации контента, наличие внешних и внутренних ссылок, подключенные инструменты (RSS, реклама, автопостинг в соц. сети) и технические моменты (оптимизация, структура, правильный robots, sitemap).

Индексация через обход по счетчикам, что это?

В Яндекс Вебмастер есть пункт обход по счетчикам, который позволяет автоматически отправлять на индексацию странички, на которых установлен счетчик от Метрики (через него определяются новые страницы).

Настройка скорости обхода, как ей пользоваться?

Ещё один инструмент в Яндекс Вебмастер, позволяющий установить частоту обхода, но она в первую очередь всё равно будет зависеть от общих обходов роботом, поэтому тут лучше оставить пункт «Доверять Яндексу».

Что мешает индексации сайта?

Проблемы с индексацией возникают из-за низкокачественного контента, дублей страниц, сложной структуры, ошибок при открытии страничек, технических недочетов, медленной загрузки, большой длины URL, веских документов или большого количества ссылок.

Что такое Краулинговый бюджет?

Из-за огромного притока новых сайтов и страничек, поисковые системы были вынуждены ввести ограничения. Роботы сканируют только несколько страниц за раз. Повилять на это невозможно, а привилегии получают трастовые крупные ресурсы.

Хочешь сделать свой сайт популярным и собирать много посетителей? Тебе пригодится автоматическая раскрутка сайта с Rookee.

Не нашли ответа на свой вопрос? Задавайте его в комментариях. Ещё лучше, обратиться за помощью в поддержку Яндекс Вебмастер, операторы более развернуто всё объясняют, плюс там есть большая и полезная справка.

Заключение

Сделать свой сайт индексируемым, это далеко не всё, что нужно. Попав в поисковую выдачу, сайт может быть на самых низких позициях и такие ссылки не приведут много трафика, поэтому нужно заняться оптимизацией и продвижением. Как повысить позиции своего сайта, это уже отдельная тема, которую мы также разберем в других статьях.

Что такое индексация сайта и как её ускорить?