Индексирование страниц сайта: на этом погорели сотни интернет-проектов
, Автор: Алексей Широковit seo Алексей Широков блог сайт
Когда заказчик или руководитель бизнеса начинает говорить про SEO, в его голове все очень запутано. Какие-то поверхностные знания по подбору ключевых слов мешаются с рекламными кампаниями, SMM-продвижением, узнаваемостью бренда, личностной историей.
Весь этот винегрет «конкретно» мешает делать бизнес в интернете. Проблема даже не в том, что нужно знать все термины, ориентироваться на местности и вести правильный диалог со специалистами. Все сложности обычно начинаются с беспорядка в голове.
Что же такое SEO?
Search Engine Optimization (SEO) — это оптимизация любых интернет-ресурсов под поисковую выдачу. Другими словами, набор правил для попадания в эти самые поисковые системы на какие-то места в рейтинге по запросу.
По факту, целью SEO является адаптация вашего интернет-ресурса (сайта, странички) под выдачу Яндекса, Гугла и других поисковых систем.
Давайте упростим термин. Общий принцип SEO — это порядок на сайте с учетом правил, предлагаемых представителями поисковых систем.
Проблемы с индексацией страниц
Индексация в поисковых системах (ПС) — это процесс, при котором поисковые роботы сканируют, анализируют и сохраняют информацию о веб-проектах в своих базах данных.
Собственно основная проблема попадания в индекс — нарушение набора правил, которые предлагают ПС для показов вашего сайта в ТОПах.
Этих правил совсем немного — правильная работа карты сайта, готовый файл robots.txt и корректная работа мгновенных индексаторов типа API.
Почему сайты не попадают в индекс?
В первую очередь из-за разгильдяйства руководителей интернет-проекта. То у них нет денег на SEO-специалиста и программиста, то у них есть более приоритетные задачи, боссы экономят на обучении и росте своей команды, и прочее прочее прочее.
Для 100% индексации страниц поисковыми системами у вашего сайта должны быть:
- Файл robots.txt с прописанными в нем адресами файлов sitemap.xml
- Сам файл карты сайта должен находиться по адресу https://site.com/sitemap.xml
- Ваш сайт должен быть добавлен в панели вебмастеров — Яндекс Вебмастер и Google Search Console
- На сайте должны быть настроены (через API) мгновенные индексирования: IndexNow — Яндекс и Google Indexing API
- Яндекс Метрика должна быть подключена на сайт и подвязана к сервису Яндекс Вебмастер
- В Яндекс Вебмастере должен быть активирован обход по счетчикам
- Google Analytics привязывается к Google Search Console
Кроме этих семи базовых пунктов еще есть некоторое количество «помощников» для индексирования страниц сайтов, но они второстепенные.
«Казалось бы, несколько простых пунктов и мы можем быть в ТОПе!» — скажет себе руководитель. Всё бы хорошо, но это иллюзия. Сказать — не сделать. Решение всех этих задач может занять приличное время, особенно если в штате нет готового специалиста. Иначе бы вопрос по попаданию в поиск не был бы актуален.
ROBOTS.TXT
В первую очередь нам надо оповестить поисковых роботов о том, что у нас вообще есть карта сайта. Первым, куда «ломятся» роботы ПС — это файл c адресом site.com/robots.txt
В интернете миллион статей на тему «Как сформировать файл robots.txt», кроме того ИИ-системы здесь будут в помощь. Создали файл, далее в конце руками прописываем все ваши карты сайта, как показано на картинке ниже.
Файл robots готов. Сохраняем и публикуем. Роботы регулярно будут его читать.
Карта сайта
Файл sitemap.xml Можно создать руками, или в вашей административной части. Если сайт посложнее (более 20 000 страниц) — обращайтесь к программистам с задачей по формированию умной карты.
Древовидная структура карты сайта
Для тех, кто только начинает — карты сайтов бывают двух типов
- Файл индекса Sitemap: https://site.com/sitemap.xml
- Sitemap: https://site.com/sitemap_1.xml
Условно говоря файл sitemap_1.xml находится в виде ссылки на странице https://site.com/sitemap.xml. На картинке ниже пример множественных вложенных карт сайта.
Обратите внимание, в одной карте не должно быть больше 10000 записей. Не в смысле того, что совсем такое ограничение. Просто 50К записей будет очень долго открываться. Поисковый робот может определить долгую загрузку, как ошибку. Поэтому не целесообразно делать одну карту из 1 000 000 записей.
Итак, с горем пополам у нас есть правильные структурированные файлы:
- https://site.com/robots.txt
- https://site.com/sitemap.xml
- https://site.com/sitemap_1.xml
- https://site.com/sitemap_2.xml
- https://site.com/sitemap_3.xml
Вроде бы все хорошо, задача выполнена, а страниц сайта в поиске нет. Новичок скажет: Я все сделал правильно, по инструкции и без ошибок. Где же мой трафик?
Не будем подробно рассказывать в этом материале, как создавать файлы sitemap.xml — в помощь информационные SEO-блоги. Об этом написаны десятки тысяч статей. Более того, на сайтах типа Тильды есть инструкции, в ВордПрессе и других админках — SEO-плагины создают карты сайтов. У крупных брендов за эти задачи отвечает специальный человек. В общем, информация на эту тему хорошо изложена в интернете. Ищите!
Дальнейшие действия
Заводим 2 почты под бизнес. Одну на Гугле, вторую на Яндексе. Далее проваливаемся в аккаунты и идем по адресам сервисов Google Search Console и Яндекс.Вебмастер соответственно.
- Добавляем свои сайты в панели вебмастеров, получаем коды для размещения на страницах сайтов или через файлы на сервере.
- Подтверждаем в панелях Гугла и Яндекса, что коды (записи) уже есть на сайте.
- В разделах сервисов(где идет взаимодействие с картами сайтов) добавляем руками все адреса Sitemap.
Ниже примеры, как это должно выглядеть.
Мы добились своего. После всех этих операций поисковые системы узнают о том, что наш сайт со множеством страниц, в принципе, существует.
Яндекс Метрика и Google Analytics
На те же электронные почты заводим аккаунты на Яндекс Метрике и Google Analytics. Подтверждаем права на сайт тем же способом, что и с панелями вебмастеров (вставки кода или записи).
Теперь при каждом посещении в сервисах статистики будут засчитываться все визиты на сайт. Вроде бы всё хорошо, но можно лучше! Обязательно привязываем сервис Я.Вебмастер к Я.Метрике, а Google Search Console к Гугл Аналитикс. Эти связи супер-полезны, особенно для многостраничных сайтов.
После привязки идем в интерфейс Яндекс.Вебмастер и активируем обход по счетчикам. В Гугле такой функции нет, но мы же понимаем: если человек прошел на страницу с визитом, Google-аналитика запишет его, независимо от точки входа. Соответственно целевой визит останется в статистике, а Поисковая система Гугла пометит себе, что ваш сайт стал чуть-чуть качественнее.
Мгновенное индексирование
У поисковых гигантов на мгновенное попадание новых качественных страниц в индекс имеется свое видение. Для этого компания Яндекс разработала сервис API IndexNOW, а Гугл — Google Indexing API.
Переходим по ссылкам, читаем документацию и внедряем на сайт.
Кстати, на WordPress есть бесплатные плагины, которые решают этот вопрос несколькими кликами. Для более сложных сайтов рекомендуем обратиться к опытным разработчикам.
Преимущества Google Indexing API
Многие пользователи видели на своих телефонах мобильную выдачу Гугла. Туда попадают гороскопы, обзоры фильмов, ТОПы по темам, аналитические материалы и прочее. Помимо этого там можно увидеть всякую ерунду, типа житейских постов из Пикабу с сотнями тысяч просмотров. Так вот, это правильно работает Google Indexing API + Карта сайта + Google Analitycs.
Преимущества Яндекс API IndexNOW
Ваша новая страница попадает в поиск Яндекса в течение 2-3 часов. При условии, что материал качественный и полностью отвечает интенту запроса пользователя. Мощь сервиса в том, что ранжирование выдачи происходит в реальном времени. Здесь работает обход по счетчикам + карта сайта + IndexNOW + качественный контент.
Подведем итог
Поисковые системы Яндекса и Гугла — довольно сложные структуры в принципе. Поэтому очень много заморочек при взаимодействии с ними. С другой стороны — эти бренды задают тон всей поисковой истории уже много лет. Игнорировать их требования было бы глупо, даже если у вас уже есть сильный бренд, мощное портфолио и огромная аудитория на любых других ресурсах или в оффлайне.
Поэтому во времена, когда реклама стала многим не по карману, стоит обратить внимание на органический трафик от лидеров поисковой индустрии.
Несколько советов по SEO
- Ройте землю и структурируйте информацию.
- Набивайте шишки через свой опыт.
- Классическое SEO работает лучше чем, реклама, ИИ, соц.сети.
- ТОПы в поисковых системах — это показатель качества вашего бизнеса. Стремитесь к этому.
- Относитесь ответственно к своим интернет-проектам. На сайтах и страничках должен быть порядок.
- Следите за рекомендациями в панелях Google Search Console и Яндекс.Вебмастер.
- Дружите с программистами. Тогда задачи по SEO будут решаться по щелчку пальцев.
И последнее: Не экономьте на имидже. Интернет — это ваша витрина. Если на полках пусто, зачем вообще выходить на рынок…
Спасибо за прочтение. Успехов!
