Вы запустили сайт, открываете его по прямой ссылке, но не находите в Яндексе или Google. Значит ли это, что с сайтом что-то не так? Не обязательно. Новый домен может ещё не быть обнаружен поисковыми системами; иногда страница доступна, но её содержание не выбирается для показа. В других случаях причиной действительно становится техническая ошибка. Разберём проверку по порядку, без обещаний «добавить в поиск за один день».
Сначала различайте три разных проблемы
Страница неизвестна поиску. Робот ещё не обнаружил адрес или не обработал его. Страница обнаружена, но не индексируется. Причина может быть технической, связанной с дублированием, ограничением доступа или качеством содержимого. Страница в индексе, но не видна по нужному запросу. В этом случае дело чаще в релевантности, конкуренции, географии и качестве страницы, а не в самом факте индексации.
Не пытайтесь исправлять все три проблемы одним способом. Сначала установите состояние конкретного URL в инструментах поисковой системы.
Шаг 1. Проверьте доступность сайта
Откройте адрес в обычном окне браузера и на телефоне. Убедитесь, что HTTPS работает, страницы не требуют пароля и сервер не отвечает ошибками 404 или 500. Проверьте, не ведёт ли каждая ссылка на временный домен или localhost. Для поискового робота сайт должен быть так же доступен, как обычному посетителю.
Если главная открывается, но подстраницы возвращают ошибку, проверьте структуру файлов на хостинге, регистр букв в путях и настройки перенаправлений. Статический сайт особенно чувствителен к тому, существует ли указанный HTML-файл на сервере.
Шаг 2. Посмотрите robots.txt
Файл robots.txt находится в корне домена: https://example.com/robots.txt. Он управляет правилами обхода для разных роботов. Ошибочная директива вроде Disallow: / для всех роботов может закрыть весь сайт от сканирования. Но сам robots.txt — не универсальный переключатель индексации, а правило доступа к обходу.
Проверьте, что важные адреса не закрыты без необходимости, и не используйте файл для сокрытия конфиденциальной информации: прямой URL может стать известным другими способами. Ненужные тестовые страницы лучше защищать подходящими средствами доступа или корректными индексирующими директивами.
Шаг 3. Ищите noindex и канонические ошибки
В коде страницы может находиться <meta name="robots" content="noindex">. Такая директива сообщает поисковой системе не включать страницу в индекс. Она бывает полезной для служебных страниц, но случайно оставленный noindex на главной или странице услуги создаёт проблему.
Проверьте canonical: он должен указывать на предпочтительный адрес соответствующей страницы, а не отправлять все разделы на главную. Если доступны версии с www и без, HTTP и HTTPS, настройте согласованное основное зеркало и перенаправления. Это помогает избежать распыления сигналов по нескольким вариантам одного документа.
Шаг 4. Проверьте карту сайта и внутренние ссылки
Sitemap.xml — список важных адресов. Он не гарантирует индексацию, но помогает сообщить, какие страницы вы хотите сделать доступными. Проверьте, что в нём нет несуществующих URL, тестового домена и страниц, которые запрещены к индексации.
Если новая статья существует только в XML-файле, а из меню, блога и других материалов на неё нет ссылок, посетителям тоже будет сложно её найти. Разместите обычные HTML-ссылки в логичной структуре сайта. Например, новый материал про SEO должен открываться из раздела «Блог» и иметь ссылки с других тематических страниц.
Шаг 5. Подключите Яндекс Вебмастер и Google Search Console
Владельцу сайта полезно подтвердить права в обоих сервисах, загрузить карту сайта и воспользоваться проверкой URL. Панели могут показать, какой ответ получает робот, доступна ли страница, выбран ли канонический адрес и есть ли проблемы с обходом. Отправка URL на переобход — запрос на проверку, не гарантия немедленной индексации.
В Яндексе для анализа запросов используйте разделы мониторинга и статистики поиска после появления показов. В Google Search Console смотрите состояние индексирования и отчёты об эффективности. Подробный список SEO-задач — в статье SEO для сайта услуг в Яндексе и Google.
Шаг 6. Проверьте, есть ли реальная польза в содержимом
Если технических ошибок нет, задайте вопрос: зачем поиску показывать эту страницу? Две почти одинаковые страницы услуг с заменой названия города, бессодержательный текст и копии чужих материалов могут не давать пользователю уникального ответа. Улучшите содержание: конкретные услуги, честные цены или порядок расчёта, фотографии реальных работ, ограничения и способы обращения.
Не создавайте десятки страниц ради количества. Лучше опубликовать несколько полноценных материалов и связать их с коммерческими разделами. Для сайта услуг полезны страница о стоимости разработки, чек-лист заказа и подробные инструкции.
Почему команда site: не даёт полной картины
Запрос вида site:example.com может помочь приблизительно увидеть некоторые страницы в выдаче, но он не заменяет отчёты панели вебмастера и не является точным счётчиком всех индексируемых URL. Проверяйте конкретный адрес официальными средствами диагностики.
Что делать после исправления
Повторно откройте проблемный URL, проверьте код ответа, индексирующие директивы и canonical, затем запросите переобход через инструменты поисковой системы, если это доступно. Зафиксируйте дату изменения. Не меняйте ежедневно всё подряд: поисковым системам требуется время на повторную обработку.
Краткая таблица диагностики
| Симптом | Что проверить первым |
|---|---|
| Сайт не открывается | DNS, HTTPS, сервер, пути файлов |
| Страница закрыта от обхода | robots.txt, доступ, авторизация |
Найден noindex |
Мета-тег или HTTP-заголовок |
| Выбран другой URL | canonical, дубли, перенаправления |
| Новая статья не обнаружена | Ссылки из блога, карта сайта |
| Страница индексируется, но нет трафика | Соответствие запросу, качество, конкуренция |
Частые вопросы
Можно ли гарантировать индексацию каждой страницы?
Нет. Владелец сайта может устранить технические препятствия и повысить полезность материалов, но решение об индексации принимает поисковая система.
Нужно ли отправлять одну страницу на переобход много раз?
Повторная отправка без изменений не ускоряет процесс предсказуемым образом. Сначала устраните причину проблемы.
Почему старая статья выше новой?
На позиции влияют не только дата публикации, но и соответствие намерению, репутация источника, качество документа, регион и множество других факторов. Сравните содержание и опыт пользователя, а не только возраст страницы.
Читайте также
Обсудим вашу задачу?
Расскажите, что хотите получить от сайта или автоматизации. Подберём понятный первый этап и оценим объём работ.
Оставить заявку ↗