Даже самой лучшей странице услуги нет в результатах поиска, если Google не может её просканировать или проиндексировать. Техническое SEO — это расчистка пути между вашим контентом и Google, и большинство проблем находится за несколько минут проверки.
Мы подготовили эту статью как чек-лист для аудита. Пункты сгруппированы в порядке этапов поиска Google: сначала сканирование, затем индексирование, потом удобство страниц и расширенные результаты. В конце каждой группы указано, каким инструментом проверять. В качестве основного источника мы использовали документацию Google Search Central.
Если вас интересуют нетехнические стороны SEO, общую картину даёт статья Что такое SEO. Здесь же мы переходим непосредственно к инфраструктуре сайта.
Перед началом технического SEO-аудита: бесплатные инструменты
Для технического SEO-аудита не нужен дорогой софт. На старте большую часть работы выполнят эти бесплатные инструменты:
| Инструмент | Для чего? |
|---|---|
| Google Search Console | Статус индексирования, проверка URL, карта сайта, Core Web Vitals и уведомления о ручных мерах |
| PageSpeed Insights | Измерение скорости по данным реальных пользователей (CrUX) и лабораторному тесту |
| Проверка расширенных результатов | Нет ли ошибок в структурированных данных и подходят ли они для расширенных результатов |
| Инструменты разработчика в браузере | Исходный код страницы, редиректы, коды состояния HTTP, метатеги |
| Краулер сайта | Сканирует весь сайт и находит битые ссылки, дубли заголовков и цепочки редиректов (бесплатных версий многих хватает для небольших сайтов) |
Сканирование: может ли Google добраться до вашего сайта?
Доступ Googlebot к страницам — предварительное условие всего остального. Проверьте:
- 1. Правильный ли robots.txt? Откройте адрес вашдомен.com/robots.txt. Строка «Disallow: /», оставшаяся из среды разработки при запуске, закрывает весь сайт от сканирования. Удивительно частая ошибка.
- 2. Не используете ли вы robots.txt для скрытия? По словам Google, robots.txt управляет сканированием, но не скрывает страницу из результатов поиска. Заблокированная страница, на которую ссылаются другие сайты, может появиться в индексе даже без контента. Для скрытия используется noindex.
- 3. Открыты ли файлы CSS и JavaScript? Google обрабатывает страницу как браузер; если заблокировать файлы стилей и скриптов, он не увидит её правильно.
- 4. Не блокируют ли сервер и CDN Googlebot? Настройки файрвола или защиты от ботов могут по ошибке принять Googlebot за атакующего. В документе Google о функциях ИИ также рекомендуется открывать сканирование не только в robots.txt, но и на уровне CDN и хостинга.
- 5. Доступны ли важные страницы по внутренним ссылкам? «Страницы-сироты», на которые нет ссылок, трудно обнаружить. Ссылки должны быть обычным тегом a с href; ссылки, работающие только через JavaScript-обработчик клика, Google может не отследить.
- 6. Нет ли серверных ошибок (5xx)? Постоянно сбоящий сервер заставляет Google снижать скорость сканирования. Посмотрите отчёт «Статистика сканирования» в Search Console.
Индексирование: те ли страницы в индексе?
Не каждая просканированная страница должна попадать в индекс; страницы благодарности, комбинации фильтров, корзина и админ-панель не должны быть в индексе. Важно, чтобы в индексе были нужные страницы.
- 7. Нет ли случайного noindex на важных страницах? Опцию «скрыть от поисковых систем» могут забыть выключить после запуска. Проверьте основные страницы по одной инструментом проверки URL.
- 8. Каждый ли контент доступен по одному адресу? Если http и https, с www и без, со слешем на конце и без показывают одну и ту же страницу, все варианты нужно перенаправить 301-редиректом на одну версию.
- 9. Правильные ли теги canonical? Каждая страница должна указывать в canonical саму себя (или предпочтительную основную версию). Google хочет, чтобы canonical, внутренние ссылки и карта сайта указывали на один адрес; противоречивые сигналы приводят к тому, что Google делает собственный выбор.
- 10. Чистая ли карта сайта? Карта сайта должна содержать только канонические адреса, возвращающие код 200, которые вы хотите видеть в индексе. Один файл может содержать максимум 50 000 URL или 50 МБ без сжатия; на больших сайтах используется индекс карт сайта.
- 11. Реальны ли даты lastmod? Google использует значение lastmod, только если оно точное, и хочет, чтобы оно отражало значимое обновление. Поля priority и changefreq Google игнорирует.
- 12. Отправлена ли карта сайта в Search Console и указана ли в robots.txt?
- 13. Под контролем ли «тонкие» и дублирующиеся страницы? Десятки страниц с почти одинаковым текстом впустую тратят краулинговый бюджет и снижают сигнал качества. Объедините, доработайте или закройте noindex.
Структура адресов, HTTPS и страницы ошибок
- 14. Понятны ли адреса? Осмысленные, короткие адреса в нижнем регистре вроде «/hizmetler/kurumsal-web-sitesi» понятнее и пользователю, и Google, чем адреса с параметрами вроде «/page.php?id=482&cat=7». Простые латинские буквы вместо национальных символов предотвращают искажения при публикации ссылок.
- 15. Весь ли сайт на HTTPS? Нужен действующий SSL-сертификат и отсутствие предупреждений о смешанном контенте (http-изображения или скрипты на https-странице). HTTPS входит в оценку удобства страниц Google.
- 16. Возвращают ли удалённые страницы правильный код? Окончательно удалённая страница должна отдавать 404 или 410; если есть похожая замена — перенаправлять на неё 301-редиректом. Несуществующие страницы, показывающие пустой контент с «200 OK» (soft 404), вводят Google в заблуждение.
- 17. Нет ли цепочек редиректов? Сократите цепочки A → B → C до прямого перехода A → C.
- 18. Есть ли удобная страница 404? Страница 404 с поиском и ссылками на основные разделы удерживает заблудившегося посетителя на сайте.
Mobile-first индексирование и Core Web Vitals
Google завершил переход на mobile-first индексирование в 2024 году. То есть при оценке сайта он в основном сканирует и индексирует мобильную версию. Тексты, которые есть на десктопе, но скрыты на мобильных, для Google по большей части не существуют.
- 19. Показывают ли мобильная и десктопная версии одинаковый контент? Заголовки, тексты, изображения, структурированные данные и метатеги должны совпадать в обеих версиях.
- 20. Есть ли тег viewport, читается ли текст без увеличения, удобно ли нажимать кнопки пальцем?
- 21. Проходят ли пороги Core Web Vitals? По web.dev, для хорошего опыта в 75 процентах посещений LCP должен быть не более 2,5 секунды, INP — 200 миллисекунд, CLS — 0,1. В 2024 году INP заменила FID.
- 22. Оптимизированы ли изображения? Формат WebP или AVIF, файл в размере показа, отложенная загрузка изображений за пределами экрана и значения ширины и высоты у каждого изображения.
Скорость — отдельная область экспертизы; как улучшить LCP, INP и CLS, мы подробно рассказываем в нашем руководстве по скорости сайта и Core Web Vitals.
Техническое SEO для сайтов на JavaScript
Сайты на фреймворках вроде React, Vue или Angular, формирующие контент в браузере, Google обработать может; но это дополнительный шаг и дополнительный риск. В документации Google по JavaScript SEO описано, что страницы сначала сканируются, а затем ставятся в очередь на обработку (рендеринг).
- 23. Есть ли основной контент в исходном HTML? Серверный рендеринг (SSR) или пре-рендеринг (статический HTML) делает заголовки, текст и ссылки видимыми без ожидания JavaScript. Это важно не только для Google, но и для многих ИИ-краулеров; часть из них JavaScript не выполняет.
- 24. Есть ли у каждого представления свой адрес? В одностраничных приложениях при смене контента должен меняться и адрес; контент, управляемый фрагментами после «#», не индексируется как отдельные страницы.
- 25. Показывает ли представление «просканированная страница» в проверке URL контент полностью?
На сайтах, которые мы разрабатываем на заказ, эти решения принимаются с самого начала; наш подход можно увидеть на странице наши веб-решения.
Структурированные данные и многоязычные сайты
- 26. Добавлены ли подходящие типы schema? Разметка вроде Organization, LocalBusiness, Product, Article, BreadcrumbList помогает Google понять страницу и делает её пригодной для расширенных результатов. Разметка должна точно совпадать с видимым на странице контентом.
- 27. Нет ли ошибок в проверке расширенных результатов? И правильно настройте ожидания: с 2023 года Google показывает расширенные результаты FAQ только для известных авторитетных государственных и медицинских сайтов. Разметка не навредит как смысловой сигнал, но визуального выигрыша не даст на каждом сайте.
- 28. Правильный ли hreflang на многоязычном сайте? Если у вас есть языковые версии — турецкая, английская, немецкая, — каждая страница должна указывать через hreflang себя и соответствия на других языках; ссылки должны быть взаимными. Google рекомендует давать пользователю выбрать язык, а не навязывать версии автоматическим редиректом по IP.
Техническое SEO само по себе позиции не поднимет; но техническая ошибка может сделать невидимым даже лучший контент.
Технические настройки для ИИ-функций и краулеров
В 2026 году в чек-лист технического SEO добавился новый раздел — искусственный интеллект. Документ Google «Функции ИИ и ваш сайт» говорит, что для AI Overviews и AI Mode нет особых технических требований: достаточно, чтобы страница была проиндексирована и могла показываться со сниппетом. Новый ИИ-файл или специальная разметка не нужны. И всё же есть проверки, о которых стоит знать:
- 29. Осознанно ли используются настройки сниппетов? Теги nosnippet, data-nosnippet и max-snippet ограничивают, сколько вашего контента показывается в результатах поиска и ИИ-обзорах. Случайно добавленный nosnippet лишает страницу шанса стать источником в обзорах.
- 30. Чёткая ли у вас политика для ИИ-краулеров? Токен Google-Extended позволяет ограничить использование вашего контента для обучения моделей вроде Gemini и в некоторых других системах Google; на видимость в Google Поиске он не влияет. ИИ-краулерами других компаний тоже можно управлять в robots.txt отдельно по их именам. Блокировать или разрешать — бизнес-решение; важно делать это осознанно.
Трафик от ИИ-функций в Search Console входит в отчёт об эффективности по типу поиска «Веб». Решив технические проблемы, вы можете отслеживать результаты там.
- В robots.txt нет строки «Disallow: /», закрывающей сайт
- На важных страницах нет noindex, canonical указывает на саму страницу
- Версии с http и без www перенаправляются 301-редиректом на один адрес
- Карта сайта отправлена и содержит только адреса с кодом 200
- Мобильная версия показывает тот же контент, что и десктопная
- Core Web Vitals на мобильных на уровне «хорошо»
- Старые адреса перенаправлены на новые постранично
- Структурированные данные проходят проверку расширенных результатов без ошибок
Частые вопросы
Что такое техническое SEO?
Техническое SEO — это работа над инфраструктурой сайта, чтобы поисковые системы могли беспрепятственно его сканировать, понимать и индексировать. Сюда входят robots.txt, карта сайта, теги canonical, редиректы, HTTPS, мобильная адаптация, скорость страниц и структурированные данные.
Как часто нужно проводить технический SEO-аудит?
Для небольших и редко меняющихся сайтов достаточно общей проверки раз в несколько месяцев и регулярного отслеживания уведомлений Search Console. А перед переездом сайта, редизайном, сменой домена или крупным обновлением ПО и сразу после них обязательно нужен подробный аудит.
Почему моя страница не появляется в Google?
Самые частые причины: на странице стоит тег noindex, она заблокирована в robots.txt, на неё нет ссылок, из-за дублирования канонической выбран другой адрес или она ещё не просканирована. Инструмент проверки URL в Search Console в большинстве случаев показывает причину.
Чем robots.txt отличается от noindex?
robots.txt запрещает Google сканировать страницу, но если на неё ссылаются из других мест, она может появиться в индексе без контента. noindex, напротив, разрешает сканирование и сообщает, что страницу не нужно показывать в результатах поиска. Чтобы убрать страницу из результатов, используйте noindex и не блокируйте её в robots.txt.
Нужен ли для ИИ-поиска специальный файл вроде llms.txt?
Согласно официальной документации Google, для появления в AI Overviews и AI Mode не нужен новый ИИ-файл или специальная разметка. Достаточно, чтобы страница была проиндексирована и могла показываться со сниппетом. Как подобные файлы используют другие ИИ-сервисы, единообразно не определено.
В заключение
Хорошая сторона технического SEO в том, что большинство проблем измеримы и исправимы. Проходя этот список несколько раз в год и перед каждым крупным изменением, вы рано поймаете ошибки, которые незаметно подтачивают вашу видимость. Когда технический фундамент укреплён, можно направить усилия на контент и локальную видимость; если ваш бизнес работает в определённом регионе, следующим шагом должно стать локальное SEO и профиль компании в Google.
На сайтах, которые разрабатывает CYF Tech, мы проверяем эти пункты по одному перед запуском. Если хотите провести технический аудит текущего сайта или спланировать переезд без потери видимости, свяжитесь с нами.
- Google Search Central — введение в robots.txt
- Google Search Central — объединение дублирующихся URL (canonical)
- Google Search Central — создание и отправка карты сайта
- Google Search Central — mobile-first индексирование
- Google Search Central — основы JavaScript SEO
- Google Search Central — локализованные версии (hreflang)
- Google Search Central — введение в структурированные данные
- Google Search Central — AI features and your website
- Google Search Central Blog — изменения в расширенных результатах HowTo и FAQ (2023)
- web.dev — Web Vitals