robots.txt
Файл в корне домена с правилами доступа для поисковых и AI-краулеров.
robots.txt — текстовый файл по адресу /robots.txt с директивами User-agent и Disallow/Allow для управления краулингом. robots.txt не гарантирует деиндексацию — для скрытия из индекса используйте meta robots noindex или 401/403. Критичные ошибки: Disallow: / блокирует весь сайт; случайная блокировка CSS/JS ухудшает рендеринг. В 2024–2026 растёт важность правил для AI-ботов: GPTBot, ClaudeBot, Google-Extended — отдельные User-agent. GEO-стратегия часто требует явного Allow для AI-краулеров, если вы хотите цитирование в generative answers. Sitemap указывается в robots: Sitemap: https://example.com/sitemap.xml. Проверяйте robots после каждого релиза DevOps. «Анализ GEO» в SEO Tools проверяет robots для AI-ботов наряду с llms.txt. Не используйте robots.txt для секретов — файл публичен.
Термины глоссария SEO Tools помогают веб-мастерам, SEO-специалистам и разработчикам говорить на одном языке при аудитах и миграциях. Каждый термин связан с инструментами платформы на seo.lazarovstudio.ru — используйте каталог /tools/ для практической проверки. Programmatic SEO hub-страницы и глоссарий усиливают внутреннюю перелинковку и long-tail видимость. Обновления терминов синхронизируются с версией платформы 2.0.0. Для generative search изучите также раздел GEO-optimization и платформу AI-SEO с командами technical, content и programmatic planning. Документация llms.txt описывает сервис для AI-ассистентов. Юридические страницы: oferta.html, privacy.html, contacts.html. Регистрация на тариф Локал бесплатна.