Тестер и валидатор robots.txt
Проверьте, заблокированы ли ваши URL в robots.txt. Валидация синтаксиса, поиск ошибок и проверка доступности страниц для поисковых систем.
Вставьте или загрузите robots.txt для проверки
User-agent:Указывает, к какому краулеру применяются правилаDisallow:Блокирует доступ к указанным путямAllow:Разрешает доступ (переопределяет Disallow)Sitemap:Расположение XML-карты сайтаCrawl-delay:Секунды между запросами (не поддерживается Google)Часто задаваемые вопросы
Как использовать тестер robots.txt
Что такое валидация robots.txt?
Валидация robots.txt гарантирует, что ваш файл соответствует правильному синтаксису и будет правильно интерпретирован краулерами поисковых систем. Неправильно оформленный robots.txt может случайно заблокировать важные страницы от индексации или разрешить краулерам доступ к приватным областям.
Как протестировать robots.txt
Для тестирования robots.txt: 1) Вставьте содержимое robots.txt или загрузите его с сайта, 2) Введите путь URL для проверки (например, /products/), 3) Выберите User-Agent для тестирования (Googlebot, GPTBot и т.д.), 4) Нажмите 'Проверить URL', чтобы узнать, разрешен или заблокирован путь.
Частые ошибки в robots.txt
- Отсутствие директивы User-agent перед правилами Allow/Disallow
- Использование относительных URL в директиве Sitemap вместо абсолютных
- Забытый слеш в начале путей (используйте /admin/, а не admin/)
- Блокировка CSS и JavaScript файлов, которые Google нужны для рендеринга страниц
- Использование Crawl-delay для Google (не поддерживается, используйте Search Console)