Генератор robots.txt: готовый файл для вашей CMS — Битрикс, WordPress, Tilda, OpenCart, Laravel
Выберите CMS, укажите домен и адрес карты сайта — получите robots.txt с правильными запретами для служебных разделов, разрешением для картинок и стилей, ссылкой на sitemap и отдельными правилами для роботов нейросетей.
Генератор robots.txt для сайта
Выберите CMS — подставится шаблон с типовыми служебными разделами этой системы.
Добавьте свои запреты: пути через запятую. Укажите адрес sitemap.xml и выберите, пускать ли роботов нейросетей.
Скопируйте файл и положите в корень сайта как robots.txt. Проверьте, что он открывается по адресу домен/robots.txt.
Правила robots.txt — рекомендация для добросовестных роботов, не защита. Запрет для GPTBot и подобных уменьшает шансы попасть в ответы ChatGPT — закрывайте их осознанно.
Заявка принята —
Менеджер свяжется в течение 15 минут в рабочее время (пн–пт, 9:00–19:00). Копию заявки отправили на почту. Если срочно — напишите в WhatsApp.
Два офиса: Алматы и Усть-Каменогорск
Пишите в WhatsApp на любой из номеров или на почту — ответим в рабочее время в течение 15 минут.
Офис в Алматы
Офис в Усть-Каменогорске
Все услуги компании
Генератор robots.txt для сайта: зачем нужен и как использовать результат
Файл robots.txt управляет тем, какие разделы сайта сканируют поисковики. Ошибка в нём может закрыть от индексации весь сайт или, наоборот, пустить роботов в корзину, личный кабинет и результаты поиска, создав тысячи мусорных страниц. У каждой CMS свои служебные пути: для 1С-Битрикс это /bitrix/ и /upload/, для WordPress — /wp-admin/ и /wp-includes/, у OpenCart — index.php?route=.
Отдельный вопрос — роботы нейросетей: GPTBot, ClaudeBot, Google-Extended, PerplexityBot. Если вы хотите, чтобы компанию находили в ChatGPT и других ИИ, их нужно разрешить — об этом наша услуга GEO. Техническое SEO целиком — в продвижении сайта.