Генератор robots.txt: готовый файл для вашей CMS — Битрикс, WordPress, Tilda, OpenCart, Laravel
Выберите CMS, укажите домен и адрес карты сайта — получите robots.txt с правильными запретами для служебных разделов, разрешением для картинок и стилей, ссылкой на sitemap и отдельными правилами для роботов нейросетей.
Выберите CMS — подставится шаблон с типовыми служебными разделами этой системы.
Добавьте свои запреты: пути через запятую. Укажите адрес sitemap.xml и выберите, пускать ли роботов нейросетей.
Скопируйте файл и положите в корень сайта как robots.txt. Проверьте, что он открывается по адресу домен/robots.txt.
Правила robots.txt — рекомендация для добросовестных роботов, не защита. Запрет для GPTBot и подобных уменьшает шансы попасть в ответы ChatGPT — закрывайте их осознанно.
Вопросы и ответы: Генератор robots.txt для сайта
Заявка принята —
Менеджер свяжется в течение 15 минут в рабочее время (пн–пт, 9:00–19:00). Копию заявки отправили на почту. Если срочно — напишите в WhatsApp.
Два офиса: Алматы и Усть-Каменогорск
Пишите в WhatsApp на любой из номеров или на почту — ответим в рабочее время в течение 15 минут.
Офис в Алматы
Офис в Усть-Каменогорске
Все услуги компании
Генератор robots.txt онлайн для Битрикс, WordPress, Tilda и OpenCart
Генератор robots.txt от WeMake помогает за пару минут собрать корректный файл для сайта на популярной CMS без ручного разбора директив. Он пригодится владельцам интернет-магазинов, маркетологам и разработчикам в Казахстане, которые запускают новый сайт на .kz или наводят порядок в индексации существующего.
Зачем сайту robots.txt и чем опасна ошибка в одной строке
Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы сканировать, а какие обходить стороной. Через него закрывают служебные папки, корзину, личный кабинет, страницы внутреннего поиска и фильтров, то есть всё, что не несёт пользы в выдаче.
Цена ошибки высока. Одна лишняя косая черта после Disallow может закрыть от индексации весь сайт, и трафик из Google и Яндекса начнёт падать уже через несколько недель. Обратная ситуация не лучше: если роботы свободно ходят по фильтрам и результатам поиска, в индекс попадают тысячи мусорных страниц, а важные карточки товаров и услуг сканируются реже.
Как работает генератор robots.txt WeMake и что вы получите
Сервис позволяет создать robots.txt онлайн за несколько шагов:
Сначала выберите CMS, и инструмент подставит шаблон с типовыми служебными разделами этой системы. Затем добавьте свои запреты: пути указываются через запятую. Укажите адрес sitemap.xml и решите, пускать ли роботов нейросетей. Готовый файл скопируйте, сохраните в корне сайта под именем robots.txt и проверьте, что он открывается по адресу домен/robots.txt.
На выходе получается файл с запретами для служебных разделов, разрешением для картинок и стилей (чтобы поисковик видел страницу так же, как посетитель), ссылкой на карту сайта и отдельными правилами для роботов нейросетей. По сути, это готовый robots.txt пример, уже адаптированный под ваш домен и движок.
Robots.txt для Битрикс, WordPress, Tilda и OpenCart на практике
У каждой системы свои служебные пути. Robots.txt для Битрикс закрывает /bitrix/ и /upload/. В robots.txt WordPress обычно запрещают /wp-admin/ и /wp-includes/. Robots.txt OpenCart должен учитывать адреса вида index.php?route=, иначе в индекс уходят технические дубли. Для robots.txt Tilda генератор тоже подставит отдельный шаблон: достаточно выбрать платформу в списке.
Пример из практики: магазин электроники в Алматы на OpenCart продаёт через сайт и параллельно через Kaspi. Фильтры по цене в тенге, сортировки и сравнение товаров порождают сотни адресов с параметрами. Добавив эти пути в свои запреты, магазин направляет внимание роботов на категории и карточки. Сеть клиник в Астане на Битриксе может закрыть личный кабинет пациента и страницы онлайн-записи, а заодно указать актуальную карту сайта.
Отдельное решение касается нейросетей: GPTBot, ClaudeBot, Google-Extended и PerplexityBot. Если ваша цель — чтобы компанию упоминали ChatGPT и другие ИИ-ассистенты, этих роботов стоит пустить. Если же контент уникален и вы не хотите отдавать его для обучения моделей, можно запретить GPTBot строками User-agent: GPTBot и Disallow: /. Учтите, что запрет снижает шансы попасть в ответы ChatGPT, поэтому закрывайте ботов осознанно. Узнать, как вас видят ИИ сейчас, поможет проверка видимости компании в нейросетях, а дополнить robots.txt можно файлом из генератора llms.txt.
Типичные ошибки, из-за которых сайт теряет позиции
Самая частая ошибка — оставить на рабочем сайте запрет Disallow: / со стадии разработки. Вторая — закрыть папки со стилями, скриптами и изображениями: поисковик видит «сломанную» страницу и может хуже оценить её удобство. Третья — пытаться спрятать через robots.txt конфиденциальные данные. Правила файла — рекомендация для добросовестных роботов, а не защита: недобросовестный бот их проигнорирует, а сам файл открыт любому.
Ещё одна ловушка — устаревшая ссылка на sitemap после переезда на новый домен или с http на https. Наконец, многие копируют чужой файл с другой CMS: правила для WordPress на сайте с Битриксом бесполезны и могут закрыть нужное.
Чек-лист: проверьте robots.txt перед загрузкой
- Файл называется именно robots.txt и лежит в корне домена, а не в подпапке.
- По адресу домен/robots.txt он открывается без ошибок и редиректов.
- Нет строки Disallow: / для основных поисковых роботов.
- Служебные разделы вашей CMS закрыты, а картинки и стили открыты.
- Корзина, личный кабинет, внутренний поиск и параметры фильтров запрещены.
- Указан актуальный адрес sitemap.xml с правильным протоколом и доменом.
- Решение по роботам нейросетей принято осознанно, а не по умолчанию.
- Важные страницы с заголовками из генератора title и description не попали под запрет.
Когда настройку индексации лучше доверить специалистам
Генератора достаточно для типового сайта. Но если у вас крупный каталог, несколько языковых версий на казахском и русском, региональные поддомены или уже заметные провалы трафика, robots.txt — лишь часть картины. Дубли, canonical, hreflang, редиректы и карта сайта должны работать вместе, а результат нужно проверять в Search Console.
Эту работу команда WeMake выполняет в рамках SEO-продвижения: мы проводим технический аудит, чистим дубли, настраиваем robots.txt и sitemap и следим, чтобы поисковики индексировали именно те страницы, которые приносят заявки и продажи.
Итог: правильный robots.txt за пару минут
Выберите CMS, добавьте свои запреты, укажите карту сайта и решите вопрос с роботами нейросетей — генератор соберёт аккуратный файл без ручных ошибок. Загрузите его в корень, проверьте по адресу домен/robots.txt и возвращайтесь к настройке при каждом серьёзном изменении структуры сайта.