WeMake.kz
RU KZ EN
Обсудить проект
АКТУАЛЬНАЯ УСЛУГА
Разработка мобильных приложений
→
iOS и Android под ключ: первая сборка на вашем устройстве уже через неделю разработки, публикацию в App Store и Google Play берём на себя.
₸ Все цены на одной странице 77 услуг · тарифы и цена «от» по каждой, поиск по таблице Открыть →
АКЦИЯ · САЙТЫ
Сайт + контекстная реклама в подарок
→
Заказываете разработку сайта — запуск рекламы в Google Ads или Яндекс Директе и первый месяц ведения делаем бесплатно. Акция действует и для «Сайта ЖК под ключ».
АКЦИЯ · ПРИЛОЖЕНИЯ
Приложение + 3 месяца поддержки в подарок
→
Разрабатываем приложение для iOS и Android, а первые 3 месяца после релиза обслуживаем бесплатно: обновления, правки, ответы App Store и Google Play.
300+ проектов с 2013 годаПоловина — под NDA, покажем на встрече
Все кейсы →
Редизайн B2B-магазина запчастей: товары в пути, цены по клиенту, 1С и Telegram
РЕДИЗАЙН · B2B
Shuncheng Truck
Автобизнес · запчасти для грузовиков
Редизайн B2B-магазина запчастей: товары в пути, цены по клиенту, 1С и Telegram
OpenCart → Битриксполный редизайн и интеграция с 1С
Магазин снаряжения со своим модулем обмена с 1С и фронт-админкой
E-COMMERCE
Outdoor Center Almaty
Ритейл · туристическое снаряжение
Магазин снаряжения со своим модулем обмена с 1С и фронт-админкой
30 → 1позиций из 1С в одной карточке товара
Магазин смартфонов представительского класса
E-COMMERCE
Freshmobile
Ритейл · смартфоны и гаджеты
Магазин смартфонов представительского класса
Таблица → сайтцены и остатки из Google Таблиц
Магазин инструмента с 1С, Kaspi и Google Таблицами
E-COMMERCE
Мир Инструмента
Ритейл · инструмент и оборудование
Магазин инструмента с 1С, Kaspi и Google Таблицами
3источника данных в одном каталоге
Сайт-каталог спецтехники на трёх языках
КАТАЛОГ
Turkuaz Machinery
Спецтехника · дистрибьютор
Сайт-каталог спецтехники на трёх языках
3языка каталога и своя админ-панель
БЕСПЛАТНО · БЕЗ РЕГИСТРАЦИИ 31 Бесплатные сервисы для бизнеса Аудит сайта и домена, UTM и QR, калькуляторы рекламы, НДС и CRM, проверка ИИН, латиница — большинство работает прямо в браузере. Все сервисы →
Все сервисы Блог Проверка домена и Whois Экспресс-аудит сайта онлайн Проверка SSL-сертификата и срока домена с напоминанием на почту Предпросмотр ссылки Проверка редиректов Генератор title и description с предпросмотром сниппета Google Генератор JSON-LD разметки Генератор robots.txt для сайта Генератор llms.txt Проверка видимости компании в нейросетях Генератор ЧПУ-ссылок Генератор UTM-меток онлайн Калькулятор рекламного бюджета в Казахстане Калькулятор окупаемости рекламы Счётчик символов для объявлений Google Ads, Яндекс Директ и Meta Генератор минус-слов для Google Ads и Яндекс Директа по нишам Группировщик ключевых слов Генератор ссылки WhatsApp wa.me с текстом, QR-код и кнопка для сайта Генератор QR-кодов онлайн Калькулятор потерь без CRM Калькулятор стоимости Битрикс24 и amoCRM Проверка SPF, DKIM, DMARC и MX домена Калькулятор НДС 16 % онлайн Проверка ИИН и БИН онлайн Транслитерация казахского на латиницу Генератор подписи для электронной почты Счётчик символов и слов онлайн Сжатие картинок в WebP онлайн Проверка контрастности цветов по WCAG Генератор паролей онлайн Мой IP-адрес
Контакты
НА ЭТОЙ СТРАНИЦЕ
Сервис FAQ Заявка
+7 (707) 830-00-09Пн–Пт, 09:00–18:00
RU KZ EN
Обсудить проект
Главная/Сервисы/Генератор robots.txt для сайта
БЕСПЛАТНЫЙ СЕРВИС · ROBOTS.TXT · ИНДЕКСАЦИЯ

Генератор robots.txt: готовый файл для вашей CMS — Битрикс, WordPress, Tilda, OpenCart, Laravel

Выберите CMS, укажите домен и адрес карты сайта — получите robots.txt с правильными запретами для служебных разделов, разрешением для картинок и стилей, ссылкой на sitemap и отдельными правилами для роботов нейросетей.

robots.txt

      
Как пользоваться
01

Выберите CMS — подставится шаблон с типовыми служебными разделами этой системы.

02

Добавьте свои запреты: пути через запятую. Укажите адрес sitemap.xml и выберите, пускать ли роботов нейросетей.

03

Скопируйте файл и положите в корень сайта как robots.txt. Проверьте, что он открывается по адресу домен/robots.txt.

Что важно знать

Правила robots.txt — рекомендация для добросовестных роботов, не защита. Запрет для GPTBot и подобных уменьшает шансы попасть в ответы ChatGPT — закрывайте их осознанно.

Услуга WeMake по теме Настроим индексацию сайта полностью robots.txt, sitemap, canonical, hreflang, редиректы и чистка дублей — техническая часть SEO с проверкой в Search Console.
Другие сервисы
FAQ · 40 ВОПРОСОВ

Вопросы и ответы: Генератор robots.txt для сайта

Не нашли ответ?
Задайте вопрос специалисту по рекламе — ответим в WhatsApp в течение 15 минут.
Спросить
Сервис собирает готовый файл robots.txt. По выбранной CMS он подставляет запреты для служебных разделов, разрешает сканировать картинки и стили, добавляет ссылку на sitemap.xml и отдельные правила для роботов нейросетей. Вам остаётся скопировать текст и положить файл в корень сайта.
Да, сервис бесплатный. Параметры выбираются прямо на странице, а готовый текст файла появляется сразу. Устанавливать программы или плагины на сайт не нужно: достаточно браузера и доступа к корневой папке сайта, чтобы загрузить результат.
В сервисе есть шаблоны для 1С-Битрикс, WordPress, Tilda и OpenCart. В каждом уже прописаны типовые служебные разделы выбранной системы. Если у вас нестандартные модули или своя структура адресов, дополните шаблон собственными запретами в отдельном поле.
Сервису нужны только домен и адрес sitemap.xml, чтобы вписать их в текст файла. Пароли, доступ к админке или хостингу не требуются. Эти данные и так публичны: любой посетитель может открыть ваш robots.txt и карту сайта по прямому адресу.
Нет. Правила robots.txt — это рекомендация для добросовестных роботов, а не защита. Недобросовестные парсеры могут их игнорировать, а сам файл виден всем. Конфиденциальные разделы закрывайте паролем или авторизацией на стороне сервера.
Чужие шаблоны часто устарели или написаны под другую CMS. Здесь правила подбираются под вашу систему, автоматически добавляются ссылка на sitemap, разрешение для картинок и стилей и отдельный блок для роботов нейросетей, который в старых примерах обычно отсутствует.
Владельцам сайтов, которые запускают проект без SEO-специалиста, маркетологам, проверяющим индексацию, и разработчикам, которым нужен быстрый корректный шаблон. Сервис особенно полезен, если сайт на популярной CMS и важно не открыть поисковикам служебные разделы.
Нет, сервис генерирует новый файл, а не анализирует текущий. Проверить работу правил можно в Google Search Console и Яндекс Вебмастере. Если нужен полный технический аудит с проверкой индексации, подойдёт услуга SEO-продвижение.
Да. Вы сами выбираете, пускать ли роботов нейросетей: GPTBot, ClaudeBot, Google-Extended, PerplexityBot и подобных. Генератор добавит для них отдельные правила. Учтите, что запрет снижает шансы, что вашу компанию упомянут в ответах ChatGPT и других ИИ.
Шаблон охватывает типовые служебные пути CMS, но не знает о ваших нестандартных модулях, фильтрах и разделах — их нужно добавить вручную. Кроме того, правила выполняют только добросовестные роботы, а уже проиндексированные страницы файл сам из поиска не удаляет.
Выберите CMS — подставится шаблон со служебными разделами. Добавьте свои запреты через запятую, укажите адрес sitemap.xml и решите, пускать ли роботов нейросетей. Скопируйте результат, сохраните как robots.txt в корне сайта и проверьте, что он открывается по адресу домен/robots.txt.
Впишите пути в поле дополнительных запретов через запятую, например /search/, /cart/, /personal/. Указывайте пути от корня сайта, начиная со слеша, без домена. Генератор превратит каждый путь в отдельную строку Disallow в итоговом файле.
В отдельном поле генератора укажите полный адрес карты, например https://site.kz/sitemap.xml, с протоколом и доменом. Сервис добавит в файл строку Sitemap, по которой поисковые роботы быстрее найдут все важные страницы сайта.
Файл кладётся в корневую папку сайта — туда же, где лежит главная страница, обычно это public_html или www. Имя строго robots.txt маленькими буквами. После загрузки откройте домен/robots.txt в браузере: должен показаться текст ваших правил.
Сначала откройте домен/robots.txt — файл должен отображаться как обычный текст без ошибки 404. Затем проверьте его в Яндекс Вебмастере и Google Search Console: там видно, какие адреса закрыты, и можно протестировать отдельные страницы на доступность для робота.
Disallow запрещает роботу сканировать указанный путь, Allow разрешает. Например, Disallow: /wp-admin/ закрывает админку WordPress. Allow используют, чтобы открыть нужное внутри закрытого раздела — так генератор оставляет доступными картинки и стили.
Поисковики отрисовывают страницу так, как её видит пользователь. Если стили и скрипты закрыты, робот видит сломанную вёрстку и может хуже оценить страницу, в том числе её удобство на мобильных. Картинки нужны для поиска по изображениям.
Выберите в списке 1С-Битрикс — шаблон закроет служебные разделы вроде /bitrix/ и /upload/, при этом картинки и стили останутся доступными. Добавьте свои пути, например страницы поиска или личного кабинета, укажите sitemap и загрузите файл в корень сайта.
Шаблон для WordPress закрывает служебные разделы /wp-admin/ и /wp-includes/, оставляет открытыми изображения и стили и добавляет ссылку на вашу карту сайта. При желании допишите запреты для поиска по сайту, тегов или страниц корзины интернет-магазина.
Выберите Tilda в списке CMS, укажите домен и адрес sitemap, добавьте свои запреты и настройки для роботов нейросетей. Возможности замены файла на конструкторе ограничены настройками платформы, поэтому после публикации обязательно проверьте, что по адресу домен/robots.txt отображаются нужные правила.
Он подсказывает поисковикам, какие разделы сканировать, а какие нет. Без него роботы тратят ресурсы на корзину, фильтры и служебные страницы, а в индекс попадают тысячи мусорных адресов. Правильный файл помогает быстрее индексировать важные страницы с товарами и услугами.
Это часть технического SEO вместе с sitemap, canonical, hreflang, редиректами и чисткой дублей. Ошибка в файле может закрыть весь сайт или засорить индекс. Комплексную техническую настройку с проверкой в Search Console делаем в рамках услуги SEO-продвижение.
Это карта сайта для поисковых роботов: список адресов страниц, которые вы хотите видеть в поиске. Ссылка на неё в robots.txt помогает роботам быстрее находить новые и обновлённые страницы, особенно на больших сайтах и в интернет-магазинах.
Сканирование — робот заходит на страницу и читает её. Индексация — поисковик добавляет страницу в базу и может показывать в выдаче. Robots.txt управляет сканированием, а чтобы страница точно не попала в индекс, используют метатег noindex.
User-agent — это имя робота, к которому относятся правила ниже. Звёздочка означает всех роботов, а конкретные имена вроде Yandex, Googlebot или GPTBot позволяют задать отдельные правила. Так генератор выделяет блок для роботов нейросетей.
Самые известные — GPTBot от OpenAI, ClaudeBot от Anthropic, Google-Extended и PerplexityBot. Они собирают данные, по которым ИИ отвечают пользователям. Узнать, упоминают ли нейросети вашу компанию, можно в сервисе Проверка видимости компании в нейросетях.
Robots.txt разрешает или запрещает роботам сканировать разделы сайта. Llms.txt — это описание сайта для нейросетей: кратко о компании и ссылки на главные страницы. Файлы дополняют друг друга, а создать второй поможет Генератор llms.txt.
Не напрямую. Он лишь запрещает сканирование, а уже проиндексированные страницы могут оставаться в выдаче. Для дублей используют canonical, для ненужных страниц — noindex или удаление с кодом 404 или 410, а robots.txt предотвращает появление нового мусора.
Да, косвенно. Рекламные системы проверяют посадочные страницы своими роботами, например AdsBot-Google, который не подчиняется общим правилам для звёздочки, а только явным. Если закрыть такого робота по имени, объявления могут отклонить из-за недоступной страницы.
Проверьте заголовки и описания страниц — поможет Генератор title и description с предпросмотром сниппета. Добавьте микроразметку для расширенных сниппетов через Генератор JSON-LD разметки. Вместе с robots.txt это базовая техническая гигиена сайта.
Чаще всего в файле оказалась строка Disallow: / для всех роботов — она закрывает весь сайт. Так бывает, если на рабочий домен перенесли файл с тестовой версии. Уберите запрет, загрузите новый файл и запросите переобход в Вебмастере и Search Console.
Только осознанно. Запрет для GPTBot и подобных снижает шансы, что ChatGPT и другие ИИ будут упоминать вашу компанию в ответах. Закрывать их имеет смысл, если контент платный или уникальный и вы не хотите отдавать его для обучения моделей.
В OpenCart через параметр index.php?route= открываются служебные страницы: корзина, оформление заказа, личный кабинет, сравнение. Без запрета роботы сканируют тысячи таких адресов и засоряют индекс. Шаблон генератора для OpenCart учитывает эту особенность.
Да. Эти страницы не нужны в выдаче, а результаты поиска по сайту и фильтры порождают бесконечное число адресов. Личный кабинет и формы, передающие заявки в CRM, тоже закрывайте, но помните, что для реальной защиты данных нужна авторизация.
Проверьте, что файл лежит именно в корне, а не во вложенной папке, и называется robots.txt маленькими буквами без двойного расширения вроде robots.txt.txt. Также убедитесь, что адрес не перенаправляется на другую страницу и отдаёт код 200.
Google может проиндексировать адрес без сканирования, если на него ведут ссылки, и покажет его без описания. Чтобы убрать страницу из выдачи, временно откройте её для робота и поставьте метатег noindex — иначе робот этот тег не увидит.
Сортировки, фильтры и UTM-метки создают множество адресов с одинаковым содержимым. Закройте лишние параметры в robots.txt, используйте canonical и по возможности делайте понятные постоянные адреса — сформировать их поможет Генератор ЧПУ-ссылок.
Да. Правила действуют только для того хоста, где лежит файл. Поддомены вроде shop.site.kz или en.site.kz требуют собственного robots.txt со своими запретами и ссылкой на свою карту сайта, иначе роботы будут сканировать их без ограничений.
Значит, закрыты стили, скрипты или изображения, нужные для отрисовки страницы. Генератор по умолчанию разрешает картинки и стили, поэтому проверьте свои дополнительные запреты: возможно, вы закрыли папку с темой или модулем, где лежат эти файлы.
Нет, Яндекс перестал учитывать директиву Host. Главное зеркало сайта теперь определяется через 301-редирект, например с www на адрес без www и с http на https, и настройки в Яндекс Вебмастере. Лишняя строка не навредит, но и пользы не даст.
СВОБОДНА КОМАНДА С 23 НОЯБРЯ

Настроим индексацию сайта полностью

robots.txt, sitemap, canonical, hreflang, редиректы и чистка дублей — техническая часть SEO с проверкой в Search Console.

Обсудить проект →
✓

Заявка принята —

Менеджер свяжется в течение 15 минут в рабочее время (пн–пт, 9:00–19:00). Копию заявки отправили на почту. Если срочно — напишите в WhatsApp.

Написать в WhatsApp Посмотреть кейсы
КОНСУЛЬТАЦИЯ · SEO-ПРОДВИЖЕНИЕ

Проверим индексацию и настроим техническое SEO сайта

Пара предложений о задаче — и мы пришлём вилку бюджета, срок и план первого этапа. Без брифа на 40 вопросов.

01Ответим в течение 15 минут в рабочее время
02Пришлём вилку бюджета, срок и рекомендацию по платформе
03Подпишем NDA до обсуждения деталей, если нужно
Ярослав
Ярослав
технический директор, оценивает веб-проекты
Что нужно
Рекламный бюджет в месяц
Ответим в течение 15 минут в рабочее время · данные не передаём третьим лицам

Отправляя заявку, вы соглашаетесь, что мы напишем вам в WhatsApp на этот номер.

КОНТАКТЫ СТУДИИ

Два офиса: Алматы и Усть-Каменогорск

Пишите в WhatsApp на любой из номеров или на почту — ответим в рабочее время в течение 15 минут.

EMAIL
info@wemake.kz
По всем вопросам
buh@wemake.kz
Бухгалтерия и документы
РЕЖИМ РАБОТЫ
с 09:00 до 18:00
Понедельник — пятница
Реквизиты компании

Офис в Алматы

Алматы, пр. Сейфуллина 617, ТРЦ «Forum», 4 этаж, 12 офис

Офис в Усть-Каменогорске

Усть-Каменогорск, пр. Ауэзова 28, ТК «Император», офис 417
Встречаем по записи, в будни с 09:00 до 18:00 Построить маршрут

Все услуги компании

9 направлений — от лендинга до сквозной аналитики
О СЕРВИСЕ

Генератор robots.txt онлайн для Битрикс, WordPress, Tilda и OpenCart

Генератор robots.txt от WeMake помогает за пару минут собрать корректный файл для сайта на популярной CMS без ручного разбора директив. Он пригодится владельцам интернет-магазинов, маркетологам и разработчикам в Казахстане, которые запускают новый сайт на .kz или наводят порядок в индексации существующего.

Зачем сайту robots.txt и чем опасна ошибка в одной строке

Файл robots.txt лежит в корне сайта и подсказывает поисковым роботам, какие разделы сканировать, а какие обходить стороной. Через него закрывают служебные папки, корзину, личный кабинет, страницы внутреннего поиска и фильтров, то есть всё, что не несёт пользы в выдаче.

Цена ошибки высока. Одна лишняя косая черта после Disallow может закрыть от индексации весь сайт, и трафик из Google и Яндекса начнёт падать уже через несколько недель. Обратная ситуация не лучше: если роботы свободно ходят по фильтрам и результатам поиска, в индекс попадают тысячи мусорных страниц, а важные карточки товаров и услуг сканируются реже.

Как работает генератор robots.txt WeMake и что вы получите

Сервис позволяет создать robots.txt онлайн за несколько шагов:

Сначала выберите CMS, и инструмент подставит шаблон с типовыми служебными разделами этой системы. Затем добавьте свои запреты: пути указываются через запятую. Укажите адрес sitemap.xml и решите, пускать ли роботов нейросетей. Готовый файл скопируйте, сохраните в корне сайта под именем robots.txt и проверьте, что он открывается по адресу домен/robots.txt.

На выходе получается файл с запретами для служебных разделов, разрешением для картинок и стилей (чтобы поисковик видел страницу так же, как посетитель), ссылкой на карту сайта и отдельными правилами для роботов нейросетей. По сути, это готовый robots.txt пример, уже адаптированный под ваш домен и движок.

Robots.txt для Битрикс, WordPress, Tilda и OpenCart на практике

У каждой системы свои служебные пути. Robots.txt для Битрикс закрывает /bitrix/ и /upload/. В robots.txt WordPress обычно запрещают /wp-admin/ и /wp-includes/. Robots.txt OpenCart должен учитывать адреса вида index.php?route=, иначе в индекс уходят технические дубли. Для robots.txt Tilda генератор тоже подставит отдельный шаблон: достаточно выбрать платформу в списке.

Пример из практики: магазин электроники в Алматы на OpenCart продаёт через сайт и параллельно через Kaspi. Фильтры по цене в тенге, сортировки и сравнение товаров порождают сотни адресов с параметрами. Добавив эти пути в свои запреты, магазин направляет внимание роботов на категории и карточки. Сеть клиник в Астане на Битриксе может закрыть личный кабинет пациента и страницы онлайн-записи, а заодно указать актуальную карту сайта.

Отдельное решение касается нейросетей: GPTBot, ClaudeBot, Google-Extended и PerplexityBot. Если ваша цель — чтобы компанию упоминали ChatGPT и другие ИИ-ассистенты, этих роботов стоит пустить. Если же контент уникален и вы не хотите отдавать его для обучения моделей, можно запретить GPTBot строками User-agent: GPTBot и Disallow: /. Учтите, что запрет снижает шансы попасть в ответы ChatGPT, поэтому закрывайте ботов осознанно. Узнать, как вас видят ИИ сейчас, поможет проверка видимости компании в нейросетях, а дополнить robots.txt можно файлом из генератора llms.txt.

Типичные ошибки, из-за которых сайт теряет позиции

Самая частая ошибка — оставить на рабочем сайте запрет Disallow: / со стадии разработки. Вторая — закрыть папки со стилями, скриптами и изображениями: поисковик видит «сломанную» страницу и может хуже оценить её удобство. Третья — пытаться спрятать через robots.txt конфиденциальные данные. Правила файла — рекомендация для добросовестных роботов, а не защита: недобросовестный бот их проигнорирует, а сам файл открыт любому.

Ещё одна ловушка — устаревшая ссылка на sitemap после переезда на новый домен или с http на https. Наконец, многие копируют чужой файл с другой CMS: правила для WordPress на сайте с Битриксом бесполезны и могут закрыть нужное.

Чек-лист: проверьте robots.txt перед загрузкой

  • Файл называется именно robots.txt и лежит в корне домена, а не в подпапке.
  • По адресу домен/robots.txt он открывается без ошибок и редиректов.
  • Нет строки Disallow: / для основных поисковых роботов.
  • Служебные разделы вашей CMS закрыты, а картинки и стили открыты.
  • Корзина, личный кабинет, внутренний поиск и параметры фильтров запрещены.
  • Указан актуальный адрес sitemap.xml с правильным протоколом и доменом.
  • Решение по роботам нейросетей принято осознанно, а не по умолчанию.
  • Важные страницы с заголовками из генератора title и description не попали под запрет.

Когда настройку индексации лучше доверить специалистам

Генератора достаточно для типового сайта. Но если у вас крупный каталог, несколько языковых версий на казахском и русском, региональные поддомены или уже заметные провалы трафика, robots.txt — лишь часть картины. Дубли, canonical, hreflang, редиректы и карта сайта должны работать вместе, а результат нужно проверять в Search Console.

Эту работу команда WeMake выполняет в рамках SEO-продвижения: мы проводим технический аудит, чистим дубли, настраиваем robots.txt и sitemap и следим, чтобы поисковики индексировали именно те страницы, которые приносят заявки и продажи.

Итог: правильный robots.txt за пару минут

Выберите CMS, добавьте свои запреты, укажите карту сайта и решите вопрос с роботами нейросетей — генератор соберёт аккуратный файл без ручных ошибок. Загрузите его в корень, проверьте по адресу домен/robots.txt и возвращайтесь к настройке при каждом серьёзном изменении структуры сайта.

РАСЧЁТ ЗА 1 ДЕНЬОБРАТНЫЙ ЗВОНОК

Обсудить проектПерезвоним, когда удобно

✓
Принято —
Перезвоним в течение 15 минут в рабочее время.

Пара слов о задаче — и мы пришлём вилку бюджета и срок. Без брифа на 40 вопросов.Оставьте номер и выберите время — менеджер позвонит, а не робот.

Когда удобно
Что нужно

Отправляя заявку, вы соглашаетесь, что мы напишем вам в WhatsApp на этот номер.

или свяжитесь сразу