Главная/Сервисы/Генератор robots.txt для сайта

БЕСПЛАТНЫЙ СЕРВИС · ROBOTS.TXT · ИНДЕКСАЦИЯ

Генератор robots.txt: готовый файл для вашей CMS — Битрикс, WordPress, Tilda, OpenCart, Laravel

Выберите CMS, укажите домен и адрес карты сайта — получите robots.txt с правильными запретами для служебных разделов, разрешением для картинок и стилей, ссылкой на sitemap и отдельными правилами для роботов нейросетей.

К сервису → Обсудить проект

СЕРВИС · БЕСПЛАТНО

Генератор robots.txt для сайта

CMS

Домен

Адрес sitemap

Свои запреты (через запятую или с новой строки)

Роботы нейросетей

Закрыть SEO-парсеры (Ahrefs, Semrush, MJ12) — меньше нагрузки Добавить Crawl-delay для слабого хостинга (Google игнорирует)

robots.txt

Как пользоваться

Выберите CMS — подставится шаблон с типовыми служебными разделами этой системы.

Добавьте свои запреты: пути через запятую. Укажите адрес sitemap.xml и выберите, пускать ли роботов нейросетей.

Скопируйте файл и положите в корень сайта как robots.txt. Проверьте, что он открывается по адресу домен/robots.txt.

Что важно знать

Правила robots.txt — рекомендация для добросовестных роботов, не защита. Запрет для GPTBot и подобных уменьшает шансы попасть в ответы ChatGPT — закрывайте их осознанно.

Услуга WeMake по теме Настроим индексацию сайта полностью robots.txt, sitemap, canonical, hreflang, редиректы и чистка дублей — техническая часть SEO с проверкой в Search Console.

SEO-продвижение → Discuss a project

Другие сервисы

Генератор title и description с предпросмотром сниппета Google Генератор JSON-LD разметки Генератор llms.txt Проверка видимости компании в нейросетях Генератор ЧПУ-ссылок Проверка домена и Whois Все сервисы →

СВОБОДНА КОМАНДА С NOVEMBER 7

Настроим индексацию сайта полностью

robots.txt, sitemap, canonical, hreflang, редиректы и чистка дублей — техническая часть SEO с проверкой в Search Console.

Обсудить проект →

✓

Request received —

Менеджер свяжется в течение 15 минут в рабочее время (пн–пт, 9:00–19:00). Копию заявки отправили на почту. Если срочно — напишите в WhatsApp.

Написать в WhatsApp Посмотреть кейсы

КОНСУЛЬТАЦИЯ · SEO-ПРОДВИЖЕНИЕ

Проверим индексацию и настроим техническое SEO сайта

Пара предложений о задаче — и мы пришлём вилку бюджета, срок и план первого этапа. Без брифа на 40 вопросов.

01Ответим в течение 15 минут в рабочее время

02Пришлём вилку бюджета, срок и рекомендацию по платформе

03Подпишем NDA до обсуждения деталей, если нужно

Ярослав

технический директор, оценивает веб-проекты

Имя Телефон

Компания и сайт

Что нужно

Рекламный бюджет в месяц

Задача в двух словах

Согласен(на) на обработку персональных данных в соответствии с политикой конфиденциальности и условиями публичного договора

Ответим в течение 15 минут в рабочее время · данные не передаём третьим лицам

Отправляя заявку, вы соглашаетесь, что мы напишем вам в WhatsApp на этот номер.

STUDIO CONTACTS

Two offices: Almaty and Ust-Kamenogorsk

Message us on WhatsApp at any of the numbers or by email — we reply within 15 minutes during business hours.

PHONE AND WHATSAPP

+7 (707) 830-00-09 Sales department +7 (708) 385-87-18 Accounting +7 (777) 541-09-00 Director

info@wemake.kz

General enquiries

buh@wemake.kz

Accounting and documents

OPENING HOURS

from 09:00 to 18:00

Monday — Friday

Company details

Almaty office

Almaty, 617 Seifullin Ave, Forum Mall, 4th floor, office 12

Ust-Kamenogorsk office

Ust-Kamenogorsk, 28 Auezov Ave, Imperator shopping centre, office 417

Meetings by appointment, weekdays from 09:00 to 18:00 Get directions

Все услуги компании

9 направлений — от лендинга до сквозной аналитики

Website and online store development

Landing page and business card website Corporate website Catalogue website Online store Web app (PWA) Website on an Aspro ready-made solution Website redesign and migration

Mobile app development

Apps for iOS and Android Corporate apps Apps for online stores Customer accounts MVP development Integration with the website, CRM and 1C App improvements and support

Design and branding

Website UX/UI design Mobile app design Interface prototyping Redesign of existing projects Logo design Corporate identity design Brand book and guidelines

CRM and automation

Bitrix24 implementation amoCRM implementation Website–CRM integration Online store integration with 1C Business process automation IP telephony setup WhatsApp, Instagram and other messenger integration API and custom integration development Kaspi integration Online payments on your website Internet acquiring setup Marketplace integration

Support and improvements

Website technical support Mobile app support CRM system support Bug fixing New feature development 1C-Bitrix website development Project updates and speed optimisation Website protection and recovery after hacking Migration to another CMS

SEO and online advertising

Comprehensive SEO SEO for online stores SEO audit and technical optimisation GEO: optimisation for AI answers Online advertising services ChatGPT advertising Google Ads contextual advertising Yandex Direct contextual advertising Ad campaign audit and management Advertising analytics setup

Sale and renewal of licences and services

1C-Bitrix Bitrix24 amoCRM 1C products Binotel Sipuni OnlinePBX Wazzup Aspro solutions Selecting, connecting and renewing licences

Additional solutions

Flatris for developers Interactive catalogue and apartment availability chart Flatris–CRM integration 360° virtual tours Spherical panoramas 3D modelling and visualisation

Business analytics and dashboards

Industry-specific analytics systems Combining data from CRM, website, telephony and messengers End-to-end analytics of leads, sales and advertising Funnel, conversion and lost revenue analysis Finance, profit and profitability analytics Employee, department and sales point analytics Customer, repeat sales and LTV analytics Product, service, order and delivery analytics Data quality and failure monitoring

О СЕРВИСЕ

Генератор robots.txt для сайта: зачем нужен и как использовать результат

Файл robots.txt управляет тем, какие разделы сайта сканируют поисковики. Ошибка в нём может закрыть от индексации весь сайт или, наоборот, пустить роботов в корзину, личный кабинет и результаты поиска, создав тысячи мусорных страниц. У каждой CMS свои служебные пути: для 1С-Битрикс это /bitrix/ и /upload/, для WordPress — /wp-admin/ и /wp-includes/, у OpenCart — index.php?route=.

Отдельный вопрос — роботы нейросетей: GPTBot, ClaudeBot, Google-Extended, PerplexityBot. Если вы хотите, чтобы компанию находили в ChatGPT и других ИИ, их нужно разрешить — об этом наша услуга GEO. Техническое SEO целиком — в продвижении сайта.