Хранилище данных — что это, если коротко? Это отдельная база, куда по расписанию сводятся данные из CRM, 1С, сайта, телефонии и рекламы, приводятся к общим справочникам и хранятся вместе с историей изменений. CRM и 1С записывают текущую работу, а хранилище отвечает на вопросы руководителя, которые требуют данных из нескольких систем сразу. Ниже объясняем, где проходит граница и когда малому бизнесу пора о нём думать.
- Хранилище не заменяет CRM и 1С, а собирает из них копию для аналитики.
- Пока источник один-два и отчёты сходятся, хранилище не нужно.
- Сигнал к внедрению — отчёт собирают из нескольких выгрузок, а отделы называют разные цифры по одному вопросу.
- В WeMake объединение данных стартует от 500 000 ₸ за 3 источника и 3 недели работы.
Что такое хранилище данных простыми словами
Представьте, что у компании есть три тетради: в одной менеджеры пишут сделки, во второй бухгалтерия — оплаты и отгрузки, в третьей маркетолог — расходы на рекламу. Каждая тетрадь ведётся по своим правилам: клиент в одной записан как «ТОО Альфа», в другой — по БИН, в третьей его вообще нет. Хранилище — четвёртая тетрадь, куда аккуратно переписывают всё из первых трёх, сверяя имена и названия.
Технически это база данных, чаще всего PostgreSQL или ClickHouse, которая живёт отдельно от рабочих систем. Данные туда попадают автоматически: процесс ETL забирает записи из источника, приводит их к единой модели и складывает в хранилище. Подробно про способы сбора — ETL, ELT и готовые коннекторы — мы писали в статье ETL или ELT: как собирать данные.
В англоязычной литературе хранилище называют DWH — data warehouse. Когда говорят «корпоративное хранилище данных», обычно имеют в виду большую версию той же идеи: десятки источников, несколько юрлиц, роли доступа и каталог данных.
Чем хранилище отличается от базы CRM и 1С
Частый вопрос собственника: «У нас же есть база в 1С, зачем ещё одна?». База 1С и база CRM — операционные. Они созданы, чтобы быстро провести документ или передвинуть сделку, и хранят текущее состояние. Хранилище создано для чтения и анализа: оно держит историю, связывает данные из разных систем и выдерживает тяжёлые отчёты, не тормозя работу менеджеров.
| Вопрос | База CRM или 1С | Хранилище данных |
|---|---|---|
| Для чего создана | Вести продажи, учёт, документы | Строить отчёты и аналитику |
| Какие данные | Только свои: сделки или проводки | Из всех систем: CRM, 1С, сайт, телефония, мессенджеры, реклама |
| История | Текущее значение, прошлое часто перезаписано | Помнит, каким значение было на любую дату |
| Справочники | У каждой системы свои | Общие: клиент, товар, менеджер называются одинаково |
| Нагрузка от отчётов | Тяжёлый отчёт тормозит работу | Рабочие системы не затрагиваются |
Особенно важна история изменений. В CRM у сделки сейчас один ответственный, но три месяца назад был другой. Хранилище помнит оба значения, поэтому план-факт по менеджерам и анализ воронки по периодам считаются честно, а спорные ситуации можно разобрать по датам.
Зачем нужно хранилище данных: три типичные ситуации
К нам приходят не за «хранилищем», а с конкретной болью. Вот три ситуации, которые чаще всего говорят, что без отдельной базы для аналитики уже не обойтись.
Один клиент под тремя именами
Клиент есть в CRM, в 1С и в телефонии, но записан по-разному. Посчитать, сколько он купил за год и через какой канал пришёл, невозможно без ручной сверки. В хранилище записи склеиваются по телефону в едином формате, почте и ИИН/БИН, а спорные случаи уходят на ручную проверку с подсказками.
Отчёт по продажам собирают из четырёх выгрузок
Каждый понедельник кто-то выгружает сделки из CRM, оплаты из 1С, расходы из рекламных кабинетов и сводит всё в Excel. Это занимает дни, а ошибка в одной формуле меняет итог. После внедрения хранилища выгрузки заменяются расписанием, и отчёт строится в BI за минуты из уже согласованных данных.
Маркетинг и продажи спорят о цифрах
У маркетинга 120 заявок за месяц, у продаж — 90. Обе цифры правдивы, просто «заявкой» отделы называют разное. В хранилище фиксируются единые определения: что такое заявка, сделка, клиент, повторная покупка. Все отчёты строятся по одним правилам, и спор заканчивается.
ПРАВИЛОХранилище нужно не тогда, когда данных много, а когда систем больше одной и их цифры перестали сходиться.
DWH для малого бизнеса: при каком числе источников пора
Корпоративное хранилище данных ассоциируется с банками и сетями, но малому бизнесу оно тоже бывает нужно. Ориентир по числу систем такой.
- Один-два источника. Например, только amoCRM или только 1С. Встроенных отчётов CRM или 1С обычно хватает. Хранилище — преждевременная трата.
- Три источника. CRM, сайт и телефония. Здесь появляются дубли клиентов и вопрос «откуда пришла сделка». Это минимальный формат объединения данных.
- Пять-шесть источников. К предыдущим добавляются 1С с оплатами и товарами и рекламные кабинеты. Без общей модели данных отчёты начинают расходиться почти гарантированно.
- Десять и больше. Несколько юрлиц, филиалы, разные учётные базы. Это уже корпоративное хранилище с ролями доступа и каталогом данных.
По нашему опыту, единая карточка клиента обычно собирается из 5–7 систем: CRM, сайт, телефония, WhatsApp, 1С, реклама. Если вы узнали в этом списке свою компанию, хранилище — уже не роскошь, а способ перестать тратить неделю на сборку отчёта.
- Отчёт собирают вручную из нескольких выгрузок
- Нужны LTV, когорты, дебиторка, а покупки и заявки в разных системах
- Один клиент дублируется в CRM, 1С и телефонии
- Отделы называют разные цифры по одному вопросу
- Учёт ведётся в одной системе и её отчётов хватает
- Нет CRM — сначала нужно навести порядок в продажах
- Отчёты смотрят раз в квартал, и ручная сводка занимает час
- Не определено, что считать сделкой и клиентом
Из чего состоит хранилище данных
Слово «хранилище» звучит как одна коробка, но на деле это несколько слоёв. Понимать их полезно, чтобы читать смету подрядчика и задавать правильные вопросы.
- Коннекторы. Программы, которые забирают данные из CRM, 1С, сайта, телефонии, мессенджеров и рекламных кабинетов. Заявки и звонки можно забирать в реальном времени, 1С и рекламу — по расписанию от 15 минут.
- Модель данных. Описание сущностей — клиенты, товары, сделки, коммуникации — и связей между ними. Здесь «Город» из CRM, «Регион» из 1С и «Гео» из рекламы становятся одним полем со справочником.
- Правила склейки. По каким признакам две записи считаются одним клиентом и что делать со спорными случаями.
- Витрины и API. Готовые таблицы под конкретные отчёты: сделки с источниками, оплаты по направлениям. К ним подключается любой BI.
- Мониторинг. Если обмен не прошёл или записей пришло подозрительно мало, приходит алерт до того, как отчёт покажет неполные цифры.
Само хранилище — это не дашборд. Дашборды поверх витрин мы пишем в своей системе, без лицензий Power BI, Looker или DataLens, а сравнение BI-инструментов мы разбирали в статье Power BI, Looker Studio или своя BI-система.
Сколько стоит и сколько длится внедрение
На странице объединения данных в единое хранилище мы публикуем три формата. Разница между ними — в числе источников и режиме обновления.
Хранилище на PostgreSQL или ClickHouse лицензий не требует. Серверы — наши, в Казахстане: первый год входят в стоимость, дальше — от 8 000 ₸ в месяц. Лицензии BI-платформ не нужны: дашборды пишем в своей системе. Сравнить с другими услугами направления можно на странице цен на аналитику.
Проект идёт пятью этапами: аудит источников, полей и дублей — неделя, модель данных — 3–5 дней, коннекторы и загрузка — 1–2 недели, затем склейка и витрины с документацией. Первый дашборд обычно появляется через две недели после старта.
Хранилище или сразу BI-система под отрасль
Иногда собственник приходит с запросом «нужен дашборд», а за ним скрывается именно отсутствие хранилища. Иногда наоборот: данные уже собраны, и не хватает отраслевых показателей — оборачиваемости для ритейла, скорости продаж для застройщика, загрузки для производства.
Если вам нужны готовые дашборды по ролям с отраслевой моделью KPI, хранилище будет частью проекта аналитической системы под отрасль: там его проектируют вместе с показателями и дашбордами для собственника, руководителей и отделов. Если же задача — перестать сводить выгрузки и получить единые данные для любого отчёта, достаточно объединения данных: дашборды можно строить своими силами.
Что делать дальше
Прежде чем заказывать хранилище, проведите небольшую самопроверку. Она займёт час и сэкономит недели переговоров.
- Выпишите все системы, где живут данные о клиентах, продажах и деньгах: CRM, 1С, сайт, телефония, мессенджеры, рекламные кабинеты, Excel-таблицы.
- Возьмите одного постоянного клиента и найдите его во всех системах. Если он записан по-разному или где-то отсутствует, склейка понадобится.
- Запишите три вопроса, на которые руководитель сейчас не может ответить без ручной сводки. С одного из них стоит начать проект.
- Договоритесь внутри компании, что считать заявкой, сделкой и клиентом. Без этого ни одно хранилище не прекратит спор о цифрах.
Если систем три и больше, а ответы на вопросы собираются вручную, начните с аудита. За первую неделю станет ясно, какие источники подключать, кто источник истины по клиентам и оплатам и сколько будет стоить единая база клиентов и хранилище для аналитики именно в вашем случае.
Хранилище данных — это то же самое, что CDP?
Близкие понятия. CDP — единая база клиентов, собранная из всех систем, она обычно и строится на хранилище. Хранилище шире: в нём лежат ещё товары, оплаты, расходы и другие сущности.
Нужен ли малому бизнесу отдельный сервер под DWH?
Нет. Хранилище может работать на наших серверах в Казахстане: первый год входит в стоимость разработки, дальше — от 8 000 ₸ в месяц. Если свой сервер уже есть и данные нужно держать у себя, разворачиваем хранилище на нём.
Можно ли загрузить в хранилище данные за прошлые годы?
Да. История звонков, заказов и оплат нужна для LTV, когорт и дебиторки. Перед загрузкой чистим дубли и приводим справочники к единому виду.
Придётся ли останавливать CRM или 1С?
Нет. Коннекторы только читают данные, менеджеры и бухгалтерия продолжают работать как обычно.
Зачем нужно хранилище данных, если есть Power BI?
Power BI строит визуализацию, но не решает проблему дублей и разных справочников. Если подключить его напрямую к трём системам, отчёт покажет три разные правды. Хранилище готовит согласованные данные для дашбордов. Мы в WeMake пишем свою систему без лицензий BI.
