Хранилище данных для малого бизнеса: что это и когда оно действительно нужно

Хранилище данных — что это, если коротко? Это отдельная база, куда по расписанию сводятся данные из CRM, 1С, сайта, телефонии и рекламы, приводятся к общим справочникам и хранятся вместе с историей изменений. CRM и 1С записывают текущую работу, а хранилище отвечает на вопросы руководителя, которые требуют данных из нескольких систем сразу. Ниже объясняем, где проходит граница и когда малому бизнесу пора о нём думать.

Что такое хранилище данных простыми словами

Представьте, что у компании есть три тетради: в одной менеджеры пишут сделки, во второй бухгалтерия — оплаты и отгрузки, в третьей маркетолог — расходы на рекламу. Каждая тетрадь ведётся по своим правилам: клиент в одной записан как «ТОО Альфа», в другой — по БИН, в третьей его вообще нет. Хранилище — четвёртая тетрадь, куда аккуратно переписывают всё из первых трёх, сверяя имена и названия.

Технически это база данных, чаще всего PostgreSQL или ClickHouse, которая живёт отдельно от рабочих систем. Данные туда попадают автоматически: процесс ETL забирает записи из источника, приводит их к единой модели и складывает в хранилище. Подробно про способы сбора — ETL, ELT и готовые коннекторы — мы писали в статье ETL или ELT: как собирать данные.

В англоязычной литературе хранилище называют DWH — data warehouse. Когда говорят «корпоративное хранилище данных», обычно имеют в виду большую версию той же идеи: десятки источников, несколько юрлиц, роли доступа и каталог данных.

Чем хранилище отличается от базы CRM и 1С

Частый вопрос собственника: «У нас же есть база в 1С, зачем ещё одна?». База 1С и база CRM — операционные. Они созданы, чтобы быстро провести документ или передвинуть сделку, и хранят текущее состояние. Хранилище создано для чтения и анализа: оно держит историю, связывает данные из разных систем и выдерживает тяжёлые отчёты, не тормозя работу менеджеров.

Особенно важна история изменений. В CRM у сделки сейчас один ответственный, но три месяца назад был другой. Хранилище помнит оба значения, поэтому план-факт по менеджерам и анализ воронки по периодам считаются честно, а спорные ситуации можно разобрать по датам.

Зачем нужно хранилище данных: три типичные ситуации

К нам приходят не за «хранилищем», а с конкретной болью. Вот три ситуации, которые чаще всего говорят, что без отдельной базы для аналитики уже не обойтись.

Один клиент под тремя именами

Клиент есть в CRM, в 1С и в телефонии, но записан по-разному. Посчитать, сколько он купил за год и через какой канал пришёл, невозможно без ручной сверки. В хранилище записи склеиваются по телефону в едином формате, почте и ИИН/БИН, а спорные случаи уходят на ручную проверку с подсказками.

Отчёт по продажам собирают из четырёх выгрузок

Каждый понедельник кто-то выгружает сделки из CRM, оплаты из 1С, расходы из рекламных кабинетов и сводит всё в Excel. Это занимает дни, а ошибка в одной формуле меняет итог. После внедрения хранилища выгрузки заменяются расписанием, и отчёт строится в BI за минуты из уже согласованных данных.

Маркетинг и продажи спорят о цифрах

У маркетинга 120 заявок за месяц, у продаж — 90. Обе цифры правдивы, просто «заявкой» отделы называют разное. В хранилище фиксируются единые определения: что такое заявка, сделка, клиент, повторная покупка. Все отчёты строятся по одним правилам, и спор заканчивается.

ПРАВИЛО

Хранилище нужно не тогда, когда данных много, а когда систем больше одной и их цифры перестали сходиться.

DWH для малого бизнеса: при каком числе источников пора

Корпоративное хранилище данных ассоциируется с банками и сетями, но малому бизнесу оно тоже бывает нужно. Ориентир по числу систем такой.

• Один-два источника. Например, только amoCRM или только 1С. Встроенных отчётов CRM или 1С обычно хватает. Хранилище — преждевременная трата.
• Три источника. CRM, сайт и телефония. Здесь появляются дубли клиентов и вопрос «откуда пришла сделка». Это минимальный формат объединения данных.
• Пять-шесть источников. К предыдущим добавляются 1С с оплатами и товарами и рекламные кабинеты. Без общей модели данных отчёты начинают расходиться почти гарантированно.
• Десять и больше. Несколько юрлиц, филиалы, разные учётные базы. Это уже корпоративное хранилище с ролями доступа и каталогом данных.

По нашему опыту, единая карточка клиента обычно собирается из 5–7 систем: CRM, сайт, телефония, WhatsApp, 1С, реклама. Если вы узнали в этом списке свою компанию, хранилище — уже не роскошь, а способ перестать тратить неделю на сборку отчёта.

Из чего состоит хранилище данных

Слово «хранилище» звучит как одна коробка, но на деле это несколько слоёв. Понимать их полезно, чтобы читать смету подрядчика и задавать правильные вопросы.

• Коннекторы. Программы, которые забирают данные из CRM, 1С, сайта, телефонии, мессенджеров и рекламных кабинетов. Заявки и звонки можно забирать в реальном времени, 1С и рекламу — по расписанию от 15 минут.
• Модель данных. Описание сущностей — клиенты, товары, сделки, коммуникации — и связей между ними. Здесь «Город» из CRM, «Регион» из 1С и «Гео» из рекламы становятся одним полем со справочником.
• Правила склейки. По каким признакам две записи считаются одним клиентом и что делать со спорными случаями.
• Витрины и API. Готовые таблицы под конкретные отчёты: сделки с источниками, оплаты по направлениям. К ним подключается любой BI.
• Мониторинг. Если обмен не прошёл или записей пришло подозрительно мало, приходит алерт до того, как отчёт покажет неполные цифры.

Само хранилище — это не дашборд. Дашборды поверх витрин мы пишем в своей системе, без лицензий Power BI, Looker или DataLens, а сравнение BI-инструментов мы разбирали в статье Power BI, Looker Studio или своя BI-система.

Сколько стоит и сколько длится внедрение

На странице объединения данных в единое хранилище мы публикуем три формата. Разница между ними — в числе источников и режиме обновления.

Хранилище на PostgreSQL или ClickHouse лицензий не требует. Серверы — наши, в Казахстане: первый год входят в стоимость, дальше — от 8 000 ₸ в месяц. Лицензии BI-платформ не нужны: дашборды пишем в своей системе. Сравнить с другими услугами направления можно на странице цен на аналитику.

Проект идёт пятью этапами: аудит источников, полей и дублей — неделя, модель данных — 3–5 дней, коннекторы и загрузка — 1–2 недели, затем склейка и витрины с документацией. Первый дашборд обычно появляется через две недели после старта.

Хранилище или сразу BI-система под отрасль

Иногда собственник приходит с запросом «нужен дашборд», а за ним скрывается именно отсутствие хранилища. Иногда наоборот: данные уже собраны, и не хватает отраслевых показателей — оборачиваемости для ритейла, скорости продаж для застройщика, загрузки для производства.

Если вам нужны готовые дашборды по ролям с отраслевой моделью KPI, хранилище будет частью проекта аналитической системы под отрасль: там его проектируют вместе с показателями и дашбордами для собственника, руководителей и отделов. Если же задача — перестать сводить выгрузки и получить единые данные для любого отчёта, достаточно объединения данных: дашборды можно строить своими силами.

Что делать дальше

Прежде чем заказывать хранилище, проведите небольшую самопроверку. Она займёт час и сэкономит недели переговоров.

1. Выпишите все системы, где живут данные о клиентах, продажах и деньгах: CRM, 1С, сайт, телефония, мессенджеры, рекламные кабинеты, Excel-таблицы.
2. Возьмите одного постоянного клиента и найдите его во всех системах. Если он записан по-разному или где-то отсутствует, склейка понадобится.
3. Запишите три вопроса, на которые руководитель сейчас не может ответить без ручной сводки. С одного из них стоит начать проект.
4. Договоритесь внутри компании, что считать заявкой, сделкой и клиентом. Без этого ни одно хранилище не прекратит спор о цифрах.

Если систем три и больше, а ответы на вопросы собираются вручную, начните с аудита. За первую неделю станет ясно, какие источники подключать, кто источник истины по клиентам и оплатам и сколько будет стоить единая база клиентов и хранилище для аналитики именно в вашем случае.