Blog

FastAPI-сервис для безопасной потоковой передачи данных с FTP/FTPS/SFTP-серверов в Power BI и другие аналитические системы получил стабильную версию 2.1.0. Репозиторий: https://github.com/Lermont/ftp-bridge Что нового Проверка SFTP host-key для исключения MITM-атак. HEAD-эндпойнт: метаданные файла без его скачивания. Path Sanitizer и маскирование PII в логах. Auto-chunk tuning для крупных файлов. Degraded mode — сервис предоставляет /health и /docs,

Читать далее

Обновили версию коннектора BI Data в маркетплейсе Битрикс24. Бесплатная вресия позволяет выгружать неагрегированные данные из Битркис24 в таблицу PostgreSQL или MySQL. https://www.bitrix24.ru/apps/app/mediatargeting.bidata/ План развития: включить инкрементальные обновления и загрузку по расписанию в версии по подписке. Текущая версия коннектора Power BI остаётся по опдписке вне маркетплейса, её изменения не затрагивают.

Начнём с архитектуры хранения данных. В центре нашей системы – PostgreSQL 17, развёрнутый как ODS-хранилище (Operational Data Store). Все сырые данные из рекламных систем и CRM стекаются в ODS, а уж затем моделируются для BI. Почему выбран PostgreSQL, а не MySQL или ClickHouse? Во-первых, Postgres – универсально признанная СУБД с богатыми возможностями аналитического SQL (CTE,

Читать далее

Мы рады анонсировать запуск BI Data Tools — бесплатной онлайн-платформы, объединяющей более 20 специализированных инструментов для разработчиков, аналитиков данных и DevOps-инженеров. Наш сервис решает повседневные задачи разработки, автоматизируя рутинные процессы и повышая продуктивность команд. 🎯 Для кого создан сервис Backend-разработчики — API интеграции, работа с базами данных Data Engineers — обработка и трансформация данных BI-аналитики

Читать далее

Введение: решения на основе данных Data-Driven подход означает принятие решений на основе объективного анализа данных, а не только на интуиции. Исследования показывают, что компании, активно использующие данные, в 3 раза чаще улучшают качество принимаемых решений по сравнению с менее «data-driven» конкурентами. В эпоху цифровизации любые компании – от небольших семейных фирм до глобальных корпораций –

Читать далее

Введение и общий контекст При выборе базы данных для аналитических задач (OLAP) важно учитывать характер нагрузок, объём данных, требования BI-платформ и текущие реалии импортозамещения. В России, вследствие ухода вендоров вроде Microsoft, Oracle и SAP, всё больший приоритет отдаётся бесплатным open-source решениям. Это обусловлено не только экономией на лицензиях, но и рисками: с марта 2024 Microsoft

Читать далее

Большие языковые модели (LLM) совершают революцию в бизнес-аналитике, упрощая работу с данными для специалистов и бизнес-пользователей. В этом гайде мы рассмотрим, как LLM автоматизируют анализ данных, позволяют писать SQL-запросы на естественном языке, объясняют графики и дашборды, интегрируются с BI-инструментами (например, Power BI и Apache Superset), работают с базами данных (на примере PostgreSQL), используются в CRM/BPM-системах

Читать далее

Что такое ODS (Operational Data Store) ODS (Operational Data Store) – это оперативное хранилище данных, представляющее собой централизованную базу, куда собираются текущие данные из разных операционных систем компании. В ODS данные загружаются практически в режиме реального времени, при этом хранятся либо без исторических изменений, либо с очень ограниченной историей изменений. Главное предназначение ODS – обеспечить

Читать далее

самодостаточная 🇷🇺-связка для SMB-аналитики (обновлено 19 июня 2025 г.) 1. Почему именно Albato → PostgreSQL → DataLens Суверенный стек “на русском и без VPN”. Power BI Service с конца 2024-го официально не продаётся российским юрлицам, а старые аккаунты работают через спорадические VPN-“проныривания”. Yandex DataLens запустили в облаке Yandex Cloud и в on-prem варианте (DataLens Appliance)

Читать далее

(гид обновлён 19 июня 2025 г.) 1. Почему именно эта связка Два хранилища — две скорости, одна голова. Небольшим командам приходится балансировать: операционные запросы «покажи сделку прямо сейчас» → требуют транзакций и UPDATE-ов, аналитика «дай сводку за три года» → требует скана терабайтов без тормозов. Мы ставим PostgreSQL 16 в роль «горячего слоя» (OLTP), а

Читать далее