Реальные кейсы*
из практики
Мы адаптируем разработку в соответствии с сферой и потребностями организации - заказчика.
Разработка решения для: гос. структура, один
из федеральных органов исполнительной власти
КАК было:
Разрозненные отчёты от подотчётных организаций, планы расходования бюджетных средств, множество никак не связанных показателей и целевых значений. Невозможность анализа полной картины.
Описание проекта:
Разработка хранилища данных и отчётов. СУБД oracle, позже перевели на postgresql. Объединили отчётные показатели и цели по государственным программам развития. Построили систему отчётности для мониторинга исполнения госпрограмм. Разработали механизм публикации открытых данных для посетителей портала.
Как стало:
Отчётные данные консолидированы и соотнесены с показателями госпрограмм. Разработаны графики и отчёты по всем собираемых показателям. Отчёты и показатели структурированы в группы и доступ к ним представляется на основе ролевой модели.
Разработка решения для: гос. структура, один
из федеральных органов исполнительной власти
КАК было:
Разрозненные отчеты от предприятий, нет контроля сдачи отчетности, данные хаотично дублировались в разных отчетах. Предприятия вынуждены выделять отдельного специалиста для ведения отчётности. Нет перекрестной проверки показателей на корректность, нет данных по регионам и отраслям. Низкая информативность получаемых отчетов, несмотря на высокие время затраты на проверку и сведение информации.
Описание проекта:
Построение хранилища данных для государственной структуры федерального значения. Автоматизация сбора отчётности, как из формализованных источников (excel, csv), так и из слабо формализованных источников (web, word). В качестве БД использовалась СУБД PostgreSQL. Также было подготовлены витрины данных и разработаны dashboard для вывода отчётов, разработан механизм послания отчётов на базе аналитических кубов.
Как стало:
Объем собираемых отчетов уменьшился в разы, предприятия подают отчетность без дублирования данных. Отчеты аккумулируются в хранилище данных, что позволяет выводить аналитические сводки не только по конкретному предприятию, но и суммировать данные по отраслям, регионам и многим другим параметрам. Пропала необходимость собирать с предприятий исторические справки по новым формам отчётности. Если информация собиралась, то отчёт по новой форме не требует от предприятий присылать данные за прошлый период. При объединении регионов, отраслей, форм собственности и т.п., данные по новым справочникам перестраиваются автоматически. Появилась возможность использовать алгоритмы bigdata. Стало возможно анализировать данные в масштабе отрасли / сегмента экономики, строить прогнозы и выбирать наиболее требующие внимания отрасли и точечно по предприятиям.
Разработка решения для:
Банк федерального значения
КАК было:
Более 30 информационных систем с никак не связанными данными. Сверки производят в excel с большими затратам человеко-часов. Никакой отчётности.
Описание проекта:
Создание хранилища для консолидации показателей работы. Разработка портала для публикации отчётов и отслеживания KPI. Автоматизация рассылки регламентных отчётов. СУБД PostgreSQL
Как стало:
Данные из источников объедены в единое хранилище данных. Загрузка из внешних источников автоматизирована, загрузки ведутся по расписанию и внешним вызовам. Создан информационный портал с возможностью отслеживать показатели из всех информационных источников компании.
Разработка решения для: Международная компания с более чем 100
торговыми представительствами только на территории РФ
КАК было:
Хранилище данных построено на облачных технологиях, для загрузки используется elt подход. Огромные затраты на инфраструктуру. Из-за использования elt подхода передача знаний и модификация текущих загрузок сильно осложнённая. Для поиска ошибок интеграции требуется привлечение высококвалифицированных специалистов. Ничего не документировано из-за чего поддержка становится ещё сложнее.
Описание проекта:
Создание хранилища данных на СУБД PostgreSQL и etl сервере CloverDX. Загрузка в хранилище данных из белее чем 50 источников в самых разных форматах: csv файлы, excel, api, Kafka, СУБД MsSql и т.д. Объем хранилища более 30ТБ
Как стало:
Создано множество универсальных загрузчиков для различных типов источников, все загрузки параметризируются. Затраты на содержание инфраструктуры сократились более чем 3 раза. Скорость обработки данных существенно возросла. Это дало возможность анализировать данные от поставщиков в день получения, а не на следующий. Для всех компонентов есть логи по этапам работы, что сократило затраты на сопровождение системы в более чем 4 раза. Использование etl подхода помогло существенно разгрузить СУБД и позволило снизить требование к серверам, что сократило издержки при эксплуатации. Также использование etl--сервера CloverDX позволило упростить передачу знаний и сократить время погружения новых специалистов при разработке. Все загрузки были документированы и заказчик получил полное понимание работы хранилища.
