https://github.com/progressionnetwork/comexp

Платформа «Коммунальный Эксперт»

Эффективная прогностическая система управления жилищно-коммунальным хозяйством в масштабах города

Суть проекта:

Платформа «Коммунальный Эксперт» агрегирует данные об объектах, инцидентах и ремонтных работах из различных источников, связывает их и обрабатывает с целью рекомендаций по будущим работам для предотвращения или более быстрого реагирования на инциденты.

Задачи платформы:

Оптимизация работы сотрудников ЖКХ за счёт автоматизации и предикативного анализа событий и инцидентов, прогнозирования даты и времени работ с помощью анализа широкого спетра данных. Повышение эффективности работ благодаря умному планированию и правильному распределению ресурсов.

Возможности сервиса:

Живая статистика по работам
Подстветка объектов на карте
Прогнозирование даты обслуживания для объектов
Рекомендации по дате отклонений от планового обслуживания
Предсказание даты НАЧАЛА работ по заявке
Предсказание даты ЗАКРЫТИЯ заявки
Предсказание даты ЗАВЕРШЕНИЯ работ по заявке
Предсказание адреса следующих инцидентов
Рекомендация по предотвращению инцидента
Использование микросервисной архитектуры
Контейнирезация для быстрой развертки
Подготовлен API для последующего внедрения с другими целевыми платформами
Использование статистических моделей для вывления сущностей
Многопоточная, быстрая обработка данных

Описание алгоритма получения результата:

Платформа позволяет пользователям загружать данные об инцидентах, объектах и работах, после чего идет предобработка данных и размещение в базе данных. Из предоставленных данных выделяются основные сущности: объекты, инциденты и работы и их параметры. Далее, в соответствии с параметром UNOM происходит объединение в единую структуру. Из базы данных данные передаются рекомендательным алгоритмам и алгоритмам предсказания событий и дат.

Результаты привязываются к объектам. При появлении новых данных, алгоритмы предсказания могут дообучаться и обновлять свои модели.

Сложности при обработке данных:

Мультистраничные файлы XLSX, разрозненные данные
Названия колонок приходилось сопоставлять с фактическими данными из других файлов
Пропуски в данных
Различные форматы адресов
Пропуски в датах

Стек используемых технологий и библиотек:

Python/Pandas/regex
FastAPI
Sbercloud IaaS/PaaS Infrastructure
Docker
React js \ reduct
Catboost, sklearn
Nginx
Postgresql
Rabbitmq

Актуальность

В управление «Объединенная диспетчерская служба Департамента жилищно-коммунального хозяйства города Москвы» и на портал «Наш город» ежегодно поступает более 7.5 млн обращений граждан по вопросам ЖКХ.

В целях снижения трудозатрат на их анализ необходимо создать автоматизированный сервис с использованием алгоритмов машинного обучения для формирования предложений по планированию работ по ремонту и содержанию объектов Комплекса городского хозяйства города Москвы

Описание задачи

Разработайте сервис прогнозирования работ по содержанию и ремонту объектов городского хозяйства на основании анализа событий с применением технологии машинного обучения и возможностью корректировки итогового результата пользователем.

Ресурсы

Наборы обезличенных данных из автоматизированной информационной системы «Центр управления Комплекса городского хозяйства», содержащие:

Данные по обращениям граждан из информационной системы;
Классификатор событий, в соответствии с которой будет осуществляться выборка данных;
Перечень типов объектов городского хозяйства и их характеристики;
Адресный перечень объектов городского хозяйства;
Перечень работ и технологических операций

Описание итогового продукта

Сервис на основе алгоритмов машинного обучения