update of code and dash

Author: Koldim2001

Diff for: README.md

@@ -1,5 +1,5 @@
-# Анализ трафика на круговом движении (prod версия с множеством камер)
-# Версия с тайм сириес базой данных Influx
+# Анализ трафика на круговом движении 
+**production версия с множеством камер и тайм сириес базой данных Influx**
 
 Данная программа осуществляет анализ входящего трафика на участке кругового движения. Алгоритм определяет загруженность примыкающих дорог и выводит интерактивную статистику.
 
@@ -10,20 +10,48 @@
 docker compose -p traffic_analyzer up -d --build
 ```
 
-Необходимо в главной директории создать файл с переменными окружения, которые будут прокинуты во все контейнеры. Для этого создайте файл `secrets.txt` и положите подобный текст с паролями:
+Необходимо в главной директории создать файл с переменными окружения, которые будут прокинуты во все контейнеры. Для этого создайте файл `.env` и положите подобный текст с паролями и логинами к сервисам:
 ```
-POSTGRES_DB=traffic_analyzer_db
-POSTGRES_USER=user
-POSTGRES_PASSWORD=pwd
+INFLUXDB_ADMIN_USER=admin
+INFLUXDB_ADMIN_PASSWORD=admin
 GF_SECURITY_ADMIN_USER=admin
 GF_SECURITY_ADMIN_PASSWORD=admin
 ```
 Каждая новая камера добавляется как +1 инстанс бекенда traffic_analyzer_camera_N в котором надо указать лишь разные scr и конфигурации через переменные окружения
 
-У каждой камеры сой дашборд между которыми можно переходит по кнопке:
+У каждой камеры свой дашборд между которыми можно переходит по кнопке:
 
 ![grafana](https://github.com/user-attachments/assets/c0c6d602-2026-460f-9c48-64180e87ca8e)
 
+## Как запустить локально без дополнительных микросервисов:
+```
+# ставим библиотеки:
+python -m pip install --upgrade pip
+pip install "numpy<2"
+pip install cython_bbox==0.1.5 lap==0.4.0 
+pip install torch==2.3.1 torchvision==0.18.1 --index-url https://download.pytorch.org/whl/cu121
+pip install -r requirements.txt
+
+# запускаем код:
+python main_optimized.py pipeline.send_info_kafka=False
+```
+
+## Рассмотрим, как реализован код:
+
+Каждый кадр последовательно проходит через ноды, и в атрибуты этого объекта постепенно добавляется все больше и больше информации.
+
+```mermaid
+graph TD;
+    A["VideoReader<br>Считывает кадры из видеофайла"] --> B["DetectionTrackingNodes<br>Реализует детектирование машин + трекинг"];
+    B --> C["TrackerInfoUpdateNode<br>Обновляет информацию об актуальных треках"];
+    C --> D["CalcStatisticsNode<br>Вычисляет загруженность дорог"];
+    D --send_info_kafka==False --> F;
+    D --send_info_kafka==True --> E["KafkaProducerNode<br>Отправляет результаты в Kafka"];
+    E --> F["ShowNode<br>Отображает результаты на экране"];
+    F --save_video==True --> H["VideoSaverNode<br>Сохраняет обработанные кадры"];
+    F --show_in_web==True & save_video==False --> L["FlaskServerVideoNode<br>Обновляет кадры в веб-интерфейсе"];
+    H --show_in_web==True --> L
+```
 
 
 ## Работа с программой:
@@ -55,39 +83,28 @@ __Пример режима демонстрации трекинга машин
 ![Traffic Tracking](content_for_readme/traffic_tracking.gif)
 
 ---
-## Включение сторонних сервисов для визуализации результатов:
-Программа позволяет вести запись актуальной статистики о машинопотоке в базу данных PostgreSQL и тут же осуществлять визуализацию в виде интерактивного дашборда Grafana.
-
-![image](https://github.com/user-attachments/assets/90844b76-45d0-4223-822d-4e943138c338)
 
-Тем самым у конечного потребителя этого приложения имеется возможность запустить код один раз, подключив на вход RTSP поток или заготовленный видеофайл, и постоянно получать актуальную статистику, а также просматривать историю загруженности участка движения.
 
+## Существующие версии кода:
 
-## Вывод обработанного видеопотока в веб-интерфейс:
+В проекте специально предусмотрено множество веток, реализующих разные уровни разработки масштабного Computer Vision проекта.
 
-Обработанные кадры можно отображать в веб-интерфейсе (вместо отдельного окна OpenCV). Бэкенд сайта реализован с использованием Flask.
+Например, в главной ветке [**main**](https://github.com/Koldim2001/TrafficAnalyzer/tree/main) Docker Compose позволяет поднять сторонние сервисы (Grafana для визуализации и базу данных PostgreSQL). Однако основной код, реализующий бекенд, необходимо запускать локально с помощью имеющегося на компьютере Python.
 
-Для того, чтобы запустить проект таким образом, необходимо в файле configs/app_config.yaml в разделе pipeline указать show_in_web=True и в show_node указать imshow=False. Далее можно запускать main.py или main_optimized.py и переходить по ссылке http://localhost:8100/
+Дальнейшее развитие проекта заключается в реализации полного Docker Compose из всех имеющихся сервисов, включая сам бекенд. Такая версия доступна в ветке [**prod_docker_version**](https://github.com/Koldim2001/TrafficAnalyzer/tree/prod_docker_version). Код из этой ветки очень просто запустить, и не требуется ничего иметь на компьютере, кроме Docker. Проект запускается единственной командой: `docker compose -p traffic_analyzer up -d --build`
 
-Пример того, как можно запустить проект и иметь возможность одновременно смотреть стрим по порту 8100 и наблюдать интерактивный дашборд в Grafana по порту 3111:
+Следующим этапом развития проекта стало появление ветки [**multicamera**](https://github.com/Koldim2001/TrafficAnalyzer/tree/multicamera). В ней реализовано всё то же, что и в ветке prod_docker_version, но теперь есть удобная возможность масштабировать проект на большое число камер. Для этого потребуется лишь в файле docker-compose добавить новые контейнеры бекенда с указанием пути до нового видео ресурса. При этом вся обработка будет выполняться нативно внутри контейнеров бекенда, включая инференс самой сети. Под каждую новую камеру автоматически поднимается новый инстанс сети YOLO, реализующий детекцию транспорта.
 
-![web+grafana](content_for_readme/web+grafana.gif)
-
----
+Еще одним дальнейшим вариантом развития стало появление ветки [**feature/triton**](https://github.com/Koldim2001/TrafficAnalyzer/tree/feature/triton). По сути это та же ветка multicamera, но теперь все контейнеры бекенда не реализуют инференс сети внутри, а лишь отправляют запросы по gRPC на дополнительный сервис под названием Triton Inference Server. Благодаря этому можно масштабировать проект без значительного увеличения нагрузки (хотя значения FPS будет чуть ниже из-за того, что теперь для инференса надо отправлять запрос на сервис и получать ответы с него). Однако теперь лишь один контейнер взаимодействует с видеокартой, и инстансы бекенда не требуют GPU для работы.
 
-## Рассмотрим, как реализован код:
+Еще одним дальнейшим вариантом развития стало появление ветки [**feature/influx**](https://github.com/Koldim2001/TrafficAnalyzer/tree/feature/influx). Это как раз та ветка в которой вы сейчас находитесь. По сути это та же ветка multicamera, но теперь база данных изменена с PostgreSQL на базу данных рмененных рядов InfluxDB. Данная база данных лучше подходит для работы с потоковыми данными, которые записываются с бекенда. При этом запись в InfluxDB осуществляется с помощью сервиса Telegraf, который читает топик брокера сообщений Kafka, в который отправляет бекенд, и производит автоматическое сохранение данных в Influx.
 
-Каждый кадр последовательно проходит через ноды, и в атрибуты этого объекта постепенно добавляется все больше и больше информации.
+Структура ветвления Git проекта представлена ниже:
 
-```mermaid
-graph TD;
-    A["VideoReader<br>Считывает кадры из видеофайла"] --> B["DetectionTrackingNodes<br>Реализует детектирование машин + трекинг"];
-    B --> C["TrackerInfoUpdateNode<br>Обновляет информацию об актуальных треках"];
-    C --> D["CalcStatisticsNode<br>Вычисляет загруженность дорог"];
-    D --sent_info_db==False --> F;
-    D --sent_info_db==True --> E["SentInfoDBNode<br>Отправляет результаты в базу данных"];
-    E --> F["ShowNode<br>Отображает результаты на экране"];
-    F --save_video==True --> H["VideoSaverNode<br>Сохраняет обработанные кадры"];
-    F --show_in_web==True & save_video==False --> L["FlaskServerVideoNode<br>Обновляет кадры в веб-интерфейсе"];
-    H --show_in_web==True --> L
 ```
+main
+└── prod_docker_version
+    └── multicamera
+        ├── feature/triton
+        └── feature/influx
+```

Diff for: configs/app_config.yaml

@@ -74,7 +74,7 @@ kafka_producer_node: #// камера id
   bootstrap_servers: kafka:29092 #127.0.0.1:9092 #kafka:29092
   topic_name: ${oc.env:TOPIC_NAME}
   how_often_sec: 1 # раз в сколько секунд отправлять результат
-  camera_id: ${oc.env:CAMERA_ID}
+  camera_id: ${oc.decode:${oc.env:CAMERA_ID}} 
 
 
 video_server_node: 

Diff for: docker-compose.yaml

@@ -56,61 +56,6 @@ services:
       - kafka
     networks:
       - prod_network
-
-  traffic_analyzer_camera_1:
-    build: .
-    image: traffic_analyzer/traffic_analyzer:latest 
-    restart: always
-    container_name: traffic_analyzer_camera_1
-    command: python main_optimized.py
-    environment:
-      - VIDEO_SRC=test_videos/test_video.mp4
-      - ROADS_JSON=configs/entry_exit_lanes.json
-      - TOPIC_NAME=statistic_1
-      - CAMERA_ID=1
-    volumes:
-      - ./configs:/app/configs
-      - ./weights:/app/weights
-      - ./test_videos:/app/test_videos
-    depends_on:
-      kafka:
-        condition: service_healthy
-    deploy:
-      resources:
-        reservations:
-          devices:
-            - driver: nvidia
-              count: all
-              capabilities: [gpu]
-    networks:
-      - prod_network
-
-  traffic_analyzer_camera_2:
-    image: traffic_analyzer/traffic_analyzer:latest 
-    restart: always
-    container_name: traffic_analyzer_camera_2
-    command: python main_optimized.py
-    environment:
-      - VIDEO_SRC=test_videos/longer_example.mp4
-      - ROADS_JSON=configs/entry_exit_lanes.json
-      - TOPIC_NAME=statistic_1
-      - CAMERA_ID=2
-    depends_on:
-      kafka:
-        condition: service_healthy
-    volumes:
-      - ./configs:/app/configs
-      - ./weights:/app/weights
-      - ./test_videos:/app/test_videos
-    deploy:
-      resources:
-        reservations:
-          devices:
-            - driver: nvidia
-              count: all
-              capabilities: [gpu]
-    networks:
-      - prod_network
 
   grafana:
     container_name: grafana_traffic
@@ -119,6 +64,8 @@ services:
       TZ: "Europe/Moscow"
       GF_ALLOW_EMBEDDING: "true"
       GF_PANELS_DISABLE_SANITIZE_HTML: "true"
+      GF_SECURITY_ADMIN_USER: ${GF_SECURITY_ADMIN_USER}
+      GF_SECURITY_ADMIN_PASSWORD: ${GF_SECURITY_ADMIN_PASSWORD}
     restart: unless-stopped
     ports:
       - "3111:3000"
@@ -135,8 +82,8 @@ services:
       - "8087:8086"
     environment:
       - INFLUX_DB=influx
-      - INFLUXDB_ADMIN_USER=admin
-      - INFLUXDB_ADMIN_PASSWORD=admin
+      - INFLUXDB_ADMIN_USER=${INFLUXDB_ADMIN_USER}
+      - INFLUXDB_ADMIN_PASSWORD=${INFLUXDB_ADMIN_PASSWORD}
       - INFLUXDB_RETENTION_POLICY_AUTOCREATE=true
       - INFLUXDB_RETENTION_DURATION=30d
     volumes:
@@ -170,6 +117,61 @@ services:
     networks:
       - prod_network
 
+  traffic_analyzer_camera_1:
+    build: .
+    image: traffic_analyzer/traffic_analyzer:latest 
+    restart: always
+    container_name: traffic_analyzer_camera_1
+    command: python main_optimized.py
+    environment:
+      - VIDEO_SRC=test_videos/test_video.mp4
+      - ROADS_JSON=configs/entry_exit_lanes.json
+      - TOPIC_NAME=statistic_1
+      - CAMERA_ID=1
+    volumes:
+      - ./configs:/app/configs
+      - ./weights:/app/weights
+      - ./test_videos:/app/test_videos
+    depends_on:
+      kafka:
+        condition: service_healthy
+    deploy:
+      resources:
+        reservations:
+          devices:
+            - driver: nvidia
+              count: all
+              capabilities: [gpu]
+    networks:
+      - prod_network
+
+  traffic_analyzer_camera_2:
+    image: traffic_analyzer/traffic_analyzer:latest 
+    restart: always
+    container_name: traffic_analyzer_camera_2
+    command: python main_optimized.py
+    environment:
+      - VIDEO_SRC=test_videos/longer_example.mp4
+      - ROADS_JSON=configs/entry_exit_lanes.json
+      - TOPIC_NAME=statistic_1
+      - CAMERA_ID=2
+    depends_on:
+      kafka:
+        condition: service_healthy
+    volumes:
+      - ./configs:/app/configs
+      - ./weights:/app/weights
+      - ./test_videos:/app/test_videos
+    deploy:
+      resources:
+        reservations:
+          devices:
+            - driver: nvidia
+              count: all
+              capabilities: [gpu]
+    networks:
+      - prod_network
+
 networks:
   prod_network:
     driver: bridge

Diff for: main.py

@@ -8,7 +8,13 @@
 from nodes.FlaskServerVideoNode import VideoServer
 from elements.VideoEndBreakElement import VideoEndBreakElement
 from nodes.KafkaProducerNode import KafkaProducerNode
+from utils_local.utils import check_and_set_env_var
 
+# Проверяем и устанавливаем переменные окружения если их нет
+check_and_set_env_var("VIDEO_SRC", "test_videos/test_video.mp4")
+check_and_set_env_var("ROADS_JSON", "configs/entry_exit_lanes.json")
+check_and_set_env_var("TOPIC_NAME", "statistic_1")
+check_and_set_env_var("CAMERA_ID", 1)
 
 @hydra.main(version_base=None, config_path="configs", config_name="app_config")
 def main(config) -> None:

Diff for: main_optimized.py

@@ -13,9 +13,16 @@
 from nodes.FlaskServerVideoNode import VideoServer
 from nodes.KafkaProducerNode import KafkaProducerNode
 from elements.VideoEndBreakElement import VideoEndBreakElement
+from utils_local.utils import check_and_set_env_var
 
 PRINT_PROFILE_INFO = False
 
+# Проверяем и устанавливаем переменные окружения если их нет
+check_and_set_env_var("VIDEO_SRC", "test_videos/test_video.mp4")
+check_and_set_env_var("ROADS_JSON", "configs/entry_exit_lanes.json")
+check_and_set_env_var("TOPIC_NAME", "statistic_1")
+check_and_set_env_var("CAMERA_ID", 1)
+
 
 def proc_frame_reader_and_detection(queue_out: Queue, config: dict, time_sleep_start: int):
     sleep_message = f"Система разогревается.. sleep({time_sleep_start})"