ДЗ MLOPS

1. Обучить модель

• Датасеты Train_1 и Test_1 использовать для обучения базовой модели.
• Датасеты Train_2 и Test_2 использовать для дообучения и постороения пайплайна.
• Используя python и библиотеку pytorch на основе предоставленного шаблона в jupyter notebook обучить модель на предоставленном датасете Train_1. На основе датасета Test_1 провести оценку качества обученной модели.

2. Интегрироваться с tensorboard

• Перед стартом обучения сохранить параметры обучения. В процессе обучения, в конце итерации эпохи, залогировать метрики на основе которых будет оцениваться качество обучения.
• На этапе тестирования модели залогировать метрики оценки качества обученной модели.

3. Интегрироваться с s3

• Используя docker-compose команду из репозитория развернуть s3 minio локально (убедитесь что у вас установлен docker-compose перед выполнением команды docker compose up).
• Выложить обученный артефакт модели после завершения обучения в s3.

4. Построить DVC пайплайн

• На основе датасета Train_2 дообучить полученную модель в из шага 1. Если выполняете задание с интеграцией с s3, то модель перед дообучением должна скачиваться из s3.
• На основе датасета Test_2 провести тестирование дообученной модели.
• Выложить новую версию модели в s3.
• Перед стартом дообучения сохранить параметры дообучения. В процессе дообучения, в конце итерации эпохи, залогировать метрики на основе которых будет оцениваться качество дообучения
• Создать DVC пайплайн который автоматически воспроизводит шаги 1-4 из пункта 4. Распечатать полученный граф.

5. Сравнить 2 версии модели по метрикам обучения и тестовым метрикам и написать вывод о полученных результатах.
6. Итоговый jupyter notebook с выполненными ячейками и выводом выложить в свой git.

• Обратите внимание, что проверка ДЗ будет происходить в виже комментарев к вашему коду в git, поэтому убедитесь что ваш репозиторий публичный.

Материалы для выполнения ДЗ

• Датасеты для обучения моделей можно найти здесь.
• Используйте тетрадку train_model.ipynb как шаблон.

Оценки

• [5 баллов] обучить ML модель
• [5 балла] интеграция обучения модели с tensorboard (loss + не менее 2-ух метрик отражающих качество полученной модели)
• [2 балла] интеграция с s3 -- выкладка моделей в хранилище
• [8 баллов] построение регулярного пайплайна с помощью DVC