Workshop Details

ML Summit Summit 2020
22. - 24. April 2020 | München
Das große Trainingsevent für Machine Learning Development
& Business Innovation

Matthias Niehoff

de

24 Apr 2020
10:00 - 13:00
3+ Kollegen anmelden und bis zu 100 € pro Ticket sparen! Jetzt anmelden

Modellmanagement und ML-Workflow-Orchestrierung mit DVC und Apache Airflow

24 Apr 2020
10:00 - 13:00

Die Entwicklung von ML-Modellen ist eine spannende und herausfordernde Aufgabe. Verschiedene Datenstände werden als Grundlage genommen, die Architektur und Art der Modelle variiert und Hyperparameter getunt. Hier verliert man schnell den Überblick über bisherige Experimente. Also fängt man an, Dateinamen für die Versionierung zu benutzen oder Excel-Tabellen zu pflegen. Moment: Hier geht es um Versionierung, nicht nur von Code, sondern auch von Daten, Parametern und binären Dateien. Hier kommt DVC ins Spiel, ein Tool, das auf Basis des Industriestandards Git Versionierung für ML Use Cases bietet. Nach der Modellentwicklung kommt dann der nächste Schritt: Das Ganze soll in Produktion gehen. Neben dem Deployment gibt hier noch eine weitere Herausforderung: Das Modell wird nicht einmal deployt und anschließend nicht mehr verändert. Ganz im Gegenteil: Re-Trainings sind ein Muss, um eine schlechte Modellperformance zu verhindern. Das Training ist allerdings nicht der einzige Task in diesen Prozess: (Neue) Daten müssen geladen und aufbereitet werden, Daten- und Modellqualität muss geprüft werden und ggfs. werden auch Vorhersagen neu generiert. Bei diesen Aufgaben den Überblick zu behalten, dabei hilft Apache Airflow, ein Tool, um komplexe Machine Learning Abläufe zu modellieren und auszuführen.

Session Themen

#Machine Learing
Workshop Requirements:

Schwierigskeitslevel: Level 3 von 5 (Fortgeschritten)


Vorkenntnisse

* Grundkenntnisse in Python
* Grundkenntnisse in Machine Learning

Agenda:

Teil 1: Modell-Management mit DVC
– ML Ressourcen mit DVC versionieren & managen
– Experimente reproduzierbar machen mit DVC Pipelines

Teil 2: Workflow-Orchestrierung mit Apache Airflow
– Workflows in Python definieren mit DAGs
– Monitoring & Managing mit der Airflow UI