#46 Wie gut funktionieren Machine Learning Modelle

03/23/22 • 25 min

Irgendwas mit Daten - Datenanalyse in der Industrie

Kennzahlen für die Modell-Quaität bei messbaren Zielgrößen (Regression)

Wie gut funktionieren Machine Learning Modelle?

👉 Welche Qualitäts-Kriterien gibt es für Machine Learning?
👉 Wie wird Erklär-Qualität bei der Regression bewertet?
👉 Wann ist die Anpassungsgüte R2 groß genug?

Ein Modell mit Methoden des maschinellen Lernens wie z. B. Regression oder Klassifikation zu bauen ist einfach. Solche Modelle können uns beispielsweise optimale Arbeitspunkte liefern oder dabei helfen nachzuweisen, dass die Anforderungen in einem bestimmten Prozessfenster erfüllt werden.

Bevor ein Modell produktiv genutzt wird, sollten Sie zuerst prüfen, ob das Modell gut genug ist. In dieser Folge erhalten Sie Informationen dazu, welche Kenngrößen für die Modell- bzw. Erklär-Qualität genutzt werden und warum die beliebteste Kennzahl, die Anpassungsgüte R2, allein zu wenig ist. Alternative Kennzahlen wie die Prognosegüte liefern weitere wichtige Erkenntnisse über die Qualität des ML Modells.

Links

👉 Barbara Bredner (2021) "NOT Statistik. Nachweise führen, Optimierungen finden, Toleranzen berechnen mit Minitab und R"
👉 Anber Arif: Cross Validation in Machine Learning
👉 Shervine Amidi: Machine Learning tips and tricks cheatsheet
👉 Adi Bronshtein: Train/Test Split and Cross Validation in Python

Schreiben Sie mir!

Ich freue mich über Ihre Nachricht! Barbara Bredner, [email protected]

Kennzahlen für die Modell-Quaität bei messbaren Zielgrößen (Regression)

Wie gut funktionieren Machine Learning Modelle?

👉 Welche Qualitäts-Kriterien gibt es für Machine Learning?
👉 Wie wird Erklär-Qualität bei der Regression bewertet?
👉 Wann ist die Anpassungsgüte R2 groß genug?

Schreiben Sie mir!

Ich freue mich über Ihre Nachricht! Barbara Bredner, [email protected]

Vorherige Episode

#45 Wie funktioniert Einfluss-Analyse bei nicht-normalverteilten Ergebnissen?

warum "normal-verteilt" eher nicht normal ist

Wie funktioniert Einfluss-Analyse bei nicht-normalverteilten Ergebnissen?

👉 Warum ist das Ergebnis nicht normal-verteilt?
👉 Wie funktionieren verallgemeinerte lineare Modelle (GLM: Generalized Linear Models)?
👉 Sind Machine Learning Modelle auch GLMs?

Die Normalverteilung von Messwerten wird für viele Methoden vorausgesetzt und sie scheint oft "das Normalste" von der Welt zu sein - bis echte Messwerte aufgenommen werden. Die sind selten normalverteilt und damit stellt sich schnell die Frage, warum die Messwerte nicht aus einer "normalen" Verteilung kommen.

Mögliche Antworten darauf erhalten Sie in der aktuellen Folge. Außerdem geht es darum, wie Auswertungen bei nicht-normalverteilten Messdaten z. B. mit GLMs funktionieren und wie die verallgemeinerten linearen Modelle mit den Methoden des maschinellen Lernens zusammenhängen.

Links

👉 Hilbe, S. (2010) "Generalized Linear Models", Encyclopedia of Mathematics
👉 Great Learnings Team (2021) "Generalized Linear Model | What does it mean?"
👉 Clark, M. (2019) "Generalized Additive Models"

Schreiben Sie mir!

Ich freue mich über Ihre Nachricht! Barbara Bredner, [email protected]

Nächste Episode

#47 In Ordnung oder nicht in Ordnung, das ist hier die Frage!

Kennzahlen für die Modell-Quaität bei attributiven Zielgrößen (Klassifizierung)

In Ordnung oder nicht in Ordnung, das ist hier die Frage!

👉 Wie funktioniert die Bewertung der Erklär-Qualität bei attributiven Zielgrößen (gut/schlecht)?
👉 Was ist die Konfusionsmatrix?
👉 Welche Kennzahlen werden für die Erklär-Qualität bei der Klassifizierung eingesetzt?

Vor der Nutzung von Modellen zum Beispiel für die Optimierung von Versuchs- oder Prozess-Einstellungen sollte immer die Aussagekraft oder Erkär-Qualität bewertet werden. In dieser Folge erfahren Sie, mit welchen Kennzahlen Machine Learning Modelle evaluiert werden, die eine attributive Zielgröße (gut/schlecht, in Ordnung/nicht in Ordnung) haben.

Diese Methoden werden eingesetzt, wenn das Versuchs- oder Prozess-Ergebnis eine Klassifizierung ist. Je treffsicherer das ML Modell vorhersagen kann, in welcher Klasse oder Kategorie das Ergebnis landet, desto besser ist es für den produktiven Einsatz geeignet. In dieser Folge bekommen Sie Informationen und Erklärungen zur Konfusionmatrix und den wichtigsten Kennzahlen zur Bewertung der Erklär-Qualität von Modellen mit attributiven Zielgrößen. Darüber hinaus erfahren Sie, wie die ROC-Kurve entsteht und warum die Fläche unter der Kurve (AUC) für ein gutes Modell deutlich größer als 0,5 sein muss.