#47 In Ordnung oder nicht in Ordnung, das ist hier die Frage!

03/30/22 • 25 min

Irgendwas mit Daten - Datenanalyse in der Industrie

Kennzahlen für die Modell-Quaität bei attributiven Zielgrößen (Klassifizierung)

In Ordnung oder nicht in Ordnung, das ist hier die Frage!

👉 Wie funktioniert die Bewertung der Erklär-Qualität bei attributiven Zielgrößen (gut/schlecht)?
👉 Was ist die Konfusionsmatrix?
👉 Welche Kennzahlen werden für die Erklär-Qualität bei der Klassifizierung eingesetzt?

Vor der Nutzung von Modellen zum Beispiel für die Optimierung von Versuchs- oder Prozess-Einstellungen sollte immer die Aussagekraft oder Erkär-Qualität bewertet werden. In dieser Folge erfahren Sie, mit welchen Kennzahlen Machine Learning Modelle evaluiert werden, die eine attributive Zielgröße (gut/schlecht, in Ordnung/nicht in Ordnung) haben.

Diese Methoden werden eingesetzt, wenn das Versuchs- oder Prozess-Ergebnis eine Klassifizierung ist. Je treffsicherer das ML Modell vorhersagen kann, in welcher Klasse oder Kategorie das Ergebnis landet, desto besser ist es für den produktiven Einsatz geeignet. In dieser Folge bekommen Sie Informationen und Erklärungen zur Konfusionmatrix und den wichtigsten Kennzahlen zur Bewertung der Erklär-Qualität von Modellen mit attributiven Zielgrößen. Darüber hinaus erfahren Sie, wie die ROC-Kurve entsteht und warum die Fläche unter der Kurve (AUC) für ein gutes Modell deutlich größer als 0,5 sein muss.

Links

👉 Schwangere Männer Bild
👉 In Ordnung oder nicht in Ordnung - Erklär-Qualität bei attributiven Zielgrößen: Konfusionsmatrix, Accuracy, Precision, Recall, Speficity, F1-Score
👉 Visualisierung von ROC und AUC: What is AUC?

Schreiben Sie mir!

Ich freue mich über Ihre Nachricht! Barbara Bredner, [email protected]

Kennzahlen für die Modell-Quaität bei attributiven Zielgrößen (Klassifizierung)

In Ordnung oder nicht in Ordnung, das ist hier die Frage!

Schreiben Sie mir!

Ich freue mich über Ihre Nachricht! Barbara Bredner, [email protected]

Vorherige Episode

#46 Wie gut funktionieren Machine Learning Modelle

Kennzahlen für die Modell-Quaität bei messbaren Zielgrößen (Regression)

Wie gut funktionieren Machine Learning Modelle?

👉 Welche Qualitäts-Kriterien gibt es für Machine Learning?
👉 Wie wird Erklär-Qualität bei der Regression bewertet?
👉 Wann ist die Anpassungsgüte R2 groß genug?

Ein Modell mit Methoden des maschinellen Lernens wie z. B. Regression oder Klassifikation zu bauen ist einfach. Solche Modelle können uns beispielsweise optimale Arbeitspunkte liefern oder dabei helfen nachzuweisen, dass die Anforderungen in einem bestimmten Prozessfenster erfüllt werden.

Bevor ein Modell produktiv genutzt wird, sollten Sie zuerst prüfen, ob das Modell gut genug ist. In dieser Folge erhalten Sie Informationen dazu, welche Kenngrößen für die Modell- bzw. Erklär-Qualität genutzt werden und warum die beliebteste Kennzahl, die Anpassungsgüte R2, allein zu wenig ist. Alternative Kennzahlen wie die Prognosegüte liefern weitere wichtige Erkenntnisse über die Qualität des ML Modells.

Links

👉 Barbara Bredner (2021) "NOT Statistik. Nachweise führen, Optimierungen finden, Toleranzen berechnen mit Minitab und R"
👉 Anber Arif: Cross Validation in Machine Learning
👉 Shervine Amidi: Machine Learning tips and tricks cheatsheet
👉 Adi Bronshtein: Train/Test Split and Cross Validation in Python

Schreiben Sie mir!

Ich freue mich über Ihre Nachricht! Barbara Bredner, [email protected]

Nächste Episode

#48 Was sind wichtige Schritte in der DoE

Von der Problemstellung über die Prozessbeschreibung zur Auswertung & Nutzung

Was sind wichtige Schritte in der DoE?

👉 Womit fängt die DoE an?
👉 Welche Vorarbeiten sind notwendig bzw. sinnvoll?
👉 Wann ist ein Versuchsplan zu wenig?

Viele Menschen denken bei der statistischen Versuchsplanung und -auswertung (Design of Experiments, DoE) zuerst daran, dass der Versuchsplan gut gewählt sein muss. Das stimmt, doch bevor es um die Auswahl und Erstellung eines geeigneten Versuchsplans geht, sind andere Schritte zur Vorbereitung notwendig.

In dieser Folge erhalten Sie Informationen zu den ersten Schritten sowie zu sinnvollen und notwendigen Vorarbeiten bei der DoE. Sie bekommen Entscheidungskriterien dafür, ob ein Versuchsplan ausreichend ist oder weitere Versuche sinnvoll sein können.