In der Künstlichen Intelligenz (KI) ist die Validierung und das Testen von Modellen essenziell, um deren Zuverlässigkeit und Generalisierungsfähigkeit (Siehe auch meinen Beitrag „Generalisierungs-Checks im KI-Testing„) zu gewährleisten. Eine zentrale Herausforderung besteht darin, sicherzustellen, dass Trainings- und Testdaten aus denselben Verteilungen stammen oder dass Modelle auf verschiedene Datenverteilungen robust reagieren können. Hier kommt das Konzept der Maximum Mean Discrepancy (MMD) ins Spiel – eine leistungsfähige Methode zur Messung der Ähnlichkeit zwischen Wahrscheinlichkeitsverteilungen.
Was ist Maximum Mean Discrepancy (MMD)?
MMD ist ein nichtparametrisches Verfahren zur Messung der Differenz zwischen zwei Wahrscheinlichkeitsverteilungen anhand ihrer mittleren eingebetteten Darstellungen in einem Reproduzierenden Kernel-Hilbertraum (RKHS). Vereinfacht gesagt misst MMD, wie unterschiedlich zwei Datensätze in Bezug auf ihre zugrunde liegenden Wahrscheinlichkeitsverteilungen sind.
Mathematisch wird MMD zwischen zwei Stichproben $ X = { x_1, …, x_m } $ und $ Y = { y_1, …, y_n } $ wie folgt definiert:
\(\text{MMD}^2(X, Y) = \mathbb{E}{p(X), p(X‘)} k(X, X‘) + \mathbb{E}{p(Y), p(Y‘)} k(Y, Y‘) – 2 \mathbb{E}_{p(X), p(Y)} k(X, Y) \)
Hierbei ist $ k $ eine Kernel-Funktion (z.B. der Gaussian-RBF-Kernel), die die Datenpunkte in einen hochdimensionalen Raum projiziert und dort deren Ähnlichkeit vergleicht.
Anwendung von MMD im KI-Testing
Es spielt eine entscheidende Rolle in verschiedenen Bereichen des KI-Testings, insbesondere bei:
1. Erkennung von Distribution Shifts
Ein Modell, welches man auf eine bestimmte Datenverteilung trainiert hat, kann auf neue Daten treffen, die aus einer leicht oder stark abweichenden Verteilung stammen. MMD hilft dabei, solche Verschiebungen zu quantifizieren, indem es Trainings- und Testdaten miteinander vergleicht.
2. Validierung von generierten Daten
In generativen Modellen wie GANs oder VAEs, um die Ähnlichkeit zwischen synthetischen und realen Daten zu bewerten. Eine geringe MMD bedeutet, dass das Modell realistische Daten erzeugt.
3. Bias-Detektion in KI-Systemen
MMD kann man nutzen, um Verzerrungen in KI-Modellen zu identifizieren, indem die Verteilung von Vorhersagen für verschiedene Untergruppen innerhalb eines Datensatzes verglichen wird.
(Siehe auch meinen Beitrag „Automatisierungsverzerrungen (Bias) – Oder wie blindes Vertrauen in Technologie zu Fehlern führt„)
4. Fairness-Analyse
Durch den Vergleich von Entscheidungsverteilungen über verschiedene demografische Gruppen kann man MMD als Metrik zur Messung von Fairness in KI-gestützten Entscheidungen verwenden.
(Siehe auch meinen Beitrag „Fairness-Tests in der KI„)
Vorteile und Herausforderungen von MMD
Vorteile:
- Nichtparametrisch und daher flexibel einsetzbar
- Skalierbar durch Approximationsmethoden wie Random Fourier Features
- Gut interpretierbar durch die Wahl passender Kernel-Funktionen
Herausforderungen:
- Wahl des richtigen Kernels ist entscheidend für aussagekräftige Ergebnisse
- Rechenintensiv bei großen Datensätzen
- Kann für hochdimensionale Daten schwierig zu interpretieren sein
Fazit
Maximum Mean Discrepancy ist ein mächtiges Werkzeug im KI-Testing, um Verteilungsgleichheit zu messen, generierte Daten zu evaluieren und Bias in KI-Modellen zu erkennen. Die Methode bietet eine robuste Möglichkeit, Distribution Shifts zu erkennen und sicherzustellen, dass KI-Modelle zuverlässig auf verschiedenen Datenverteilungen funktionieren. Trotz einiger Herausforderungen kann MMD mit der richtigen Modellierung und effizienten Implementierung ein wertvolles Element für das KI-Testing und die Qualitätssicherung sein.