Wenn ein One-Class-Detektor den Unterschied vergisst

Eine Grenze kann durch Vergessen gewinnen

One-Class-Erkennung beginnt mit einer Einschränkung. Ich kann Beispiele für den Zustand sammeln, der als gewöhnlich gilt. Ich kann nicht jede spätere Abweichung sammeln. In einem Forschungsprojekt zur Erkennung der Bildauthentizität machte das einen One-Class-Detektor interessant. Der Detektor erhält im Training nur Bilder, die als echt gelten. Er bildet jedes Bild auf einen latenten Vektor ab und lernt einen kompakten Bereich um diese Vektoren. Ein späteres Bild mit großem Abstand zu diesem Bereich erhält einen hohen Anomaliewert.

Die Geometrie bietet eine Abkürzung. Belohnt das Lernziel einen kleinen Abstand zu einem festen Mittelpunkt, kann ein Modell jede Eingabe auf einen Punkt abbilden. Der umschließende Bereich wird dann klein. Der Verlustwert kann günstig aussehen. Die Repräsentation beschreibt die Unterschiede zwischen Bildern nicht mehr.

Diesen Ausfall nennt man Repräsentationskollaps oder Hypersphärenkollaps. Er ist kein Fehler bei der Wahl einer Schwelle. Er verändert, was der Detektor gelernt hat. Das Modell kann Bildern mit unterschiedlichem Inhalt keine aussagekräftig unterschiedlichen Koordinaten mehr geben. Ein späterer Wert kann die verworfene Information nicht zurückholen. Ruff und Kolleginnen und Kollegen stellen DeepSVDD als tiefes One-Class-Lernziel vor und beschreiben zugleich Architekturbedingungen gegen triviale Lösungen.¹

Was das ursprüngliche Lernziel verlangte

Hard-Boundary-DeepSVDD zieht die Einbettungen normaler Trainingsbeispiele zu einem festen Mittelpunkt. Der Druck ist unmittelbar. Jede Einbettung soll einen kurzen Abstand zu diesem Mittelpunkt haben. Das Lernziel belohnt zwei verschiedene Bilder aber nicht dafür, dass sie voneinander verschieden bleiben. Hat das Modell genug Freiheitsgrade, kann es den Verlustwert senken, indem es alle Einbettungen zusammenzieht.

Eine Soft Boundary verändert die Bewertungsregel. Sie lernt einen Radius und erlaubt einem festgelegten Anteil der Trainingsbeobachtungen, außerhalb dieses Radius zu liegen. Das kann die Grenze gegen ungewöhnliche Trainingsbeispiele robuster machen. Es gibt dem Encoder keinen Grund, Variation innerhalb der Grenze zu bewahren. Fallen alle Einbettungen in einem Punkt zusammen, kann der Radius mit ihnen schrumpfen. Die Soft Boundary verteilt Ausnahmen anders. Sie repariert die Repräsentation nicht.

Darum scheiterte eine Soft Boundary allein als Abhilfe in diesem Kontext. Der Fehler bestand nicht darin, dass wenige gewöhnliche Bilder auf der falschen Seite einer sonst aussagekräftigen Karte lagen. Die Karte war nahezu konstant geworden. Ein anderer Radius wird erst dann nützlich, wenn der Einbettungsraum Unterschiede bewahrt, die sich messen lassen. Chong und Kolleginnen und Kollegen behandeln dasselbe Problem mit Regularisierern gegen Kollaps. Einer bestraft zu geringe Variation in einer Minibatch.²

Der gemessene Ausfall

Ich fand diese Abkürzung in einem gemessenen Hard-Boundary-Lauf ohne VICReg-Terme. Er nutzte dieselbe Aufteilung mit nur als echt geltenden Bildern wie der später korrigierte Lauf. Die Aufteilung enthielt 6.328 gemessene Trainingszeilen und 550 gemessene Validierungszeilen. Nach 100 gemessenen Epochen lag die mittlere paarweise Kosinusähnlichkeit verschiedener Bilder bei 0,999997. Eine Kosinusähnlichkeit nahe bei 1 bedeutet, dass die Vektoren fast in dieselbe Richtung zeigen. Der Detektor hatte einen Raum voller Bilder auf Nadeln reduziert, die fast an derselben Stelle einer Wand stecken.

Diese Beobachtung schloss eine günstige Deutung der Verlustkurve aus. Ein niedriger oder fallender Trainingsverlust hätte Erfolg beim Kompaktziel beschrieben. Er hätte keinen Erfolg bei der Darstellung von Bildinhalt beschrieben. Der kollabierte Lauf belegt einen bestimmten Ausfall unter dieser Trainingskonfiguration. Er belegt nicht, dass jede DeepSVDD-Umsetzung kollabiert. Er belegt ebenso keine Erkennungsleistung für eine andere Datenlage.

Die Unterscheidung ist wichtig, weil One-Class-Verfahren zu einer zu großen Behauptung verleiten. Eine kleine Grenze beweist keine brauchbare Grenze. Sie ist nur dann brauchbar, wenn sie einen Einbettungsraum umschließt, in dem verschiedene gewöhnliche Eingaben noch unterscheidbare Struktur tragen. Diese Bedingung hatte das ursprüngliche Lernziel nicht gemessen.

Die VICReg-Ergänzung

Ich ergänzte das Hard-Boundary-Lernziel um eine VICReg-artige Varianz- und Kovarianzregularisierung. Der Varianzterm bestraft Dimensionen, die innerhalb einer Batch nicht mehr variieren. Der Kovarianzterm verhindert, dass Dimensionen dasselbe Signal tragen. Gemeinsam verursachen die Terme Kosten für den Kollaps, den das Kompaktziel allein belohnt. Sie verlangen nicht, dass das Modell Einbettungen ohne Grenze verteilt. Der Hard-Boundary-Term zieht die nur als echt geltenden Trainingsbilder weiter zum festen Mittelpunkt. Die Ergänzung macht eine Einpunktlösung teuer.

Der korrigierte Lauf verwendete ein gemessenes Varianzgewicht von 200, ein gemessenes Kovarianzgewicht von 1 und 100 gemessene Epochen auf den 6.328 Trainingszeilen. Diese Gewichte sind Parameter dieses Laufs. Sie sind keine allgemeine Empfehlung. Der große Unterschied spiegelt die Verlustskalierung dieser gemessenen Konfiguration. Es wäre falsch, die Gewichte ohne Prüfung der einzelnen Verlustanteile auf einen anderen Encoder, eine andere Datenaufteilung oder einen anderen Optimierer zu übertragen.

In der Literatur gibt es verwandte Ansätze. Das ist keine Behauptung, dass eine Formulierung allein richtig wäre. Chong und Kolleginnen und Kollegen nutzen eine varianzorientierte Regularisierung gegen Kollaps in DeepSVDD. DASVDD geht einen anderen Weg. Das Verfahren ergänzt Rekonstruktionsdruck. Ein konstanter latenter Vektor enthält dann zu wenig Information für die Rekonstruktion seiner Eingabe.³ DeepSAD verändert die Trainingsinformation, wenn gelabelte Anomalien vorhanden sind.⁴ Diese Ansätze teilen die Diagnose, dass Kompaktheit keine ausreichende Evidenz für eine brauchbare Repräsentation ist.

Was sich in der zurückgehaltenen Prüfung änderte

Der korrigierte Lauf beweist keine Genauigkeit des Detektors. Er bestand eine notwendige Prüfung. In einer gemessenen Kollapsprüfung mit 128 Beispielen lag die mittlere paarweise Kosinusähnlichkeit bei 0,8924. Die gemessene Standardabweichung pro Dimension lag bei 0,1917. Beide Werte lagen auf der unkritischen Seite der vorab festgelegten Kollapsschwellen von 0,99 für die Kosinusähnlichkeit und 0,02 für die Standardabweichung pro Dimension. Der Lauf wurde als nicht kollabiert dokumentiert.

Ich verglich zudem die Wertverteilungen auf den gemessenen Trainings- und zurückgehaltenen Validierungsaufteilungen. Ihre Mittelwerte lagen bei 19,126 und 19,108. Das gemessene Verhältnis des Validierungs- zum Trainingsmittel betrug 0,9991. Bei der gemessenen 3,0-Sigma-Schwelle von 30,307 lag der Anteil auffälliger Validierungszeilen bei 0,0. Das ist eine Prüfung der Konsistenz zwischen Aufteilungen, kein Genauigkeitsergebnis. Mit Trainings- und Validierungsdaten, die nur Bilder enthalten, die als echt gelten, kann die Prüfung nicht zeigen, wie oft der Detektor ein Bild anderer Herkunft oder anderen Inhalts markiert.

Die engste tragfähige Aussage lautet daher. Der korrigierte Lauf bewahrte nach den dokumentierten Prüfungen mehr Richtungs- und Dimensionsvariation als der kollabierte Lauf. Das Ergebnis stützt eine weitere Evaluation. Es stützt keine Leistungsbehauptung, keine Einsatzbehauptung und keine Aussage über Eingaben, die nicht geprüft wurden.

Was ich als Nächstes messe

Kollapsüberwachung gehört vom ersten Trainingslauf an neben das Hauptlernziel. Ich brauche ein Maß dafür, wie ähnlich Einbettungen für verschiedene Eingaben werden. Ich brauche ein Maß dafür, ob einzelne Dimensionen noch variieren. Ich brauche zurückgehaltene Prüfungen. Eine Repräsentation kann auf angepassten Daten vielfältig wirken und diese Struktur in einer anderen Aufteilung verlieren. Der Verlustwert allein kann diese Fragen nicht beantworten, wenn sein Optimum die kollabierte Lösung einschließt.

Die Arbeit verändert eine praktische Gewohnheit. Ich deute ein kleineres One-Class-Lernziel nicht mehr als ausreichenden Fortschritt. Ich prüfe, ob derselbe Schritt eine Repräsentation bewahrt hat, die Eingaben weiter unterscheiden kann. In diesem Projekt entstand die Antwort aus einem gemessenen Ausfall, einer ausdrücklichen Ergänzung und einer begrenzten Prüfung. Der nächste Schritt ist eine getrennte Evaluation mit Evidenz, die Erkennung und nicht nur Kompaktheit prüfen kann.

Fußnoten

1. Ruff et al. (2018). “Deep One-Class Classification.” Proceedings of the 35th International Conference on Machine Learning, PMLR 80, pp. 4393-4402.
2. Chong et al. (2020). “Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification.” International Joint Conference on Neural Networks. doi: 10.1109/IJCNN48605.2020.9207209.
3. Hojjati and Armanfard (2024). “DASVDD: Deep Autoencoding Support Vector Data Descriptor for Anomaly Detection.” IEEE Transactions on Knowledge and Data Engineering, 36(8), pp. 3739-3750. doi: 10.1109/TKDE.2023.3328882.
4. Ruff et al. (2020). “Deep Semi-Supervised Anomaly Detection.” International Conference on Learning Representations.