Öffnen der Black Box des maschinellen Lernens mit Layer-wise Relevance Propagation

Komplexität drückt sich oft durch nicht-lineare Methoden aus und dein entwickeltes Modell, dem entgegenzuwirken, bezieht sich auf lineare Methoden. Was drückt denn der Begriff der Linearität in diesem Fall aus?

Linearität bezieht sich in diesem Fall auf die schrittweise lineare Kombination von Information. Eine lineare Kombination – also eine Addition oder Subtraktion wie zum Beispiel: 1 Brokkoli + 1 Blumenkohl + 3 Möhren + 200 Erbsen = 1 Mischgemüse – ist wieder leicht in ihre Einzelbestandteile zu zerlegen. Mein Erklärungsmodell Layer-wise Relevance Propagation versucht zu diesem Zweck, die linearen Arbeitsschritte eines KI-Modells auszunutzen, um dessen Entscheidungsprozess auf seine Grundelemente zu zerlegen.

Der Grund für die teilweise Undurchschaubarkeit der Systeme, mit denen du dich befasst hast, ist ihre komplizierte Verschachtelung. Gibt es einen bildlichen Vergleich dafür, über welchen Weg du versucht hast, diese komplexen Strukturen mit deinem Modell zu entschlüsseln?

Man kann sich den Informationsfluss durch stark verschachtelte moderne Systeme des maschinellen Lernens wie einen Strom von Flüssigkeit oder Elektrizität durch ein poröses Material vorstellen. Die Pfade dieses Stroms hängen von den gelernten Parametern des Systems, also den Tunnelverbindungen und -durchmessern der Poren und der Eingabe, bzw. wo wie viel hineingegossen wird, ab.  Als Vorhersage kann man dann z. B. interpretieren, aus welcher Öffnung des Materials der Strom austritt.
Mit unserer Technik der Layer-wise Relevance Propagation verfolgen wir diesen Fluss durch das Modell von seinem Ausgang aus zurück durch das Geflecht an Pfaden zu den jeweiligen Eingängen. So können wir herausfinden, welche Eingabegröße letztendlich für die Vorhersage verantwortlich war.

Deiner Arbeit liegt gewissermaßen das Motiv des Vertrauens zugrunde. Denn es ist schwerer einer Aussage zu trauen, über deren Herleitung man nichts weiß. Siehst du unter diesem Aspekt einen Berührungspunkt zwischen deiner Arbeit und unserer alltäglichen Handhabung von Technik?

Leider ist es oft genau andersherum; wir Menschen vertrauen von uns nicht verstandenen Maschinen wie Autos oder in einem Rechner ausgeführter Software oft mehr, wenn wir nicht wissen, wie diese funktionieren. Wir sind davon überzeugt und glauben, dass sie funktionieren. Immerhin wurden diese Dinge für den von ihnen zu erfüllenden Zweck gemacht. Dieses Prinzip lässt sich direkt auf meine Arbeit übertragen: Wir vertrauen und vertrauten in der Vergangenheit komplizierten Vorhersagemodellen, weil deren durchschnittliche Genauigkeit in Labortests sehr hoch war.
Leider haben wir wiederholt feststellen müssen, dass moderne Referenzmodelle zwar sehr akkurat die richtige Kategorie – beispielsweise die eines Objekts auf einem Bild – vorhersagen können, nur dafür gänzlich unerwartete oder falsche Merkmale aus dem Bild nutzen. Diese Modelle ‚schummeln‘ im Labortest und wären so nicht in der Lage in der freien Wildbahn mit der gleichen Performance wie unter Testbedingungen zu funktionieren.
Die Einsicht, dass das passieren kann und dass dieses Phänomen meist von den Trainingsdaten abhängt, ist wichtig, um in Zukunft bessere und zuverlässige Modelle trainieren zu können.