Computer-Vision-Systeme sind manipulierbar

Sie können absichtlich dazu gebracht werden, Dinge, die Menschen mit Leichtigkeit erkennen, zu übersehen. So könnte beispielsweise jemand die Fähigkeit einer KI manipulieren, Verkehrszeichen, Fussgänger oder andere Autos zu erkennen, was zu verheerenden Folgen für autonome Fahrzeuge führen würde. Ein Hacker könnte auch einen Code auf einem Röntgengerät installieren, der das auswertende KI-System zu falschen Diagnosen kommen lässt.

Objekte plötzlich unsichtbar

Das Team hat nachgewiesen, dass die neuentwickelte Technik namens "RisingAttacK" alle gängigen Computer-Vision-Systeme mit KI effektiv manipulieren kann. Dabei handelt es sich um so genannte "adversarial attacks" (feindliche Angriffe), bei denen jemand die Daten manipuliert, die in ein KI-System eingespeist werden, um zu kontrollieren, was das System in einem Bild sieht oder nicht sieht.

"Wir wollten einen effektiven Weg finden, KI-Bildverarbeitungssysteme zu hacken, um Wege zu finden, sie genau davor zu schützen", sagt Wu. Das sei extrem wichtig, da diese Systeme häufig in Bereichen eingesetzt würden, die die Gesundheit und Sicherheit von Menschen beeinträchtigen - von autonomen Fahrzeugen über Gesundheitstechnologien bis hin zu Sicherheitsanwendungen

Wenig Änderungen am Bild

RisingAttacK besteht aus einer Reihe von Vorgängen, deren Ziel es ist, mit möglichst wenigen Änderungen an einem Bild, die menschlichen Betrachtern kaum oder gar nicht auffallen, die KI zu täuschen. Das Programm analysiert alle visuellen Merkmale des Bildes und ermittelt, welche davon für das Erreichen des Angriffsziels am wichtigsten sind. Anschliessend berechnet RisingAttacK, wie empfindlich die KI auf Änderungen der Daten der wichtigsten Merkmale reagiert.

"Das erfordert zwar eine gewisse Rechenleistung, ermöglicht es uns jedoch, sehr kleine, gezielte Änderungen an den wichtigsten Merkmalen vorzunehmen. Das Endergebnis ist, dass das manipulierte Bild für den Menschen genauso aussieht wie das Original, für die KI sind es jedoch zwei stark unterschiedliche Motive. Wenn ein Auto gezeigt wird, kann der Mensch es sehen, die KI jedoch nicht", unterstreicht Wu. Handele es sich um ein System in einem autonom fahrenden Auto, würde es ein vorausfahrendes oder entgegenkommendes Auto nicht sehen. "Jetzt wollen wir Techniken entwickeln, mit denen sich solche Angriffe erfolgreich abwehren lassen", so Wu. (pressetext.com)