Das Fraunhofer-Institut für Sichere Informationstechnologie (SIT) in Darmstadt hat gemeinsam mit dem Fraunhofer-Standort Heilbronn eine Software entwickelt, die während laufender Videocalls Hinweise auf Deepfakes liefern soll. Das Projekt entstand im Rahmen von „ATHENE“, einem vom Bundesforschungsministerium und dem Land Hessen geförderten Forschungszentrum für Cybersicherheit.

Lokale Analyse ohne Cloud-Anbindung

Betrugsmaschen mit manipulierten Bild- und Tonaufnahmen, sogenannten Deepfakes, gehören mittlerweile zum Standardrepertoire von Cyberkriminellen. Mit den entsprechenden Tools entsteht in wenigen Schritten ein digitaler Klon einer realen Person, samt Stimme und Erscheinungsbild, der wie ein Filter über eine andere Person gelegt werden kann. Wie überzeugend solche KI-Klone sein können, zeigt ein heise-Experiment, das in Zusammenarbeit mit der Cybersecurityfirma „Whitelisthackers“ entstanden ist. Innerhalb weniger Sekunden gelang es, einen Kollegen mit einem Live-Deepfake zu täuschen und vertrauliche Daten zu gewinnen.

In Videocalls sind Deepfakes besonders schwer zu erkennen, da Menschen an stotternde Übertragungen und Bildfehler gewohnt sind. Der KI-Klon muss also nicht hundertprozentig genau sein. Prof. Martin Steinebach, leitender IT-Forensiker am Fraunhofer SIT, beschreibt die Entwicklung von zuverlässigen Deepfake-Detektoren bei Videocalls deshalb als besonders herausfordernd. Schwankende Netzqualität, Kompression und automatische Weichzeichnungsfilter würden genau jene Bildfehler vernichten, an denen ältere Erkennungsmethoden Manipulationen festmachten.

Das neue System kombiniere daher Audio- und Videoanalyse mittels maschinellem Lernen und zeige eine Wahrscheinlichkeit an, ob das Gegenüber echt ist. Die endgültige Entscheidung bleibt beim Menschen, etwa durch gezielte Rückfragen oder einen Rückruf über einen anderen Kanal. Die gesamte Analyse des Fraunhofer-Systems läuft dabei lokal, „auf einem Rechner mit moderner Grafikkarte und zwölf Gigabyte Grafikspeicher“, sagte Steinebach. Bild- und Tondaten müssen nicht an externe Server übermittelt werden. Damit eignet sich die Lösung besonders für vertrauliche Gespräche im privaten und geschäftlichen Kontext.

Noch kein fertiges Produkt

Konkrete Angaben zur Erkennungsrate oder Häufigkeit von Fehlalarmen macht Fraunhofer bislang nicht. Ungeklärt bleibt zudem, ob Gesprächsteilnehmer der biometrischen Analyse zustimmen müssen. Da Gesichts- und Stimmmerkmale ausgewertet werden, dürfte die DSGVO greifen. Allerdings befindet sich der Demonstrator ohnehin noch in der Erprobungsphase und juristische Fragen sollen noch geklärt werden.

Danach wollen die Forschenden mit Unternehmen und Anbietern wie Zoom oder Microsoft Teams in Gespräche treten, um die Technik sicher und datenschutzfreundlich in reale Systeme zu integrieren. Ungeachtet der möglichen Genauigkeit künftiger Systeme betont Steinebach jedoch, dass Technik allein nicht ausreicht. Wenn in einer Videokonferenz etwa plötzlich eine Überweisung gefordert werde, sollte grundsätzlich ein zweiter, unabhängiger Kommunikationsweg zur Bestätigung genutzt werden.

(joe)