Dieser Browser wird nicht mehr unterstützt

Bitte wechseln Sie zu einem unterstützten Browser wie Chrome, Firefox, Safari oder Edge.

TU Graz

Forscher lassen neuronale Netze beim Deep Learning effizient arbeiten

Forschungsgruppe an der TU Graz fand Lösungen, die den Leistungshunger von künstlichen Neuronen bändigen.

Wenn es darum geht, dem Computer komplexes Denken beizubringen, spielen künstliche neuronale Netze eine wichtige Rolle. Sie sind besonders gut in der Lage, große Mengen unstrukturierter Daten wie Bilder, Videos oder Töne auszuwerten und Muster in ihnen zu finden. Doch der Prozess ist rechenaufwendig. Eine Grazer Gruppe von KI-Experten hat erfolgreich nach Wegen gesucht, die Komplexität der Rechnungen zu reduzieren.

Künstliche neuronale Netzwerke sind eine mathematische Nachbildung der biologischen Reizverarbeitung und -weiterleitung im Nervensystem zum Zweck des maschinellen Lernens. Sie lösen heute bereits eine Vielzahl komplexer Aufgaben, in dem sie primär durch die Analyse großer Datenmengen lernen: Etwa neuartige Vorhersagemodelle für komplizierte physikalische, biologische und chemische Zusammenhänge oder bei der Bilderkennung und Textanalyse. Der Einsatz von entsprechender KI-Hardware wie etwa Chips für Fahrassistenzsysteme oder auch auf Smartphones und anderen batteriebetriebenen mobilen Devices klingt verlockend. In diesen Bereichen ist der Rechenaufwand bisher jedoch ein Hindernis, wie der Wissenschaftsfonds FWF am Montag in einer Mitteilung darlegte.

Das Team rund um Franz Pernkopf am Institut für Signalverarbeitung und Sprachkommunikation der TU Graz suchte daher in dem vom FWF finanzierten Projekt "Effiziente tiefe neuronale Netze für eingebettete Systeme" vier Jahre lang nach Möglichkeiten, die Komplexität von künstlichen neuronalen Netzwerken zu reduzieren, ohne die Erkennungsraten zu beeinträchtigen. "Wir versuchten, automatische Methoden zu entwickeln, um das effizienteste Netz zu finden", so der Elektrotechnikingenieur und Experte für maschinelles Lernen und Mustererkennung.

Bitbreiten reduzieren ohne an Performance zu verlieren

Ein Ansatzpunkt war die Ebene der Computerhardware. Gängige PC nutzen für Additionen und Multiplikationen 32 oder 64 Bit. Mit 32 Bit lassen sich immerhin über vier Milliarden Zahlen darstellen. Das Problem: Der Computer behandelt jede Zahl, als wäre sie in der Größenordnung von vier Milliarden. So große Zahlen sind für viele Anwendungen allerdings überhaupt nicht nötig. "Wir haben herausgefunden, dass wir diese Bitbreiten reduzieren können, ohne an Performance zu verlieren", berichtete der bereits vielfach ausgezeichnete Grazer Wissenschafter rückblickend. "Wer mit acht Bit statt mit 32 Bit rechnet, hat sofort nur noch ein Viertel der Rechenoperationen." Man sei sogar so weit gegangen, statt mit acht Bit nur noch mit einem Bit zu rechnen, mit wie es hieß "verblüffend guter Performance" in gewissen Bereichen.

In der Regel verwenden neuronale Netze wesentlich mehr Parameter, als tatsächlich benötigt werden. Ein weiterer Erfolg gelang Pernkopfs Team, indem es die Parameter als Wahrscheinlichkeitsverteilung statt als exakte Zahlen darstellte. "Wir waren die Ersten, die das gemacht haben", hob Pernkopf hervor. Er strich zugleich die Eleganz des neuen Ansatzes heraus, der die Suche nach den richtigen Parametern erleichtert.

Das Projekt habe Pionierarbeit geleistet. "Als wir den Förderantrag eingereicht haben, hat man in der Literatur dazu wenig gefunden", erzählte Pernkopf. Unmittelbar darauf seien nach und nach Publikationen zu dem Thema aufgetaucht. Man kooperierte dafür mit der Universität Heidelberg, deren Fokus stärker auf der Computerhardware lag, während man sich in Graz auf die Aspekte des Machine Learning konzentrierte.

„Der Mensch wird sich nicht komplett ersetzen lassen"

Pernkopf zeigte sich überzeugt, dass neuronale Netze - nicht zuletzt ressourceneffiziente Systeme in batteriebetriebenen Geräten - den Alltag noch stärker durchdringen werden. In Folgeprojekten mit Unterstützung der FFG und der Deutschen Forschungsgemeinschaft DFG will man nun die erarbeiteten theoretischen Ergebnisse in die Anwendung bringen.

Eine Anwendbarkeit wurde bereits im Grundlagenprojekt untersucht. Dabei ging es um die Erkennung von Schlüsselwörtern, um Spracherkennungssysteme aus dem Standby zu holen. "Wenn ich auf einem Smartphone eine Spracherkennungssoftware permanent laufen lasse, dann ist spätestens nach einer Stunde der Akku leer, weil das so rechenintensiv ist", schilderte Pernkopf die Herausforderung. Die Forscher suchten nach einem ressourcen-effizienteren System, das nur ein paar Reizwörter erkennen muss - wie ein schlafender Mensch, der bei gewissen Geräuschen oder Worten dann aber doch aufwacht. So lasse sich viel Energie sparen. An eine starke künstliche Intelligenz glaubt er hingegen nicht: "Der Mensch wird sich nicht komplett ersetzen lassen."

(APA)