Forscher optimieren neuronale Netze auf einem vom Gehirn inspirierten Computersystem

Komplexe Netzwerke entwickeln eine Vielzahl besonderer Eigenschaften, wenn sie sich an einem „kritischen Punkt“ befinden. In diesem Zustand, an dem Systeme ihr Verhalten schnell grundlegend ändern und z.B. zwischen Ordnung und Chaos oder zwischen Stabilität und Instabilität wechseln können, werden viele Recheneigenschaften maximiert.

Aus diesem Grund wird allgemein angenommen, dass der kritische Zustand für jede Berechnung in rückgekoppelten neuronalen Netzen, die heute in einer Reihe von Anwendungen der künstlichen Intelligenz zum Einsatz kommen, optimal ist.

Forscher des HBP-Partners Universität Heidelberg und des Max-Planck-Instituts für Dynamik und Selbstorganisation stellten diese Annahme nun auf den Prüfstand. Sie testeten die Leistungsfähigkeit eines rückgekoppelten neuronalen Netzes, das Informationen wie das Gehirn in sogenannten „Spikes“ kodiert, in unterschiedlich komplexen Aufgaben und veränderten dabei den Abstand zum kritischen Punkt.

Für die Studie nutzten die Forscher ein einzigartiges vom Gehirn inspiriertes, analoges Computersystem, das im Rahmen des Europäischen Human Brain Project in Heidelberg entwickelt wird. Ihr Netzwerk lief auf einem Prototyp des BrainScaleS-2 Systems, das über direkte auf dem Chip implementierte synaptische Plastizität verfügt.

Im Gehirn ist solche Plastizität, oder Anpassungsfähigkeit des Systems, die Grundlage für Lernprozesse und Erinnerungen.

Zunächst demonstrierten die Forscher, dass der Abstand zum kritischen Punkt im Chip leicht angepasst werden kann. Des Weiteren zeigten sie einen klaren Zusammenhang zwischen Kritikalität und dem Abschneiden des Systems bei den gestellten Aufgaben.

Die allgemeine Annahme, dass Kritikalität für jede Aufgabe vorteilhaft sei, bestätigte sich dabei jedoch nicht: Während alle informationstheoretischen Messungen eine maximale Netzwerkkapazität im Falle kritischer Dynamik zeigten, profitierten tatsächlich nur die komplexen, speicherintensiven Aufgaben von diesem Zustand, während einfache Aufgaben sogar darunter litten.

Damit lieferte die Untersuchung ein genaueres Verständnis davon, wie der kollektive Netzwerkzustand auf unterschiedliche Aufgabenanforderungen abgestimmt werden sollte.

Mechanistisch lässt sich der optimale Arbeitspunkt für jede Aufgabe sehr leicht durch Anpassung der mittleren Stärke des Eingangssignals einstellen. Die Theorie hinter diesem Mechanismus wurde erst kürzlich am Max-Planck-Institut für Dynamik und Selbstorganisation entwickelt.

„Die Anwendung auf neuromorphe Hardware zeigt, dass diese Plastizitätsregeln sehr gut in der Lage sind, die Netzwerkdynamik auf unterschiedliche Abstände zur Kritikalität abzustimmen“, sagt Seniorautorin Viola Priesemann, Gruppenleiterin am MPIDS. Dadurch können Aufgaben unterschiedlicher Komplexität in diesem Rahmen optimal gelöst werden.

Das Ergebnis könnte auch erklären, warum biologische neuronale Netze nicht unbedingt an einem kritischen Punkt operieren, sondern vielmehr in der dynamisch reichen Umgebung dieses Punktes in der sie ihre Recheneigenschaften auf die Anforderungen der Aufgabe abstimmen können.

Darüber hinaus etabliert die Arbeit neuromorphe Hardware als einen schnellen und skalierbaren Ansatz, um die Auswirkungen biologischer Plastizitätsregeln auf neuronale Berechnungen und die Dynamik von Netzwerken zu untersuchen.

„In einem nächsten Schritt untersuchen und charakterisieren wir nun, wie sich der Arbeitspunkt des neuronalen Netzwerks auf die Klassifizierung von künstlichen und real gesprochenen Wörtern auswirkt“, sagt Erstautor Benjamin Cramer von der Universität Heidelberg.

Cramer, B., Stöckel, D., Kreft, M., Wibral, M., Schemmel, J., Meier, K., & Priesemann, V.
Control of criticality and computation in spiking neuromorphic networks with plasticity
Nature Communications, 11(1) (2020) 2853, DOI 10.1038/s41467-020-16548-3