Rechen-Abkürzung für neuronale Netzwerke
Neuronale Netzwerke sind lernende Algorithmen, die sich durch Training mit vorhandenen Daten der Lösung einer Aufgabe annähern. Meist ist aber unklar, wie genau sie dies bewerkstelligen. Zwei junge Basler Physiker haben nun Formeln hergeleitet, mit denen man die optimale Lösung ganz ohne Training eines Netzwerks ausrechnen kann. Das gibt nicht nur Einblick in die Funktionsweise dieser Algorithmen, sondern könnte künftig helfen, unbekannte Phasenübergänge in physikalischen Systemen aufzuspüren.
30. September 2022 | Oliver Morsch
Neuronale Netzwerke sind der Arbeitsweise des Gehirns nachempfunden. Solche Computeralgorithmen, die durch wiederholtes Training lernen, Aufgaben zu lösen, können zum Beispiel Gegenstände voneinander unterscheiden oder gesprochene Sprache verarbeiten.
Seit einigen Jahren arbeiten Physikerinnen und Physiker daran, neuronale Netzwerke auch zum Aufspüren von Phasenübergängen zu verwenden. Phasenübergänge kennt man aus dem Alltag, wenn Wasser zu Eis gefriert – es gibt sie aber auch in komplexerer Form, etwa zwischen den Aggregatzuständen von magnetischen Stoffen oder in Quantensystemen, wo sie oft nur schwer zu erkennen sind.
Julian Arnold und Frank Schäfer, zwei Doktoranden aus der Forschungsgruppe von Prof. Dr. Christoph Bruder an der Universität Basel, haben nun im Alleingang mathematische Formeln hergeleitet, mit denen solche Phasenübergänge schneller entdeckt werden können als bisher. Ihre Ergebnisse veröffentlichten sie kürzlich im Fachjournal Physical Review X.
Zeitersparnis durch Lösung ohne Training
Ein neuronales Netzwerk lernt, indem es in vielen Trainingsrunden durch systematische Änderung von Parametern dafür sorgt, dass die vom Netzwerk errechneten Vorhersagen immer besser mit den von aussen eingespeisten Trainingsdaten übereinstimmen. Diese Trainingsdaten können die Pixel von Bildern sein oder eben Messwerte eines physikalischen Systems, über dessen Phasenübergänge man etwas erfahren möchte.
«Neuronale Netzwerke sind mittlerweile zwar schon ganz gut darin, Phasenübergänge aufzuspüren», sagt Arnold, «aber wie sie das genau machen, bleibt meist komplett im Dunkeln.» Um das zu ändern und Licht in die «black box» eines neuronalen Netzwerks zu bringen, sahen Arnold und Schäfer sich den Spezialfall von Netzwerken mit unendlich vielen Parametern an, die im Prinzip auch unendlich viele Trainingsrunden absolvieren.
Grundsätzlich wusste man seit Langem, dass die Vorhersagen solcher Netzwerke immer einer bestimmten optimalen Lösung entgegenstreben. Arnold und Schäfer haben dies als Ansatzpunkt genommen, um mathematische Formeln herzuleiten, mit denen man diese optimale Lösung direkt ausrechnen kann, ohne das Netzwerk tatsächlich trainieren zu müssen. «Durch diese Abkürzung verringert sich der Rechenaufwand enorm», erklärt Arnold: «Das Ausrechnen unserer Lösung dauert nur so lange wie eine einzige Trainingsrunde eines sehr kleinen Netzwerks. »
Einblick in das Netzwerk
Zusätzlich zur Zeitersparnis hat die Methode der Basler Physiker den Vorteil, dass die hergeleiteten Formeln einen Einblick in die Funktionsweise der neuronalen Netzwerke und damit auch der zu untersuchenden physikalischen Systeme geben. Bislang haben Arnold und Schäfer ihre Methode an computergenerierten Daten getestet. Demnächst möchten sie die Methode auch auf reale Messdaten anwenden. So könnten in Zukunft noch unbekannte Phasenübergänge entdeckt werden, beispielsweise in Quantensimulatoren oder neuartigen Materialien.
Originalpublikation
Julian Arnold and Frank Schäfer
Replacing neural networks by optimal analytical predictors for the detection of phase transitions
Physical Review X (2022), doi: 10.1103/PhysRevX.12.031044
