Wenn Sie beim Ansehen des neuesten KI-generierten Videos sprachlos waren, wenn Ihr Bankguthaben dank eines Betrugserkennungssystems vor Kriminellen gerettet wurde oder wenn Ihr Tag etwas einfacher war, weil Sie nebenbei eine Textnachricht diktieren konnten, dann sind Sie sicher Das verdanken wir vielen Wissenschaftlern, Mathematikern und Ingenieuren.
Aber zwei Namen zeichnen sich durch ihre grundlegenden Beiträge zur Deep-Learning-Technologie aus, die diese Experimente ermöglicht: der Physiker John Hopfield von der Princeton University und der Informatiker Geoffrey Hinton von der University of Toronto.
Für ihre bahnbrechenden Arbeiten auf dem Gebiet der künstlichen neuronalen Netze erhielten die beiden Forscher am 8. Oktober 2024 den Nobelpreis für Physik. Obwohl künstliche neuronale Netze biologischen neuronalen Netzen nachempfunden sind, basierte die Arbeit der beiden Forscher auf der statistischen Physik, daher der Physikpreis.
Wie ein Neuron rechnet
Künstliche neuronale Netze verdanken ihren Ursprung der Untersuchung biologischer Neuronen im lebenden Gehirn. 1943 schlugen der Neurophysiologe Warren McCulloch und der Logiker Walter Pitts ein einfaches Modell für die Funktionsweise eines Neurons vor. Im McCulloch-Pitts-Modell ist ein Neuron mit seinen Nachbarneuronen verbunden und kann von ihnen Signale empfangen. Anschließend kann es diese Signale kombinieren, um Signale an andere Neuronen zu senden.
Doch es gibt einen Unterschied: Es kann Signale verschiedener Nachbarn unterschiedlich auswerten. Stellen Sie sich vor, Sie überlegen, ob Sie ein neues Blockbuster-Telefon kaufen möchten oder nicht. Sie sprechen mit Ihren Freunden und fragen sie nach ihren Empfehlungen. Eine einfache Strategie besteht darin, alle Empfehlungen Ihrer Freunde zu sammeln und zu entscheiden, die Meinung der Mehrheit zu akzeptieren. Du fragst zum Beispiel drei Freunde, Alice, Bob und Charlie, und sie sagen dir jeweils „Ja“, „Ja“ und „Nein“. Dies führt dazu, dass Sie die Entscheidung zum Kauf des Telefons treffen, weil Sie zwei Ja- und ein Nein-Antworten haben.
Möglicherweise vertrauen Sie jedoch einigen Freunden mehr, weil sie über fundierte Kenntnisse über technische Geräte verfügen. Vielleicht entscheiden Sie sich daher, ihren Empfehlungen mehr Gewicht beizumessen. Wenn Charlie beispielsweise sehr kompetent ist, könnten Sie sein Nein dreimal zählen und nun entscheiden Sie sich, das Telefon nicht zu kaufen – zweimal Ja und dreimal Nein. Wenn Sie das Pech haben, einen Freund zu haben, dessen technischen Geräten Sie völlig misstrauisch gegenüberstehen, können Sie ihm sogar ein negatives Gewicht beimessen. Ihr Ja gilt also als Nein und ihr Nein als Ja.
Sobald Sie sich entschieden haben, ob das neue Telefon eine gute Wahl ist, werden andere Freunde Sie möglicherweise um eine Empfehlung bitten. Ebenso können Neuronen in künstlichen und biologischen neuronalen Netzen Signale ihrer Nachbarn sammeln und ein Signal an andere Neuronen senden. Diese Fähigkeit führt zu einer wichtigen Unterscheidung: Gibt es einen Zyklus im Netzwerk? Wenn ich zum Beispiel heute Alice, Bob und Charlie frage und morgen Alice mich nach meiner Empfehlung fragt, dann gibt es einen Kreislauf: von Alice zu mir und von mir zu Alice.
Wenn die Verbindungen zwischen Neuronen nicht zyklisch funktionieren, sprechen Informatiker von einem Feed-Forward-Neuronalen Netzwerk. Die Neuronen eines Feed-Forward-Netzwerks können in Schichten angeordnet sein. Die erste Schicht besteht aus den Eingaben. Die zweite Schicht empfängt ihre Signale von der ersten Schicht und so weiter. Die letzte Ebene stellt die Netzwerkausgänge dar.
Wenn es jedoch einen Zyklus im Netzwerk gibt, sprechen Informatiker von einem rekurrenten neuronalen Netzwerk, und die Anordnung der Neuronen kann komplizierter sein als in vorwärtsgerichteten neuronalen Netzwerken.
Hopfield-Netzwerk
Die anfängliche Inspiration für künstliche neuronale Netze kam aus der Biologie, doch schon bald begannen andere Bereiche, ihre Entwicklung zu prägen. Dazu gehörten Logik, Mathematik und Physik. Der Physiker John Hopfield nutzte Ideen aus der Physik, um einen bestimmten Typ eines wiederkehrenden neuronalen Netzwerks zu untersuchen, das heute Hopfield-Netzwerk genannt wird. Insbesondere untersuchte er deren Dynamik: Was passiert mit dem Netzwerk im Laufe der Zeit?
Solche Dynamiken sind auch dann wichtig, wenn sich Informationen über soziale Netzwerke verbreiten. Jeder kennt die viralen Memes und die Echokammern, die sich in sozialen Online-Netzwerken bilden. Dabei handelt es sich alles um kollektive Phänomene, die letztlich aus dem einfachen Informationsaustausch zwischen Menschen im Netzwerk entstehen.
Hopfield war ein Pionier bei der Verwendung physikalischer Modelle, insbesondere solcher, die zur Untersuchung des Magnetismus entwickelt wurden, um die Dynamik wiederkehrender neuronaler Netze zu verstehen. Er zeigte auch, dass ihre Dynamik diesen neuronalen Netzen eine Form des Gedächtnisses verleihen kann.
Boltzmann-Maschinen und Backpropagation
In den 1980er Jahren erweiterten Geoffrey Hinton, der Computerneurobiologe Terrence Sejnowski und andere Hopfields Ideen, um eine neue Klasse von Modellen namens Boltzmann-Maschinen zu schaffen, benannt nach dem Physiker Ludwig Boltzmann aus dem 19. Jahrhundert. Wie der Name schon sagt, basiert das Design dieser Modelle auf der von Boltzmann entwickelten statistischen Physik. Im Gegensatz zu Hopfield-Netzwerken, die Modelle speichern und Fehler in den Modellen korrigieren könnten – wie es eine Rechtschreibprüfung tut – könnten Boltzmann-Maschinen neue Modelle generieren und so den Grundstein für die moderne generative KI-Revolution legen.
Hinton war auch an einem weiteren Durchbruch beteiligt, der in den 1980er Jahren stattfand: der Backpropagation. Wenn künstliche neuronale Netze interessante Aufgaben erfüllen sollen, müssen Sie irgendwie die richtigen Gewichte für die Verbindungen zwischen künstlichen Neuronen wählen. Backpropagation ist ein Schlüsselalgorithmus, der die Auswahl von Gewichtungen basierend auf der Netzwerkleistung in einem Trainingsdatensatz ermöglicht. Allerdings blieb es schwierig, künstliche neuronale Netze mit vielen Schichten zu trainieren.
In den 2000er Jahren nutzten Hinton und Kollegen geschickt Boltzmann-Maschinen, um mehrschichtige Netzwerke zu trainieren, indem sie zunächst das Netzwerk Schicht für Schicht vorab trainierten und dann einen weiteren Feinabstimmungsalgorithmus auf dem vorab trainierten Netzwerk verwendeten, um die Gewichte weiter anzupassen. Mehrschichtige Netzwerke wurden in Deep Networks umbenannt und die Deep-Learning-Revolution hatte begonnen.
KI ist eine Hommage an die Physik
Der Nobelpreis für Physik zeigt, wie Ideen aus der Physik zum Aufstieg des Deep Learning beigetragen haben. Heutzutage beginnt Deep Learning der Physik gerecht zu werden, indem es genaue und schnelle Simulationen von Systemen ermöglicht, die von Molekülen und Materialien bis hin zum Erdklima als Ganzes reichen.
Mit der Verleihung des Nobelpreises für Physik an Hopfield und Hinton äußerte das Preiskomitee seine Hoffnung auf das Potenzial der Menschheit, diese Fortschritte zu nutzen, um das menschliche Wohlergehen zu fördern und eine nachhaltige Welt aufzubauen.
Dieser Artikel wurde von The Conversation erneut veröffentlicht, einer unabhängigen, gemeinnützigen Nachrichtenorganisation, die Ihnen vertrauenswürdige Fakten und Analysen liefert, die Ihnen helfen, unsere komplexe Welt zu verstehen. Es wurde geschrieben von: Ambuj Tewari, Universität von Michigan
Erfahren Sie mehr:
Ambuj Tewari erhält Fördermittel von der NSF.