Als ein internationales Forscherteam beschloss, einen „KI-Wissenschaftler“ zu schaffen, der den gesamten wissenschaftlichen Prozess verwalten sollte, wussten sie nicht, wie weit sie gehen würden. Wäre das von ihnen geschaffene System tatsächlich in der Lage, interessante Hypothesen zu generieren, Experimente durchzuführen, die Ergebnisse auszuwerten und Arbeiten zu verfassen?
Laut dem Forscher Cong Lu erhielten sie am Ende ein KI-Tool, das ihrer Meinung nach einem frühen Doktoranden gleichwertig war. Er hatte „überraschend kreative Ideen“, sagte er, aber diese guten Ideen wurden von den schlechten bei weitem überwogen. Es fiel ihm schwer, seine Ergebnisse zusammenhängend aufzuschreiben, und manchmal missverstand er sie: „Es ist gar nicht so weit davon entfernt, dass ein Doktorand errät, warum etwas funktioniert“, sagt Lu. Und vielleicht wie ein Student am Anfang seiner Doktorarbeit, der noch keine Ahnung von Ethik hat. Manchmal hat er sich in seinen Artikeln etwas ausgedacht, trotz aller Bemühungen der Forscher, ehrlich zu bleiben.
Lu, ein Postdoktorand an der University of British Columbia, arbeitete an dem Projekt mit mehreren anderen Wissenschaftlern sowie Forschern des Tokioter Start-ups Sakana AI zusammen. Das Team hat kürzlich einen Preprint über die Arbeit am ArXiv-Server veröffentlicht. Und während der Vorabdruck eine Diskussion über Einschränkungen und ethische Überlegungen enthält, enthält er auch eine ziemlich bombastische Sprache, in der der KI-Wissenschaftler als „Beginn einer neuen Ära wissenschaftlicher Entdeckungen“ und „das erste umfassende Rahmenwerk für vollautomatische wissenschaftliche Entdeckungen“ angepriesen wird Dadurch können hochmoderne Sprachmodelle (LLMs) unabhängig Suchvorgänge durchführen und ihre Ergebnisse melden.“
Wissenschaftliche künstliche Intelligenz scheint den Zeitgeist zu treffen. Sie reitet auf der Welle der Begeisterung für KI für wissenschaftliche Zwecke, aber einige Kritiker glauben, dass diese Welle nichts Wertvolles auf den Strand werfen wird.
Der Hype um „KI im Dienste der Wissenschaft“
Diese Forschung ist Teil eines umfassenderen Trends in der KI für die Wissenschaft. Google DeepMind hat diese Begeisterung wohl im Jahr 2020 ausgelöst, als es AlphaFold vorstellte, ein KI-System, das Biologen verblüffte, indem es die 3D-Strukturen von Proteinen mit beispielloser Genauigkeit vorhersagte. Seitdem die generative KI auf den Plan getreten ist, haben sich viele andere große Akteure aus der Privatwirtschaft engagiert. Tarek Besold, ein leitender Forscher bei SonyAI, der das AI for Science Discovery-Programm des Unternehmens leitet, sagt, dass AI for Science dies ist „Ein Ziel, das die KI-Community unterstützen kann, um die zugrunde liegende Technologie voranzutreiben, aber, was noch wichtiger ist, der Menschheit auch bei der Lösung einiger der drängendsten Probleme unserer Zeit zu helfen.
Aber die Bewegung hat ihre Kritiker. Kurz nach der Veröffentlichung eines Google DeepMind-Artikels im Jahr 2023, in dem die Entdeckung von 2,2 Millionen neuen Kristallstrukturen („das Äquivalent von fast 800 Jahren Wissen“) angekündigt wurde, analysierten zwei Materialwissenschaftler eine zufällige Stichprobe der vorgeschlagenen Strukturen und sagten, sie hätten „wenig“ gefunden Beweise für die Existenz von Verbindungen, die das Dreifache von Neuheit, Glaubwürdigkeit und Nützlichkeit erfüllen.“ Mit anderen Worten: KI kann schnell viele Ergebnisse generieren, aber diese Ergebnisse sind möglicherweise nicht wirklich nützlich.
Wie wissenschaftliche KI funktioniert
Im Fall des KI-Wissenschaftlers testeten Lu und seine Mitarbeiter ihr System rein in der Informatik und baten ihn, Themen im Zusammenhang mit großen Sprachmodellen zu studieren, die Chatbots wie ChatGPT und auch den KI-Wissenschaftler selbst antreiben, und die Verbreitung Modelle, die Bildgeneratoren wie DALL-E antreiben.
Der erste Schritt in der Arbeit des KI-Wissenschaftlers ist die Generierung von Hypothesen. Aus dem Code des von ihm untersuchten Modells generiert er frei Ideen für Experimente, die er durchführen könnte, um die Leistung des Modells zu verbessern, und bewertet jede Idee nach ihrem Interesse, ihrer Neuheit und ihrer Machbarkeit. In dieser Phase kann es iterieren und Variationen der Ideen mit der höchsten Punktzahl generieren. Anschließend führt es in Semantic Scholar eine Prüfung durch, um festzustellen, ob seine Vorschläge den vorhandenen Arbeiten zu ähnlich sind. Anschließend verwendet er einen Codierungsassistenten namens Helper, um seinen Code auszuführen und Notizen zu den Ergebnissen in Form eines Experimentprotokolls zu machen. Aus diesen Ergebnissen kann es Ideen für Folgeexperimente generieren.
Wissenschaftliche KI ist ein umfassendes wissenschaftliches Entdeckungstool, das auf großen Sprachmodellen basiert. Universität von British Columbia
Der nächste Schritt besteht darin, dass der KI-Forscher seine Ergebnisse in einem Papier niederschreibt und dabei eine Vorlage verwendet, die auf den Konferenzrichtlinien basiert. Laut Lu fällt es dem System jedoch schwer, eine zusammenhängende neunseitige Arbeit zu verfassen, in der die Ergebnisse erläutert werden – „die Schreibphase kann genauso schwierig zu erreichen sein wie die Experimentierphase“, sagt er. Daher unterteilten die Forscher den Prozess in mehrere Schritte: Der KI-Forscher schrieb jeweils einen Abschnitt und verglich dann jeden Abschnitt mit den anderen, um doppelte und widersprüchliche Informationen zu eliminieren. Er durchsuchte auch Semantic Scholar, um Zitate zu finden und eine Bibliographie zusammenzustellen.
Aber es gibt auch das Problem der Halluzinationen, der Fachbegriff für KI, die Dinge erfindet. Lu erklärt, dass der KI-Wissenschaftler zwar angewiesen wurde, nur Zahlen aus seinem Versuchsprotokoll zu verwenden, „manchmal aber nicht gehorcht“. Lu sagt, dass das Modell in weniger als 10 % der Fälle ungehorsam ist, aber „wir glauben, dass 10 % wahrscheinlich inakzeptabel sind.“ Er fügt hinzu, dass sie eine Lösung untersuchen, beispielsweise, dass das System jede Abbildung in seinem Artikel mit der Stelle im Experimentaljournal verknüpfen soll. Aber das System machte auch weniger offensichtliche Denk- und Verständnisfehler, die schwieriger zu korrigieren scheinen.
Und in einer Wendung, die Sie vielleicht nicht erwartet haben, verfügt der KI-Wissenschaftler sogar über ein Peer-Review-Modul zur Bewertung der von ihm erstellten Arbeiten. „Wir wussten immer, dass wir eine Art Automatisierung wollten [evaluation] „Wir mussten nicht stundenlang alle Manuskripte überprüfen“, sagt Lu. Und obwohl er anmerkt, dass „immer die Befürchtung bestand, dass wir unsere Aufgaben selbst bewerten würden“, sagt er, dass sie sich bei ihrem Gutachter an den Überprüfungsrichtlinien von orientierten die NeurIPS-Konferenz, die größte Konferenz im Bereich KI, und stellte fest, dass sie insgesamt härter vorgehen als menschliche Gutachter. Theoretisch könnte die Peer-Review-Funktion als Leitfaden für die nächste Experimentierrunde genutzt werden.
Rezensionen des KI-Wissenschaftlers
Obwohl die Forscher ihre KI-Forschung auf Experimente zum maschinellen Lernen beschränkten, führte das Team laut Lu einige interessante Gespräche mit Wissenschaftlern aus anderen Bereichen. Theoretisch, sagt er, könnte der Forscher für künstliche Intelligenz überall dort helfen, wo Experimente in Simulationen durchgeführt werden können. „Einige Biologen haben gesagt, dass sie viele Dinge in silico tun können“, sagt er und nennt auch Quantencomputer und Materialwissenschaften als mögliche Forschungsbereiche.
Einige Kritiker der KI-Wissenschaftsbewegung könnten diesem allgemeinen Optimismus widersprechen. Anfang des Jahres veröffentlichte Jennifer Listgarten, Professorin für Computerbiologie an der University of California, Berkeley, einen Artikel in Naturbiotechnologie Sie argumentiert, dass KI in vielen wissenschaftlichen Bereichen nicht für Durchbrüche sorgen wird. Im Gegensatz zu KI-Bereichen wie der Verarbeitung natürlicher Sprache und Computer Vision, schreibt sie, verfügen die meisten wissenschaftlichen Bereiche nicht über die riesigen Mengen öffentlich verfügbarer Daten, die zum Trainieren von Modellen erforderlich sind.
Zwei weitere Forscher, die sich mit der Praxis der Wissenschaft befassen, die Anthropologin Lisa Messeri von der Yale University und der Psychologe MJ Crockett von der Princeton University, veröffentlichten 2024 einen Artikel Natur mit dem Ziel, den Hype um KI für die Wissenschaft zu brechen. Als sie um einen Kommentar zu diesem KI-Wissenschaftler gebeten wurden, bekräftigten beide ihre Bedenken hinsichtlich der Behandlung von „KI-Produkten als autonome Forscher“. Sie argumentieren, dass dadurch das Forschungsfeld auf auf KI zugeschnittene Fragestellungen beschränkt wird und die Vielfalt der Perspektiven verloren geht, die echte Innovationen vorantreibt. „Obwohl die vom ‚KI-Wissenschaftler‘ versprochene Produktivität für manche attraktiv erscheinen mag“, sagten sie. IEEE-Spektrum„Das Produzieren von Artikeln und das Produzieren von Wissen sind nicht dasselbe, und wenn wir diesen Unterschied vergessen, besteht die Gefahr, dass wir mehr produzieren und gleichzeitig weniger verstehen.“ »
Andere hingegen sehen in der wissenschaftlichen KI einen Schritt in die richtige Richtung. Besold von Sony AI ist davon überzeugt, dass dies ein großartiges Beispiel dafür ist, wie die heutige KI die wissenschaftliche Forschung unterstützen kann, wenn sie auf das richtige Feld und die richtigen Aufgaben angewendet wird. „Dies könnte einer der wenigen Prototypen werden, der Menschen dabei helfen kann, sich vorzustellen, was möglich ist, wenn KI in der Welt der wissenschaftlichen Entdeckungen eingesetzt wird“, sagt er.
Was kommt als nächstes für KI-Wissenschaftler?
Lu sagte, das Team plane, die wissenschaftliche KI weiterzuentwickeln, und es gäbe viele einfache Möglichkeiten, die Leistung zu verbessern. Zur Frage, ob diese KI-Tools letztendlich eine wichtige Rolle im wissenschaftlichen Prozess spielen werden: „Ich denke, die Zeit wird zeigen, wofür diese Modelle gedacht sind“, sagte Lu. Es könnte sein, dass solche Tools für die frühen Stadien nützlich sein könnten Definition eines Forschungsprojekts, wenn ein Forscher versucht, einen Eindruck von den vielen möglichen Forschungsrichtungen zu bekommen – obwohl Kritiker hinzufügen, dass wir auf zukünftige Studien warten müssen, um zu sehen, ob diese Werkzeuge wirklich vollständig und unparteiisch genug sind, um nützlich zu sein.
Oder, sagt Lu, wenn die Modelle so weit verbessert werden können, dass sie der Leistung von entsprechen„Ein guter Doktorand im dritten Jahr“ könnte ein Kraftmultiplikator für jeden sein, der versucht, eine Idee zu verfolgen (zumindest solange die Idee in einem für KI geeigneten Bereich liegt). „Jetzt kann jeder Professor werden und ein Forschungsprogramm durchführen“, sagt Lu. „Das ist die aufregende Aussicht, auf die ich mich freue.“ »
Artikel auf Ihrer Website
Verwandte Artikel im Internet