Forscher nutzten eine KI-Technik namens Reinforcement Learning, um einem zweibeinigen Roboter mit dem Spitznamen Cassie dabei zu helfen, 400 Meter über abwechslungsreiches Gelände zu laufen und lange und hohe Sprünge aus dem Stand auszuführen, ohne für jede Bewegung explizit trainiert zu werden. Reinforcement Learning funktioniert, indem es eine KI belohnt oder bestraft, wenn sie versucht, ein Ziel zu erreichen. In diesem Fall lehrte der Ansatz den Roboter, neue Szenarien zu verallgemeinern und zu reagieren, anstatt wie seine Vorgänger einzufrieren.
„Wir wollten die Grenzen der Roboteragilität erweitern“, sagt Zhongyu Li, Doktorand an der University of California in Berkeley, der an dem Projekt arbeitete, das noch nicht von Experten begutachtet wurde. „Das Hauptziel bestand darin, dem Roboter beizubringen, alle möglichen dynamischen Bewegungen auszuführen, wie es ein Mensch tut.“
Das Team nutzte Simulationen, um Cassie zu trainieren, ein Ansatz, der die Lernzeit drastisch verkürzt (von Jahren auf Wochen) und es dem Roboter ermöglicht, die gleichen Fähigkeiten in der realen Welt ohne zusätzliche Anpassungen auszuführen.
Zuerst trainierten sie das neuronale Netzwerk, das Cassie steuerte, um eine einfache Fähigkeit von Grund auf zu erlernen, etwa auf der Stelle zu springen, sich vorwärts zu bewegen oder vorwärts zu rennen, ohne umzukippen. Ihm wurde beigebracht, indem er dazu ermutigt wurde, die ihm gezeigten Bewegungen nachzuahmen. Dazu gehörten Bewegungserfassungsdaten, die von einem Menschen gesammelt wurden, und Animationen, die die gewünschte Bewegung demonstrierten.
Nach Abschluss der ersten Phase präsentierte das Team dem Modell neue Befehle, die den Roboter dazu ermutigten, Aufgaben mithilfe seiner neuen Bewegungsfähigkeiten auszuführen. Sobald er die neuen Aufgaben in einer simulierten Umgebung beherrschen konnte, diversifizierten sie die Aufgaben, für die er trainiert worden war, mithilfe einer Methode namens „Aufgaben-Randomisierung“.
Dadurch ist der Roboter viel besser auf unerwartete Szenarien vorbereitet. So war der Roboter beispielsweise in der Lage, einen gleichmäßigen Laufgang beizubehalten, während er an der Leine seitwärts gezogen wurde. „Wir haben es dem Roboter ermöglicht, die Geschichte seiner Beobachtungen zu nutzen und sich schnell an die reale Welt anzupassen“, sagt Li.
Cassie absolvierte einen 400-Meter-Lauf in zwei Minuten und 34 Sekunden und sprang dann im Weitsprung 1,4 Meter weit, ohne dass sie zusätzliches Training benötigte.
Die Forscher planen nun zu untersuchen, wie diese Art von Technik zum Trainieren von Robotern eingesetzt werden könnte, die mit Bordkameras ausgestattet sind. Es wird schwieriger sein, als Dinge blind zu tun, fügt Alan Fern hinzu, ein Informatikprofessor an der Oregon State University, der bei der Entwicklung des Cassie-Roboters mitgewirkt hat, aber nicht an dem Projekt beteiligt war.
„Der nächste große Schritt in diesem Bereich sind humanoide Roboter, die echte Arbeit verrichten, Aktivitäten planen und tatsächlich mit der physischen Welt auf eine Weise interagieren, die über einfache Interaktionen von Fuß zu Boden hinausgeht“, sagt -he.