Hat sich dieser Stein bewegt oder ist es ein Eichhörnchen, das die Straße überquert? Das Erkennen von Objekten, die ihrer Umgebung sehr ähnlich sind, ist für viele autonome Bildverarbeitungssysteme ein großes Problem. KI-Algorithmen können dieses Tarnproblem lösen, erfordern jedoch Zeit und Rechenleistung. Eine von Forschern in Südkorea entwickelte neue Kamera bietet eine schnellere Lösung. Die Kamera ist von den Augen einer Katze inspiriert und verfügt über zwei Modifikationen, die es ihr ermöglichen, Objekte auch nachts vom Hintergrund zu unterscheiden.
„Eine Vielzahl intelligenter Roboter wird in Zukunft die Entwicklung von Bildverarbeitungssystemen benötigen, die am besten zu ihren spezifischen Sehaufgaben passen“, erklärt er Junges Min-LiedSong, Professor für Elektrotechnik und Informatik am Gwangju-Institut für Wissenschaft und Technologie und einer der Designer der Kamera. Songs jüngste Forschung konzentrierte sich auf die Verwendung der „fein abgestimmten“ Augen von Tieren zur Verbesserung der Fotoausrüstung, wodurch die Entwicklung spezieller Kameras für verschiedene Aufgaben ermöglicht wurde. Fischaugen beispielsweise haben aufgrund ihrer gekrümmten Netzhaut ein größeres Sichtfeld. Katzen mögen zwar häufig vorkommen und leicht zu übersehen sein, sagt er, aber ihre Augen seien tatsächlich eine großartige Inspirationsquelle.
Diese Kamera kopierte zwei Anpassungen von Katzenaugen: ihre vertikalen Pupillen und eine reflektierende Struktur hinter ihrer Netzhaut. Zusammen ermöglichten diese Elemente, dass die Kamera getarnte Objekte um 10 % genauer von ihrem Hintergrund unterscheiden und einfallendes Licht um 52 % effektiver absorbieren konnte.
Verwenden einer vertikalen Pupille zur Feinabstimmung des Fokus
Während herkömmliche Kameras Vorder- und Hintergrund eines Bildes klar erkennen können, fokussieren die Schlitzpupillen einer Katze direkt auf ein Ziel und verhindern so, dass es mit der Umgebung verschmilzt. Kim et al./Science Advances
Bei herkömmlichen fotografischen Systemen ist die Blende (die Version der Pupille der Kamera) bei ausreichend Licht klein und kreisförmig. Diese Struktur ermöglicht eine große Schärfentiefe (der Abstand zwischen den nächsten und am weitesten entfernten Objekten im Fokus), sodass sowohl der Vordergrund als auch der Hintergrund klar erkennbar sind. Im Gegensatz dazu verengen sich Katzenaugen tagsüber zu einer vertikalen Pupille. Dadurch wird der Fokus auf ein Ziel verlagert und es deutlicher vom Hintergrund unterschieden.
Die Forscher druckten einen vertikalen Schlitz in 3D, um ihn als Öffnung für ihre Kamera zu nutzen. Sie testeten den vertikalen Schlitz mit sieben Computer-Vision-Algorithmen, die darauf ausgelegt sind, sich bewegende Objekte zu verfolgen. Der vertikale Schlitz erhöhte den Kontrast zwischen einem Zielobjekt und seinem Hintergrund, auch wenn diese optisch ähnlich waren. In fünf von sieben Tests schlug sie die herkömmliche Kamera. Bei beiden Tests schnitt sie schlechter ab als die herkömmliche Kamera, wobei die Genauigkeiten der beiden Kameras innerhalb von 10 % lagen.
Verwenden Sie einen Reflektor, um zusätzliches Licht zu sammeln
Katzen können nachts klarer sehen als herkömmliche Kameras, da in ihren Augen Reflektoren angebracht sind, die für zusätzliches Licht auf ihrer Netzhaut sorgen.Kim et al./Science Advances
Katzenaugen verfügen über einen eingebauten Reflektor namens Tapetum lucidum, der hinter der Netzhaut sitzt. Es reflektiert das durch die Netzhaut hindurchtretende Licht zurück zur Netzhaut und ermöglicht so die Verarbeitung sowohl des einfallenden als auch des reflektierten Lichts, wodurch Katzen eine hervorragende Nachtsicht erhalten. Sie können diese biologische Anpassung selbst erkennen, indem Sie nachts die Augen einer Katze beobachten: Sie leuchten.
Die Forscher schufen eine künstliche Version dieser biologischen Struktur, indem sie unter jeder Fotodiode der Kamera einen Silberreflektor platzierten. Fotodioden ohne Reflektor erzeugten Strom, wenn mehr als 1,39 Watt pro Quadratmeter Licht auf sie fielen, während Fotodioden mit Reflektor mit 0,007 W/m aktiviert wurden2 aus Licht. Das bedeutet, dass die Fotodiode mit etwa 1/200 des Lichts ein Bild erzeugen könnte.
Jede Fotodiode wurde auf einem Reflektor platziert und durch Metallelektroden verbunden, um einen gekrümmten Bildsensor zu erzeugen.Kim et al./Science Advances
Um visuelle Aberrationen (Unvollkommenheiten in der Art und Weise, wie das Kameraobjektiv das Licht fokussiert) zu reduzieren, entschieden sich Song und sein Team für die Entwicklung eines gebogener Bildsensorwie die Rückseite des menschlichen Auges. In einer solchen Konfiguration würde ein Standard-Bildsensorchip nicht funktionieren, da er starr und flach ist. Stattdessen basiert es häufig auf vielen einzelnen Fotodioden, die auf einem gekrümmten Substrat angeordnet sind. Ein häufiges Problem bei diesen gekrümmten Sensoren besteht darin, dass sie ultradünne Silizium-Fotodioden erfordern, die von Natur aus weniger Licht absorbieren als die Pixel in einem Standard-Imager. Doch Reflektoren hinter jeder Fotodiode im künstlichen Katzenauge kompensierten dies und ermöglichten es den Forschern, einen gekrümmten Bildgeber zu erstellen, ohne Einbußen bei der Lichtabsorption hinnehmen zu müssen.
Durch die Kombination aus vertikalen Schlitzen und Reflektoren entstand eine Kamera, die im Dunkeln klarer sehen konnte und sich nicht durch Tarnung täuschen ließ. „Die Anwendung dieser beiden Funktionen auf autonome Fahrzeuge oder intelligente Roboter könnte natürlich ihre Fähigkeit verbessern, Objekte nachts klarer zu sehen und bestimmte Ziele genauer zu identifizieren“, sagt Song. Er plant, diese Kamera für selbstfahrende Autos oder Drohnen in komplexen städtischen Umgebungen einzusetzen.
Songs Labor arbeitet weiterhin an der Verwendung biologischer Lösungen zur Lösung von Computer-Vision-Problemen. Derzeit entwickeln sie Geräte, die die Art und Weise nachahmen, wie das Gehirn Bilder verarbeitet, in der Hoffnung, sie eines Tages mit ihren biologisch inspirierten Kameras kombinieren zu können. Das Ziel, erklärt Song, besteht darin, „die neuronalen Systeme der Natur nachzubilden“.
Die Arbeit von Song und Kollegen wurde diese Woche in der Zeitschrift veröffentlicht Wissenschaftliche Fortschritte.