Wenn Sie mit einem einfachen Bild nicht erfassen können, wonach Sie suchen, können Sie mit Google Lens jetzt ein Video aufnehmen und sogar per Stimme fragen, was Sie sehen. Die Funktion zeigt eine KI-Vorschau und Suchergebnisse basierend auf dem Videoinhalt und Ihrer Frage an. Es wird heute in Search Labs für Android und iOS eingeführt.
Google hat erstmals im Mai eine Vorschau auf die Verwendung von Videos für die Suche auf I/O gezeigt. Google sagt beispielsweise, dass eine Person, die neugierig auf die Fische ist, die sie in einem Aquarium sieht, ihr Telefon zur Ausstellung heben, die Google Lens-App öffnen und dann den Auslöser gedrückt halten kann. Sobald Lens mit der Aufnahme beginnt, können sie ihre Frage stellen: „Warum schwimmen sie zusammen?“ Google Lens verwendet dann das Gemini-KI-Modell, um eine Antwort bereitzustellen, ähnlich der, die Sie im GIF unten sehen.
Über die Technologie hinter dieser Funktion sagte Rajan Patel, VP of Engineering bei Google: Der Rand dass Google das Video „als eine Reihe von Bildern aufnimmt und dann dieselben Computer-Vision-Techniken anwendet“, die zuvor in Lens verwendet wurden. Aber Google geht noch weiter und speist die Informationen in ein „benutzerdefiniertes“ Gemini-Modell ein, das entwickelt wurde, um „mehrere Bilder nacheinander zu verstehen … und dann eine im Internet verankerte Antwort bereitzustellen“.
Es gibt noch keine Unterstützung für die Identifizierung von Geräuschen in einem Video – etwa für den Versuch, einen Vogel zu identifizieren, den man hört –, aber Patel sagt, dass Google damit „experimentiert“.
Google Lens aktualisiert außerdem seine Fotosuchfunktion mit der Möglichkeit, mithilfe Ihrer Stimme eine Frage zu stellen. Um es auszuprobieren, richten Sie Ihre Kamera auf Ihr Motiv, halten Sie den Auslöser gedrückt und stellen Sie dann Ihre Frage. Vor dieser Änderung konnten Sie Ihre Frage erst nach dem Aufnehmen eines Fotos in Lens eingeben. Voice Questions wird weltweit auf Android und iOS eingeführt, ist derzeit jedoch nur auf Englisch verfügbar.