Als Google Lens im Jahr 2017 eingeführt wurde, vollbrachte die Suchfunktion eine Leistung, die vor nicht allzu langer Zeit wie Science-Fiction gewirkt hätte: Richten Sie die Kamera Ihres Telefons auf ein Objekt und Google Lens kann es identifizieren, den Kontext anzeigen und Ihnen vielleicht sogar den Kauf ermöglichen. Es war eine neue Art der Suche, bei der man nicht umständlich Beschreibungen von Dingen eintippen musste, die man vor sich sah.
Lens demonstrierte auch, wie Google seine maschinellen Lern- und KI-Tools nutzen will, um sicherzustellen, dass seine Suchmaschine auf jeder möglichen Oberfläche erscheint. Da Google zunehmend seine zentralen generativen KI-Modelle nutzt, um Informationszusammenfassungen als Reaktion auf Textsuchen zu erstellen, hat sich auch die visuelle Suche mit Google Lens weiterentwickelt. Und jetzt sagt das Unternehmen, dass Lens, das rund 20 Milliarden Suchvorgänge pro Monat durchführt, noch mehr Suchmethoden unterstützen wird, darunter Video- und multimodale Suchvorgänge.
Eine weitere Änderung an Lens bedeutet, dass in den Ergebnissen noch mehr Kontext für Käufe angezeigt wird. Es überrascht nicht, dass Einkaufen einer der Hauptanwendungsfälle von Lens ist; Auch Amazon und Pinterest verfügen über visuelle Suchtools, die mehr Käufe ankurbeln sollen. Suchen Sie im alten Google Lens nach den Turnschuhen Ihres Freundes und Sie haben möglicherweise ein Karussell mit ähnlichen Artikeln gesehen. Google gibt an, dass im aktualisierten Lens mehr direkte Links für Käufe, Kundenrezensionen, Redakteursrezensionen und Preisvergleichstools angezeigt werden.
Die objektive Suche ist jetzt multimodal, ein heißes Wort in der KI heutzutage, was bedeutet, dass Menschen jetzt mit einer Kombination aus Videos, Bildern und Spracheingabe suchen können. Anstatt die Kamera ihres Smartphones auf ein Objekt zu richten, auf den Fokuspunkt auf dem Bildschirm zu tippen und darauf zu warten, dass die Lens-App die Ergebnisse anzeigt, können Benutzer das Objektiv ausrichten und gleichzeitig Steuersignale verwenden, zum Beispiel: „Was für eine Art?“ Wolken sind das?“ oder „Welche Sneaker-Marke sind das und wo kann ich sie kaufen?“
Lens wird auch mit der Echtzeit-Videoerfassung beginnen und das Tool über die Identifizierung von Objekten in Standbildern hinaus erweitern. Wenn Sie einen kaputten Plattenspieler haben oder zu Hause ein blinkendes Licht an einem defekten Gerät sehen, können Sie über Lens ein kurzes Video aufnehmen und dank generativer KI-Erkenntnisse Tipps zur Reparatur des Artikels erhalten.
Diese erstmals auf der I/O angekündigte Funktion gilt als experimentell und steht nur Personen zur Verfügung, die sich für die Teilnahme an den Forschungslabors von Google entschieden haben, sagt Rajan Patel, ein 18-jähriger Google-Mitarbeiter und Mitbegründer von Lens. Die weiteren Funktionen von Google Lens, der Sprachmodus und die erweiterten Käufe, werden in größerem Umfang eingeführt.
Die „Video-Verständnis“-Funktion, wie Google sie nennt, ist aus mehreren Gründen faszinierend. Obwohl es derzeit mit in Echtzeit aufgenommenen Videos funktioniert, könnten, wenn Google es auf aufgenommene Videos ausdehnt, möglicherweise ganze Video-Repositories, sei es in der Kamerarolle einer Person oder in einer gigantischen Datenbank wie Google, beschriftbar und in großem Umfang käuflich werden.
Die zweite Überlegung ist, dass diese Lens-Funktion einige Funktionen mit Googles Project Astra teilt, das voraussichtlich noch in diesem Jahr verfügbar sein wird. Astra nutzt wie Lens multimodale Eingaben, um die Welt um Sie herum über Ihr Telefon zu interpretieren. Im Rahmen einer Astra-Demonstration in diesem Frühjahr stellte das Unternehmen einen Prototyp einer Datenbrille vor.
An anderer Stelle hat Meta gerade mit seiner langfristigen Vision unserer Augmented-Reality-Zukunft für Furore gesorgt, bei der Normalsterbliche alberne Brillen tragen, die die Welt um sie herum intelligent interpretieren und ihnen holografische Schnittstellen zeigen können. Google hat natürlich bereits versucht, diese Zukunft mit Google Glass zu verwirklichen (das eine grundlegend andere Technologie verwendet als Metas letzter Pitch). Sind die neuen Funktionen von Lens in Kombination mit Astra ein natürlicher Übergang zu einer neuen Art von Datenbrillen?