Texte in Echtzeit zu Übersetzen ist spätestens seit Google Translates Lens Funktion keine komplette Neuheit. Doch Facebook bringt mit ihrem neuen KI-Modell TextStyleBrush ein ganz neues Level an Präzession auf den Markt.
Das AI-Team von Facebooks Forschungsabteilung hat ein unüberwachtes KI-Modell erschafen, das ein einzelnes getipptes oder handgeschriebenes Wort über eine Smartphone-Kamera betrachten und übersetzen kann. Das Besondere dabei ist, dass das Schriftbild nicht nur perfekt imitiert wird, sondern auch nahtlos in die Kameraansicht eingefügt wird. Das ursprüngliche Wort verschwindet einfach und der Unterschied ist nahezu nicht erkennbar.
„It works similar to the way style brush tools work in word processors, but for text aesthetics in images. It surpasses state-of-the-art accuracy in both automated tests and user studies for any type of text“ – Facebook AI Team
Im Gegensatz zu bisherigen Ansätzen, die spezifische Parameter wie Schriftart oder Zielstilüberwachung definieren, verfolgen die Forscher einen ganzheitlicheren Trainingsansatz und lösen den Inhalt eines Textbildes von allen Aspekten des Erscheinungsbildes des gesamten Wortfeldes.
So eindrucksvoll die Funktion von TextStyleBrush bereits auf dem Handy ist, umso faszinierender wird die Idee einer solchen Augmented Reality Anwendung in den angekündigten Facebook Smart Glasses. Die künstliche Intelligenz der Anwendung kann jede Notiz oder Handschrift einfach rendern und übersetzen.
Diese Anwendungsfunktionen eröffnen ganz neue Möglichkeiten der AR-Glasses und machen Lust auf mehr.
Beitragsbild: Facebook
