Macht Google Gebärdensprache für jeden verständlich?

In Deutschland gibt es 200.000, weltweit viele Millionen, Menschen, die mit stark eingeschränkter oder fehlender Hörfähigkeit leben. In diesem Fall ist Gebärdensprache eines der wichtigsten Kommunikationsmittel. Da die Zeichensprache aber allgemein weniger verbreitet ist und viele Menschen ihr nicht mächtig sind, gestaltet sich eine Verständigung untereinander häufig schwierig. Forscher in den Laboren von Google haben nun laut TechCrunch einen großen Fortschritt im Echtzeit-Tracking der Hand erzielt, wofür lediglich ein kamerafähiges Smartphone benötigt wird. 

Mit dem Smartphone zum Dolmetscher?

Durch eine stetige Verbesserung der künstlichen Intelligenz von maschinellen Lernsystemen und dem Einsatz von einigen Shortcuts ist es möglich, ein präzises Bild der Hand und allen dazugehörigen Fingern zu erstellen. Echtzeitbewegungen können so auf dem Smartphone dargestellt werden. Auch zwei -oder mehrhändige Gesten werden erfasst.

Die erste Idee von Google war es, mit einer Software die Gesamtgröße und Position der Hand festzustellen. Die dadurch entstandene Datenmenge war allerdings deutlich zu groß und musste reduziert werden. Dadurch werden die Ergebnisse deutlich schneller verarbeitet und angezeigt. Die Software konzentriert sich deshalb auf die Handfläche, welchen den größten Teil der Hand stellt. Durch die quadratische Handfläche muss die Software nicht zusätzlich größere und kleinere Bilder verarbeiten und arbeitet gleichzeitig mit dem verlässlichsten Teil der Hand. 

Nachdem die Handfläche erkannt wurde, werden die Finger erfasst und analysiert. Ein Algorithmus weist der Hand 21 Koordinatenpunkte zu, welche grob auf Fingerknöchel und Fingerspitzen angepasst sind. Zusätzlich wird der Fingerabstand gemessen. Wenn die Haltung der Hand erkannt wurde, wird sie mit bekannten Gesten verglichen und ausgewertet. 

Wie fortgeschritten ist die Entwicklung?

30.000 Bilder von Händen mit verschiedensten Posen, Gesten oder Beleuchtungssituationen mussten manuell eingefügt werden, um die Software mit der nötigen Intelligenz auszustatten. Google befindet sich allerdings noch mitten in der Entwicklungsphase. Eine Integration in zukünftige Produkte wird aktuell nicht angestrebt. Den Quellcode stellt Google aber für jeden zur freien Bearbeitung und Erweiterung zu Verfügung.  

Es wird also noch einige Zeit dauern, bis eine unkomplizierte Kommunikation mit Gebärdensprachlern ermöglicht werden kann.