Amazon: Gesichts- und Objekterkennung in Videos per Deep Learning für jedermann

Amazon hat seinen Bildanalyse-Dienst Rekognition um eine Objekterkennung in Videos erweitert, welche per Deep Learning funktioniert. Die Videoanalyse kann Personen nachverfolgen, Aktivitäten sowie Objekte, Prominente und unangemessene Inhalte in Echtzeit in Video-Live-Streams ebenso wie in auf Amazons S3 Cloud gespeicherten Videos erkennen.

Gesichter können aus Sammlungen von mehreren 10 Millionen identifiziert werden. Per Mimikanalyse können weitere Informationen wie etwa ob die Augen offen sind, ob jemand lächelt oder welches Gefühl ausgedrückt zusätzlich angezeigt werden. Die genaue Position von Gesichtern in einzelnen Frames kann per API ausgegeben werden und z.B. dazu genutzt werden, um einzelne Gesichter in Videos fortlaufend zu markieren und besonders zu bearbeiten - etwa um sie mit einem speziellen Effektfilter zu versehen.

Mithilfe spezifische Kennungen werden erkannte Personen und Gesichter sowie Objekte (wie etwa Fahrzeuge, Tiere, Strand) oder komplexe Aktivitäten (wie etwa Hochzeit, Sport, Tanzen, ein Paket wird zugestellt, eine Kerze ausgeblasen, ein Feuer wird gelöschen, ein Mann geht zu einem Auto) in Szenen markiert. Für Prominente gibt es eine eigene Erkennungsfunktion die sogar Zusatzinfos wie die jeweiligen IMDB-Profile ausgibt. So können zum Beispiel spezielle, detaillierte Suchindizes für ganze Medienarchive automatisch erzeugt werden oder spezielle auf AWS Rekognition basierende Dienste für Videos im Netz programmiert und angeboten werden.

Per AWS (Amazon Web Service) Account kann die neue Funktion von jedermann genutzt werden. Voraussetzung ist, daß die zuerkennenden Videos im H.264 Format vorliegen und auf Amazons S3 Cloud hochgeladen sind - mit Einzelbildern in den üblichen Formaten kann natürlich auch gearbeitet werden. Hier wird anhand eines Musikvideos gezeigt, wie die Objekt- und Gesichtserkennung übers Netz funktioniert. Die erkannten Objekte werden samt Timestamp zur weiteren Verarbeitung als JSON-Daten ausgegeben.