Wie entsteht das erste Wort eines Kleinkindes? Um diese Frage zu beantworten, hat der Wissenschaftler Deb Roy vom MIT seine eigene Wohnung zu einem totalüberwachten Experimentierfeld gemacht. Um jede Äußerung, jede Interaktion seines kleinen Sohns mit anderen Personen dokumentieren zu können, und damit die allmähliche Evolution von bloßen Lauten zu Worten nachzuvollziehen, wurde in jedem Zimmer in der Decke eine Fisheyekamera samt Mikrofon angebracht, die 3 Jahre lang alles aufzeichneten, was sich in Roys Wohnung abspielte. Hier sein TED-Talk, in welchem er das Experiment und die Technik vorstellt:
Die Technik
Am Ende waren 200TB Daten mit 90.000 Stunden Video und 140.000 Stunden Audio zu sichten und zu analysieren. Um dieser Datenmenge Herr zu werden, und um die Daten sinnvoll zu visualisieren, nutzte und entwickelte das Forscherteam einige eindrucksvolle Technologien, die in dem Video gezeigt werden. Zum Beispiel zur Rekonstruktion des Raumes als 3D-Ansicht.
die 3D-Rekonstruktion der Zimmer
Oder um aus den Kameraaufnahmen und per Bewegungsanalyse eine mehrdimensionale Informations-Repräsentation (quasi Raum-Zeit-Spuren) aller Personen in Raum und in der Zeit zu schaffen.
Spuren der Personen in Raum und Zeit
Diese veranschaulicht, wer wann mit wem wo zusammen war und (nach einer teil-automatisierten Transkription aller Dialoge - 7 Millionen Worten) visualisiert was wo gesagt wurde. Anhand dieser Daten ist es möglich, z.B. eine Karte der Worthäufigkeiten in einem Raum zu erstellen.
Wo wurden welche Sätze mit dem Word "Water" geäußert
Zur Sichtung der Daten wurde unter anderem das Tool TotalRecall entwickelt, ein A/V-Browser der spezialisiert darauf ist, vor allem Bewegungen in den bis zu 25 auswählbaren Videospuren zu visualisieren und diese in Zeitfenstern von wenigen Sekunden bis zu mehreren Jahren darzustellen. Mehr dazu und zu dem ganzen Versuch ist in diesem PDF nachzulesen.
Alles Techniken, die so oder ähnlich auch für manche Videoanwendungen verwendet werden könnten, z.B. bei Familienvideos oder Dokumentarfilmen mit Unmengen von Material, um Muster zu erkennen und besondere Szenen herauszufischen aus der Gesamtheit aller Aufzeichnungen. In einem größeren Maßstab können mit den von Roy eingesetzen Techniken - wie er vorführt - auch die Datenströme vieler TV-Kanäle analysiert und in den Zusammenhang mit Netzdiskussionen über diese Sendungen gebracht und visualisiert werden. Alles interessant für eine Meta-Analyse von Videoinhalten, vielleicht auch mal für die Generierung und sinnvolle Sichtbarmachung von erweiterten Video-Metadaten zur Organisation von vielen Rohvideodaten.
PS
SPON hat auch was zum digitalen Videotagebuch:
Eine gigantische Maschine gegen den Tod
Bildstabilisator 13:26 am 29.7.2011
Die abschließende Frage geht schon sehr ins Philosophische.
Der Unterschied zwischen Selbst- und Fremdwahrnehmung ist schon sehr spannend. Video wird deshalb ja auch in...weiterlesen
News: ControlNet - Die nächste Stufe der KI-Bilderzeugung? Do, 23.Februar 2023 Auch wenn die Ergebnisse mittels KI geschaffener Bilder oft bemerkenswert sind - es lässt sich nicht leugnen, dass momentan die Schöpfer der meisten Werke relativ wenig Einfluss auf das Ergebnis hatten. Doch das dürfte sich schon bald ändern...
News: Kostenlose Softwareangebote für Filmer als Unterstützung in der Corona-Krise Di, 7.April 2020 Für Produktionsfirmen und Freiberufler auch im Bereich Video ist die aktuelle Lage schwierig. Als kleine Hilfestellung bieten immer mehr Hersteller ihre Tools für die nächsten drei Monate kostenlos an, um zumindest die Geldbeutel ein wenig zu entlasten oder auch die Möglichkeit zu geben, mit speziellen Tools für die Remotezugriff bzw. Kollaboration von Zuhause aus weiterarbeiten zu können. Wir zeigen, welche Tools alle momentan kostenlos zu nutzen sind.
Test: DJI Mavic Mini im Praxistest - die führerscheinfreie Einsteigerdrohne - gut genug für Pros? Fr, 8.November 2019 Die neue nur 250g leichte DJI Mavic Mini benötigt weder Kennzeichen noch Drohnenführerschein. Wir haben die neue ultraleichte Einsteigerdrohne getestet und wollten wissen: Ist die Mavic Mini gut genug für Pros? Worauf sollte man bei der Mavic Mini achten? Und kann man sie wirklich ohne Einschränkungen überall fliegen?
Einleitung 
Einleitung / Die Technik
