Cooles Tool ermöglicht Copy & Paste von Gegenstände aus der echten Welt per Smartphone

Ein faszinierendes kleines Augmented Reality Tool hat Cyril Diagne aus einigen Komponenten zusammengebastelt: mit seiner Hilfe kann man per Smartphone ein Objekte aus seiner Umgebung photographieren und es dann auf einem Computer-Bildschirm in ein Bild einfügen - sozusagen visuelles Copy und Paste von echten Gegenständen in digitalen Content.

"AR Cut & Paste" besteht aus mehreren Komponenten: eine erkennt per Machine Learning das Objekt, auf welches das Smartphone gerichtet ist, digitalisiert es und stellt es frei. Verwendet wird hier der BASNet Algorithmus. Dieser Schritt erfolgt momentan noch mithilfe eines eigenen Services auf einem PC per HTTP, welchen man selbst aufsetzen muss - er kann aber in Zukunft in die App selbst eingebettet werden.

In einem weiteren Schritt wird berechnet, an genau welcher Stelle auf dem Computerbildschirm das virtuelle Objekt dann eingefügt werden soll. Die Kommunikation zwischen Smartphone und PC läuft über einen lokalen Server auf dem Computer, der die Objektdaten vom Smartphone übers lokale Netzwerk empfängt und dann in Form eines eigenen Layers in Photoshop per Remote Connection einfügt. Er ist auch für die Positionsberechnung mithilfe des Screenpoint Algorithmus zuständig.

Momentan ist das Tool noch ein Prototyp im Entwicklungsstadium, aber wer über Programmierkenntnisse verfügt, kann es selbst ausprobieren, denn der Quellcode samt Installationsanleitung ist auf Github frei verfügbar. Alle anderen Interessierten können aber hoffen - denn es soll bald auch eine eigene, einfacher zu installierende App namens AR Copy Paste geben.

Noch dauert das digitale Kopieren eines Objektes rund 2.5 Sekunden und das Einfügen ca. vier, aber die jeweiligen Algorithmen können noch im Zuge der weiteren Entwicklung des Tools leicht weiter optimiert werden. Wer mehr wissen will: in einem eigenen Twitter-Thread gibt der Entwickler Auskunft zu einigen Fragen rund um das Tool. Wir sind jedenfalls gespannt - für das Tool läßt sich eine ganze Reihe von praktischen Anwendungen bei der kreativen Arbeit oder der Kommunikation vorstellen, zum Beispiel auch eine Integration zur Zusammenarbeit mit weiteren Programmen. Das Interesse am Copy & Paste per AR ist jedenfalls gewaltig: das Video wurde schon rund 5 Millionen mal angesehen.