Neue NVIDIA-KI kann Tennisspiele simulieren - nur anhand von Fernsehbildern

NVIDIA hat einen neuen Algorithmus vorgestellt, welcher ganze Tennisspiele simulieren kann. Allerdings funktioniert die neue Methode anders als klassische 3D-Simulationen, die mittels aufwändigem Motion Capturing die verschiedenen Bewegungsabläufe einer Sportart lernen müssen. Denn das neue System dagegen wird nur trainiert anhand gewöhnlicher Fernsehaufzeichnungen von Tennisspielen. Diese stehen bei populären Sportarten wie Tennis oder Fußball im Gegensatz zu Motion Capturing Daten in großer Anzahl zur Verfügung - allerdings in schlechterer Qualität, denn oft sind Körperteile verdeckt oder die Bewegungsauflösung zu schlecht.

Um diese eher groben Analysedaten von TV-Aufzeichnungen für die exakte Animation von 3D-Charakteren zu nutzen - wie zum Beispiel das Treffen eines Balles mit dem Tennisschläger - müssen erst einige zusätzlich Schritte durchgeführt werden. So wird zuerst die Bewegung der Spieler in den Videobildern geschätzt, dann werden anhand eines physikalischen Modells des menschlichen Bewegungsapparates die Daten korrigiert.

Ein neuronales Netz lernt dann anhand dieser Daten die für den jeweiligen Sport - wie hier Tennis - typischen Bewegungssequenzen. Ein ankommender Ball kann so beispielsweise per korrekter Schlägerführung zu verschiedenen Zielpunkten geschlagen werden. Diese Sequenzen werden dann von einem speziellen Kontrollalgorithmus zu sinnvollen Aktionen "zusammengesetzt" und so zwei physisch simulierte Charaktere synthetisiert, die beliebige ausgedehnte Ballwechsel inklusive korrekt simulierter Schläger- und Balldynamik spielen.

Das System kann mittels der gelernten Daten Tennisspieler simulieren, die den ankommenden Ball mit einer Vielzahl von Schlagvariationen wie Aufschlag, Vorhand und Rückhand, Spins (Topspins und Slices) und Spielstilen (ein-/zweihändige Rückhand, Links-/Rechtshänder) präzise an die Zielpositionen schlagen können. Es können auch verschiedene Spielertypen wie etwa Links-, Rechts oder Beidhänder korrekt simuliert werden.

Der neue Algorithmus demonstriert, wie nur anhand von normalen Videos gute 3D-Modelle von Menschen samt Bewegungsvektoren simuliert werden können, hier am Beispiel von Tennis demonstriert. Das geht natürlich auch mit anderen Sportarten oder spezifischen Bewegungsmustern und könnte in Zukunft ebenso für Spiele wie für Animationen genutzt werden.