KI simuliert Handbewegungen von Pianisten

Sie haben ein KI-trainiertes Modell entwickelt, das die Handbewegungen nachbildet, die zum Spielen komplizierter Musikstücke erforderlich sind.

Individuelle Anpassung

Das Modell kann an unterschiedliche Handgrössen angepasst werden. Das ist der erste Schritt in dem Bestreben, das Risiko von Langzeitverletzungen bei Klavierspielern zu verringern und Lösungen wie unterschiedliche Tastaturen zu testen, die an die Anatomie der Spieler angepasst sind. Nicht selten sind Virtuosen auf dem Klavier von Sehnenscheidenentzündungen, Karpaltunnelsyndrom und anderen Verletzungen bedroht.

"Niemand erwartet, dass ein Weltklasse-Athlet mit einer Ausrüstung antritt, die nicht zu seinem Körper passt. Doch von Pianisten, insbesondere von Frauen, wird erwartet, dass sie sich an das Einheits-Design von Klavieren und Flügeln anpassen", so Forscherin Elizabeth Schumann. Die moderne Klaviertastatur wurde im 19. Jahrhundert jedoch für den durchschnittlichen europäischen Mann entworfen.

Unangepasste Klaviere

Heute haben schätzungsweise 87 Prozent der erwachsenen Frauen und 24 Prozent der erwachsenen Männer Hände, die kleiner sind. Um die Auswirkungen kleinerer Hände mit traditionellen Methoden zu untersuchen, müsste man eine Kohorte von Klavierspielern über Jahrzehnte hinweg begleiten, und es könnte immer noch schwierig sein, Verletzungsrisiken zu quantifizieren oder Lösungen zu testen.

Stattdessen haben Schumann und ihre Kollegen 15 Pianisten der Spitzenklasse rekrutiert und liessen sie insgesamt zehn Stunden lang spielen, während Kameras ihre Handbewegungen aus jedem Winkel filmten. Die Forscher konnten keine Sensoren an den Fingern anbringen, ohne deren Leistung zu beeinträchtigen. Also verwendeten sie fortschrittliche Computer-Vision-Techniken, um die Videos zu kombinieren und die Handbewegungen der Spieler in drei Dimensionen zu rekonstruieren. Sie synchronisierten sie später perfekt mit dem Ton.

Modell wird zum Virtuosen

"Die Qualität der Daten ist beispiellos", sagt Karen Liu von der Stanford University. Roucheng Wang, ein Doktorand in Lius Labor, und Pei Xu, ein Postdoktorand, haben diesen Datensatz genutzt, um ein Modell zu trainieren, das Töne und Handbewegungen miteinander verknüpft.

Als sie dem Modell die Noten von Ludwig van Beethovens Klavierstück "Für Elise" gaben, die es noch nie gesehen hatte, führte das Modell die korrekten 3D-Handbewegungen zum Spielen des Stücks aus, die auf ein virtuelles Klavier zur Tonerzeugung übertragen wurden. Dessen Klang ist aber gewöhnungsbedürftig. "Ich war verblüfft, wie genau dieses Modell ein Musikstück auf Spitzenniveau spielen konnte", sagt Schumann.

Das Modell simuliert die Handbewegungen, aber nicht die Aktivitäten und Belastungen der Muskeln und Sehnen, die Erkrankungen hervorrufen können. Diese Verknüpfung ist als nächster Schritt geplant. Wenn sie gelungen ist, wollen die Forscher Innovationen testen, mit denen sich die Belastungen und damit die Verletzungsrisiken verringern lassen. (pressetxt.com)