Stell dir vor, dass du einem Klavierspieler über die Schulter schaust. Dein Problem: Du hörst nichts. Genau an dieser Stelle setzt Audeo an. Die Künstliche Intelligenz von Forscher:innen der University of Washington kann stumme Klavierstücke vertonen. So funktioniert die Technologie.
Kreativität ist eine einzigartige Eigenschaft des Menschen. Sie ist eine Möglichkeit, in der wir uns von Maschinen, Robotern und Künstlichen Intelligenzen unterscheiden können.
Besonders eindrucksvoll zeigt sich das in der Kunst und in der Musik. Wer schon einmal einen Pianisten bei einem Konzert beobachtet hat, spürt wie Mensch und Musikinstrument förmlich miteinander verschmelzen. Es geht dabei um mehr als nur das Übersetzen von Noten in Töne.
Kann eine Künstliche Intelligenz stumme Klavierstücke vertonen?
Mit dieser Frage haben sich mehrere Forscher:innen der University of Washington unter der Leitung von Eli Shlizerman beschäftigt. Sie ist Professorin für angewandte Mathematik, Elektronik und Informatik. „Musik zu schaffen, die klingt, als könnte sie aus einem Konzert stammen, galt bislang als unmöglich“, sagt die Wissenschaftlerin.
Die Betonung muss derweil auf dem Wörtlich „bislang“ liegen, denn Shlizerman und ihr Team haben es geschafft. Sie haben eine Künstliche Intelligenz (KI) mit dem Namen „Audeo“ entwickelt, die dazu in der Lage ist, stumme Klavierstücke zu vertonen.
Bei Musikerkennungstests kommt Audeo dabei auf Wiederkennungswerte von 86 Prozent. Zum Vergleich: Videos von „normalen“, vertonten Klavierstücken von Pianist:innen kommen auf eine Quote von 93 Prozent. Der Unterschied ist also nicht allzu groß.
Wie funktioniert das Vertonen stummer Klavierstücke technisch?
Im ersten Schritt analysiert die KI dafür zunächst Frame für Frame welche Tasten vom Musiker gedrückt werden. Aus dem entstehenden Diagramm formt Audeo dann Musik, die auch ein Synthesizer erkennen kann. Das klingt jedoch noch nicht gut.
Im zweiten Schritt bereinigt Audeo deshalb die gesammelten Daten und ergänzt weitere Informationen. Dazu zählt beispielsweise, wie lange und wie stark der Klavierspielende eine bestimmte Taste gedrückt hält.
Diesen zweiten Schritt vergleicht Shlizerman mit der Arbeit „eines Lehrers, der sich die Musik der Kompositionsstudenten ansieht und im Anschluss hilft, sie zu verbessern.“
Der Blick in die Zukunft
Für die Studie der Forscher:innen der University of Washington wurde Audeo mit 172.000 Video-Frames des Pianisten Paul Barton trainiert. Im nächsten Schritt soll die Künstliche Intelligenz mit anderen Werken und anderen Klavieren gespeist werden.
Der Wunsch der Wissenschaftler:innen: Audeo soll dem Nachwuchs in Zukunft dabei helfen, das Klavierspielen mit der Hilfe der Technologie schneller zu erlernen.
Auch interessant:
