Beethovens Chroma

Wer wissen will, wie ein Musikstück heißt, dessen Anfang er kennt und sonst gar nichts, stellt Akustik-Suchmaschienen vor eine zwar schwere, aber nicht unlösbare Aufgabe. Die elektronisch sichtbaren Schallwellen werden mit schon abgespeicherten Schallwellen anderer Musikstücke verglichen. Stimmen die Muster überein, meldet das System einen Treffer. Bis zu einem gewissen Grad funktioniert das auch, aber eben nur bis zu einem gewissen Grad. Wer weiter wissen will, ob Melodie und Thema noch in anderen Stücken vorkommen, bringt die Software allerdings an ihre Leistungsgrenze. Es sei denn, sie arbeitet mit dafür spezialisierten Methoden. Professor Meinard Müller vom Max-Planck-Institut für Informatik in Saarbrücken nennt ein Beispiel:

Sie haben eine Audioaufnahme, eine CD-Aufnahme von Beethovens 5. Symphonie, sagen wir mal in einer Bernstein-Interpretation. Als Anfrage benutzen Sie jetzt die ersten 20 Sekunden dieser Audioaufnahme, und das System soll jetzt automatisiert alle Audio-CDs samt aller Positionen extrahieren aus einer großen Datenbank, die zu dieser Anfrage musikalisch korrespondieren, also es sollen zum Beispiel die entsprechenden Audioaufnahmen gefunden werden etwa von Karajan oder auch zum Beispiel die Klaviertranskription von Liszt.

Dieser Beginn von Beethovens 5. Symphonie klingt ganz anders, die Unterscheidung bereitet dem menschlichen Hirn aber keine Probleme. Wir wissen: Beide Titel sind identisch. Eine ausschließlich auf der Mustererkennung basierende Software würde hier aber schon scheitern.

Also geht es darum, Audiodatenströme zu vergröbern, zu abstrahieren von den Wellenformen. Man führt die Audiodaten über in Folgen von Merkmalsvektoren, die robust sind unter den Variabilitäten, die man ausblenden will, die aber charakteristisch genug sind, um Audiostücke zu identifizieren.

Vergröbern und vereinfachen - nach diesem Prinzip arbeitet die Software. Sie filtert alle speziellen musikalischen Elemente heraus, bis nur noch gemeinsame Elemente übrigbleiben, die dann den groben Harmonie-Verlauf darstellen.

Da bieten sich zum Beispiel Chromagramme an, chromabasierte Merkmale, die lokal die relative Energieverteilung des Audiosignals innerhalb von zwölf Chromabändern misst, wobei diese zwölf Chroma zu den Tonhöhenbezeichnungen wie C, Cis, D, Dis und so weiter korrespondieren.

Chroma sind Tonfarben, die sich unabhängig von der Interpretation des Stückes kaum ändern und als Harmonie-Merkmale gute Dienste leisten. Damit ist aber erst ein Problem beseitigt. Bei der Mustererkennung eines Musikstückes besteht noch das Problem,…

…dass die zeitliche Abfolge der Vektoren verzerrt sein kann, das korrespondiert also mit verschiedenen Tempi, die in den verschiedenen Interpretationen vorliegen. Da muss man also flexibel Verfahren einsetzen, die mit solchen Zeitverzerrungen auch zurecht kommen. Solche Verfahren sind bekannt zum Beispiel unter dem Namen dynamic time warping.

Einfacher funktioniert die Analyse, wenn die Musikstücke im MIDI-Format vorliegen. MIDI bedeutet übersetzt etwa "Digitale Schnittstelle für Musikinstrumente" und ist ein Protokoll für die Übertragung von Daten zwischen Musikinstrumenten und einem PC.

Und man kann jetzt die MIDI-Datenströme und Audiodatenströme, die sich semantisch entsprechen, also zum gleichen Musikstück gehören, automatisiert verlinken. Über diese Verlinkung kann man das Problem der inhaltsbasierten Suche in Audiodaten zurückführen auf die inhaltsbasierte Suche in MIDI-Daten, was algorithmisch gesehen wesentlich einfacher ist, also man kann symbolisch MIDI-Daten suchen, um mit Hilfe der fälligen Verlinkungsstruktur an die entsprechenden Stellen in den Audiodatenströmen springen.