WAV → spielbare Noten

Eingabe: WAV-Datei + vorliegender Liedtext. Ausgabe: Zeitstempel für Gesang/Silben und diskrete Soll-Tonhöhen, z. B. als UltraStar-Notendatei.

Verarbeitungskette

1. Import: Format, Dauer und Nutzungsrechte prüfen.
2. Vocal Separation: Gesang von Begleitung trennen und Gesangsphrasen erkennen.
3. Forced Alignment: Die beigesteuerten Lyrics mit der Aufnahme abgleichen; Wort-/Silbenzeiten bestimmen.
4. Pitch Tracking: Grundfrequenz der Lead-Stimme über die Zeit schätzen.
5. Diskretisierung: Frequenzen auf Halbtöne/MIDI-Noten abbilden, Vibrato glätten und spielbare Notenblöcke bilden.
6. Review: Unsichere Stellen im Editor korrigieren und einmal durchspielen.
7. Scoring: Mikrofon-Tonhöhe und Timing gegen die Sollspur vergleichen; Toleranzfenster für Versatz und kurze Aussetzer vorsehen.

Wo Automatik schwächelt

Chöre, gedoppelte Stimmen, Rap, Falsett, Slides, Hall und lange Silben mit mehreren Tonhöhen erschweren die korrekte Soll-Melodie. Deshalb ist „Auto-Entwurf + gezielte menschliche Abnahme“ die realistische Erwartung. Eine belastbare Quote für den Nachbearbeitungsaufwand gibt es erst nach Tests mit unterschiedlichen Songs.

Vorhandene Ansätze

UltraStarKaraokeMaker nimmt Audio und vorhandene Lyrics, synchronisiert und extrahiert Tonhöhen; ein Korrektureditor ist enthalten. UltraSinger generiert ebenfalls UltraStar-Noten. Beide sind Ausgangspunkte für einen Vergleich statt eines Neubaus von null.