Das Problem
Wer Audio-Texte anbietet, kennt die Frage: Wie zeigt man dem Zuhörer, wo im Text sich der Sprecher gerade befindet? Plattformen mit Transkript-Sync lösen das über nachträgliche Spracherkennung. Eine Speech-to-Text-Engine wie Whisper analysiert die fertige Audiodatei und generiert Wort- oder Satz-Timestamps.
Das funktioniert, hat aber Nachteile: Die Verarbeitung kostet entweder Rechenzeit auf dem Server oder Geld bei einem API-Anbieter. Und die Erkennung arbeitet ohne Kenntnis des Originaltexts – sie muss raten, was gesprochen wurde.
OKAYPLAY hat einen strukturellen Vorteil: Der Originaltext existiert bereits vor der Aufnahme. Sprecher lesen einen vorgegebenen Text ein. Damit lässt sich das Problem umdrehen – statt nachträglich zu erkennen, kann die Zuordnung während des Einsprechens passieren.
Der Ansatz: Forced Alignment im Browser
Forced Alignment ist ein Verfahren aus der Linguistik: Man hat einen bekannten Text und eine Audioaufnahme und will herausfinden, welches Wort zu welchem Zeitpunkt gesprochen wird. In der Forschung nutzt man dafür Server-Tools wie Montreal Forced Aligner, die auf Hidden Markov Models oder neuronalen Netzen basieren.
Für OKAYPLAY war die Anforderung anders: Die Zuordnung soll in Echtzeit passieren, im Browser des Sprechers, und keine Kosten verursachen. Die Lösung: Die Web Speech API, die in Chromium-Browsern eingebaut ist.
Architektur
Das System besteht aus drei Schichten:
SpeechRecognitiongegen Originaltext
pro Voiceover
Schicht 1: Echtzeit-Spracherkennung
Die Web Speech API läuft parallel zur MediaRecorder-Aufnahme. Beide nutzen dasselbe Mikrofonsignal, arbeiten aber unabhängig voneinander. Die Speech API liefert laufend Zwischen- und Endergebnisse als Text-Fragmente.
var recognition = new (window.SpeechRecognition
|| window.webkitSpeechRecognition)();
recognition.lang = 'de-DE';
recognition.continuous = true;
recognition.interimResults = true;
recognition.onresult = function(event) {
// Gesprochener Text in Echtzeit
var transcript = event.results[...][0].transcript;
matchAgainstParagraphs(transcript, elapsed);
};Schicht 2: Fuzzy Matching gegen den Originaltext
Der Originaltext wird beim Start in Absätze zerlegt. Jeder Absatz wird in normalisierte Wortlisten aufgespalten: Kleinschreibung, Umlaute auflösen, Satzzeichen entfernen. Die erkannten Worte der Speech API werden gegen diese Listen abgeglichen.
Der Algorithmus prüft immer den aktuellen und die nächsten zwei Absätze. Sobald genügend Wörter aus dem nächsten Absatz erkannt werden (Standard: 25% Wort-Überlappung), springt der Zeiger weiter. Das ist bewusst großzügig – die Speech API erkennt nicht jedes Wort korrekt, aber für eine absatzweise Zuordnung reicht eine grobe Übereinstimmung.
function countOverlap(spokenWords, paraWords) {
var paraSet = {};
for (var i = 0; i < paraWords.length; i++)
paraSet[paraWords[i]] = (paraSet[paraWords[i]] || 0) + 1;
var count = 0, used = {};
for (var i = 0; i < spokenWords.length; i++) {
var w = spokenWords[i];
if (paraSet[w] && (!used[w] || used[w] < paraSet[w])) {
count++; used[w] = (used[w] || 0) + 1;
}
}
return count;
}Schicht 3: Timestamp-Persistenz
Wenn der Sprecher die Aufnahme beendet, werden die Daten als JSON zusammen mit der Audiodatei an den Server geschickt. Pro Absatz wird gespeichert: Index, Startzeitpunkt in Sekunden, ob der Absatz erkannt wurde, und wie viele Worte übereinstimmten.
// Datenstruktur pro Absatz
{
"index": 3,
"start": 47, // Sekunden ab Aufnahmestart
"matched": true,
"words": 28, // Erwartete Woerter
"matchedWords": 19 // Erkannte Woerter
}Serverseitig landet das in einer paragraph_timestamps JSON-Spalte auf dem Voiceover-Datensatz, zusammen mit einem text_match_score – dem Gesamtprozentsatz korrekt erkannter Wörter.
Zwei Funktionen aus einem System
Das Elegante an diesem Ansatz: Ein einziger Mechanismus liefert gleichzeitig zwei Funktionen, die sonst getrennt gebaut werden müssten.
Texthervorhebung während der Wiedergabe im Teleprompter
Während der Aufnahme wird der Teleprompter automatisch zum aktuellen Absatz gescrollt. Der aktive Absatz wird visuell hervorgehoben, bereits gelesene Absätze werden gedimmt. Der Sprecher sieht sofort, ob das System ihm folgt – und das System sieht, ob der Sprecher dem Text folgt.
Sprechervalidierung
Der Match-Score gibt einen quantitativen Hinweis darauf, wie genau der Sprecher den Text eingelesen hat. Ein Score von 70–80% ist bei normaler Sprache typisch (die Web Speech API erkennt nicht alles perfekt). Werte deutlich darunter können auf Abweichungen vom Originaltext hindeuten – etwa wenn der Sprecher Passagen übersprungen oder frei formuliert hat.
Player-Highlighting (nächster Schritt)
Die gespeicherten Zeitmarken für Absätze können direkt für Playback-Highlighting genutzt werden. Ein Intervall liest currentTime des Audio-Elements und setzt per CSS-Klasse den aktiven Absatz – technisch identisch mit dem Ansatz, den andere Webseiten für Transkript-Sync verwenden. Der Unterschied: Die Timestamps wurden nicht nachträglich per Whisper generiert, sondern entstehen als Nebenprodukt des Aufnahmeprozesses.
Vergleich der Ansätze
| Kriterium | Whisper (Server) | Google STT (API) | OKAYPLAY (Echtzeit) |
|---|---|---|---|
| Kosten | Server-GPU oder API | ~0,006€/15s | 0€ (Browser-API) |
| Verarbeitung | Nachträglich | Nachträglich | Während Aufnahme |
| Granularität | Wort-genau | Wort-genau | Absatz-genau |
| Originaltext nötig | Nein | Nein | Ja (Vorteil bei OKAYPLAY) |
| Live-Feedback | Nein | Nein | Ja |
| Validierung | Separate Logik | Separate Logik | Inklusive |
| Browser-Abhängig | Nein | Nein | Ja (Chromium) |
Grenzen und Kompromisse
Browser-Kompatibilität
Die Web Speech API (SpeechRecognition) ist kein W3C-Standard, sondern eine Chromium-Implementierung. Das System ist deshalb als Progressive Enhancement gebaut: Wenn der Browser die API nicht unterstützt, funktioniert die Aufnahme trotzdem – es fehlen lediglich die Timestamps und das Highlighting.
Granularität
Das System arbeitet absatzweise, nicht wortweise. Wort-genaues Highlighting (wie Spotify-Lyrics) wäre mit der Web Speech API nur unzuverlässig möglich, weil die Erkennungslatenz zu hoch ist. Für Text-Audio ist absatzweises Highlighting aber völlig ausreichend.
Erkennungsqualität
Die Erkennung hängt von der Mikrofonqualität, Umgebungsgeräuschen und der Sprechgeschwindigkeit ab. Fachbegriffe, Eigennamen oder Bibelverse werden häufig falsch erkannt. Das ist für das Matching kein Problem, weil die umliegenden Wörter trotzdem genügend Signal liefern.
Datenschutz
Die Web Speech API sendet Audio-Daten zur Verarbeitung an Google-Server (in Chromium). Das passiert unabhängig von der eigentlichen Aufnahme und betrifft nur den Erkennungsstrom, nicht die gespeicherte Audiodatei. Die Sync-Funktion kann übersprungen werden, wenn das nicht gewünscht ist.
Fazit
Die Web Speech API ist nicht perfekt, aber für absatzweises Matching in Kombination mit Fuzzy-Abgleich völlig ausreichend. Das Ergebnis: Timestamps ohne Server-Kosten, Sprechervalidierung ohne Extra-Aufwand, und ein Aufnahmeerlebnis, bei dem der Sprecher sieht, dass das System ihm folgt. Progressive Enhancement stellt sicher, dass nichts kaputt geht, wenn der Browser die API nicht unterstützt.
Mehr dazu: OKAYPLAY in die Webseite einbinden. Zum Weiterlesen: Texthervorhebung mit Deepgram.