Improving Diarization in Speech-to-Text Applications

Abstract

Automatische Sprachtranskription wird in professionellen Bereichen wie Polizei und Justiz zunehmend eingesetzt. Neben der reinen Verschriftlichung ist dabei auch die zuverlässige Zuordnung von Sprecherinnen und Sprechern zentral, insbesondere bei Gesprächen mit mehreren beteiligten Personen. Diese sogenannte Speaker Diarization ist jedoch auch mit modernen Verfahren nach wie vor eine anspruchsvolle Aufgabe.

Ziel dieser Arbeit ist es, eine bestehende Speech-to-Text-Lösung im Bereich Diarization gezielt zu erweitern und zu verbessern. Dabei sollen aktuelle Ansätze wie beispielsweise Encoder-Decoder-Attractors oder multimodale Transkriptionsverfahren untersucht, implementiert und experimentell evaluiert werden. Nach einer Analyse des bestehenden Systems soll ein geeigneter Schwerpunkt gemeinsam definiert und prototypisch umgesetzt werden.

Hintergrund

In polizeilichen oder juristischen Gesprächstranskriptionen ist es nicht nur wichtig, den gesprochenen Inhalt korrekt zu erkennen, sondern auch, wer was gesagt hat. Gerade in Gesprächen mit mehreren Personen, Überschneidungen, Hintergrundgeräuschen oder wechselnden Sprechanteilen ist diese Zuordnung schwierig. Fehler in der Sprechererkennung können die Lesbarkeit, Nachvollziehbarkeit und Verwertbarkeit von Transkripten deutlich beeinträchtigen.

Bestehende Speech-to-Text-Systeme liefern oft bereits gute Ergebnisse bei der reinen Transkription, zeigen jedoch bei der Diarization noch Verbesserungspotenzial. Moderne Forschungsansätze wie Encoder-Decoder-Attractors oder multimodale Verfahren versprechen hier Fortschritte. Im Unternehmen besteht bereits eine bestehende Lösung, die als Ausgangspunkt für Analyse, Erweiterung und Evaluation dienen soll.

Vorgehen

Die Arbeit umfasst folgende Schritte:

• Literature Review: Analyse bestehender Ansätze zu Speaker Diarization, Speaker Attribution und verwandten Verfahren im Bereich Automatic Speech Recognition (ASR) und Speech Processing.

• Analyse und Abgrenzung: Untersuchung des bestehenden Systems, seiner Architektur, der verfügbaren Daten und der aktuellen Diarization-Funktionalität. Identifikation relevanter Herausforderungen, technischer Einschränkungen und möglicher Erweiterungsrichtungen.

• Baseline und Fehleranalyse: Evaluation der bestehenden Lösung anhand geeigneter Metriken für Diarization und Transkription. Systematische Analyse typischer Fehler, beispielsweise bei Sprecherwechseln, überlappendem Sprechen oder schwierigen Audiobedingungen.

• Auswahl und Umsetzung eines Schwerpunkts: Mögliche Themenbereiche der Arbeit sind zum Beispiel:

  • Encoder-Decoder-Attractors: Untersuchung und Integration moderner Diarization-Ansätze zur robusteren Trennung und Zuordnung von Sprecherinnen und Sprechern.

  • Multimodal Transcription: Nutzung zusätzlicher Informationen oder Modalitäten, um die Sprechererkennung und Sprecherzuordnung zu verbessern.

  • Verbesserte Speaker Segmentation and Attribution: Optimierung bestehender Verfahren zur Erkennung von Sprecherwechseln und konsistenter Zuordnung von Transkriptsegmenten.
  • Robustness in Challenging Scenarios: Verbesserung der Diarization bei überlappendem Sprechen, Hintergrundgeräuschen oder variierenden Aufnahmebedingungen.

• Evaluation: Vergleich des entwickelten Prototyps mit dem bestehenden System hinsichtlich Diarization-Qualität, Transkriptionsqualität, Robustheit, Laufzeit und Ressourcenbedarf.

Der konkrete Schwerpunkt wird zu Beginn der Arbeit gemeinsam festgelegt. Die Studierenden können sich aktiv in die Definition und Ausgestaltung der Arbeit einbringen.

Informationen

• Semester- oder Masterarbeiten für 1-2 Personen
• 40% Theorie, 60% Umsetzung
• Voraussetzungen: Signalverarbeitung, Python

Vorkenntnisse

Idealerweise Kenntnisse in einigen der folgenden Bereiche:

• Machine Learning und Deep Learning
• Speech Processing, Natural Language Processing oder Computer Vision
• Python-Programmierung
• PyTorch oder vergleichbare Frameworks
• Interesse an experimenteller Evaluation und praktischer Softwareentwicklung

Bewerben

Interessiert? Dann schicke uns deinen Lebenslauf zusammen mit einer kurzen Darlegung deiner Motivation für diese Thesis an thesis@scs.ch.