Fine Tuning of Speech-to-Text Models (Domain Specific Language and Dialect Processing)

Abstract

Automatische Sprachtranskription wird zunehmend in professionellen Bereichen wie Polizei und Justiz eingesetzt. Allgemeine Transkriptionsmodelle erreichen bereits eine hohe Qualität, stossen jedoch bei Fachvokabular, Eigennamen, Dialekten und schwierigen Aufnahmebedingungen häufig an Grenzen.

Ziel dieser Arbeit ist es, ein bestehendes Open-Source-Transkriptionsmodell wie Whisper für ausgewählte praktische Anwendungsfälle anzupassen und zu optimieren. Mögliche Schwerpunkte sind die domänenspezifische Modellanpassung, die Verarbeitung von Dialekten, die kontextbasierte Fehlerkorrektur oder die automatische Erkennung des Gesprächskontexts. Nach einer ersten Analyse soll eine geeignete Richtung ausgewählt, implementiert und experimentell evaluiert werden.

Hintergrund

In polizeilichen, juristischen und anderen professionellen Anwendungsbereichen enthalten Sprachaufnahmen häufig Fachbegriffe, Abkürzungen, Eigennamen oder dialektale Ausdrücke. Allgemein trainierte Modelle erkennen diese Inhalte nicht immer zuverlässig. Da Transkriptionsfehler die weitere Nutzung und Verarbeitung der Daten beeinträchtigen können, besteht Bedarf an Modellen, die gezielt an bestimmte Anwendungsbereiche angepasst sind.

Open-Source-Modelle bieten hierfür eine geeignete Grundlage: Sie können lokal betrieben, erweitert und auf spezifische Daten und Anforderungen abgestimmt werden. Im Unternehmen besteht bereits ein konkreter Anwendungsfall, anhand dessen unterschiedliche Optimierungsansätze untersucht werden können.

Vorgehen

Die Arbeit umfasst folgende Schritte:

• Literature Review: Analyse bestehender Ansätze zu Automatic Speech Recognition (ASR), Domain Adaptation, Dialektverarbeitung und kontextbasierter Fehlerkorrektur.

• Analyse und Abgrenzung: Untersuchung des bestehenden Transkriptionssystems, seiner Architektur, der verfügbaren Daten und der aktuellen Funktionalität. Dabei werden technische Einschränkungen und relevante Anwendungsfälle identifiziert und der Umfang der Arbeit abgegrenzt.

• Baseline und Fehleranalyse: Evaluation des bestehenden Systems z.B. anhand der Word Error Rate (WER). Typische Fehler bei Fachbegriffen, Eigennamen, Dialekten und kontextabhängigen Ausdrücken werden systematisch untersucht.

• Auswahl und Umsetzung eines Schwerpunkts: zum Beispiel Untersuchung eines oder mehrerer der folgenden Ansätze:

• • Domain-Specific Language Models: Anpassung und Optimierung von Whisper für domänenspezifisches Vokabular und typische Ausdrucksweisen, beispielsweise aus den Bereichen Justiz, Polizei (Domain Adaptation Methods)
  • Dialect Recognition and Processing: Anpassung und Optimierung von Whisper für unterschiedliche Dialekte, beispielsweise durch das Training dialektspezifischer Modelle oder die Integration eines Dialect Identifiers.
  • Real-Time Error Correction and Suggestions: Kontextbasierte Korrektur von Transkriptionsfehlern sowie Integration von Korrekturvorschlägen oder Text Correction Interfaces, über die End-User Feedback geben können.
  • Automated Contextual Tagging: Automatisches Tagging von Transkripten oder einzelnen Transkriptabschnitten basierend auf dem erkannten Kontext, um ein geeignetes spezialisiertes Sub-Model für die Transkription auszuwählen.

• Evaluation: Vergleich des entwickelten Prototyps mit dem bestehenden System und der Baseline hinsichtlich Transkriptionsqualität, Robustheit, Laufzeit und Ressourcenbedarf.

Der konkrete Schwerpunkt wird zu Beginn der Arbeit gemeinsam festgelegt und kann von den Studierenden aktiv mitgestaltet werden.

Informationen

• Semester- oder Masterarbeiten für 1-2 Personen
• 50% Theorie, 50% Umsetzung
• Voraussetzungen: Signalverarbeitung, Python

Vorkenntnisse

Idealerweise Kenntnisse in einigen der folgenden Bereiche:

• Machine Learning und Deep Learning
• Natural Language Processing oder Speech Processing
• Python-Programmierung
• PyTorch oder Hugging Face
• Interesse an experimenteller Evaluation und praktischer Softwareentwicklung

Bewerben

Interessiert? Dann schicke uns deinen Lebenslauf zusammen mit einer kurzen Darlegung deiner Motivation für diese Thesis an thesis@scs.ch.