Multimodal Speech-to-Text Transcription

Abstract

Automatische Sprachtranskription erzielt heute bereits gute Resultate, basiert jedoch häufig ausschliesslich auf Audiodaten. In vielen realen Gesprächssituationen liefern jedoch zusätzliche Informationsquellen wie Video wertvolle Hinweise für das bessere Verständnis gesprochener und nonverbaler Kommunikation. Sichtbare Sprecheraktivität, Lippenbewegungen, Gestik oder Kopfbewegungen können helfen, unklare oder schlecht verständliche Audiosequenzen besser zu interpretieren und das resultierende Transkript oder Protokoll zu verbessern.

Ziel dieser Arbeit ist es, die klassische Speech-to-Text-Transkription um multimodale Informationen zu erweitern, insbesondere durch die Einbindung von Videodaten. Dabei soll untersucht werden, wie visuelle Informationen zur Optimierung von Sprachtranskripten genutzt werden können und inwiefern auch nonverbale Äusserungen wie Nicken, Kopfschütteln oder andere sichtbare Reaktionen in ein strukturiertes Protokoll übernommen werden können. Nach einer ersten Analyse soll ein geeigneter Schwerpunkt ausgewählt, prototypisch umgesetzt und experimentell evaluiert werden.

Hintergrund

Klassische Automatic Speech Recognition (ASR)-Systeme verarbeiten in der Regel ausschliesslich akustische Informationen. In realen Anwendungen sind Audiosignale jedoch oft verrauscht, unvollständig oder mehrdeutig. Gleichzeitig enthalten visuelle Informationen wichtige ergänzende Hinweise: Lippenbewegungen können bei der Auflösung akustischer Unklarheiten helfen, sichtbare Sprecheraktivität kann die Sprecherzuordnung verbessern, und Gesten oder Kopfbewegungen liefern zusätzlichen Kontext, der in einem reinen Sprachtranskript verloren geht.

Gerade in professionellen oder dokumentationsrelevanten Anwendungsbereichen kann es wertvoll sein, nicht nur das gesprochene Wort, sondern auch relevante nonverbale Signale systematisch zu erfassen. Multimodale Ansätze bieten hier die Möglichkeit, robustere und informationsreichere Transkriptions- und Protokollierungssysteme zu entwickeln.

Vorgehen

Die Arbeit umfasst folgende Schritte:

• Literature Review: Analyse bestehender Ansätze zu multimodaler Speech-to-Text-Transkription, Audio-Video-Fusion, Lip Reading, Visual Speech Recognition und Erkennung nonverbaler Signale.
• Analyse und Abgrenzung: Untersuchung des bestehenden Transkriptionssystems, der verfügbaren Daten sowie möglicher technischer und methodischer Rahmenbedingungen. Auf dieser Basis wird der konkrete Fokus der Arbeit definiert.
• Baseline und Problemverständnis: Evaluation eines bestehenden audio-basierten Transkriptionsansatzes und Analyse typischer Fehler oder Informationslücken, die durch zusätzliche visuelle Daten reduziert werden könnten.
• Auswahl und Umsetzung eines Schwerpunkts: Zum Beispiel Untersuchung eines oder mehrerer der folgenden Ansätze:
  • Audio-Video Fusion for Speech Transcription: Integration visueller Informationen in ein bestehendes Speech-to-Text-System zur Verbesserung der Transkriptionsqualität, insbesondere bei schwierigen Audiobedingungen.
  • Lip Reading / Visual Speech Cues: Nutzung von Lippenbewegungen oder anderen visuellen Sprachmerkmalen zur Unterstützung bei schwer verständlichen oder überlappenden gesprochenen Inhalten.
  • Speaker Activity Detection: Erkennung sichtbarer Sprecheraktivität zur Verbesserung der Sprecherzuordnung oder Segmentierung in Gesprächen mit mehreren Personen.
  • Recognition of Nonverbal Signals: Erkennung nonverbaler Äusserungen wie Nicken, Kopfschütteln oder anderer relevanter Gesten und Überführung dieser Informationen in ein erweitertes Protokoll.
• Evaluation: Vergleich des entwickelten Prototyps mit einer rein audio-basierten Baseline hinsichtlich Transkriptionsqualität, zusätzlichem Informationsgewinn, Robustheit sowie technischem Aufwand.

Der konkrete Schwerpunkt wird zu Beginn der Arbeit gemeinsam festgelegt. Die Studierenden können sich aktiv in die Definition der Fragestellung und die inhaltliche Ausrichtung der Arbeit einbringen.

Informationen

• Semester- oder Masterarbeiten für 1-2 Personen
• 40% Theorie, 60% Umsetzung
• Voraussetzungen: Signalverarbeitung, Python

Vorkenntnisse

Idealerweise Kenntnisse in einigen der folgenden Bereiche:

• Machine Learning und Deep Learning
• Computer Vision, Natural Language Processing oder Speech Processing
• Python-Programmierung
• PyTorch oder vergleichbare Frameworks
• Interesse an experimenteller Evaluation und praktischer Softwareentwicklung

Bewerben

Interessiert? Dann schicke uns deinen Lebenslauf zusammen mit einer kurzen Darlegung deiner Motivation für diese Thesis an thesis@scs.ch.