Buchumschlag

Teaching a Multilingual Large Language Model to Understand Multilingual Speech via Multi-Instructional Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Denisov, Pavel, Vu, Ngoc Thang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Sound Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Probing the Feasibility of Multilingual Speaker Anonymization
von: Meyer, Sarina, et al.
Veröffentlicht: (2024)

Advancing Topic Segmentation of Broadcasted Speech with Multilingual Semantic Embeddings
von: Shukla, Sakshi Deo, et al.
Veröffentlicht: (2024)

Controlling Emotion in Text-to-Speech with Natural Language Prompts
von: Bott, Thomas, et al.
Veröffentlicht: (2024)

Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
von: Ferraz, Thomas Palmeira, et al.
Veröffentlicht: (2023)

Improving noisy student training for low-resource languages in End-to-End ASR using CycleGAN and inter-domain losses
von: Li, Chia-Yu, et al.
Veröffentlicht: (2024)

Multi-Teacher Language-Aware Knowledge Distillation for Multilingual Speech Emotion Recognition
von: Bijoy, Mehedi Hasan, et al.
Veröffentlicht: (2025)

MultiMed: Multilingual Medical Speech Recognition via Attention Encoder Decoder
von: Le-Duc, Khai, et al.
Veröffentlicht: (2024)

Qwen vs. Gemma Integration with Whisper: A Comparative Study in Multilingual SpeechLLM Systems
von: Nguyen, Tuan, et al.
Veröffentlicht: (2025)

SpeechTaxi: On Multilingual Semantic Speech Classification
von: Keller, Lennart, et al.
Veröffentlicht: (2024)

Joint Training And Decoding for Multilingual End-to-End Simultaneous Speech Translation
von: Huang, Wuwei, et al.
Veröffentlicht: (2025)

Speechless: Speech Instruction Training Without Speech for Low Resource Languages
von: Dao, Alan, et al.
Veröffentlicht: (2025)

Multilingual Zero Resource Speech Recognition Base on Self-Supervise Pre-Trained Acoustic Models
von: Wang, Haoyu, et al.
Veröffentlicht: (2022)

Language-Universal Speech Attributes Modeling for Zero-Shot Multilingual Spoken Keyword Recognition
von: Yen, Hao, et al.
Veröffentlicht: (2024)

Weighted Cross-entropy for Low-Resource Languages in Multilingual Speech Recognition
von: Piñeiro-Martín, Andrés, et al.
Veröffentlicht: (2024)

Generalized Multilingual Text-to-Speech Generation with Language-Aware Style Adaptation
von: Lou, Haowei, et al.
Veröffentlicht: (2025)

XTTS: a Massively Multilingual Zero-Shot Text-to-Speech Model
von: Casanova, Edresson, et al.
Veröffentlicht: (2024)

Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
von: Lee, Beomseok, et al.
Veröffentlicht: (2024)

Configurable Multilingual ASR with Speech Summary Representations
von: Zhu, Harrison, et al.
Veröffentlicht: (2024)

Classification of Spontaneous and Scripted Speech for Multilingual Audio
von: Elisha, Shahar, et al.
Veröffentlicht: (2024)

CAMEO: Collection of Multilingual Emotional Speech Corpora
von: Christop, Iwona, et al.
Veröffentlicht: (2025)

Emilia: A Large-Scale, Extensive, Multilingual, and Diverse Dataset for Speech Generation
von: He, Haorui, et al.
Veröffentlicht: (2025)

Enhancing Indonesian Automatic Speech Recognition: Evaluating Multilingual Models with Diverse Speech Variabilities
von: Adila, Aulia, et al.
Veröffentlicht: (2024)

ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets
von: Shi, Jiatong, et al.
Veröffentlicht: (2024)

ML-SUPERB: Multilingual Speech Universal PERformance Benchmark
von: Shi, Jiatong, et al.
Veröffentlicht: (2023)

Multilingual Dysarthric Speech Assessment Using Universal Phone Recognition and Language-Specific Phonemic Contrast Modeling
von: Yeo, Eunjung, et al.
Veröffentlicht: (2026)

Exploring Spoken Language Identification Strategies for Automatic Transcription of Multilingual Broadcast and Institutional Speech
von: Valente, Martina, et al.
Veröffentlicht: (2024)

Novel Parasitic Dual-Scale Modeling for Efficient and Accurate Multilingual Speech Translation
von: Le, Chenyang, et al.
Veröffentlicht: (2025)

Whistle: Data-Efficient Multilingual and Crosslingual Speech Recognition via Weakly Phonetic Supervision
von: Yusuyin, Saierdaer, et al.
Veröffentlicht: (2024)

Multilingual Source Tracing of Speech Deepfakes: A First Benchmark
von: Xuan, Xi, et al.
Veröffentlicht: (2025)

Multilingual Stutter Event Detection for English, German, and Mandarin Speech
von: Haas, Felix, et al.
Veröffentlicht: (2026)

Low-Resourced Speech Recognition for Iu Mien Language via Weakly-Supervised Phoneme-based Multilingual Pre-training
von: Dong, Lukuan, et al.
Veröffentlicht: (2024)

Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting
von: Kashiwagi, Yosuke, et al.
Veröffentlicht: (2024)

VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
von: Zheng, Zhisheng, et al.
Veröffentlicht: (2025)

Multilingual and Fully Non-Autoregressive ASR with Large Language Model Fusion: A Comprehensive Study
von: Huang, W. Ronny, et al.
Veröffentlicht: (2024)

DQ-Whisper: Joint Distillation and Quantization for Efficient Multilingual Speech Recognition
von: Shao, Hang, et al.
Veröffentlicht: (2023)

DQ-Data2vec: Decoupling Quantization for Multilingual Speech Recognition
von: Shao, Qijie, et al.
Veröffentlicht: (2025)

CS-FLEURS: A Massively Multilingual and Code-Switched Speech Dataset
von: Yan, Brian, et al.
Veröffentlicht: (2025)

UtterTune: LoRA-Based Target-Language Pronunciation Edit and Control in Multilingual Text-to-Speech
von: Kato, Shuhei
Veröffentlicht: (2025)

Adapting Where It Matters: Depth-Aware Adaptation for Efficient Multilingual Speech Recognition in Low-Resource Languages
von: Xiao, Yang, et al.
Veröffentlicht: (2026)

Efficient Multilingual ASR Finetuning via LoRA Language Experts
von: Li, Jiahong, et al.
Veröffentlicht: (2025)