Buchumschlag

MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Papi, Sara, Züfle, Maike, Gaido, Marco, Savoldi, Beatrice, Liu, Danni, Douros, Ioannis, Bentivogli, Luisa, Niehues, Jan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Computer Vision and Pattern Recognition Sound
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

NUTSHELL: A Dataset for Abstract Generation from Scientific Talks
von: Züfle, Maike, et al.
Veröffentlicht: (2025)

SimulSeamless: FBK at IWSLT 2024 Simultaneous Speech Translation
von: Papi, Sara, et al.
Veröffentlicht: (2024)

StreamAtt: Direct Streaming Speech-to-Text Translation with Attention-based Audio History Selection
von: Papi, Sara, et al.
Veröffentlicht: (2024)

Cross-Attention is Half Explanation in Speech-to-Text Models
von: Papi, Sara, et al.
Veröffentlicht: (2025)

SPES: Spectrogram Perturbation for Explainable Speech-to-Text Generation
von: Fucci, Dennis, et al.
Veröffentlicht: (2024)

DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs
von: Papi, Sara, et al.
Veröffentlicht: (2026)

Prepending or Cross-Attention for Speech-to-Text? An Empirical Comparison
von: Lam, Tsz Kin, et al.
Veröffentlicht: (2025)

Do What I Say: A Spoken Prompt Dataset for Instruction-Following
von: Züfle, Maike, et al.
Veröffentlicht: (2026)

Talk2Ref: A Dataset for Reference Prediction from Scientific Talks
von: Broy, Frederik, et al.
Veröffentlicht: (2025)

Beyond Transcripts: A Renewed Perspective on Audio Chaptering
von: Retkowski, Fabian, et al.
Veröffentlicht: (2026)

FAMA: The First Large-Scale Open-Science Speech Foundation Model for English and Italian
von: Papi, Sara, et al.
Veröffentlicht: (2025)

MOSEL: 950,000 Hours of Speech Data for Open-Source Speech Foundation Model Training on EU Languages
von: Gaido, Marco, et al.
Veröffentlicht: (2024)

Speech Translation with Speech Foundation Models and Large Language Models: What is There and What is Missing?
von: Gaido, Marco, et al.
Veröffentlicht: (2024)

How do Hyenas deal with Human Speech? Speech Recognition and Translation with ConfHyena
von: Gaido, Marco, et al.
Veröffentlicht: (2024)

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study
von: Savoldi, Beatrice, et al.
Veröffentlicht: (2024)

Contrastive Learning for Task-Independent SpeechLLM-Pretraining
von: Züfle, Maike, et al.
Veröffentlicht: (2024)

Summarizing Speech: A Comprehensive Survey
von: Retkowski, Fabian, et al.
Veröffentlicht: (2025)

When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR
von: Züfle, Maike, et al.
Veröffentlicht: (2026)

Simulstream: Open-Source Toolkit for Evaluation and Demonstration of Streaming Speech-to-Text Translation Systems
von: Gaido, Marco, et al.
Veröffentlicht: (2025)

SBAAM! Eliminating Transcript Dependency in Automatic Subtitling
von: Gaido, Marco, et al.
Veröffentlicht: (2024)

MuSaG: A Multimodal German Sarcasm Dataset with Full-Modal Annotations
von: Scott, Aaron, et al.
Veröffentlicht: (2025)

How to Evaluate Speech Translation with Source-Aware Neural MT Metrics
von: Cettolo, Mauro, et al.
Veröffentlicht: (2025)

Good, but not always Fair: An Evaluation of Gender Bias for three commercial Machine Translation Systems
von: Piazzolla, Silvia Alma, et al.
Veröffentlicht: (2023)

Translation in the Hands of Many:Centering Lay Users in Machine Translation Interactions
von: Savoldi, Beatrice, et al.
Veröffentlicht: (2025)

Hearing to Translate: The Effectiveness of Speech Modality Integration into LLMs
von: Papi, Sara, et al.
Veröffentlicht: (2025)

KIT's Offline Speech Translation and Instruction Following Submission for IWSLT 2025
von: Koneru, Sai, et al.
Veröffentlicht: (2025)

An LLM-as-a-judge Approach for Scalable Gender-Neutral Translation Evaluation
von: Piergentili, Andrea, et al.
Veröffentlicht: (2025)

Enhancing Gender-Inclusive Machine Translation with Neomorphemes and Large Language Models
von: Piergentili, Andrea, et al.
Veröffentlicht: (2024)

Gender-Neutral Rewriting in Italian: Models, Approaches, and Trade-offs
von: Piergentili, Andrea, et al.
Veröffentlicht: (2025)

AlignAtt: Using Attention-based Audio-Translation Alignments as a Guide for Simultaneous Speech Translation
von: Papi, Sara, et al.
Veröffentlicht: (2023)

Towards continually learning new languages
von: Pham, Ngoc-Quan, et al.
Veröffentlicht: (2022)

A Prompt Response to the Demand for Automatic Gender-Neutral Translation
von: Savoldi, Beatrice, et al.
Veröffentlicht: (2024)

Speech Foundation Models and Crowdsourcing for Efficient, High-Quality Data Collection
von: Lee, Beomseok, et al.
Veröffentlicht: (2024)

Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
von: Lee, Beomseok, et al.
Veröffentlicht: (2024)

Whistle: Data-Efficient Multilingual and Crosslingual Speech Recognition via Weakly Phonetic Supervision
von: Yusuyin, Saierdaer, et al.
Veröffentlicht: (2024)

CrossVoice: Crosslingual Prosody Preserving Cascade-S2ST using Transfer Learning
von: Hira, Medha, et al.
Veröffentlicht: (2024)

InstructTTSEval: Benchmarking Complex Natural-Language Instruction Following in Text-to-Speech Systems
von: Huang, Kexin, et al.
Veröffentlicht: (2025)

The Warmup Dilemma: How Learning Rate Strategies Impact Speech-to-Text Model Convergence
von: Gaido, Marco, et al.
Veröffentlicht: (2025)

TalkSketch: Multimodal Generative AI for Real-time Sketch Ideation with Speech
von: Shi, Weiyan, et al.
Veröffentlicht: (2025)

Better Late Than Never: Meta-Evaluation of Latency Metrics for Simultaneous Speech-to-Text Translation
von: Polák, Peter, et al.
Veröffentlicht: (2025)