SpeechMapper: Speech-to-text Embedding Projector for LLMs
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Mohapatra, Biswesh, Boito, Marcely Zanon, Calapodescu, Ioan |
|---|---|
| Format: | Preprint |
| Publié: |
2026
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
NAVER LABS Europe Submission to the Instruction-following Track
par: Lee, Beomseok, et autres
Publié: (2025)
par: Lee, Beomseok, et autres
Publié: (2025)
mHuBERT-147: A Compact Multilingual HuBERT Model
par: Boito, Marcely Zanon, et autres
Publié: (2024)
par: Boito, Marcely Zanon, et autres
Publié: (2024)
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
par: Ferraz, Thomas Palmeira, et autres
Publié: (2023)
par: Ferraz, Thomas Palmeira, et autres
Publié: (2023)
StarDrinks: An English and Korean Test Set for SLU Evaluation in a Drink Ordering Scenario
par: Boito, Marcely Zanon, et autres
Publié: (2026)
par: Boito, Marcely Zanon, et autres
Publié: (2026)
Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
par: Lee, Beomseok, et autres
Publié: (2024)
par: Lee, Beomseok, et autres
Publié: (2024)
From TOWER to SPIRE: Adding the Speech Modality to a Translation-Specialist LLM
par: Ambilduke, Kshitij, et autres
Publié: (2025)
par: Ambilduke, Kshitij, et autres
Publié: (2025)
Speech Foundation Models and Crowdsourcing for Efficient, High-Quality Data Collection
par: Lee, Beomseok, et autres
Publié: (2024)
par: Lee, Beomseok, et autres
Publié: (2024)
Conversational Grounding: Annotation and Analysis of Grounding Acts and Grounding Units
par: Mohapatra, Biswesh, et autres
Publié: (2024)
par: Mohapatra, Biswesh, et autres
Publié: (2024)
Using Machine Mental Imagery for Representing Common Ground in Situated Dialogue
par: Mohapatra, Biswesh, et autres
Publié: (2026)
par: Mohapatra, Biswesh, et autres
Publié: (2026)
Can LLMs Understand Unvoiced Speech? Exploring EMG-to-Text Conversion with LLMs
par: Mohapatra, Payal, et autres
Publié: (2025)
par: Mohapatra, Payal, et autres
Publié: (2025)
Dynamic Multi-Expert Projectors with Stabilized Routing for Multilingual Speech Recognition
par: Pandey, Isha, et autres
Publié: (2026)
par: Pandey, Isha, et autres
Publié: (2026)
An Adapter-Based Unified Model for Multiple Spoken Language Processing Tasks
par: Suresh, Varsha, et autres
Publié: (2024)
par: Suresh, Varsha, et autres
Publié: (2024)
Frame of Reference: Addressing the Challenges of Common Ground Representation in Situational Dialogs
par: Mohapatra, Biswesh, et autres
Publié: (2026)
par: Mohapatra, Biswesh, et autres
Publié: (2026)
Speech Vecalign: an Embedding-based Method for Aligning Parallel Speech Documents
par: Meng, Chutong, et autres
Publié: (2025)
par: Meng, Chutong, et autres
Publié: (2025)
End-to-end Speech Recognition with similar length speech and text
par: Fan, Peng, et autres
Publié: (2025)
par: Fan, Peng, et autres
Publié: (2025)
End-to-end Automatic Speech Recognition and Speech Translation: Integration of Speech Foundational Models and LLMs
par: Luu, Nam, et autres
Publié: (2025)
par: Luu, Nam, et autres
Publié: (2025)
PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
par: Xu, Jing, et autres
Publié: (2026)
par: Xu, Jing, et autres
Publié: (2026)
WildSpeech-Bench: Benchmarking End-to-End SpeechLLMs in the Wild
par: Zhang, Linhao, et autres
Publié: (2025)
par: Zhang, Linhao, et autres
Publié: (2025)
LeBenchmark 2.0: a Standardized, Replicable and Enhanced Framework for Self-supervised Representations of French Speech
par: Parcollet, Titouan, et autres
Publié: (2023)
par: Parcollet, Titouan, et autres
Publié: (2023)
It's Not a Walk in the Park! Challenges of Idiom Translation in Speech-to-text Systems
par: Zaitova, Iuliia, et autres
Publié: (2025)
par: Zaitova, Iuliia, et autres
Publié: (2025)
Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
par: Futami, Hayato, et autres
Publié: (2025)
par: Futami, Hayato, et autres
Publié: (2025)
Speech LLMs are Contextual Reasoning Transcribers
par: Deng, Keqi, et autres
Publié: (2026)
par: Deng, Keqi, et autres
Publié: (2026)
Speech-Worthy Alignment for Japanese SpeechLLMs via Direct Preference Optimization
par: Zhao, Mengjie, et autres
Publié: (2026)
par: Zhao, Mengjie, et autres
Publié: (2026)
Towards Comprehensive Semantic Speech Embeddings for Chinese Dialects
par: Chang, Kalvin, et autres
Publié: (2026)
par: Chang, Kalvin, et autres
Publié: (2026)
CS3-Bench: Evaluating and Enhancing Speech-to-Speech LLMs for Mandarin-English Code-Switching
par: Liu, Heyang, et autres
Publié: (2025)
par: Liu, Heyang, et autres
Publié: (2025)
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
par: Deng, Keqi, et autres
Publié: (2025)
par: Deng, Keqi, et autres
Publié: (2025)
StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs
par: Song, Yuhan, et autres
Publié: (2025)
par: Song, Yuhan, et autres
Publié: (2025)
Revisiting Direct Speech-to-Text Translation with Speech LLMs: Better Scaling than CoT Prompting?
par: Pareras, Oriol, et autres
Publié: (2025)
par: Pareras, Oriol, et autres
Publié: (2025)
Chain of Correction for Full-text Speech Recognition with Large Language Models
par: Tang, Zhiyuan, et autres
Publié: (2025)
par: Tang, Zhiyuan, et autres
Publié: (2025)
Slot Filling as a Reasoning Task for SpeechLLMs
par: Hacioglu, Kadri, et autres
Publié: (2025)
par: Hacioglu, Kadri, et autres
Publié: (2025)
Comparing Discrete and Continuous Space LLMs for Speech Recognition
par: Xu, Yaoxun, et autres
Publié: (2024)
par: Xu, Yaoxun, et autres
Publié: (2024)
Spontaneous Speech Variables for Evaluating LLMs Cognitive Plausibility
par: Wang, Sheng-Fu, et autres
Publié: (2025)
par: Wang, Sheng-Fu, et autres
Publié: (2025)
Speech Discrete Tokens or Continuous Features? A Comparative Analysis for Spoken Language Understanding in SpeechLLMs
par: Wang, Dingdong, et autres
Publié: (2025)
par: Wang, Dingdong, et autres
Publié: (2025)
On Importance of Code-Mixed Embeddings for Hate Speech Identification
par: Jagdale, Shruti, et autres
Publié: (2024)
par: Jagdale, Shruti, et autres
Publié: (2024)
Quantifying Speaker Embedding Phonological Rule Interactions in Accented Speech Synthesis
par: Lertpetchpun, Thanathai, et autres
Publié: (2026)
par: Lertpetchpun, Thanathai, et autres
Publié: (2026)
Investigating Decoder-only Large Language Models for Speech-to-text Translation
par: Huang, Chao-Wei, et autres
Publié: (2024)
par: Huang, Chao-Wei, et autres
Publié: (2024)
Lombard Speech Synthesis for Any Voice with Controllable Style Embeddings
par: Akti, Seymanur, et autres
Publié: (2026)
par: Akti, Seymanur, et autres
Publié: (2026)
Blending LLMs into Cascaded Speech Translation: KIT's Offline Speech Translation System for IWSLT 2024
par: Koneru, Sai, et autres
Publié: (2024)
par: Koneru, Sai, et autres
Publié: (2024)
Empowering Dysarthric Speech: Leveraging Advanced LLMs for Accurate Speech Correction and Multimodal Emotion Analysis
par: Attaluri, Kaushal, et autres
Publié: (2024)
par: Attaluri, Kaushal, et autres
Publié: (2024)
Measuring the Redundancy of Decoder Layers in SpeechLLMs
par: Moumen, Adel, et autres
Publié: (2026)
par: Moumen, Adel, et autres
Publié: (2026)
Documents similaires
-
NAVER LABS Europe Submission to the Instruction-following Track
par: Lee, Beomseok, et autres
Publié: (2025) -
mHuBERT-147: A Compact Multilingual HuBERT Model
par: Boito, Marcely Zanon, et autres
Publié: (2024) -
Multilingual DistilWhisper: Efficient Distillation of Multi-task Speech Models via Language-Specific Experts
par: Ferraz, Thomas Palmeira, et autres
Publié: (2023) -
StarDrinks: An English and Korean Test Set for SLU Evaluation in a Drink Ordering Scenario
par: Boito, Marcely Zanon, et autres
Publié: (2026) -
Speech-MASSIVE: A Multilingual Speech Dataset for SLU and Beyond
par: Lee, Beomseok, et autres
Publié: (2024)