Buchumschlag

video-SALMONN: Speech-Enhanced Audio-Visual Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sun, Guangzhi, Yu, Wenyi, Tang, Changli, Chen, Xianzhao, Tan, Tian, Li, Wei, Lu, Lu, Ma, Zejun, Wang, Yuxuan, Zhang, Chao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

video-SALMONN 2: Caption-Enhanced Audio-Visual Large Language Models
von: Tang, Changli, et al.
Veröffentlicht: (2025)

video-SALMONN-o1: Reasoning-enhanced Audio-visual Large Language Model
von: Sun, Guangzhi, et al.
Veröffentlicht: (2025)

video-SALMONN S: Memory-Enhanced Streaming Audio-Visual LLM
von: Sun, Guangzhi, et al.
Veröffentlicht: (2025)

SALMONN: Towards Generic Hearing Abilities for Large Language Models
von: Tang, Changli, et al.
Veröffentlicht: (2023)

Can Large Language Models Understand Spatial Audio?
von: Tang, Changli, et al.
Veröffentlicht: (2024)

SALMONN-omni: A Codec-free LLM for Full-duplex Speech Understanding and Generation
von: Yu, Wenyi, et al.
Veröffentlicht: (2024)

SALMONN-omni: A Standalone Speech LLM without Codec Injection for Full-duplex Conversation
von: Yu, Wenyi, et al.
Veröffentlicht: (2025)

Audio-centric Video Understanding Benchmark without Text Shortcut
von: Yang, Yudong, et al.
Veröffentlicht: (2025)

Improving LLM Video Understanding with 16 Frames Per Second
von: Li, Yixuan, et al.
Veröffentlicht: (2025)

Enabling Auditory Large Language Models for Automatic Speech Quality Evaluation
von: Wang, Siyin, et al.
Veröffentlicht: (2024)

D-ORCA: Dialogue-Centric Optimization for Robust Audio-Visual Captioning
von: Tang, Changli, et al.
Veröffentlicht: (2026)

End-to-end Listen, Look, Speak and Act
von: Wang, Siyin, et al.
Veröffentlicht: (2025)

Enhancing Multimodal LLM for Detailed and Accurate Video Captioning using Multi-Round Preference Optimization
von: Tang, Changli, et al.
Veröffentlicht: (2024)

WAVE: Learning Unified & Versatile Audio-Visual Embeddings with Multimodal LLM
von: Tang, Changli, et al.
Veröffentlicht: (2025)

Speech-Audio Compositional Attacks on Multimodal LLMs and Their Mitigation with SALMONN-Guard
von: Yang, Yudong, et al.
Veröffentlicht: (2025)

Learning Visual Affordance from Audio
von: Lu, Lidong, et al.
Veröffentlicht: (2025)

Rethinking Visual Attribution for Chest X-ray Reasoning in Large Vision Language Models
von: Xiong, Guangzhi, et al.
Veröffentlicht: (2026)

Large Language Models are Strong Audio-Visual Speech Recognition Learners
von: Cappellazzo, Umberto, et al.
Veröffentlicht: (2024)

Aligned Better, Listen Better for Audio-Visual Large Language Models
von: Guo, Yuxin, et al.
Veröffentlicht: (2025)

CAT: Enhancing Multimodal Large Language Model to Answer Questions in Dynamic Audio-Visual Scenarios
von: Ye, Qilang, et al.
Veröffentlicht: (2024)

Language-Guided Joint Audio-Visual Editing via One-Shot Adaptation
von: Liang, Susan, et al.
Veröffentlicht: (2024)

Audio-Visual Intelligence in Large Foundation Models
von: Qin, You, et al.
Veröffentlicht: (2026)

SpeechForensics: Audio-Visual Speech Representation Learning for Face Forgery Detection
von: Liang, Yachao, et al.
Veröffentlicht: (2025)

JAEGER: Joint 3D Audio-Visual Grounding and Reasoning in Simulated Physical Environments
von: Liu, Zhan, et al.
Veröffentlicht: (2026)

QualiSpeech: A Speech Quality Assessment Dataset with Natural Language Reasoning and Descriptions
von: Wang, Siyin, et al.
Veröffentlicht: (2025)

Complementary and Contrastive Learning for Audio-Visual Segmentation
von: Gong, Sitong, et al.
Veröffentlicht: (2025)

Beyond Text: Frozen Large Language Models in Visual Signal Comprehension
von: Zhu, Lei, et al.
Veröffentlicht: (2024)

Enhancing Multimodal Large Language Models with Multi-instance Visual Prompt Generator for Visual Representation Enrichment
von: Zhong, Wenliang, et al.
Veröffentlicht: (2024)

Seeing is Believing: Emotion-Aware Audio-Visual Language Modeling for Expressive Speech Generation
von: Tan, Weiting, et al.
Veröffentlicht: (2025)

Fork-Merge Decoding: Enhancing Multimodal Understanding in Audio-Visual Large Language Models
von: Jung, Chaeyoung, et al.
Veröffentlicht: (2025)

Bootstrapping Audio-Visual Segmentation by Strengthening Audio Cues
von: Chen, Tianxiang, et al.
Veröffentlicht: (2024)

The Curse of Multi-Modalities: Evaluating Hallucinations of Large Multimodal Models across Language, Visual, and Audio
von: Leng, Sicong, et al.
Veröffentlicht: (2024)

AniPortrait: Audio-Driven Synthesis of Photorealistic Portrait Animation
von: Wei, Huawei, et al.
Veröffentlicht: (2024)

JointAVBench: A Benchmark for Joint Audio-Visual Reasoning Evaluation
von: Chao, Jianghan, et al.
Veröffentlicht: (2025)

Audio-Visual Speech Representation Expert for Enhanced Talking Face Video Generation and Evaluation
von: Yaman, Dogucan, et al.
Veröffentlicht: (2024)

AV2AV: Direct Audio-Visual Speech to Audio-Visual Speech Translation with Unified Audio-Visual Speech Representation
von: Choi, Jeongsoo, et al.
Veröffentlicht: (2023)

LiveCC: Learning Video LLM with Streaming Speech Transcription at Scale
von: Chen, Joya, et al.
Veröffentlicht: (2025)

SEP: Self-Enhanced Prompt Tuning for Visual-Language Model
von: Yao, Hantao, et al.
Veröffentlicht: (2024)

Text-Audio-Visual-conditioned Diffusion Model for Video Saliency Prediction
von: Yu, Li, et al.
Veröffentlicht: (2025)

COCO-Tree: Compositional Hierarchical Concept Trees for Enhanced Reasoning in Vision Language Models
von: Sinha, Sanchit, et al.
Veröffentlicht: (2025)