Buchumschlag

CAV-MAE Sync: Improving Contrastive Audio-Visual Mask Autoencoders via Fine-Grained Alignment

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Araujo, Edson, Rouditchenko, Andrew, Gong, Yuan, Bhati, Saurabhchand, Thomas, Samuel, Kingsbury, Brian, Karlinsky, Leonid, Feris, Rogerio, Glass, James R., Kuehne, Hilde
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Multimedia Computer Vision and Pattern Recognition Sound Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers
von: Araujo, Edson, et al.
Veröffentlicht: (2026)

Omni-R1: Do You Really Need Audio to Fine-Tune Your Audio LLM?
von: Rouditchenko, Andrew, et al.
Veröffentlicht: (2025)

State-Space Large Audio Language Models
von: Bhati, Saurabhchand, et al.
Veröffentlicht: (2024)

DASS: Distilled Audio State Space Models Are Stronger and More Duration-Scalable Learners
von: Bhati, Saurabhchand, et al.
Veröffentlicht: (2024)

Towards Audio Token Compression in Large Audio Language Models
von: Bhati, Saurabhchand, et al.
Veröffentlicht: (2025)

Whisper-Flamingo: Integrating Visual Features into Whisper for Audio-Visual Speech Recognition and Translation
von: Rouditchenko, Andrew, et al.
Veröffentlicht: (2024)

SyncLipMAE: Contrastive Masked Pretraining for Audio-Visual Talking-Face Representation
von: Ling, Zeyu, et al.
Veröffentlicht: (2025)

mWhisper-Flamingo for Multilingual Audio-Visual Noise-Robust Speech Recognition
von: Rouditchenko, Andrew, et al.
Veröffentlicht: (2025)

TTA-Vid: Generalized Test-Time Adaptation for Video Reasoning
von: Jahagirdar, Soumya Shamarao, et al.
Veröffentlicht: (2026)

MU-MAE: Multimodal Masked Autoencoders-Based One-Shot Learning
von: Liu, Rex, et al.
Veröffentlicht: (2024)

SyncGuard: Robust Audio Watermarking Capable of Countering Desynchronization Attacks
von: Gan, Zhenliang, et al.
Veröffentlicht: (2025)

Controllable Text-to-Speech Synthesis with Masked-Autoencoded Style-Rich Representation
von: Wang, Yongqi, et al.
Veröffentlicht: (2025)

SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding
von: Sun, Luoyi, et al.
Veröffentlicht: (2026)

StyleSpeaker: Audio-Enhanced Fine-Grained Style Modeling for Speech-Driven 3D Facial Animation
von: Yang, An, et al.
Veröffentlicht: (2025)

Audio ControlNet for Fine-Grained Audio Generation and Editing
von: Zhu, Haina, et al.
Veröffentlicht: (2026)

HiCMAE: Hierarchical Contrastive Masked Autoencoder for Self-Supervised Audio-Visual Emotion Recognition
von: Sun, Licai, et al.
Veröffentlicht: (2024)

ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio
von: Poltronieri, Andrea, et al.
Veröffentlicht: (2024)

Multimodal Fusion via Hypergraph Autoencoder and Contrastive Learning for Emotion Recognition in Conversation
von: Yi, Zijian, et al.
Veröffentlicht: (2024)

SyncFlow: Toward Temporally Aligned Joint Audio-Video Generation from Text
von: Liu, Haohe, et al.
Veröffentlicht: (2024)

CALM: Class-Conditional Sparse Attention Vectors for Large Audio-Language Models
von: Mehta, Videet, et al.
Veröffentlicht: (2026)

OmniCustom: Sync Audio-Video Customization Via Joint Audio-Video Generation Model
von: Li, Maomao, et al.
Veröffentlicht: (2026)

Style-Preserving Lip Sync via Audio-Aware Style Reference
von: Zhong, Weizhi, et al.
Veröffentlicht: (2024)

Hierarchical Semantic Correlation-Aware Masked Autoencoder for Unsupervised Audio-Visual Representation Learning
von: Zeng, Donghuo, et al.
Veröffentlicht: (2026)

FineBadminton: A Multi-Level Dataset for Fine-Grained Badminton Video Understanding
von: He, Xusheng, et al.
Veröffentlicht: (2025)

Audio-Visual Separation with Hierarchical Fusion and Representation Alignment
von: Hu, Han, et al.
Veröffentlicht: (2025)

What, when, and where? -- Self-Supervised Spatio-Temporal Grounding in Untrimmed Multi-Action Videos from Narrated Instructions
von: Chen, Brian, et al.
Veröffentlicht: (2023)

ReSyncer: Rewiring Style-based Generator for Unified Audio-Visually Synced Facial Performer
von: Guan, Jiazhi, et al.
Veröffentlicht: (2024)

SNIFR : Boosting Fine-Grained Child Harmful Content Detection Through Audio-Visual Alignment with Cascaded Cross-Transformer
von: Phukan, Orchid Chetia, et al.
Veröffentlicht: (2025)

Rethinking Vision Transformer for Large-Scale Fine-Grained Image Retrieval
von: Jiang, Xin, et al.
Veröffentlicht: (2025)

Wavelet-Decoupling Contrastive Enhancement Network for Fine-Grained Skeleton-Based Action Recognition
von: Chang, Haochen, et al.
Veröffentlicht: (2024)

Cross Modal Fine-Grained Alignment via Granularity-Aware and Region-Uncertain Modeling
von: Liu, Jiale, et al.
Veröffentlicht: (2025)

Detecting Audio-Visual Deepfakes with Fine-Grained Inconsistencies
von: Astrid, Marcella, et al.
Veröffentlicht: (2024)

DiffCL: A Diffusion-Based Contrastive Learning Framework with Semantic Alignment for Multimodal Recommendations
von: Song, Qiya, et al.
Veröffentlicht: (2025)

Learning Contrastive Self-Distillation for Ultra-Fine-Grained Visual Categorization Targeting Limited Samples
von: Fang, Ziye, et al.
Veröffentlicht: (2023)

AsCL: An Asymmetry-sensitive Contrastive Learning Method for Image-Text Retrieval with Cross-Modal Fusion
von: Gong, Ziyu, et al.
Veröffentlicht: (2024)

Integrating Fine-Grained Audio-Visual Evidence for Robust Multimodal Emotion Reasoning
von: Zhao, Zhixian, et al.
Veröffentlicht: (2026)

USAD: Universal Speech and Audio Representation via Distillation
von: Chang, Heng-Jui, et al.
Veröffentlicht: (2025)

PAME: Self-Supervised Masked Autoencoder for No-Reference Point Cloud Quality Assessment
von: Shan, Ziyu, et al.
Veröffentlicht: (2024)

StereoSync: Spatially-Aware Stereo Audio Generation from Video
von: Marinoni, Christian, et al.
Veröffentlicht: (2025)

InfoMAE: Pair-Efficient Cross-Modal Alignment for Multimodal Time-Series Sensing Signals
von: Kimura, Tomoyoshi, et al.
Veröffentlicht: (2025)