Buchumschlag

Taming Data and Transformers for Audio Generation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Haji-Ali, Moayed, Menapace, Willi, Siarohin, Aliaksandr, Balakrishnan, Guha, Ordonez, Vicente
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Sound Computation and Language Computer Vision and Pattern Recognition Multimedia Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation
von: Haji-Ali, Moayed, et al.
Veröffentlicht: (2024)

On the Audio Hallucinations in Large Audio-Video Language Models
von: Nishimura, Taichi, et al.
Veröffentlicht: (2024)

Seeing is Believing: Emotion-Aware Audio-Visual Language Modeling for Expressive Speech Generation
von: Tan, Weiting, et al.
Veröffentlicht: (2025)

Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling
von: Ye, Zhen, et al.
Veröffentlicht: (2026)

AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
von: Wang, Le, et al.
Veröffentlicht: (2025)

Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
von: Goncalves, Lucas, et al.
Veröffentlicht: (2024)

Video-to-Audio Generation with Hidden Alignment
von: Xu, Manjie, et al.
Veröffentlicht: (2024)

Spiking Tucker Fusion Transformer for Audio-Visual Zero-Shot Learning
von: Li, Wenrui, et al.
Veröffentlicht: (2024)

MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
von: Mahmud, Tanvir, et al.
Veröffentlicht: (2024)

Learning Audio Concepts from Counterfactual Natural Language
von: Vosoughi, Ali, et al.
Veröffentlicht: (2024)

EgoSonics: Generating Synchronized Audio for Silent Egocentric Videos
von: Rai, Aashish, et al.
Veröffentlicht: (2024)

Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation
von: Jiang, Xilin, et al.
Veröffentlicht: (2025)

AVFF: Audio-Visual Feature Fusion for Video Deepfake Detection
von: Oorloff, Trevine, et al.
Veröffentlicht: (2024)

Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation
von: Low, Chetwin, et al.
Veröffentlicht: (2025)

Efficient Video-to-Audio Generation via Multiple Foundation Models Mapper
von: Chen, Gehui, et al.
Veröffentlicht: (2025)

Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching
von: Wang, Yongqi, et al.
Veröffentlicht: (2024)

VinTAGe: Joint Video and Text Conditioning for Holistic Audio Generation
von: Kushwaha, Saksham Singh, et al.
Veröffentlicht: (2024)

Draw an Audio: Leveraging Multi-Instruction for Video-to-Audio Synthesis
von: Yang, Qi, et al.
Veröffentlicht: (2024)

Addressing Emotion Bias in Music Emotion Recognition and Generation with Frechet Audio Distance
von: Li, Yuanchao, et al.
Veröffentlicht: (2024)

Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners
von: Xing, Yazhou, et al.
Veröffentlicht: (2024)

Gotta Hear Them All: Towards Sound Source Aware Audio Generation
von: Guo, Wei, et al.
Veröffentlicht: (2024)

Multi-modal Speech Transformer Decoders: When Do Multiple Modalities Improve Accuracy?
von: Guan, Yiwen, et al.
Veröffentlicht: (2024)

Audio Is the Achilles' Heel: Red Teaming Audio Large Multimodal Models
von: Yang, Hao, et al.
Veröffentlicht: (2024)

AudioSetMix: Enhancing Audio-Language Datasets with LLM-Assisted Augmentations
von: Xu, David
Veröffentlicht: (2024)

Audio-CoT: Exploring Chain-of-Thought Reasoning in Large Audio Language Model
von: Ma, Ziyang, et al.
Veröffentlicht: (2025)

AGAV-Rater: Adapting Large Multimodal Model for AI-Generated Audio-Visual Quality Assessment
von: Cao, Yuqin, et al.
Veröffentlicht: (2025)

Tri-Ergon: Fine-grained Video-to-Audio Generation with Multi-modal Conditions and LUFS Control
von: Li, Bingliang, et al.
Veröffentlicht: (2024)

Audio-Thinker: Guiding Audio Language Model When and How to Think via Reinforcement Learning
von: Wu, Shu, et al.
Veröffentlicht: (2025)

Sound2Vision: Generating Diverse Visuals from Audio through Cross-Modal Latent Alignment
von: Sung-Bin, Kim, et al.
Veröffentlicht: (2024)

Pay More Attention To Audio: Mitigating Imbalance of Cross-Modal Attention in Large Audio Language Models
von: Wang, Junyu, et al.
Veröffentlicht: (2025)

Weakly-supervised Audio Temporal Forgery Localization via Progressive Audio-language Co-learning Network
von: Wu, Junyan, et al.
Veröffentlicht: (2025)

3D Audio-Visual Segmentation
von: Sokolov, Artem, et al.
Veröffentlicht: (2024)

Temporally Aligned Audio for Video with Autoregression
von: Viertola, Ilpo, et al.
Veröffentlicht: (2024)

WavCaps: A ChatGPT-Assisted Weakly-Labelled Audio Captioning Dataset for Audio-Language Multimodal Research
von: Mei, Xinhao, et al.
Veröffentlicht: (2023)

Diffusion Models as Masked Audio-Video Learners
von: Nunez, Elvis, et al.
Veröffentlicht: (2023)

Statistics-aware Audio-visual Deepfake Detector
von: Astrid, Marcella, et al.
Veröffentlicht: (2024)

Resurfacing Paralinguistic Awareness in Large Audio Language Models
von: Yang, Hao, et al.
Veröffentlicht: (2026)

Benchmarking Cross-Domain Audio-Visual Deception Detection
von: Guo, Xiaobao, et al.
Veröffentlicht: (2024)

Audio-Vision Contrastive Learning for Phonological Class Recognition
von: Liu, Daiqi, et al.
Veröffentlicht: (2025)

Mitigating Audiovisual Mismatch in Visual-Guide Audio Captioning
von: Xu, Le, et al.
Veröffentlicht: (2025)