Buchumschlag

A Survey on Music Generation from Single-Modal, Cross-Modal, and Multi-Modal Perspectives

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Shuyu, Ji, Shulei, Wang, Zihao, Wu, Songruoyao, Yu, Jiaxing, Zhang, Kejun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Sound Artificial Intelligence Multimedia
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Comprehensive Survey on Generative AI for Video-to-Music Generation
von: Ji, Shulei, et al.
Veröffentlicht: (2025)

Diff-V2M: A Hierarchical Conditional Diffusion Model with Explicit Rhythmic Modeling for Video-to-Music Generation
von: Ji, Shulei, et al.
Veröffentlicht: (2025)

Cross-Modal Learning for Music-to-Music-Video Description Generation
von: Mao, Zhuoyuan, et al.
Veröffentlicht: (2025)

EigeNet: Geometry-Informed Multi-Modal Learning for Few-shot Novel View RIR Prediction
von: Jing, Chong, et al.
Veröffentlicht: (2026)

MusER: Musical Element-Based Regularization for Generating Symbolic Music with Emotion
von: Ji, Shulei, et al.
Veröffentlicht: (2023)

AMB-DSGDN: Adaptive Modality-Balanced Dynamic Semantic Graph Differential Network for Multimodal Emotion Recognition
von: Wang, Yunsheng, et al.
Veröffentlicht: (2026)

FISHER: A Foundation Model for Multi-Modal Industrial Signal Comprehensive Representation
von: Fan, Pingyi, et al.
Veröffentlicht: (2025)

Sync-TVA: A Graph-Attention Framework for Multimodal Emotion Recognition with Cross-Modal Fusion
von: Deng, Zeyu, et al.
Veröffentlicht: (2025)

A Survey on Cross-Modal Interaction Between Music and Multimodal Data
von: Li, Sifei, et al.
Veröffentlicht: (2025)

Early Joint Learning of Emotion Information Makes MultiModal Model Understand You Better
von: Ge, Mengying, et al.
Veröffentlicht: (2024)

Sequence-to-Sequence Multi-Modal Speech In-Painting
von: Elyaderani, Mahsa Kadkhodaei, et al.
Veröffentlicht: (2024)

Enhancing Modal Fusion by Alignment and Label Matching for Multimodal Emotion Recognition
von: Li, Qifei, et al.
Veröffentlicht: (2024)

Whispering LLaMA: A Cross-Modal Generative Error Correction Framework for Speech Recognition
von: Radhakrishnan, Srijith, et al.
Veröffentlicht: (2023)

Music Arena: Live Evaluation for Text-to-Music
von: Kim, Yonghyun, et al.
Veröffentlicht: (2025)

MusicSwarm: Biologically Inspired Intelligence for Music Composition
von: Buehler, Markus J.
Veröffentlicht: (2025)

Amadeus: Autoregressive Model with Bidirectional Attribute Modelling for Symbolic Music
von: Su, Hongju, et al.
Veröffentlicht: (2025)

Robust Multi-Modal Speech In-Painting: A Sequence-to-Sequence Approach
von: Elyaderani, Mahsa Kadkhodaei, et al.
Veröffentlicht: (2024)

DiFlowDubber: Discrete Flow Matching for Automated Video Dubbing via Cross-Modal Alignment and Synchronization
von: Nguyen, Ngoc-Son, et al.
Veröffentlicht: (2026)

Memo2496: Expert-Annotated Dataset and Dual-View Adaptive Framework for Music Emotion Recognition
von: Li, Qilin, et al.
Veröffentlicht: (2025)

A Survey of Foundation Models for Music Understanding
von: Li, Wenjun, et al.
Veröffentlicht: (2024)

Seeing Sound, Hearing Sight: Uncovering Modality Bias and Conflict of AI models in Sound Localization
von: Jia, Yanhao, et al.
Veröffentlicht: (2025)

Iterative Residual Cross-Attention Mechanism: An Integrated Approach for Audio-Visual Navigation Tasks
von: Zhang, Hailong, et al.
Veröffentlicht: (2025)

UniSRCodec: Unified and Low-Bitrate Single Codebook Codec with Sub-Band Reconstruction
von: Zhang, Zhisheng, et al.
Veröffentlicht: (2026)

MotionBeat: Motion-Aligned Music Representation via Embodied Contrastive Learning and Bar-Equivariant Contact-Aware Encoding
von: Wang, Xuanchen, et al.
Veröffentlicht: (2025)

MusicAIR: A Multimodal AI Music Generation Framework Powered by an Algorithm-Driven Core
von: Liao, Callie C., et al.
Veröffentlicht: (2025)

Contextual Cross-Modal Attention for Audio-Visual Deepfake Detection and Localization
von: Katamneni, Vinaya Sree, et al.
Veröffentlicht: (2024)

Music for All: Representational Bias and Cross-Cultural Adaptability of Music Generation Models
von: Mehta, Atharva, et al.
Veröffentlicht: (2025)

Start from Video-Music Retrieval: An Inter-Intra Modal Loss for Cross Modal Retrieval
von: Chen, Zeyu, et al.
Veröffentlicht: (2024)

Let the Model Learn to Feel: Mode-Guided Tonality Injection for Symbolic Music Emotion Recognition
von: Xia, Haiying, et al.
Veröffentlicht: (2025)

YuE: Scaling Open Foundation Models for Long-Form Music Generation
von: Yuan, Ruibin, et al.
Veröffentlicht: (2025)

MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic Expressiveness in Multi-Talker Audio-Video Generation
von: Li, Haitian, et al.
Veröffentlicht: (2026)

SongGLM: Lyric-to-Melody Generation with 2D Alignment Encoding and Multi-Task Pre-Training
von: Yu, Jiaxing, et al.
Veröffentlicht: (2024)

Controllable Video-to-Music Generation with Multiple Time-Varying Conditions
von: Wu, Junxian, et al.
Veröffentlicht: (2025)

Live Music Diffusion Models: Efficient Fine-Tuning and Post-Training of Interactive Diffusion Music Generators
von: Novack, Zachary, et al.
Veröffentlicht: (2026)

HDA-SELD: Hierarchical Cross-Modal Distillation with Multi-Level Data Augmentation for Low-Resource Audio-Visual Sound Event Localization and Detection
von: Wang, Qing, et al.
Veröffentlicht: (2025)

SynthGuard: An Open Platform for Detecting AI-Generated Multimedia with Multimodal LLMs
von: Desai, Shail, et al.
Veröffentlicht: (2025)

MetaBGM: Dynamic Soundtrack Transformation For Continuous Multi-Scene Experiences With Ambient Awareness And Personalization
von: Liu, Haoxuan, et al.
Veröffentlicht: (2024)

GVMGen: A General Video-to-Music Generation Model with Hierarchical Attentions
von: Zuo, Heda, et al.
Veröffentlicht: (2025)

Frechet Music Distance: A Metric For Generative Symbolic Music Evaluation
von: Retkowski, Jan, et al.
Veröffentlicht: (2024)

GACA-DiT: Diffusion-based Dance-to-Music Generation with Genre-Adaptive Rhythm and Context-Aware Alignment
von: Wang, Jinting, et al.
Veröffentlicht: (2025)