Buchumschlag

Foley-Flow: Coordinated Video-to-Audio Generation with Masked Audio-Visual Alignment and Dynamic Conditional Flows

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mo, Shentong, Song, Yibing
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence Machine Learning Sound Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Aligning Audio-Visual Joint Representations with an Agentic Workflow
von: Mo, Shentong, et al.
Veröffentlicht: (2024)

Text-to-Audio Generation Synchronized with Videos
von: Mo, Shentong, et al.
Veröffentlicht: (2024)

GMS-CAVP: Improving Audio-Video Correspondence with Multi-Scale Contrastive and Generative Pretraining
von: Mo, Shentong, et al.
Veröffentlicht: (2026)

Unified Video-Language Pre-training with Synchronized Audio
von: Mo, Shentong, et al.
Veröffentlicht: (2024)

HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation
von: Shan, Sizhe, et al.
Veröffentlicht: (2025)

MA-AVT: Modality Alignment for Parameter-Efficient Audio-Visual Transformers
von: Mahmud, Tanvir, et al.
Veröffentlicht: (2024)

Audio-visual Generalized Zero-shot Learning the Easy Way
von: Mo, Shentong, et al.
Veröffentlicht: (2024)

Masked Generative Video-to-Audio Transformers with Enhanced Synchronicity
von: Pascual, Santiago, et al.
Veröffentlicht: (2024)

Semantic Grouping Network for Audio Source Separation
von: Mo, Shentong, et al.
Veröffentlicht: (2024)

Continual Audio-Visual Sound Separation
von: Pian, Weiguo, et al.
Veröffentlicht: (2024)

Efficient Selective Audio Masked Multimodal Bottleneck Transformer for Audio-Video Classification
von: Zhu, Wentao
Veröffentlicht: (2024)

AC-Foley: Reference-Audio-Guided Video-to-Audio Synthesis with Acoustic Transfer
von: Fang, Pengjun, et al.
Veröffentlicht: (2026)

CounterFlow: A Two-Phase Inference-Time Sampling for Counterfactual Video Foley Generation
von: Lee, Gyubin, et al.
Veröffentlicht: (2026)

FoleyGRAM: Video-to-Audio Generation with GRAM-Aligned Multimodal Encoders
von: Gramaccioni, Riccardo Fosco, et al.
Veröffentlicht: (2025)

MINT: a Multi-modal Image and Narrative Text Dubbing Dataset for Foley Audio Content Planning and Generation
von: Fu, Ruibo, et al.
Veröffentlicht: (2024)

FoleyBench: A Benchmark For Video-to-Audio Models
von: Dixit, Satvik, et al.
Veröffentlicht: (2025)

Sounding Highlights: Dual-Pathway Audio Encoders for Audio-Visual Video Highlight Detection
von: Joo, Seohyun, et al.
Veröffentlicht: (2026)

Seeing Soundscapes: Audio-Visual Generation and Separation from Soundscapes Using Audio-Visual Separator
von: Kang, Minjae, et al.
Veröffentlicht: (2025)

DiffGAP: A Lightweight Diffusion Module in Contrastive Space for Bridging Cross-Model Gap
von: Mo, Shentong, et al.
Veröffentlicht: (2025)

Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition For Foley Sound
von: Lee, Junwon, et al.
Veröffentlicht: (2024)

Smooth-Foley: Creating Continuous Sound for Video-to-Audio Generation Under Semantic Guidance
von: Zhang, Yaoyun, et al.
Veröffentlicht: (2024)

Audit After Segmentation: Reference-Free Mask Quality Assessment for Language-Referred Audio-Visual Segmentation
von: Zhou, Jinxing, et al.
Veröffentlicht: (2026)

Multi-scale Multi-instance Visual Sound Localization and Segmentation
von: Mo, Shentong, et al.
Veröffentlicht: (2024)

Video-to-Audio Generation with Hidden Alignment
von: Xu, Manjie, et al.
Veröffentlicht: (2024)

Synthesizing Audio from Silent Video using Sequence to Sequence Modeling
von: Belinchon, Hugo Garrido-Lestache, et al.
Veröffentlicht: (2024)

Tell What You Hear From What You See -- Video to Audio Generation Through Text
von: Liu, Xiulong, et al.
Veröffentlicht: (2024)

What's Making That Sound Right Now? Video-centric Audio-Visual Localization
von: Choi, Hahyeon, et al.
Veröffentlicht: (2025)

DDAVS: Disentangled Audio Semantics and Delayed Bidirectional Alignment for Audio-Visual Segmentation
von: Tian, Jingqi, et al.
Veröffentlicht: (2025)

LD-LAudio-V1: Video-to-Long-Form-Audio Generation Extension with Dual Lightweight Adapters
von: Zhang, Haomin, et al.
Veröffentlicht: (2025)

JAM-Flow: Joint Audio-Motion Synthesis with Flow Matching
von: Kwon, Mingi, et al.
Veröffentlicht: (2025)

Frieren: Efficient Video-to-Audio Generation Network with Rectified Flow Matching
von: Wang, Yongqi, et al.
Veröffentlicht: (2024)

Hear-Your-Click: Interactive Object-Specific Video-to-Audio Generation
von: Liang, Yingshan, et al.
Veröffentlicht: (2025)

SAVE: Segment Audio-Visual Easy way using Segment Anything Model
von: Nguyen, Khanh-Binh, et al.
Veröffentlicht: (2024)

VGGSounder: Audio-Visual Evaluations for Foundation Models
von: Zverev, Daniil, et al.
Veröffentlicht: (2025)

Enriching Multimodal Sentiment Analysis through Textual Emotional Descriptions of Visual-Audio Content
von: Wu, Sheng, et al.
Veröffentlicht: (2024)

Cooperation Does Matter: Exploring Multi-Order Bilateral Relations for Audio-Visual Segmentation
von: Yang, Qi, et al.
Veröffentlicht: (2023)

Rhythmic Foley: A Framework For Seamless Audio-Visual Alignment In Video-to-Audio Synthesis
von: Huang, Zhiqi, et al.
Veröffentlicht: (2024)

Dynamic Derivation and Elimination: Audio Visual Segmentation with Enhanced Audio Semantics
von: Liu, Chen, et al.
Veröffentlicht: (2025)

ManiWAV: Learning Robot Manipulation from In-the-Wild Audio-Visual Data
von: Liu, Zeyi, et al.
Veröffentlicht: (2024)

Multimodal Sentiment Analysis based on Video and Audio Inputs
von: Fernandez, Antonio, et al.
Veröffentlicht: (2024)