Buchumschlag

See the Speaker: Crafting High-Resolution Talking Faces from Speech with Prior Guidance and Region Refinement

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Jinting, Wang, Jun, Cheng, Hei Victor, Liu, Li
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Audio and Speech Processing Artificial Intelligence Computer Vision and Pattern Recognition Sound
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

DualTalk: Dual-Speaker Interaction for 3D Talking Head Conversations
von: Peng, Ziqiao, et al.
Veröffentlicht: (2025)

EmoTalker: Emotionally Editable Talking Face Generation via Diffusion Model
von: Zhang, Bingyuan, et al.
Veröffentlicht: (2024)

UniCUE: Unified Recognition and Generation Framework for Chinese Cued Speech Video-to-Speech Generation
von: Wang, Jinting, et al.
Veröffentlicht: (2025)

ExpGest: Expressive Speaker Generation Using Diffusion Model and Hybrid Audio-Text Guidance
von: Cheng, Yongkang, et al.
Veröffentlicht: (2024)

Emotional Face-to-Speech
von: Ye, Jiaxin, et al.
Veröffentlicht: (2025)

Seeing Speech and Sound: Distinguishing and Locating Audios in Visual Scenes
von: Ryu, Hyeonggon, et al.
Veröffentlicht: (2025)

Face2VoiceSync: Lightweight Face-Voice Consistency for Text-Driven Talking Face Generation
von: Kang, Fang, et al.
Veröffentlicht: (2025)

Faces that Speak: Jointly Synthesising Talking Face and Speech from Text
von: Jang, Youngjoon, et al.
Veröffentlicht: (2024)

Text-driven Talking Face Synthesis by Reprogramming Audio-driven Models
von: Choi, Jeongsoo, et al.
Veröffentlicht: (2023)

Unsupervised Single-Channel Speech Separation with a Diffusion Prior under Speaker-Embedding Guidance
von: Shi, Runwu, et al.
Veröffentlicht: (2025)

Seeing Your Speech Style: A Novel Zero-Shot Identity-Disentanglement Face-based Voice Conversion
von: Rong, Yan, et al.
Veröffentlicht: (2024)

Dual Audio-Centric Modality Coupling for Talking Head Generation
von: Fu, Ao, et al.
Veröffentlicht: (2025)

From Faces to Voices: Learning Hierarchical Representations for High-quality Video-to-Speech
von: Kim, Ji-Hoon, et al.
Veröffentlicht: (2025)

Hear Your Face: Face-based voice conversion with F0 estimation
von: Lee, Jaejun, et al.
Veröffentlicht: (2024)

READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation
von: Wang, Haotian, et al.
Veröffentlicht: (2025)

SSAVSV: Towards Unified Model for Self-Supervised Audio-Visual Speaker Verification
von: Rajasekhar, Gnana Praveen, et al.
Veröffentlicht: (2025)

Inter-Diffusion Generation Model of Speakers and Listeners for Effective Communication
von: Huang, Jinhe, et al.
Veröffentlicht: (2025)

CNVSRC 2024: The Second Chinese Continuous Visual Speech Recognition Challenge
von: Liu, Zehua, et al.
Veröffentlicht: (2025)

Global-Local Distillation Network-Based Audio-Visual Speaker Tracking with Incomplete Modalities
von: Li, Yidi, et al.
Veröffentlicht: (2024)

Hearing and Seeing Through CLIP: A Framework for Self-Supervised Sound Source Localization
von: Park, Sooyoung, et al.
Veröffentlicht: (2025)

Enhance Generation Quality of Flow Matching V2A Model via Multi-Step CoT-Like Guidance and Combined Preference Optimization
von: Zhang, Haomin, et al.
Veröffentlicht: (2025)

VAPO: End-to-end Slide-Enhanced Speech Recognition with Omni-modal Large Language Models
von: Hu, Rui, et al.
Veröffentlicht: (2025)

V2SFlow: Video-to-Speech Generation with Speech Decomposition and Rectified Flow
von: Choi, Jeongsoo, et al.
Veröffentlicht: (2024)

ESARM: 3D Emotional Speech-to-Animation via Reward Model from Automatically-Ranked Demonstrations
von: Zhang, Xulong, et al.
Veröffentlicht: (2024)

Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners
von: Xing, Yazhou, et al.
Veröffentlicht: (2024)

Leveraging Large Language Models in Visual Speech Recognition: Model Scaling, Context-Aware Decoding, and Iterative Polishing
von: Liu, Zehua, et al.
Veröffentlicht: (2025)

CoLM-DSR: Leveraging Neural Codec Language Modeling for Multi-Modal Dysarthric Speech Reconstruction
von: Chen, Xueyuan, et al.
Veröffentlicht: (2024)

NaturalL2S: End-to-End High-quality Multispeaker Lip-to-Speech Synthesis with Differential Digital Signal Processing
von: Liang, Yifan, et al.
Veröffentlicht: (2025)

Efficient Training for Multilingual Visual Speech Recognition: Pre-training with Discretized Visual Speech Representation
von: Kim, Minsu, et al.
Veröffentlicht: (2024)

AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
von: Wang, Le, et al.
Veröffentlicht: (2025)

Robust Active Speaker Detection in Noisy Environments
von: Vasireddy, Siva Sai Nagender, et al.
Veröffentlicht: (2024)

Face-voice Association in Multilingual Environments (FAME) Challenge 2024 Evaluation Plan
von: Saeed, Muhammad Saad, et al.
Veröffentlicht: (2024)

Integrating Audio, Visual, and Semantic Information for Enhanced Multimodal Speaker Diarization
von: Cheng, Luyao, et al.
Veröffentlicht: (2024)

Enhancing CTC-Based Visual Speech Recognition
von: Laux, Hendrik, et al.
Veröffentlicht: (2024)

FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models
von: Aneja, Shivangi, et al.
Veröffentlicht: (2023)

Input Conditioned Layer Dropping in Speech Foundation Models
von: Hannan, Abdul, et al.
Veröffentlicht: (2025)

NeRF-3DTalker: Neural Radiance Field with 3D Prior Aided Audio Disentanglement for Talking Head Synthesis
von: Liu, Xiaoxing, et al.
Veröffentlicht: (2025)

VITA-1.5: Towards GPT-4o Level Real-Time Vision and Speech Interaction
von: Fu, Chaoyou, et al.
Veröffentlicht: (2025)

Spiking Structured State Space Model for Monaural Speech Enhancement
von: Du, Yu, et al.
Veröffentlicht: (2023)

MoMuSE: Momentum Multi-modal Target Speaker Extraction for Real-time Scenarios with Impaired Visual Cues
von: Li, Junjie, et al.
Veröffentlicht: (2024)