Buchumschlag

LatentSync: Taming Audio-Conditioned Latent Diffusion Models for Lip Sync with SyncNet Supervision

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Chunyu, Zhang, Chao, Xu, Weikai, Lin, Jingyu, Xie, Jinghui, Feng, Weiguo, Peng, Bingyue, Chen, Cunjian, Xing, Weiwei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Interpretable Convolutional SyncNet
von: Park, Sungjoon, et al.
Veröffentlicht: (2024)

SyncNet: correlating objective for time delay estimation in audio signals
von: Raina, Akshay, et al.
Veröffentlicht: (2022)

HighSync: High-Quality Lip Synchronization via Latent Diffusion Models
von: Daghigh, Saeed Firouzi, et al.
Veröffentlicht: (2026)

SyncAnyone: Implicit Disentanglement via Progressive Self-Correction for Lip-Syncing in the wild
von: Zhang, Xindi, et al.
Veröffentlicht: (2025)

Style-Preserving Lip Sync via Audio-Aware Style Reference
von: Zhong, Weizhi, et al.
Veröffentlicht: (2024)

FlashLips: 100-FPS Mask-Free Latent Lip-Sync using Reconstruction Instead of Diffusion or GANs
von: Zinonos, Andreas, et al.
Veröffentlicht: (2025)

OmniSync: Towards Universal Lip Synchronization via Diffusion Transformers
von: Peng, Ziqiao, et al.
Veröffentlicht: (2025)

GenSync: A Generalized Talking Head Framework for Audio-driven Multi-Subject Lip-Sync using 3D Gaussian Splatting
von: Agarwal, Anushka, et al.
Veröffentlicht: (2025)

Lips Are Lying: Spotting the Temporal Inconsistency between Audio and Visual in Lip-Syncing DeepFakes
von: Liu, Weifeng, et al.
Veröffentlicht: (2024)

SyncLipMAE: Contrastive Masked Pretraining for Audio-Visual Talking-Face Representation
von: Ling, Zeyu, et al.
Veröffentlicht: (2025)

Sync+Sync: A Covert Channel Built on fsync with Storage
von: Jiang, Qisheng, et al.
Veröffentlicht: (2023)

StyleLipSync: Style-based Personalized Lip-sync Video Generation
von: Ki, Taekyung, et al.
Veröffentlicht: (2023)

UniSync: A Unified Framework for Audio-Visual Synchronization
von: Feng, Tao, et al.
Veröffentlicht: (2025)

Exploring Phonetic Context-Aware Lip-Sync For Talking Face Generation
von: Park, Se Jin, et al.
Veröffentlicht: (2023)

SyncMind: Measuring Agent Out-of-Sync Recovery in Collaborative Software Engineering
von: Guo, Xuehang, et al.
Veröffentlicht: (2025)

Not in Sync: Unveiling Temporal Bias in Audio Chat Models
von: Yao, Jiayu, et al.
Veröffentlicht: (2025)

Removing Averaging: Personalized Lip-Sync Driven Characters Based on Identity Adapter
von: Zhu, Yanyu, et al.
Veröffentlicht: (2025)

UniSync: Towards Generalizable and High-Fidelity Lip Synchronization for Challenging Scenarios
von: Fan, Ruidi, et al.
Veröffentlicht: (2026)

Detecting Lip-Syncing Deepfakes: Vision Temporal Transformer for Analyzing Mouth Inconsistencies
von: Datta, Soumyya Kanti, et al.
Veröffentlicht: (2025)

Keeping Professional Displays in Sync
von: Ben Cope, et al.
Veröffentlicht: (2024)

BioLip: Language-Generalizable Lip-Sync Deepfake Detection via Biomechanical Constraint Violation Modeling
von: Chen, Hao, et al.
Veröffentlicht: (2026)

Sync Without Guesswork: Incomplete Time Series Alignment
von: Jia, Ding, et al.
Veröffentlicht: (2025)

Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering
von: Wang, Xu, et al.
Veröffentlicht: (2025)

Audio-Sync Video Generation with Multi-Stream Temporal Control
von: Weng, Shuchen, et al.
Veröffentlicht: (2025)

A Lightweight Pipeline for Noisy Speech Voice Cloning and Accurate Lip Sync Synthesis
von: Amir, Javeria, et al.
Veröffentlicht: (2025)

KeySync: A Robust Approach for Leakage-free Lip Synchronization in High Resolution
von: Bigata, Antoni, et al.
Veröffentlicht: (2025)

SyncSDE: A Probabilistic Framework for Diffusion Synchronization
von: Lee, Hyunjun, et al.
Veröffentlicht: (2025)

A theoretical guarantee for SyncRank
von: Rao, Yang
Veröffentlicht: (2025)

PASE: Phoneme-Aware Speech Encoder to Improve Lip Sync Accuracy for Talking Head Synthesis
von: Huang, Yihuan, et al.
Veröffentlicht: (2025)

Make Your Actor Talk: Generalizable and High-Fidelity Lip Sync with Motion and Appearance Disentanglement
von: Yu, Runyi, et al.
Veröffentlicht: (2024)

SyncGuard: Robust Audio Watermarking Capable of Countering Desynchronization Attacks
von: Gan, Zhenliang, et al.
Veröffentlicht: (2025)

SpongeBob: Sync-Aware Harmonious Audio-Visual Generative Editing
von: Liang, Sen, et al.
Veröffentlicht: (2026)

ChordSync: Conformer-Based Alignment of Chord Annotations to Music Audio
von: Poltronieri, Andrea, et al.
Veröffentlicht: (2024)

StereoSync: Spatially-Aware Stereo Audio Generation from Video
von: Marinoni, Christian, et al.
Veröffentlicht: (2025)

AnchorSync: Global Consistency Optimization for Long Video Editing
von: Liu, Zichi, et al.
Veröffentlicht: (2025)

SyncTalk: The Devil is in the Synchronization for Talking Head Synthesis
von: Peng, Ziqiao, et al.
Veröffentlicht: (2023)

JOLT3D: Joint Learning of Talking Heads and 3DMM Parameters with Application to Lip-Sync
von: Park, Sungjoon, et al.
Veröffentlicht: (2025)

LayerSync: Self-aligning Intermediate Layers
von: Haghighi, Yasaman, et al.
Veröffentlicht: (2025)

SyncVIS: Synchronized Video Instance Segmentation
von: Zheng, Rongkun, et al.
Veröffentlicht: (2024)

CertainSync: Rateless Set Reconciliation with Certainty
von: Keniagin, Tomer, et al.
Veröffentlicht: (2025)