Buchumschlag

DiVISe: Direct Visual-Input Speech Synthesis Preserving Speaker Characteristics And Intelligibility

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Yifan, Fang, Yu, Lin, Zhouhan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Sound Computer Vision and Pattern Recognition Machine Learning Multimedia Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MuteSwap: Visual-informed Silent Video Identity Conversion
von: Liu, Yifan, et al.
Veröffentlicht: (2025)

Preserving Speaker Information in Direct Speech-to-Speech Translation with Non-Autoregressive Generation and Pretraining
von: Zhou, Rui, et al.
Veröffentlicht: (2024)

Towards Accurate Lip-to-Speech Synthesis in-the-Wild
von: Hegde, Sindhu, et al.
Veröffentlicht: (2024)

AlignVSR: Audio-Visual Cross-Modal Alignment for Visual Speech Recognition
von: Liu, Zehua, et al.
Veröffentlicht: (2024)

AD-AVSR: Asymmetric Dual-stream Enhancement for Robust Audio-Visual Speech Recognition
von: Xue, Junxiao, et al.
Veröffentlicht: (2025)

MoMuSE: Momentum Multi-modal Target Speaker Extraction for Real-time Scenarios with Impaired Visual Cues
von: Li, Junjie, et al.
Veröffentlicht: (2024)

Zero-AVSR: Zero-Shot Audio-Visual Speech Recognition with LLMs by Learning Language-Agnostic Speech Representations
von: Yeo, Jeong Hun, et al.
Veröffentlicht: (2025)

MMS-LLaMA: Efficient LLM-based Audio-Visual Speech Recognition with Minimal Multimodal Speech Tokens
von: Yeo, Jeong Hun, et al.
Veröffentlicht: (2025)

Large Language Models are Strong Audio-Visual Speech Recognition Learners
von: Cappellazzo, Umberto, et al.
Veröffentlicht: (2024)

Robust Active Speaker Detection in Noisy Environments
von: Vasireddy, Siva Sai Nagender, et al.
Veröffentlicht: (2024)

Improving Lip-synchrony in Direct Audio-Visual Speech-to-Speech Translation
von: Goncalves, Lucas, et al.
Veröffentlicht: (2024)

IIANet: An Intra- and Inter-Modality Attention Network for Audio-Visual Speech Separation
von: Li, Kai, et al.
Veröffentlicht: (2023)

Audio-Visual Speech Enhancement In Complex Scenarios With Separation And Dereverberation Joint Modeling
von: Du, Jiarong, et al.
Veröffentlicht: (2025)

Adaptive Audio-Visual Speech Recognition via Matryoshka-Based Multimodal LLMs
von: Cappellazzo, Umberto, et al.
Veröffentlicht: (2025)

SlideAVSR: A Dataset of Paper Explanation Videos for Audio-Visual Speech Recognition
von: Wang, Hao, et al.
Veröffentlicht: (2024)

Mechanisms of Multimodal Synchronization: Insights from Decoder-Based Video-Text-to-Speech Synthesis
von: Gupta, Akshita, et al.
Veröffentlicht: (2024)

RT-LA-VocE: Real-Time Low-SNR Audio-Visual Speech Enhancement
von: Chen, Honglie, et al.
Veröffentlicht: (2024)

Discrepancy-Aware Attention Network for Enhanced Audio-Visual Zero-Shot Learning
von: Yu, RunLin, et al.
Veröffentlicht: (2024)

Mitigating Audiovisual Mismatch in Visual-Guide Audio Captioning
von: Xu, Le, et al.
Veröffentlicht: (2025)

AISHELL6-whisper: A Chinese Mandarin Audio-visual Whisper Speech Dataset with Speech Recognition Baselines
von: Li, Cancan, et al.
Veröffentlicht: (2025)

Audio-Visual Speaker Tracking: Progress, Challenges, and Future Directions
von: Zhao, Jinzheng, et al.
Veröffentlicht: (2023)

Classifying Shelf Life Quality of Pineapples by Combining Audio and Visual Features
von: Jiang, Yi-Lu, et al.
Veröffentlicht: (2025)

Benchmarking Cross-Domain Audio-Visual Deception Detection
von: Guo, Xiaobao, et al.
Veröffentlicht: (2024)

AV-SUPERB: A Multi-Task Evaluation Benchmark for Audio-Visual Representation Models
von: Tseng, Yuan, et al.
Veröffentlicht: (2023)

DiffSSD: A Diffusion-Based Dataset For Speech Forensics
von: Bhagtani, Kratika, et al.
Veröffentlicht: (2024)

Pilot-guided Multimodal Semantic Communication for Audio-Visual Event Localization
von: Yu, Fei, et al.
Veröffentlicht: (2024)

RAVSS: Robust Audio-Visual Speech Separation in Multi-Speaker Scenarios with Missing Visual Cues
von: Pan, Tianrui, et al.
Veröffentlicht: (2024)

Multifaceted Evaluation of Audio-Visual Capability for MLLMs: Effectiveness, Efficiency, Generalizability and Robustness
von: Zhao, Yusheng, et al.
Veröffentlicht: (2025)

CineSRD: Leveraging Visual, Acoustic, and Linguistic Cues for Open-World Visual Media Speaker Diarization
von: Huang, Liangbin, et al.
Veröffentlicht: (2026)

Efficient Audiovisual Speech Processing via MUTUD: Multimodal Training and Unimodal Deployment
von: Hong, Joanna, et al.
Veröffentlicht: (2025)

3D Audio-Visual Segmentation
von: Sokolov, Artem, et al.
Veröffentlicht: (2024)

A Unit-based System and Dataset for Expressive Direct Speech-to-Speech Translation
von: Min, Anna, et al.
Veröffentlicht: (2025)

AudioGen-Omni: A Unified Multimodal Diffusion Transformer for Video-Synchronized Audio, Speech, and Song Generation
von: Wang, Le, et al.
Veröffentlicht: (2025)

Detecting Audio-Visual Deepfakes with Fine-Grained Inconsistencies
von: Astrid, Marcella, et al.
Veröffentlicht: (2024)

Learning Self-Supervised Audio-Visual Representations for Sound Recommendations
von: Krishnamurthy, Sudha
Veröffentlicht: (2024)

DETECLAP: Enhancing Audio-Visual Representation Learning with Object Information
von: Nakada, Shota, et al.
Veröffentlicht: (2024)

AVFF: Audio-Visual Feature Fusion for Video Deepfake Detection
von: Oorloff, Trevine, et al.
Veröffentlicht: (2024)

Draw an Audio: Leveraging Multi-Instruction for Video-to-Audio Synthesis
von: Yang, Qi, et al.
Veröffentlicht: (2024)

Aligned Better, Listen Better for Audio-Visual Large Language Models
von: Guo, Yuxin, et al.
Veröffentlicht: (2025)

Spiking Tucker Fusion Transformer for Audio-Visual Zero-Shot Learning
von: Li, Wenrui, et al.
Veröffentlicht: (2024)