Buchumschlag

DMOSpeech 2: Reinforcement Learning for Duration Prediction in Metric-Optimized Speech Synthesis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Yinghao Aaron, Jiang, Xilin, Tao, Fei, Niu, Cheng, Xu, Kaifeng, Song, Juntong, Mesgarani, Nima
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

StyleTTS-ZS: Efficient High-Quality Zero-Shot Text-to-Speech Synthesis with Distilled Time-Varying Style Diffusion
von: Li, Yinghao Aaron, et al.
Veröffentlicht: (2024)

DeCoR: Defy Knowledge Forgetting by Predicting Earlier Audio Codes
von: Jiang, Xilin, et al.
Veröffentlicht: (2023)

Speech Slytherin: Examining the Performance and Efficiency of Mamba for Speech Separation, Recognition, and Synthesis
von: Jiang, Xilin, et al.
Veröffentlicht: (2024)

Dual-path Mamba: Short and Long-term Bidirectional Selective Structured State Space Models for Speech Separation
von: Jiang, Xilin, et al.
Veröffentlicht: (2024)

Listen, Chat, and Remix: Text-Guided Soundscape Remixing for Enhanced Auditory Experience
von: Jiang, Xilin, et al.
Veröffentlicht: (2024)

MeanFlow-TSE: One-Step Generative Target Speaker Extraction with Mean Flow
von: Shimizu, Riki, et al.
Veröffentlicht: (2025)

Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation
von: Li, Yinghao Aaron, et al.
Veröffentlicht: (2024)

DMOSpeech: Direct Metric Optimization via Distilled Diffusion Model in Zero-Shot Speech Synthesis
von: Li, Yingahao Aaron, et al.
Veröffentlicht: (2024)

Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations
von: He, Linyang, et al.
Veröffentlicht: (2025)

Exploring Finetuned Audio-LLM on Heart Murmur Features
von: Florea, Adrian, et al.
Veröffentlicht: (2025)

SSAMBA: Self-Supervised Audio Representation Learning with Mamba State Space Model
von: Shams, Siavash, et al.
Veröffentlicht: (2024)

Just ASR + LLM? A Study on Speech Large Language Models' Ability to Identify and Understand Speaker in Spoken Dialogue
von: Wu, Junkai, et al.
Veröffentlicht: (2024)

SightSound-R1: Cross-Modal Reasoning Distillation from Vision to Audio Language Models
von: Wang, Qiaolin, et al.
Veröffentlicht: (2025)

Bridging Ears and Eyes: Analyzing Audio and Visual Large Language Models to Humans in Visible Sound Recognition and Reducing Their Sensory Gap via Cross-Modal Distillation
von: Jiang, Xilin, et al.
Veröffentlicht: (2025)

Interpretable Embeddings of Speech Enhance and Explain Brain Encoding Performance of Audio Models
von: Shimizu, Riki, et al.
Veröffentlicht: (2025)

Total-Duration-Aware Duration Modeling for Text-to-Speech Systems
von: Eskimez, Sefik Emre, et al.
Veröffentlicht: (2024)

FNH-TTS: Mixture-of-Experts Duration Modeling for Robust Neural Speech Synthesis
von: Meng, Qingliang, et al.
Veröffentlicht: (2025)

DeepSpeech models show Human-like Performance and Processing of Cochlear Implant Inputs
von: Steinhardt, Cynthia R., et al.
Veröffentlicht: (2024)

Enhancing In-the-Wild Speech Emotion Conversion with Resynthesis-based Duration Modeling
von: Prabhu, Navin Raj, et al.
Veröffentlicht: (2025)

AS-Speech: Adaptive Style For Speech Synthesis
von: Li, Zhipeng, et al.
Veröffentlicht: (2024)

The Overview of Segmental Durations Modification Algorithms on Speech Signal Characteristics
von: Jang, Kyeomeun, et al.
Veröffentlicht: (2025)

Speech Token Prediction via Compressed-to-fine Language Modeling for Speech Generation
von: Liu, Wenrui, et al.
Veröffentlicht: (2025)

Neuro2Semantic: A Transfer Learning Framework for Semantic Reconstruction of Continuous Language from Human Intracranial EEG
von: Shams, Siavash, et al.
Veröffentlicht: (2025)

DubWise: Video-Guided Speech Duration Control in Multimodal LLM-based Text-to-Speech for Dubbing
von: Sahipjohn, Neha, et al.
Veröffentlicht: (2024)

Semantic-VAE: Semantic-Alignment Latent Representation for Better Speech Synthesis
von: Niu, Zhikang, et al.
Veröffentlicht: (2025)

DurIAN-E 2: Duration Informed Attention Network with Adaptive Variational Autoencoder and Adversarial Learning for Expressive Text-to-Speech Synthesis
von: Gu, Yu, et al.
Veröffentlicht: (2024)

Towards Expressive Zero-Shot Speech Synthesis with Hierarchical Prosody Modeling
von: Jiang, Yuepeng, et al.
Veröffentlicht: (2024)

Dynamically Slimmable Speech Enhancement Network with Metric-Guided Training
von: Zhao, Haixin, et al.
Veröffentlicht: (2025)

A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
von: Niu, Rui, et al.
Veröffentlicht: (2025)

Distinguishing Neural Speech Synthesis Models Through Fingerprints in Speech Waveforms
von: Zhang, Chu Yuan, et al.
Veröffentlicht: (2023)

Hierarchical Emotion Prediction and Control in Text-to-Speech Synthesis
von: Inoue, Sho, et al.
Veröffentlicht: (2024)

Very Low Complexity Speech Synthesis Using Framewise Autoregressive GAN (FARGAN) with Pitch Prediction
von: Valin, Jean-Marc, et al.
Veröffentlicht: (2024)

Speech Quality-Based Localization of Low-Quality Speech and Text-to-Speech Synthesis Artefacts
von: Kuhlmann, Michael, et al.
Veröffentlicht: (2026)

ToneUnit: A Speech Discretization Approach for Tonal Language Speech Synthesis
von: Tao, Dehua, et al.
Veröffentlicht: (2024)

MSceneSpeech: A Multi-Scene Speech Dataset For Expressive Speech Synthesis
von: Yang, Qian, et al.
Veröffentlicht: (2024)

A Neural Speech Codec for Noise Robust Speech Coding
von: Huang, Jiayi, et al.
Veröffentlicht: (2023)

SemaVoice: Semantic-Aware Continuous Autoregressive Speech Synthesis
von: Wang, Huimeng, et al.
Veröffentlicht: (2026)

Speech-Omni-Lite: Portable Speech Interfaces for Vision-Language Models
von: Tao, Dehua, et al.
Veröffentlicht: (2026)

Interleaved Speech-Text Language Models for Simple Streaming Text-to-Speech Synthesis
von: Yang, Yifan, et al.
Veröffentlicht: (2024)

ARECHO: Autoregressive Evaluation via Chain-Based Hypothesis Optimization for Speech Multi-Metric Estimation
von: Shi, Jiatong, et al.
Veröffentlicht: (2025)