Buchumschlag

DSA-Tokenizer: Disentangled Semantic-Acoustic Tokenization via Flow Matching-based Hierarchical Fusion

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Hanlin, Tan, Daxin, Tao, Dehua, Chen, Xiao, Tan, Haochen, Li, Yunhe, Cao, Yuchen, Song, Linqi
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Sound Artificial Intelligence Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SpeechEditBench: A Bilingual Multi-Attribute Benchmark for Instruction-Guided Speech Editing
von: Zhang, Hanlin, et al.
Veröffentlicht: (2026)

ToneUnit: A Speech Discretization Approach for Tonal Language Speech Synthesis
von: Tao, Dehua, et al.
Veröffentlicht: (2024)

HASRD: Hierarchical Acoustic and Semantic Representation Disentanglement
von: Hussein, Amir, et al.
Veröffentlicht: (2025)

Exploring SSL Discrete Tokens for Multilingual ASR
von: Cui, Mingyu, et al.
Veröffentlicht: (2024)

Acoustic BPE for Speech Generation with Discrete Tokens
von: Shen, Feiyu, et al.
Veröffentlicht: (2023)

CUEMPATHY: A Counseling Speech Dataset for Psychotherapy Research
von: Tao, Dehua, et al.
Veröffentlicht: (2024)

StreamFlow: Streaming Flow Matching with Block-wise Guided Attention Mask for Speech Token Decoding
von: Guo, Dake, et al.
Veröffentlicht: (2025)

HAM-TTS: Hierarchical Acoustic Modeling for Token-Based Zero-Shot Text-to-Speech with Model and Data Scaling
von: Wang, Chunhui, et al.
Veröffentlicht: (2024)

Why Your Tokenizer Fails in Information Fusion: A Timing-Aware Pre-Quantization Fusion for Video-Enhanced Audio Tokenization
von: Zhang, Xiangyu, et al.
Veröffentlicht: (2026)

Improving Noise Robustness of LLM-based Zero-shot TTS via Discrete Acoustic Token Denoising
von: Lu, Ye-Xin, et al.
Veröffentlicht: (2025)

HD-PPT: Hierarchical Decoding of Content- and Prompt-Preference Tokens for Instruction-based TTS
von: Nie, Sihang, et al.
Veröffentlicht: (2025)

XY-Tokenizer: Mitigating the Semantic-Acoustic Conflict in Low-Bitrate Speech Codecs
von: Gong, Yitian, et al.
Veröffentlicht: (2025)

SAC: Neural Speech Codec with Semantic-Acoustic Dual-Stream Quantization
von: Chen, Wenxi, et al.
Veröffentlicht: (2025)

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens
von: Manakul, Potsawee, et al.
Veröffentlicht: (2026)

Factorized RVQ-GAN For Disentangled Speech Tokenization
von: Khurana, Sameer, et al.
Veröffentlicht: (2025)

Autoregressive Speech Enhancement via Acoustic Tokens
von: Della Libera, Luca, et al.
Veröffentlicht: (2025)

Exploring the Benefits of Tokenization of Discrete Acoustic Units
von: Dekel, Avihu, et al.
Veröffentlicht: (2024)

FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching
von: Wang, Hui, et al.
Veröffentlicht: (2025)

LoSATok: Low-dimensional Semantic-Acoustic Tokenizer for Cross-Domain Audio Understanding and Generation
von: Zhang, Zhisheng, et al.
Veröffentlicht: (2026)

Enhancing Code-switched Text-to-Speech Synthesis Capability in Large Language Models with only Monolingual Corpora
von: Xu, Jing, et al.
Veröffentlicht: (2024)

MOSS-Audio-Tokenizer: Scaling Audio Tokenizers for Future Audio Foundation Models
von: Gong, Yitian, et al.
Veröffentlicht: (2026)

Kanade: A Simple Disentangled Tokenizer for Spoken Language Modeling
von: Huang, Zhijie, et al.
Veröffentlicht: (2026)

TokSing: Singing Voice Synthesis based on Discrete Tokens
von: Wu, Yuning, et al.
Veröffentlicht: (2024)

LUPET: Incorporating Hierarchical Information Path into Multilingual ASR
von: Liu, Wei, et al.
Veröffentlicht: (2024)

Disentangling Hierarchical Features for Anomalous Sound Detection Under Domain Shift
von: Guan, Jian, et al.
Veröffentlicht: (2025)

Differentiable K-means for Fully-optimized Discrete Token-based ASR
von: Onda, Kentaro, et al.
Veröffentlicht: (2025)

Accelerating Codec-based Speech Synthesis with Multi-Token Prediction and Speculative Decoding
von: Nguyen, Tan Dat, et al.
Veröffentlicht: (2024)

ZSVC: Zero-shot Style Voice Conversion with Disentangled Latent Diffusion Models and Adversarial Training
von: Zhu, Xinfa, et al.
Veröffentlicht: (2025)

Audio-text Retrieval with Transformer-based Hierarchical Alignment and Disentangled Cross-modal Representation
von: Xin, Yifei, et al.
Veröffentlicht: (2024)

PAST: Phonetic-Acoustic Speech Tokenizer
von: Har-Tuv, Nadav, et al.
Veröffentlicht: (2025)

FUSE: Universal Speech Enhancement using Multi-Stage Fusion of Sparse Compression and Token Generation Models for the URGENT 2025 Challenge
von: Goswami, Nabarun, et al.
Veröffentlicht: (2025)

Minimizing Modality Gap from the Input Side: Your Speech LLM Can Be a Prosody-Aware Text LLM
von: Cui, Wenqian, et al.
Veröffentlicht: (2026)

A robust audio deepfake detection system via multi-view feature
von: Yang, Yujie, et al.
Veröffentlicht: (2024)

Confidence-based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens
von: Yamauchi, Kazuki, et al.
Veröffentlicht: (2026)

Disentangled Acoustic Fields For Multimodal Physical Scene Understanding
von: Yin, Jie, et al.
Veröffentlicht: (2024)

MuseTok: Symbolic Music Tokenization for Generation and Semantic Understanding
von: Huang, Jingyue, et al.
Veröffentlicht: (2025)

F5R-TTS: Improving Flow-Matching based Text-to-Speech with Group Relative Policy Optimization
von: Sun, Xiaohui, et al.
Veröffentlicht: (2025)

Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
von: Wang, Kaidi, et al.
Veröffentlicht: (2025)

Evaluating Text-to-Speech Synthesis from a Large Discrete Token-based Speech Language Model
von: Wang, Siyang, et al.
Veröffentlicht: (2024)

Prosodically Enhanced Foreign Accent Simulation by Discrete Token-based Resynthesis Only with Native Speech Corpora
von: Onda, Kentaro, et al.
Veröffentlicht: (2025)