Buchumschlag

HoliTok:A Coutinuous Holistic Tokenization with Robust Dual Capabilities of Speech Generation and Understanding

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Bohan, Lian, Shi, Wang, Hankun, Guo, Yiwei, Xi, Yu, Li, Zhihan, Zheng, Da, Zhang, Colin, Yu, Kai
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Sound Artificial Intelligence Audio and Speech Processing
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CodecSlime: Temporal Redundancy Compression of Neural Speech Codec via Dynamic Frame Rate
von: Wang, Hankun, et al.
Veröffentlicht: (2025)

Towards General Discrete Speech Codec for Complex Acoustic Environments: A Study of Reconstruction and Downstream Task Consistency
von: Wang, Haoran, et al.
Veröffentlicht: (2025)

Robust and Efficient Autoregressive Speech Synthesis with Dynamic Chunk-wise Prediction Policy
von: Li, Bohan, et al.
Veröffentlicht: (2025)

LSCodec: Low-Bitrate and Speaker-Decoupled Discrete Speech Codec
von: Guo, Yiwei, et al.
Veröffentlicht: (2024)

Attention-Constrained Inference for Robust Decoder-Only Text-to-Speech
von: Wang, Hankun, et al.
Veröffentlicht: (2024)

Why Do Speech Language Models Fail to Generate Semantically Coherent Outputs? A Modality Evolving Perspective
von: Wang, Hankun, et al.
Veröffentlicht: (2024)

AHAMask: Reliable Task Specification for Large Audio Language Models without Instructions
von: Guo, Yiwei, et al.
Veröffentlicht: (2025)

Recent Advances in Discrete Speech Tokens: A Review
von: Guo, Yiwei, et al.
Veröffentlicht: (2025)

Fast and High-Quality Auto-Regressive Speech Synthesis via Speculative Decoding
von: Li, Bohan, et al.
Veröffentlicht: (2024)

vec2wav 2.0: Advancing Voice Conversion via Discrete Token Vocoders
von: Guo, Yiwei, et al.
Veröffentlicht: (2024)

VALL-T: Decoder-Only Generative Transducer for Robust and Decoding-Controllable Text-to-Speech
von: Du, Chenpeng, et al.
Veröffentlicht: (2024)

Acoustic BPE for Speech Generation with Discrete Tokens
von: Shen, Feiyu, et al.
Veröffentlicht: (2023)

ISA-Bench: Benchmarking Instruction Sensitivity for Large Audio Language Models
von: Li, Bohan, et al.
Veröffentlicht: (2025)

Neural Directed Speech Enhancement with Dual Microphone Array in High Noise Scenario
von: Wen, Wen, et al.
Veröffentlicht: (2024)

Unlocking Temporal Flexibility: Neural Speech Codec with Variable Frame Rate
von: Zhang, Hanglei, et al.
Veröffentlicht: (2025)

MelTok: 2D Tokenization for Single-Codebook Audio Compression
von: Li, Jingyi, et al.
Veröffentlicht: (2025)

DualSpeechLM: Towards Unified Speech Understanding and Generation via Dual Speech Token Modeling with Large Language Models
von: Wang, Yuanyuan, et al.
Veröffentlicht: (2025)

TDT-KWS: Fast And Accurate Keyword Spotting Using Token-and-duration Transducer
von: Xi, Yu, et al.
Veröffentlicht: (2024)

Contrastive Learning With Audio Discrimination For Customizable Keyword Spotting In Continuous Speech
von: Xi, Yu, et al.
Veröffentlicht: (2024)

VQTTS: High-Fidelity Text-to-Speech Synthesis with Self-Supervised VQ Acoustic Feature
von: Du, Chenpeng, et al.
Veröffentlicht: (2022)

NTC-KWS: Noise-aware CTC for Robust Keyword Spotting
von: Xi, Yu, et al.
Veröffentlicht: (2024)

Dual-View Predictive Diffusion: Lightweight Speech Enhancement via Spectrogram-Image Synergy
von: Xue, Ke, et al.
Veröffentlicht: (2026)

TokSing: Singing Voice Synthesis based on Discrete Tokens
von: Wu, Yuning, et al.
Veröffentlicht: (2024)

MuseTok: Symbolic Music Tokenization for Generation and Semantic Understanding
von: Huang, Jingyue, et al.
Veröffentlicht: (2025)

Continuous Speech Tokenizer in Text To Speech
von: Li, Yixing, et al.
Veröffentlicht: (2024)

On the Effectiveness of Acoustic BPE in Decoder-Only TTS
von: Li, Bohan, et al.
Veröffentlicht: (2024)

Audio-Mind: An Auditable Agentic Framework for Audio Understanding
von: Wang, Yucheng, et al.
Veröffentlicht: (2026)

Next Tokens Denoising for Speech Synthesis
von: Liu, Yanqing, et al.
Veröffentlicht: (2025)

A Survey on Speech Large Language Models for Understanding
von: Peng, Jing, et al.
Veröffentlicht: (2024)

A Scalable Pipeline for Enabling Non-Verbal Speech Generation and Understanding
von: Ye, Runchuan, et al.
Veröffentlicht: (2025)

Latent-Level Enhancement with Flow Matching for Robust Automatic Speech Recognition
von: Yang, Da-Hee, et al.
Veröffentlicht: (2026)

StoryTTS: A Highly Expressive Text-to-Speech Dataset with Rich Textual Expressiveness Annotations
von: Liu, Sen, et al.
Veröffentlicht: (2024)

Vec-Tok-VC+: Residual-enhanced Robust Zero-shot Voice Conversion with Progressive Constraints in a Dual-mode Training Strategy
von: Ma, Linhan, et al.
Veröffentlicht: (2024)

Multi-Speaker Multi-Lingual VQTTS System for LIMMITS 2023 Challenge
von: Du, Chenpeng, et al.
Veröffentlicht: (2023)

Phone-Level Prosody Modelling with GMM-Based MDN for Diverse and Controllable Speech Synthesis
von: Du, Chenpeng, et al.
Veröffentlicht: (2021)

MFA-KWS: Effective Keyword Spotting with Multi-head Frame-asynchronous Decoding
von: Xi, Yu, et al.
Veröffentlicht: (2025)

Streaming Keyword Spotting Boosted by Cross-layer Discrimination Consistency
von: Xi, Yu, et al.
Veröffentlicht: (2024)

A Study on Incorporating Whisper for Robust Speech Assessment
von: Zezario, Ryandhimas E., et al.
Veröffentlicht: (2023)

Exploring the Capability of Mamba in Speech Applications
von: Miyazaki, Koichi, et al.
Veröffentlicht: (2024)

SSR-Speech: Towards Stable, Safe and Robust Zero-shot Text-based Speech Editing and Synthesis
von: Wang, Helin, et al.
Veröffentlicht: (2024)