Buchumschlag

Gelina: Unified Speech and Gesture Synthesis via Interleaved Token Prediction

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guichoux, Téo, Lemerle, Théodor, Mehta, Shivam, Beskow, Jonas, Henter, Gustav Eje, Soulier, Laure, Pelachaud, Catherine, Obin, Nicolas
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Sound Artificial Intelligence Audio and Speech Processing 68T07
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

2D or not 2D: How Does the Dimensionality of Gesture Representation Affect 3D Co-Speech Gesture Generation?
von: Guichoux, Téo, et al.
Veröffentlicht: (2024)

Lina-Speech: Gated Linear Attention and Initial-State Tuning for Multi-Sample Prompting Text-To-Speech Synthesis
von: Lemerle, Théodor, et al.
Veröffentlicht: (2024)

Small-E: Small Language Model with Linear Attention for Efficient Speech Synthesis
von: Lemerle, Théodor, et al.
Veröffentlicht: (2024)

When Voice Matters: Evidence of Gender Disparity in Positional Bias of SpeechLLMs
von: Satish, Shree Harsha Bokkahalli, et al.
Veröffentlicht: (2025)

Matcha-TTS: A fast TTS architecture with conditional flow matching
von: Mehta, Shivam, et al.
Veröffentlicht: (2023)

Should you use a probabilistic duration model in TTS? Probably! Especially for spontaneous speech
von: Mehta, Shivam, et al.
Veröffentlicht: (2024)

Unified speech and gesture synthesis using flow matching
von: Mehta, Shivam, et al.
Veröffentlicht: (2023)

Do Bias Benchmarks Generalise? Evidence from Voice-based Evaluation of Gender Bias in SpeechLLMs
von: Satish, Shree Harsha Bokkahalli, et al.
Veröffentlicht: (2025)

VoXtream: Full-Stream Text-to-Speech with Extremely Low Latency
von: Torgashov, Nikita, et al.
Veröffentlicht: (2025)

Voice Conversion-based Privacy through Adversarial Information Hiding
von: Webber, Jacob J, et al.
Veröffentlicht: (2024)

Speak Your Mind: The Speech Continuation Task as a Probe of Voice-Based Model Bias
von: Satish, Shree Harsha Bokkahalli, et al.
Veröffentlicht: (2025)

HiFi-Glot: High-Fidelity Neural Formant Synthesis with Differentiable Resonant Filters
von: Gu, Yicheng, et al.
Veröffentlicht: (2024)

VoXtream2: Full-stream TTS with dynamic speaking rate control
von: Torgashov, Nikita, et al.
Veröffentlicht: (2026)

The Voice Behind the Words: Quantifying Intersectional Bias in SpeechLLMs
von: Satish, Shree Harsha Bokkahalli, et al.
Veröffentlicht: (2026)

Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis
von: Mehta, Shivam, et al.
Veröffentlicht: (2024)

SpeechTokenizer: Unified Speech Tokenizer for Speech Large Language Models
von: Zhang, Xin, et al.
Veröffentlicht: (2023)

DualSpeechLM: Towards Unified Speech Understanding and Generation via Dual Speech Token Modeling with Large Language Models
von: Wang, Yuanyuan, et al.
Veröffentlicht: (2025)

Scheduled Interleaved Speech-Text Training for Speech-to-Speech Translation with LLMs
von: Futami, Hayato, et al.
Veröffentlicht: (2025)

NAST: Noise Aware Speech Tokenization for Speech Language Models
von: Messica, Shoval, et al.
Veröffentlicht: (2024)

Investigating the impact of 2D gesture representation on co-speech gesture generation
von: Guichoux, Teo, et al.
Veröffentlicht: (2024)

Acoustic BPE for Speech Generation with Discrete Tokens
von: Shen, Feiyu, et al.
Veröffentlicht: (2023)

Scaling Analysis of Interleaved Speech-Text Language Models
von: Maimon, Gallil, et al.
Veröffentlicht: (2025)

Efficient Interleaved Speech Modeling through Knowledge Distillation
von: Nouriborji, Mohammadmahdi, et al.
Veröffentlicht: (2025)

Fast-VGAN: Lightweight Voice Conversion with Explicit Control of F0 and Duration Parameters
von: Abrassart, Mathilde, et al.
Veröffentlicht: (2025)

FastTalker: Jointly Generating Speech and Conversational Gestures from Text
von: Guo, Zixin, et al.
Veröffentlicht: (2024)

Confidence-based Filtering for Speech Dataset Curation with Generative Speech Enhancement Using Discrete Tokens
von: Yamauchi, Kazuki, et al.
Veröffentlicht: (2026)

BWSNet: Automatic Perceptual Assessment of Audio Signals
von: Veillon, Clément Le Moine, et al.
Veröffentlicht: (2023)

Phone-purity Guided Discrete Tokens for Dysarthric Speech Recognition
von: Wang, Huimeng, et al.
Veröffentlicht: (2025)

Geneses: Unified Generative Speech Enhancement and Separation
von: Asai, Kohei, et al.
Veröffentlicht: (2026)

Evaluating Text-to-Speech Synthesis from a Large Discrete Token-based Speech Language Model
von: Wang, Siyang, et al.
Veröffentlicht: (2024)

Scaling Speech-Text Pre-training with Synthetic Interleaved Data
von: Zeng, Aohan, et al.
Veröffentlicht: (2024)

Low-latency Speech Enhancement via Speech Token Generation
von: Xue, Huaying, et al.
Veröffentlicht: (2023)

Unified Architecture and Unsupervised Speech Disentanglement for Speaker Embedding-Free Enrollment in Personalized Speech Enhancement
von: Huang, Ziling, et al.
Veröffentlicht: (2025)

Uni-VERSA: Versatile Speech Assessment with a Unified Network
von: Shi, Jiatong, et al.
Veröffentlicht: (2025)

Enhancing Generalization of Speech Large Language Models with Multi-Task Behavior Imitation and Speech-Text Interleaving
von: Xie, Jingran, et al.
Veröffentlicht: (2025)

Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens
von: Manakul, Potsawee, et al.
Veröffentlicht: (2026)

TokenVerse: Towards Unifying Speech and NLP Tasks via Transducer-based ASR
von: Kumar, Shashi, et al.
Veröffentlicht: (2024)

Continuous Speech Tokenizer in Text To Speech
von: Li, Yixing, et al.
Veröffentlicht: (2024)

Discrete Tokens Exhibit Interlanguage Speech Intelligibility Benefit: an Analytical Study Towards Accent-robust ASR Only with Native Speech Data
von: Onda, Kentaro, et al.
Veröffentlicht: (2025)

WenetSpeech-Wu: Datasets, Benchmarks, and Models for a Unified Chinese Wu Dialect Speech Processing Ecosystem
von: Wang, Chengyou, et al.
Veröffentlicht: (2026)