Buchumschlag

Unified speech and gesture synthesis using flow matching

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mehta, Shivam, Tu, Ruibo, Alexanderson, Simon, Beskow, Jonas, Székely, Éva, Henter, Gustav Eje
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Audio and Speech Processing Graphics Human-Computer Interaction Machine Learning Sound 68T07 (Primary), 68T42 (Secondary) I.2.7; I.2.6; H.5
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Fake it to make it: Using synthetic data to remedy the data shortage in joint multimodal speech-and-gesture synthesis
von: Mehta, Shivam, et al.
Veröffentlicht: (2024)

Matcha-TTS: A fast TTS architecture with conditional flow matching
von: Mehta, Shivam, et al.
Veröffentlicht: (2023)

Should you use a probabilistic duration model in TTS? Probably! Especially for spontaneous speech
von: Mehta, Shivam, et al.
Veröffentlicht: (2024)

Gelina: Unified Speech and Gesture Synthesis via Interleaved Token Prediction
von: Guichoux, Téo, et al.
Veröffentlicht: (2025)

CAST-TTS: A Simple Cross-Attention Framework for Unified Timbre Control in TTS
von: Zheng, Zihao, et al.
Veröffentlicht: (2026)

AURA: Agent for Understanding, Reasoning, and Automated Tool Use in Voice-Driven Tasks
von: Maben, Leander Melroy, et al.
Veröffentlicht: (2025)

Make Some Noise: Towards LLM audio reasoning and generation using sound tokens
von: Mehta, Shivam, et al.
Veröffentlicht: (2025)

Learning to Generate Pointing Gestures in Situated Embodied Conversational Agents
von: Deichler, Anna, et al.
Veröffentlicht: (2025)

Towards Context-Aware Human-like Pointing Gestures with RL Motion Imitation
von: Deichler, Anna, et al.
Veröffentlicht: (2025)

STAR: Speech-to-Audio Generation via Representation Learning
von: Xie, Zeyu, et al.
Veröffentlicht: (2025)

M2D-CLAP: Exploring General-purpose Audio-Language Representations Beyond CLAP
von: Niizumi, Daisuke, et al.
Veröffentlicht: (2025)

FakeSound2: A Benchmark for Explainable and Generalizable Deepfake Sound Detection
von: Xie, Zeyu, et al.
Veröffentlicht: (2025)

PicoAudio: Enabling Precise Timestamp and Frequency Controllability of Audio Events in Text-to-audio Generation
von: Xie, Zeyu, et al.
Veröffentlicht: (2024)

AudioTime: A Temporally-aligned Audio-text Benchmark Dataset
von: Xie, Zeyu, et al.
Veröffentlicht: (2024)

PicoAudio2: Temporal Controllable Text-to-Audio Generation with Natural Language Description
von: Zheng, Zihao, et al.
Veröffentlicht: (2025)

FakeSound: Deepfake General Audio Detection
von: Xie, Zeyu, et al.
Veröffentlicht: (2024)

STRIDE: A Self-Reflective Agent Framework for Reliable Automatic Equation Discovery
von: Su, Jiarui, et al.
Veröffentlicht: (2026)

Project Synapse: A Hierarchical Multi-Agent Framework with Hybrid Memory for Autonomous Resolution of Last-Mile Delivery Disruptions
von: Yadav, Arin Gopalan, et al.
Veröffentlicht: (2026)

Investigating Prosodic Signatures via Speech Pre-Trained Models for Audio Deepfake Source Attribution
von: Phukan, Orchid Chetia, et al.
Veröffentlicht: (2024)

Strong Alone, Stronger Together: Synergizing Modality-Binding Foundation Models with Optimal Transport for Non-Verbal Emotion Recognition
von: Phukan, Orchid Chetia, et al.
Veröffentlicht: (2024)

Multi-View Multi-Task Modeling with Speech Foundation Models for Speech Forensic Tasks
von: Phukan, Orchid Chetia, et al.
Veröffentlicht: (2024)

Avengers Assemble: Amalgamation of Non-Semantic Features for Depression Detection
von: Phukan, Orchid Chetia, et al.
Veröffentlicht: (2024)

SeQuiFi: Mitigating Catastrophic Forgetting in Speech Emotion Recognition with Sequential Class-Finetuning
von: Jain, Sarthak, et al.
Veröffentlicht: (2024)

Representation Loss Minimization with Randomized Selection Strategy for Efficient Environmental Fake Audio Detection
von: Phukan, Orchid Chetia, et al.
Veröffentlicht: (2024)

SemAlignVC: Enhancing zero-shot timbre conversion using semantic alignment
von: Mehta, Shivam, et al.
Veröffentlicht: (2025)

Grounded Gesture Generation: Language, Motion, and Space
von: Deichler, Anna, et al.
Veröffentlicht: (2025)

Splitformer: An improved early-exit architecture for automatic speech recognition on edge devices
von: Lasbordes, Maxence, et al.
Veröffentlicht: (2025)

AI-based Drone Assisted Human Rescue in Disaster Environments: Challenges and Opportunities
von: Papyan, Narek, et al.
Veröffentlicht: (2024)

NeuroState-Bench: A Human-Calibrated Benchmark for Commitment Integrity in LLM Agent Profiles
von: Jia, Xiao
Veröffentlicht: (2026)

Emergence of Goal-Directed Behaviors via Active Inference with Self-Prior
von: Kim, Dongmin, et al.
Veröffentlicht: (2025)

Semantic Modeling for World-Centered Architectures
von: Mantsivoda, Andrei, et al.
Veröffentlicht: (2026)

SARA: Stress Test Reasoning in Audio Deepfake Detection
von: Nguyen, Binh, et al.
Veröffentlicht: (2026)

Rethinking Masking Strategies for Masked Prediction-based Audio Self-supervised Learning
von: Niizumi, Daisuke, et al.
Veröffentlicht: (2026)

Beyond Hearing: Learning Task-Agnostic ExG Representations from Earphones via Physiology-Informed Tokenization
von: Yoon, Hyungjun, et al.
Veröffentlicht: (2025)

Beyond Speech and More: Investigating the Emergent Ability of Speech Foundation Models for Classifying Physiological Time-Series Signals
von: Phukan, Orchid Chetia, et al.
Veröffentlicht: (2024)

Coarse-to-Fine Proposal Refinement Framework for Audio Temporal Forgery Detection and Localization
von: Wu, Junyan, et al.
Veröffentlicht: (2024)

Prevailing Research Areas for Music AI in the Era of Foundation Models
von: Wei, Megan, et al.
Veröffentlicht: (2024)

Agentic UAVs: LLM-Driven Autonomy with Integrated Tool-Calling and Cognitive Reasoning
von: Koubaa, Anis, et al.
Veröffentlicht: (2025)

Adaptive Minds: Empowering Agents with LoRA-as-Tools
von: Shekar, Pavan C, et al.
Veröffentlicht: (2025)

ABot-Claw: A Foundation for Persistent, Cooperative, and Self-Evolving Robotic Agents
von: Huo, Dongjie, et al.
Veröffentlicht: (2026)