Buchumschlag

Multichannel AV-wav2vec2: A Framework for Learning Multichannel Multi-Modal Speech Representation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhu, Qiushi, Zhang, Jie, Gu, Yu, Hu, Yuchen, Dai, Lirong
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Audio and Speech Processing Sound
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mixture of Experts Fusion for Fake Audio Detection Using Frozen wav2vec 2.0
von: Wang, Zhiyong, et al.
Veröffentlicht: (2024)

Leveraging Joint Spectral and Spatial Learning with MAMBA for Multichannel Speech Enhancement
von: Ren, Wenze, et al.
Veröffentlicht: (2024)

Automatic classification of stop realisation with wav2vec2.0
von: Tanner, James, et al.
Veröffentlicht: (2025)

Joint Speaker Features Learning for Audio-visual Multichannel Speech Separation and Recognition
von: Li, Guinan, et al.
Veröffentlicht: (2024)

Detecting Dysfluencies in Stuttering Therapy Using wav2vec 2.0
von: Bayerl, Sebastian P., et al.
Veröffentlicht: (2022)

A Phoneme-Scale Assessment of Multichannel Speech Enhancement Algorithms
von: Monir, Nasser-Eddine, et al.
Veröffentlicht: (2024)

vec2wav 2.0: Advancing Voice Conversion via Discrete Token Vocoders
von: Guo, Yiwei, et al.
Veröffentlicht: (2024)

Decoupled Spatial and Temporal Processing for Resource Efficient Multichannel Speech Enhancement
von: Pandey, Ashutosh, et al.
Veröffentlicht: (2024)

On the Importance of Neural Wiener Filter for Resource Efficient Multichannel Speech Enhancement
von: Hsieh, Tsun-An, et al.
Veröffentlicht: (2024)

Evaluating Multichannel Speech Enhancement Algorithms at the Phoneme Scale Across Genders
von: Monir, Nasser-Eddine, et al.
Veröffentlicht: (2025)

LABNet: A Lightweight Attentive Beamforming Network for Ad-hoc Multichannel Microphone Invariant Real-Time Speech Enhancement
von: Yan, Haoyin, et al.
Veröffentlicht: (2025)

A Novel Deep Learning Framework for Efficient Multichannel Acoustic Feedback Control
von: Wu, Yuan-Kuei, et al.
Veröffentlicht: (2025)

Multichannel Long-Term Streaming Neural Speech Enhancement for Static and Moving Speakers
von: Quan, Changsheng, et al.
Veröffentlicht: (2024)

Multichannel Keyword Spotting for Noisy Conditions
von: Saladukha, Dzmitry, et al.
Veröffentlicht: (2025)

Mel-McNet: A Mel-Scale Framework for Online Multichannel Speech Enhancement
von: Yang, Yujie, et al.
Veröffentlicht: (2025)

Wav2code: Restore Clean Speech Representations via Codebook Lookup for Noise-Robust ASR
von: Hu, Yuchen, et al.
Veröffentlicht: (2023)

Multichannel-to-Multichannel Target Sound Extraction Using Direction and Timestamp Clues
von: Choi, Dayun, et al.
Veröffentlicht: (2024)

DurIAN-E 2: Duration Informed Attention Network with Adaptive Variational Autoencoder and Adversarial Learning for Expressive Text-to-Speech Synthesis
von: Gu, Yu, et al.
Veröffentlicht: (2024)

Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0
von: Huo, Robin, et al.
Veröffentlicht: (2025)

Determined Multichannel Blind Source Separation with Clustered Source Model
von: Wang, Jianyu, et al.
Veröffentlicht: (2024)

Multichannel Voice Trigger Detection Based on Transform-average-concatenate
von: Higuchi, Takuya, et al.
Veröffentlicht: (2023)

Accelerated Convolutive Transfer Function-Based Multichannel NMF Using Iterative Source Steering
von: Xie, Xuemai, et al.
Veröffentlicht: (2025)

DeFT-Mamba: Universal Multichannel Sound Separation and Polyphonic Audio Classification
von: Lee, Dongheon, et al.
Veröffentlicht: (2024)

Multichannel blind speech source separation with a disjoint constraint source model
von: Wang, Jianyu, et al.
Veröffentlicht: (2024)

RelUNet: Relative Channel Fusion U-Net for Multichannel Speech Enhancement
von: Aldarmaki, Ibrahim, et al.
Veröffentlicht: (2024)

Exploiting Audio-Visual Features with Pretrained AV-HuBERT for Multi-Modal Dysarthric Speech Reconstruction
von: Chen, Xueyuan, et al.
Veröffentlicht: (2024)

WavFusion: Towards wav2vec 2.0 Multimodal Speech Emotion Recognition
von: Li, Feng, et al.
Veröffentlicht: (2024)

Event Classification by Physics-informed Inpainting for Distributed Multichannel Acoustic Sensor with Partially Degraded Channels
von: Tonami, Noriyuki, et al.
Veröffentlicht: (2026)

LCM-SVC: Latent Diffusion Model Based Singing Voice Conversion with Inference Acceleration via Latent Consistency Distillation
von: Chen, Shihao, et al.
Veröffentlicht: (2024)

Adversarial speech for voice privacy protection from Personalized Speech generation
von: Chen, Shihao, et al.
Veröffentlicht: (2024)

3D Room Geometry Inference from Multichannel Room Impulse Response using Deep Neural Network
von: Yeon, Inmo, et al.
Veröffentlicht: (2024)

Constraint Optimized Multichannel Mixer-limiter Design
von: Luo, Yuancheng, et al.
Veröffentlicht: (2025)

WearVox: An Egocentric Multichannel Voice Assistant Benchmark for Wearables
von: Lin, Zhaojiang, et al.
Veröffentlicht: (2025)

Experimental Study: Enhancing Voice Spoofing Detection Models with wav2vec 2.0
von: Kang, Taein, et al.
Veröffentlicht: (2024)

LDM-SVC: Latent Diffusion Model Based Zero-Shot Any-to-Any Singing Voice Conversion with Singer Guidance
von: Chen, Shihao, et al.
Veröffentlicht: (2024)

Compression of Higher Order Ambisonics with Multichannel RVQGAN
von: Hirvonen, Toni, et al.
Veröffentlicht: (2024)

Noise-aware Speech Enhancement using Diffusion Probabilistic Model
von: Hu, Yuchen, et al.
Veröffentlicht: (2023)

voc2vec: A Foundation Model for Non-Verbal Vocalization
von: Koudounas, Alkis, et al.
Veröffentlicht: (2025)

A Comparative Analysis of Generalised Echo and Interference Cancelling and Extended Multichannel Wiener Filtering for Combined Noise Reduction and Acoustic Echo Cancellation
von: Roebben, Arnout, et al.
Veröffentlicht: (2025)

DQ-Data2vec: Decoupling Quantization for Multilingual Speech Recognition
von: Shao, Qijie, et al.
Veröffentlicht: (2025)