Buchumschlag

Investigating the 'Autoencoder Behavior' in Speech Self-Supervised Models: a focus on HuBERT's Pretraining

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Vielzeuf, Valentin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

HuBERT-EE: Early Exiting HuBERT for Efficient Speech Recognition
von: Yoon, Ji Won, et al.
Veröffentlicht: (2022)

SD-HuBERT: Sentence-Level Self-Distillation Induces Syllabic Organization in HuBERT
von: Cho, Cheol Jun, et al.
Veröffentlicht: (2023)

Self-Supervised Syllable Discovery Based on Speaker-Disentangled HuBERT
von: Komatsu, Ryota, et al.
Veröffentlicht: (2024)

mHuBERT-147: A Compact Multilingual HuBERT Model
von: Boito, Marcely Zanon, et al.
Veröffentlicht: (2024)

MelHuBERT: A simplified HuBERT on Mel spectrograms
von: Lin, Tzu-Quan, et al.
Veröffentlicht: (2022)

Scaling HuBERT for African Languages: From Base to Large and XL
von: Caubrière, Antoine, et al.
Veröffentlicht: (2025)

MS-HuBERT: Mitigating Pre-training and Inference Mismatch in Masked Language Modelling methods for learning Speech Representations
von: Yadav, Hemant, et al.
Veröffentlicht: (2024)

ExHuBERT: Enhancing HuBERT Through Block Extension and Fine-Tuning on 37 Emotion Datasets
von: Amiriparian, Shahin, et al.
Veröffentlicht: (2024)

Phonetic and Lexical Discovery of a Canine Language using HuBERT
von: Li, Xingyuan, et al.
Veröffentlicht: (2024)

DiceHuBERT: Distilling HuBERT with a Self-Supervised Learning Objective
von: Chi, Hyung Gun, et al.
Veröffentlicht: (2025)

VisG AV-HuBERT: Viseme-Guided AV-HuBERT
von: Papadopoulos, Aristeidis, et al.
Veröffentlicht: (2026)

Artificial Rigidities vs. Biological Noise: A Comparative Analysis of Multisensory Integration in AV-HuBERT and Human Observers
von: López, Francisco Portillo
Veröffentlicht: (2026)

Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0
von: Huo, Robin, et al.
Veröffentlicht: (2025)

Text-guided HuBERT: Self-Supervised Speech Pre-training via Generative Adversarial Networks
von: Ma, Duo, et al.
Veröffentlicht: (2024)

MT-HuBERT: Self-Supervised Mix-Training for Few-Shot Keyword Spotting in Mixed Speech
von: Yuan, Junming, et al.
Veröffentlicht: (2025)

Multi-resolution HuBERT: Multi-resolution Speech Self-Supervised Learning with Masked Unit Prediction
von: Shi, Jiatong, et al.
Veröffentlicht: (2023)

Exploiting Audio-Visual Features with Pretrained AV-HuBERT for Multi-Modal Dysarthric Speech Reconstruction
von: Chen, Xueyuan, et al.
Veröffentlicht: (2024)

Sustainable self-supervised learning for speech representations
von: Lugo, Luis, et al.
Veröffentlicht: (2024)

Investigating Low-Cost LLM Annotation for~Spoken Dialogue Understanding Datasets
von: Druart, Lucas, et al.
Veröffentlicht: (2024)

Target Speech Extraction with Pre-trained AV-HuBERT and Mask-And-Recover Strategy
von: Wu, Wenxuan, et al.
Veröffentlicht: (2024)

SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition
von: Dkhissi, Youness, et al.
Veröffentlicht: (2026)

Distilled HuBERT for Mobile Speech Emotion Recognition: A Cross-Corpus Validation Study
von: Ismail, Saifelden M.
Veröffentlicht: (2025)

MSR-HuBERT: Self-supervised Pre-training for Adaptation to Multiple Sampling Rates
von: Huang, Zikang, et al.
Veröffentlicht: (2026)

Speaker Emotion Recognition: Leveraging Self-Supervised Models for Feature Extraction Using Wav2Vec2 and HuBERT
von: Jafarzadeh, Pourya, et al.
Veröffentlicht: (2024)

ManufactuBERT: Efficient Continual Pretraining for Manufacturing
von: Armingaud, Robin, et al.
Veröffentlicht: (2025)

The Speech-LLM Takes It All: A Truly Fully End-to-End Spoken Dialogue State Tracking Approach
von: Ghazal, Nizar El, et al.
Veröffentlicht: (2025)

Jointly Fine-Tuning "BERT-like" Self Supervised Models to Improve Multimodal Speech Emotion Recognition
von: Siriwardhana, Shamane, et al.
Veröffentlicht: (2020)

Patent Language Model Pretraining with ModernBERT
von: Yousefiramandi, Amirhossein, et al.
Veröffentlicht: (2025)

EgyBERT: A Large Language Model Pretrained on Egyptian Dialect Corpora
von: Qarah, Faisal
Veröffentlicht: (2024)

Improving Speech Decoding from ECoG with Self-Supervised Pretraining
von: Yuan, Brian A., et al.
Veröffentlicht: (2024)

HuBERT-VIC: Improving Noise-Robust Automatic Speech Recognition of Speech Foundation Model via Variance-Invariance-Covariance Regularization
von: Ahn, Hyebin, et al.
Veröffentlicht: (2025)

An Exploration of Mamba for Speech Self-Supervised Models
von: Lin, Tzu-Quan, et al.
Veröffentlicht: (2025)

Adapting Pretrained Language Models for Citation Classification via Self-Supervised Contrastive Learning
von: Li, Tong, et al.
Veröffentlicht: (2025)

Multilingual Phonological Feature Recognition with Self-Supervised Speech Models
von: Hernandez, Abner, et al.
Veröffentlicht: (2026)

Where Do Self-Supervised Speech Models Become Unfair?
von: Herron, Felix, et al.
Veröffentlicht: (2026)

AfriHuBERT: A self-supervised speech representation model for African languages
von: Alabi, Jesujoba O., et al.
Veröffentlicht: (2024)

PhayaThaiBERT: Enhancing a Pretrained Thai Language Model with Unassimilated Loanwords
von: Sriwirote, Panyut, et al.
Veröffentlicht: (2023)

Pantagruel: Unified Self-Supervised Encoders for French Text and Speech
von: Le, Phuong-Hang, et al.
Veröffentlicht: (2026)

AraPoemBERT: A Pretrained Language Model for Arabic Poetry Analysis
von: Qarah, Faisal
Veröffentlicht: (2024)

SaudiBERT: A Large Language Model Pretrained on Saudi Dialect Corpora
von: Qarah, Faisal
Veröffentlicht: (2024)