Copertina

ManufactuBERT: Efficient Continual Pretraining for Manufacturing

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Armingaud, Robin, Besançon, Romaric
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

GLiDRE: Generalist Lightweight model for Document-level Relation Extraction
di: Armingaud, Robin, et al.
Pubblicazione: (2025)

From LIMA to DeepLIMA: following a new path of interoperability
di: Bocharov, Victor, et al.
Pubblicazione: (2024)

Patent Language Model Pretraining with ModernBERT
di: Yousefiramandi, Amirhossein, et al.
Pubblicazione: (2025)

EgyBERT: A Large Language Model Pretrained on Egyptian Dialect Corpora
di: Qarah, Faisal
Pubblicazione: (2024)

MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining
di: Portes, Jacob, et al.
Pubblicazione: (2023)

Efficient Domain-adaptive Continual Pretraining for the Process Industry in the German Language
di: Zhukova, Anastasia, et al.
Pubblicazione: (2025)

Investigating the 'Autoencoder Behavior' in Speech Self-Supervised Models: a focus on HuBERT's Pretraining
di: Vielzeuf, Valentin
Pubblicazione: (2024)

RedWhale: An Adapted Korean LLM Through Efficient Continual Pretraining
di: Vo, Anh-Dung, et al.
Pubblicazione: (2024)

ELO: Efficient Layer-Specific Optimization for Continual Pretraining of Multilingual LLMs
di: Yoo, HanGyeol, et al.
Pubblicazione: (2026)

AraPoemBERT: A Pretrained Language Model for Arabic Poetry Analysis
di: Qarah, Faisal
Pubblicazione: (2024)

SaudiBERT: A Large Language Model Pretrained on Saudi Dialect Corpora
di: Qarah, Faisal
Pubblicazione: (2024)

Bag of Lies: Robustness in Continuous Pre-training BERT
di: Gevers, Ine, et al.
Pubblicazione: (2024)

PhayaThaiBERT: Enhancing a Pretrained Thai Language Model with Unassimilated Loanwords
di: Sriwirote, Panyut, et al.
Pubblicazione: (2023)

Explaining How Visual, Textual and Multimodal Encoders Share Concepts
di: Cornet, Clément, et al.
Pubblicazione: (2025)

ModernBERT is More Efficient than Conventional BERT for Chest CT Findings Classification in Japanese Radiology Reports
di: Yamagishi, Yosuke, et al.
Pubblicazione: (2025)

Efficient Pretraining Length Scaling
di: Wu, Bohong, et al.
Pubblicazione: (2025)

LLM Pretraining with Continuous Concepts
di: Tack, Jihoon, et al.
Pubblicazione: (2025)

Positional Attention for Efficient BERT-Based Named Entity Recognition
di: Sun, Mo, et al.
Pubblicazione: (2025)

FaBERT: Pre-training BERT on Persian Blogs
di: Masumi, Mostafa, et al.
Pubblicazione: (2024)

NusaBERT: Teaching IndoBERT to be Multilingual and Multicultural
di: Wongso, Wilson, et al.
Pubblicazione: (2024)

OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining
di: Liu, Yihong, et al.
Pubblicazione: (2023)

HuBERT-EE: Early Exiting HuBERT for Efficient Speech Recognition
di: Yoon, Ji Won, et al.
Pubblicazione: (2022)

NeoDictaBERT: Pushing the Frontier of BERT models for Hebrew
di: Shmidman, Shaltiel, et al.
Pubblicazione: (2025)

Symmetric Dot-Product Attention for Efficient Training of BERT Language Models
di: Courtois, Martin, et al.
Pubblicazione: (2024)

QiBERT -- Classifying Online Conversations Messages with BERT as a Feature
di: Ferreira-Saraiva, Bruno D., et al.
Pubblicazione: (2024)

Pre-training technique to localize medical BERT and enhance biomedical BERT
di: Wada, Shoya, et al.
Pubblicazione: (2020)

HRM-Text: Efficient Pretraining Beyond Scaling
di: Wang, Guan, et al.
Pubblicazione: (2026)

NeoBERT: A Next-Generation BERT
di: Breton, Lola Le, et al.
Pubblicazione: (2025)

Investigating Continual Pretraining in Large Language Models: Insights and Implications
di: Yıldız, Çağatay, et al.
Pubblicazione: (2024)

SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation
di: Lv, Changze, et al.
Pubblicazione: (2023)

Leveraging IndoBERT and DistilBERT for Indonesian Emotion Classification in E-Commerce Reviews
di: Christian, William, et al.
Pubblicazione: (2025)

ACL: Aligned Contrastive Learning Improves BERT and Multi-exit BERT Fine-tuning
di: Li, Liz, et al.
Pubblicazione: (2026)

InvBERT: Reconstructing Text from Contextualized Word Embeddings by inverting the BERT pipeline
di: Kugler, Kai, et al.
Pubblicazione: (2021)

PonderLM-2: Pretraining LLM with Latent Thoughts in Continuous Space
di: Zeng, Boyi, et al.
Pubblicazione: (2025)

MuCPT: Music-related Natural Language Model Continued Pretraining
di: Tian, Kai, et al.
Pubblicazione: (2025)

Beyond Fine-tuning: Unleashing the Potential of Continuous Pretraining for Clinical LLMs
di: Christophe, Clément, et al.
Pubblicazione: (2024)

BAMBINO-LM: (Bilingual-)Human-Inspired Continual Pretraining of BabyLM
di: Shen, Zhewen, et al.
Pubblicazione: (2024)

Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models
di: Parmar, Jupinder, et al.
Pubblicazione: (2024)

Iterative refinement, not training objective, makes HuBERT behave differently from wav2vec 2.0
di: Huo, Robin, et al.
Pubblicazione: (2025)

An investigation of structures responsible for gender bias in BERT and DistilBERT
di: Leteno, Thibaud, et al.
Pubblicazione: (2024)