Buchumschlag

A Diversity Diet for a Healthier Model: A Case Study of French ModernBERT

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Estève, Louis, Servan, Christophe, Lavergne, Thomas, Savary, Agata
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Formalising lexical and syntactic diversity for data sampling in French
von: Estève, Louis, et al.
Veröffentlicht: (2025)

Patent Language Model Pretraining with ModernBERT
von: Yousefiramandi, Amirhossein, et al.
Veröffentlicht: (2025)

Chinese ModernBERT with Whole-Word Masking
von: Zhao, Zeyu, et al.
Veröffentlicht: (2025)

TabiBERT: A Large-Scale ModernBERT Foundation Model and A Unified Benchmark for Turkish
von: Türker, Melikşah, et al.
Veröffentlicht: (2025)

ModernBERT + ColBERT: Enhancing biomedical RAG through an advanced re-ranking retriever
von: Rivera, Eduardo Martínez, et al.
Veröffentlicht: (2025)

NorBERTo: A ModernBERT Model Trained for Portuguese with 331 Billion Tokens Corpus
von: Silva, Enzo S. N., et al.
Veröffentlicht: (2026)

ModernBERT is More Efficient than Conventional BERT for Chest CT Findings Classification in Japanese Radiology Reports
von: Yamagishi, Yosuke, et al.
Veröffentlicht: (2025)

Clinical ModernBERT: An efficient and long context encoder for biomedical text
von: Lee, Simon A., et al.
Veröffentlicht: (2025)

A survey of diversity quantification in natural language processing: The why, what, where and how
von: Estève, Louis, et al.
Veröffentlicht: (2025)

BioClinical ModernBERT: A State-of-the-Art Long-Context Encoder for Biomedical and Clinical NLP
von: Sounack, Thomas, et al.
Veröffentlicht: (2025)

Pretraining Finnish ModernBERTs
von: Reunamo, Akseli, et al.
Veröffentlicht: (2025)

llm-jp-modernbert: A ModernBERT Model Trained on a Large-Scale Japanese Corpus with Long Context Length
von: Sugiura, Issa, et al.
Veröffentlicht: (2025)

ModernBERT or DeBERTaV3? Examining Architecture and Data Influence on Transformer Encoder Models Performance
von: Antoun, Wissam, et al.
Veröffentlicht: (2025)

Spatial ModernBERT: Spatial-Aware Transformer for Table and Key-Value Extraction in Financial Documents at Scale
von: Javis AI Team, et al.
Veröffentlicht: (2025)

A Benchmark Evaluation of Clinical Named Entity Recognition in French
von: Bannour, Nesrine, et al.
Veröffentlicht: (2024)

New Semantic Task for the French Spoken Language Understanding MEDIA Benchmark
von: Alavoine, Nadège, et al.
Veröffentlicht: (2024)

CamemBERT 2.0: A Smarter French Language Model Aged to Perfection
von: Antoun, Wissam, et al.
Veröffentlicht: (2024)

LLM-based Atomic Propositions help weak extractors: Evaluation of a Propositioner for triplet extraction
von: Pommeret, Luc, et al.
Veröffentlicht: (2026)

FRASIMED: a Clinical French Annotated Resource Produced through Crosslingual BERT-Based Annotation Projection
von: Zaghir, Jamil, et al.
Veröffentlicht: (2023)

How Gender Interacts with Political Values: A Case Study on Czech BERT Models
von: Ali, Adnan Al, et al.
Veröffentlicht: (2024)

Leveraging Information Retrieval to Enhance Spoken Language Understanding Prompts in Few-Shot Learning
von: Lepagnol, Pierre, et al.
Veröffentlicht: (2025)

An investigation of structures responsible for gender bias in BERT and DistilBERT
von: Leteno, Thibaud, et al.
Veröffentlicht: (2024)

Breaking MLPerf Training: A Case Study on Optimizing BERT
von: Kim, Yongdeok, et al.
Veröffentlicht: (2024)

m3BERT: A Modern, Multi-lingual, Matryoshka Bidirectional Encoder
von: Wang, Yaoxiang, et al.
Veröffentlicht: (2026)

Understanding the Interplay of Scale, Data, and Bias in Language Models: A Case Study with BERT
von: Ali, Muhammad, et al.
Veröffentlicht: (2024)

Construction Identification and Disambiguation Using BERT: A Case Study of NPN
von: Scivetti, Wesley, et al.
Veröffentlicht: (2025)

mALBERT: Is a Compact Multilingual BERT Model Still Worth It?
von: Servan, Christophe, et al.
Veröffentlicht: (2024)

AraModernBERT: Transtokenized Initialization and Long-Context Encoder Modeling for Arabic
von: Elshehy, Omar, et al.
Veröffentlicht: (2026)

CamemBERT-bio: Leveraging Continual Pre-training for Cost-Effective Models on French Biomedical Data
von: Touchent, Rian, et al.
Veröffentlicht: (2023)

A Dataset for Pharmacovigilance in German, French, and Japanese: Annotating Adverse Drug Reactions across Languages
von: Raithel, Lisa, et al.
Veröffentlicht: (2024)

mmBERT: A Modern Multilingual Encoder with Annealed Language Learning
von: Marone, Marc, et al.
Veröffentlicht: (2025)

Low-Resource Dialect Adaptation of Large Language Models: A French Dialect Case-Study
von: Khan, Eeham, et al.
Veröffentlicht: (2025)

From BERT to T5: A Study of Named Entity Recognition
von: Jia, Mei
Veröffentlicht: (2026)

NeoBERT: A Next-Generation BERT
von: Breton, Lola Le, et al.
Veröffentlicht: (2025)

Modeling the Construction of a Literary Archetype: The Case of the Detective Figure in French Literature
von: Barré, Jean, et al.
Veröffentlicht: (2025)

ConfliBERT: A Language Model for Political Conflict
von: Brandt, Patrick T., et al.
Veröffentlicht: (2024)

Emotionally Aware Moderation: The Potential of Emotion Monitoring in Shaping Healthier Social Media Conversations
von: Su, Xiaotian, et al.
Veröffentlicht: (2025)

Attention on Multiword Expressions: A Multilingual Study of BERT-based Models with Regard to Idiomaticity and Microsyntax
von: Zaitova, Iuliia, et al.
Veröffentlicht: (2025)

SpikeBERT: A Language Spikformer Learned from BERT with Knowledge Distillation
von: Lv, Changze, et al.
Veröffentlicht: (2023)

ColBERT-XM: A Modular Multi-Vector Representation Model for Zero-Shot Multilingual Information Retrieval
von: Louis, Antoine, et al.
Veröffentlicht: (2024)