Copertina

Dynamic Masking Rate Schedules for MLM Pretraining

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Ankner, Zachary, Saphra, Naomi, Blalock, Davis, Frankle, Jonathan, Leavitt, Matthew L.
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Mechanistic?
di: Saphra, Naomi, et al.
Pubblicazione: (2024)

ChatGPT Doesn't Trust Chargers Fans: Guardrail Sensitivity in Context
di: Li, Victoria R., et al.
Pubblicazione: (2024)

Sudden Drops in the Loss: Syntax Acquisition, Phase Transitions, and Simplicity Bias in MLMs
di: Chen, Angelica, et al.
Pubblicazione: (2023)

Can Interpretation Predict Behavior on Unseen Data?
di: Li, Victoria R., et al.
Pubblicazione: (2025)

Perplexed by Perplexity: Perplexity-Based Data Pruning With Small Reference Models
di: Ankner, Zachary, et al.
Pubblicazione: (2024)

Power Scheduler: A Batch Size and Token Number Agnostic Learning Rate Scheduler
di: Shen, Yikang, et al.
Pubblicazione: (2024)

MaskTab: Scalable Masked Tabular Pretraining with Scaling Laws and Distillation for Industrial Classification
di: Zheng, Bo, et al.
Pubblicazione: (2026)

Using Shapley interactions to understand how models use structure
di: Singhvi, Divyansh, et al.
Pubblicazione: (2024)

Rethinking the Role of Text Complexity in Language Model Pretraining
di: Velasco, Dan John, et al.
Pubblicazione: (2025)

Learning Dynamics of Meta-Learning in Small Model Pretraining
di: Africa, David Demitri, et al.
Pubblicazione: (2025)

Beyond Repetition: Text Simplification and Curriculum Learning for Data-Constrained Pretraining
di: Roque, Matthew Theodore, et al.
Pubblicazione: (2025)

Scaling, Simplification, and Adaptation: Lessons from Pretraining on Machine-Translated Text
di: Velasco, Dan John, et al.
Pubblicazione: (2025)

Unsupervised Elicitation of Language Models
di: Wen, Jiaxin, et al.
Pubblicazione: (2025)

BioMedLM: A 2.7B Parameter Language Model Trained On Biomedical Text
di: Bolton, Elliot, et al.
Pubblicazione: (2024)

Memorization Dynamics of Fill-in-the-Middle Pretraining
di: von Arx, Tobias, et al.
Pubblicazione: (2026)

Automated Conversion of Static to Dynamic Scheduler via Natural Language
di: Tang, Paul Mingzheng, et al.
Pubblicazione: (2024)

Recite, Reconstruct, Recollect: Memorization in LMs as a Multifaceted Phenomenon
di: Prashanth, USVSN Sai, et al.
Pubblicazione: (2024)

Entropy-aware Masking for Masked Language Modeling
di: Srinivasagan, Gokul, et al.
Pubblicazione: (2026)

D$^3$: Dynamic Directional Graph-Constrained Data Scheduling for LLM Training
di: Xu, Yuanjian, et al.
Pubblicazione: (2026)

Trainable Dynamic Mask Sparse Attention
di: Shi, Jingze, et al.
Pubblicazione: (2025)

StableMask: Refining Causal Masking in Decoder-only Transformer
di: Yin, Qingyu, et al.
Pubblicazione: (2024)

DAM: Dynamic Attention Mask for Long-Context Large Language Model Inference Acceleration
di: Zhang, Hanzhi, et al.
Pubblicazione: (2025)

How Learning Rate Decay Wastes Your Best Data in Curriculum-Based LLM Pretraining
di: Luo, Kairong, et al.
Pubblicazione: (2025)

Intermittent Semi-Working Mask: A New Masking Paradigm for LLMs
di: Hu, HaoYuan, et al.
Pubblicazione: (2024)

Many-to-English Machine Translation Tools, Data, and Pretrained Models
di: Gowda, Thamme, et al.
Pubblicazione: (2021)

Multilingual Pretraining for Pixel Language Models
di: Kesen, Ilker, et al.
Pubblicazione: (2025)

A Multi-Power Law for Loss Curve Prediction Across Learning Rate Schedules
di: Luo, Kairong, et al.
Pubblicazione: (2025)

MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining
di: Chen, Zhixun, et al.
Pubblicazione: (2025)

WRAP++: Web discoveRy Amplified Pretraining
di: Zhou, Jiang, et al.
Pubblicazione: (2026)

Tracing Persona Vectors Through LLM Pretraining
di: Moskvoretskii, Viktor, et al.
Pubblicazione: (2026)

Attributing Culture-Conditioned Generations to Pretraining Corpora
di: Li, Huihan, et al.
Pubblicazione: (2024)

Pretrained LLMs Learn Multiple Types of Uncertainty
di: Cohen, Roi, et al.
Pubblicazione: (2025)

daVinci-LLM:Towards the Science of Pretraining
di: Qin, Yiwei, et al.
Pubblicazione: (2026)

Inconsistencies in Masked Language Models
di: Young, Tom, et al.
Pubblicazione: (2022)

On Linear Representations and Pretraining Data Frequency in Language Models
di: Merullo, Jack, et al.
Pubblicazione: (2025)

Drop Dropout on Single-Epoch Language Model Pretraining
di: Liu, Houjun, et al.
Pubblicazione: (2025)

Is It a Free Lunch for Removing Outliers during Pretraining?
di: Liao, Baohao, et al.
Pubblicazione: (2024)

AI Managed Emergency Documentation with a Pretrained Model
di: Menzies, David, et al.
Pubblicazione: (2024)

Optimizing Pretraining Data Mixtures with LLM-Estimated Utility
di: Held, William, et al.
Pubblicazione: (2025)

Gender Encoding Patterns in Pretrained Language Model Representations
di: Zakizadeh, Mahdi, et al.
Pubblicazione: (2025)