Copertina

The Data-Quality Illusion: Rethinking Classifier-Based Quality Filtering for LLM Pretraining

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Saada, Thiziri Nait, Bethune, Louis, Klein, Michal, Grangier, David, Cuturi, Marco, Ablin, Pierre
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Scaling Laws for Forgetting during Finetuning with Pretraining Data Injection
di: Bethune, Louis, et al.
Pubblicazione: (2025)

The Geometries of Truth Are Orthogonal Across Tasks
di: Azizian, Waiss, et al.
Pubblicazione: (2025)

Nectar: Neural Estimation of Cached-Token Attention via Regression
di: Monteiro, João, et al.
Pubblicazione: (2026)

Soup-of-Experts: Pretraining Specialist Models via Parameters Averaging
di: Ablin, Pierre, et al.
Pubblicazione: (2025)

Task-Adaptive Pretrained Language Models via Clustered-Importance Sampling
di: Grangier, David, et al.
Pubblicazione: (2024)

Dynamic Gradient Alignment for Online Data Mixing
di: Fan, Simin, et al.
Pubblicazione: (2024)

Optimal Splitting of Language Models from Mixtures to Specialized Domains
di: Seto, Skyler, et al.
Pubblicazione: (2026)

Mind the Gap: a Spectral Analysis of Rank Collapse and Signal Propagation in Attention Layers
di: Saada, Thiziri Nait, et al.
Pubblicazione: (2024)

Beyond IID weights: sparse and low-rank deep Neural Networks are also Gaussian Processes
di: Nait-Saada, Thiziri, et al.
Pubblicazione: (2023)

Completed Hyperparameter Transfer across Modules, Width, Depth, Batch and Duration
di: Mlodozeniec, Bruno, et al.
Pubblicazione: (2025)

Multivariate Conformal Prediction using Optimal Transport
di: Klein, Michal, et al.
Pubblicazione: (2025)

Need a Small Specialized Language Model? Plan Early!
di: Grangier, David, et al.
Pubblicazione: (2024)

DynaMiCS: Fine-tuning LLMs with Performance Constraints using Dynamic Mixtures
di: Gualdoni, Eleonora, et al.
Pubblicazione: (2026)

Locking Pretrained Weights via Deep Low-Rank Residual Distillation
di: Sakamoto, Keitaro, et al.
Pubblicazione: (2026)

Scaling Laws for Optimal Data Mixtures
di: Shukor, Mustafa, et al.
Pubblicazione: (2025)

Shielded Diffusion: Generating Novel and Diverse Images using Sparse Repellency
di: Kirchhof, Michael, et al.
Pubblicazione: (2024)

Scaling Categorical Flow Maps
di: Davis, Oscar, et al.
Pubblicazione: (2026)

GraphEval: A Knowledge-Graph Based LLM Hallucination Evaluation Framework
di: Sansford, Hannah, et al.
Pubblicazione: (2024)

Sample and Map from a Single Convex Potential: Generation using Conjugate Moment Measures
di: Vesseron, Nina, et al.
Pubblicazione: (2025)

Scaling Laws for Mixture Pretraining Under Data Constraints
di: Sedova, Anastasiia, et al.
Pubblicazione: (2026)

The AdEMAMix Optimizer: Better, Faster, Older
di: Pagliardini, Matteo, et al.
Pubblicazione: (2024)

A simple proof of almost sure convergence for the largest singular value of a product of Gaussian matrices
di: Saada, Thiziri Nait, et al.
Pubblicazione: (2024)

Careful with that Scalpel: Improving Gradient Surgery with an EMA
di: Hsieh, Yu-Guan, et al.
Pubblicazione: (2024)

Learning Elastic Costs to Shape Monge Displacements
di: Klein, Michal, et al.
Pubblicazione: (2023)

Learning Unmasking Policies for Diffusion Language Models
di: Jazbec, Metod, et al.
Pubblicazione: (2025)

TaCo: Targeted Concept Erasure Prevents Non-Linear Classifiers From Detecting Protected Attributes
di: Jourdan, Fanny, et al.
Pubblicazione: (2023)

Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing
di: Filippova, Anastasiia, et al.
Pubblicazione: (2026)

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models
di: Ali, Mehdi, et al.
Pubblicazione: (2025)

Pretraining with hierarchical memories: separating long-tail and common knowledge
di: Pouransari, Hadi, et al.
Pubblicazione: (2025)

Mix, Don't Tune: Bilingual Pre-Training Outperforms Hyperparameter Search in Data-Constrained Settings
di: Jeha, Paul, et al.
Pubblicazione: (2026)

Contrasting Multiple Representations with the Multi-Marginal Matching Gap
di: Piran, Zoe, et al.
Pubblicazione: (2024)

Enhancing Multilingual LLM Pretraining with Model-Based Data Selection
di: Messmer, Bettina, et al.
Pubblicazione: (2025)

On Fitting Flow Models with Large Sinkhorn Couplings
di: Zhang, Stephen, et al.
Pubblicazione: (2025)

Amortizing Maximum Inner Product Search with Learned Support Functions
di: Olausson, Theo X., et al.
Pubblicazione: (2026)

How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data
di: Niklaus, Joel, et al.
Pubblicazione: (2026)

Training Bilingual LMs with Data Constraints in the Targeted Language
di: Seto, Skyler, et al.
Pubblicazione: (2024)

No Need to Talk: Asynchronous Mixture of Language Models
di: Filippova, Anastasiia, et al.
Pubblicazione: (2024)

Flow Matching with Semidiscrete Couplings
di: Mousavi-Hosseini, Alireza, et al.
Pubblicazione: (2025)

MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining
di: Chen, Zhixun, et al.
Pubblicazione: (2025)

DALLMi: Domain Adaption for LLM-based Multi-label Classifier
di: Beţianu, Miruna, et al.
Pubblicazione: (2024)