Buchumschlag

GPT-4o as the Gold Standard: A Scalable and General Purpose Approach to Filter Language Model Pretraining Data

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Jifan, Luo, Ziyue, Liu, Jia, Shroff, Ness, Nowak, Robert
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Prediction-Assisted Online Distributed Deep Learning Workload Scheduling in GPU Clusters
von: Luo, Ziyue, et al.
Veröffentlicht: (2025)

Judging Quality Across Languages: A Multilingual Approach to Pretraining Data Filtering with Language Models
von: Ali, Mehdi, et al.
Veröffentlicht: (2025)

Constraint-Rectified Training for Efficient Chain-of-Thought
von: Wu, Qinhang, et al.
Veröffentlicht: (2026)

FIRM: Federated In-client Regularized Multi-objective Alignment for Large Language Models
von: Nourzad, Fatemeh, et al.
Veröffentlicht: (2025)

Can We Theoretically Quantify the Impacts of Local Updates on the Generalization Performance of Federated Learning?
von: Ju, Peizhong, et al.
Veröffentlicht: (2024)

Large Language Models Achieve Gold Medal Performance at the International Olympiad on Astronomy & Astrophysics (IOAA)
von: Pinheiro, Lucas Carrit Delgado, et al.
Veröffentlicht: (2025)

From Scores to Gibbs Correctors: Accelerating Uniform-Rate Discrete Diffusion Models
von: Liang, Yuchen, et al.
Veröffentlicht: (2026)

Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach
von: Liang, Yuchen, et al.
Veröffentlicht: (2024)

AHA: Human-Assisted Out-of-Distribution Generalization and Detection
von: Bai, Haoyue, et al.
Veröffentlicht: (2024)

Walk the Talk? Measuring the Faithfulness of Large Language Model Explanations
von: Matton, Katie, et al.
Veröffentlicht: (2025)

Benchmarking LLMs' Judgments with No Gold Standard
von: Xu, Shengwei, et al.
Veröffentlicht: (2024)

Detecting Pretraining Data from Large Language Models
von: Shi, Weijia, et al.
Veröffentlicht: (2023)

LLMs as Scalable, General-Purpose Simulators For Evolving Digital Agent Training
von: Wang, Yiming, et al.
Veröffentlicht: (2025)

MuRating: A High Quality Data Selecting Approach to Multilingual Large Language Model Pretraining
von: Chen, Zhixun, et al.
Veröffentlicht: (2025)

The Data-Quality Illusion: Rethinking Classifier-Based Quality Filtering for LLM Pretraining
von: Saada, Thiziri Nait, et al.
Veröffentlicht: (2025)

Pretraining Large Language Models with NVFP4
von: NVIDIA, et al.
Veröffentlicht: (2025)

Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data
von: Wang, Xinyi, et al.
Veröffentlicht: (2024)

Provable Last-Iterate Convergence for Multi-Objective Safe LLM Alignment via Optimistic Primal-Dual
von: Li, Yining, et al.
Veröffentlicht: (2026)

SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors
von: Lyu, Bohan, et al.
Veröffentlicht: (2025)

Sharp Convergence Rates for Masked Diffusion Models
von: Liang, Yuchen, et al.
Veröffentlicht: (2026)

Procedural Pretraining: Warming Up Language Models with Abstract Data
von: Jiang, Liangze, et al.
Veröffentlicht: (2026)

Analyzing Similarity Metrics for Data Selection for Language Model Pretraining
von: Sam, Dylan, et al.
Veröffentlicht: (2025)

Using Hallucinations to Bypass GPT4's Filter
von: Lemkin, Benjamin
Veröffentlicht: (2024)

An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models
von: Bhatt, Gantavya, et al.
Veröffentlicht: (2024)

Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers
von: Liang, Yuchen, et al.
Veröffentlicht: (2024)

On The Role of Pretrained Language Models in General-Purpose Text Embeddings: A Survey
von: Zhang, Meishan, et al.
Veröffentlicht: (2025)

Revisiting Multilingual Data Mixtures in Language Model Pretraining
von: Foroutan, Negar, et al.
Veröffentlicht: (2025)

Facts in Stats: Impacts of Pretraining Diversity on Language Model Generalization
von: Behnia, Tina, et al.
Veröffentlicht: (2025)

The Heuristic Core: Understanding Subnetwork Generalization in Pretrained Language Models
von: Bhaskar, Adithya, et al.
Veröffentlicht: (2024)

Data Mixing for Large Language Models Pretraining: A Survey and Outlook
von: Chen, Zhuo, et al.
Veröffentlicht: (2026)

Language Models Improve When Pretraining Data Matches Target Tasks
von: Mizrahi, David, et al.
Veröffentlicht: (2025)

Temporal Entailment Pretraining for Clinical Language Models over EHR Data
von: Tanaka, Tatsunori, et al.
Veröffentlicht: (2025)

Discrete Diffusion Models: Novel Analysis and New Sampler Guarantees
von: Liang, Yuchen, et al.
Veröffentlicht: (2025)

Can General-Purpose Large Language Models Generalize to English-Thai Machine Translation ?
von: Chiaranaipanich, Jirat, et al.
Veröffentlicht: (2024)

Causal Reasoning and Large Language Models: Opening a New Frontier for Causality
von: Kıcıman, Emre, et al.
Veröffentlicht: (2023)

Measuring and Reducing LLM Hallucination without Gold-Standard Answers
von: Wei, Jiaheng, et al.
Veröffentlicht: (2024)

How to Find the Exact Pareto Front for Multi-Objective MDPs?
von: Li, Yining, et al.
Veröffentlicht: (2024)

Provably Efficient Multi-Objective Bandit Algorithms under Preference-Centric Customization
von: Cao, Linfeng, et al.
Veröffentlicht: (2025)

On Training Data Influence of GPT Models
von: Chai, Yekun, et al.
Veröffentlicht: (2024)

SWAN-GPT: An Efficient and Scalable Approach for Long-Context Language Modeling
von: Puvvada, Krishna C., et al.
Veröffentlicht: (2025)