Buchumschlag

Prescriptive Scaling Reveals the Evolution of Language Model Capabilities

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Hanlin, Jin, Jikai, Syrgkanis, Vasilis, Kakade, Sham
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Discovering Hierarchical Latent Capabilities of Language Models via Causal Representation Learning
von: Jin, Jikai, et al.
Veröffentlicht: (2025)

CoLoR-Filter: Conditional Loss Reduction Filtering for Targeted Language Model Pre-training
von: Brandfonbrener, David, et al.
Veröffentlicht: (2024)

Learning Causal Representations from General Environments: Identifiability and Intrinsic Ambiguity
von: Jin, Jikai, et al.
Veröffentlicht: (2023)

Follow My Instruction and Spill the Beans: Scalable Data Extraction from Retrieval-Augmented Generation Systems
von: Qi, Zhenting, et al.
Veröffentlicht: (2024)

EvoLM: In Search of Lost Language Model Training Dynamics
von: Qi, Zhenting, et al.
Veröffentlicht: (2025)

Loss-to-Loss Prediction: Scaling Laws for All Datasets
von: Brandfonbrener, David, et al.
Veröffentlicht: (2024)

Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models
von: Song, Yuda, et al.
Veröffentlicht: (2024)

Repeat After Me: Transformers are Better than State Space Models at Copying
von: Jelassi, Samy, et al.
Veröffentlicht: (2024)

A Study on the Calibration of In-context Learning
von: Zhang, Hanlin, et al.
Veröffentlicht: (2023)

The Partial Testimony of Logs: Evaluation of Language Model Generation under Confounded Model Choice
von: Jin, Jikai, et al.
Veröffentlicht: (2026)

The Role of Sparsity for Length Generalization in Transformers
von: Golowich, Noah, et al.
Veröffentlicht: (2025)

Connections between Schedule-Free Optimizers, AdEMAMix, and Accelerated SGD Variants
von: Morwani, Depen, et al.
Veröffentlicht: (2025)

Peer-Predictive Self-Training for Language Model Reasoning
von: Feng, Shi, et al.
Veröffentlicht: (2026)

Solving Inequality Proofs with Large Language Models
von: Lu, Pan, et al.
Veröffentlicht: (2025)

From Artificial Needles to Real Haystacks: Improving Retrieval Capabilities in LLMs by Finetuning on Synthetic Data
von: Xiong, Zheyang, et al.
Veröffentlicht: (2024)

Disentangling Logic: The Role of Context in Large Language Model Reasoning Capabilities
von: Hua, Wenyue, et al.
Veröffentlicht: (2024)

Structure-agnostic Optimality of Doubly Robust Learning for Treatment Effect Estimation
von: Jin, Jikai, et al.
Veröffentlicht: (2024)

Sharp Structure-Agnostic Lower Bounds for General Linear Functional Estimation
von: Jin, Jikai, et al.
Veröffentlicht: (2025)

CityBench: Evaluating the Capabilities of Large Language Models for Urban Tasks
von: Feng, Jie, et al.
Veröffentlicht: (2024)

Counterfactual Evaluation Reveals Hidden Capability Profiles in Clinical LLMs and Agents
von: Turk, Matt
Veröffentlicht: (2026)

On Calibration of Large Language Models: From Response To Capability
von: Yang, Sin-Han, et al.
Veröffentlicht: (2026)

Exploring and Benchmarking the Planning Capabilities of Large Language Models
von: Bohnet, Bernd, et al.
Veröffentlicht: (2024)

Consistency of Neural Causal Partial Identification
von: Tan, Jiyuan, et al.
Veröffentlicht: (2024)

Quantifying the Capabilities of LLMs across Scale and Precision
von: Badshah, Sher, et al.
Veröffentlicht: (2024)

MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series
von: Zhang, Ge, et al.
Veröffentlicht: (2024)

Generalization v.s. Memorization: Tracing Language Models' Capabilities Back to Pretraining Data
von: Wang, Xinyi, et al.
Veröffentlicht: (2024)

ALPINE: Unveiling the Planning Capability of Autoregressive Learning in Language Models
von: Wang, Siwei, et al.
Veröffentlicht: (2024)

Why Has Predicting Downstream Capabilities of Frontier AI Models with Scale Remained Elusive?
von: Schaeffer, Rylan, et al.
Veröffentlicht: (2024)

Revisiting the Test-Time Scaling of o1-like Models: Do they Truly Possess Test-Time Scaling Capabilities?
von: Zeng, Zhiyuan, et al.
Veröffentlicht: (2025)

EffGen: Enabling Small Language Models as Capable Autonomous Agents
von: Srivastava, Gaurav, et al.
Veröffentlicht: (2026)

Language Diffusion Models are Associative Memories Capable of Retrieving Unseen Data
von: Pham, Bao, et al.
Veröffentlicht: (2026)

Scaling Embeddings Outperforms Scaling Experts in Language Models
von: Liu, Hong, et al.
Veröffentlicht: (2026)

Open Foundation Models in Healthcare: Challenges, Paradoxes, and Opportunities with GenAI Driven Personalized Prescription
von: Alkaeed, Mahdi, et al.
Veröffentlicht: (2025)

Deconstructing What Makes a Good Optimizer for Language Models
von: Zhao, Rosie, et al.
Veröffentlicht: (2024)

Benchmarking the Capabilities of Large Language Models in Transportation System Engineering: Accuracy, Consistency, and Reasoning Behaviors
von: Syed, Usman, et al.
Veröffentlicht: (2024)

Revealing Behavioral Plasticity in Large Language Models: A Token-Conditional Perspective
von: Mao, Liyuan, et al.
Veröffentlicht: (2026)

Sequences of Logits Reveal the Low Rank Structure of Language Models
von: Golowich, Noah, et al.
Veröffentlicht: (2025)

Derivational Morphology Reveals Analogical Generalization in Large Language Models
von: Hofmann, Valentin, et al.
Veröffentlicht: (2024)

Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training
von: Zhuang, Yuchen, et al.
Veröffentlicht: (2025)

PhoneLM:an Efficient and Capable Small Language Model Family through Principled Pre-training
von: Yi, Rongjie, et al.
Veröffentlicht: (2024)