Buchumschlag

Fast and Accurate Probing of In-Training LLMs' Downstream Performances

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Zhichen, Lun, Tianle, Wen, Zhibin, An, Hao, Ou, Yulin, Xu, Jianhui, Zhang, Hao, Fang, Wenyi, Zheng, Yang, Xu, Yang
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Scaling Laws for Predicting Downstream Performance in LLMs
von: Chen, Yangyi, et al.
Veröffentlicht: (2024)

Unveiling Downstream Performance Scaling of LLMs: A Clustering-Based Perspective
von: Xu, Chengyin, et al.
Veröffentlicht: (2025)

QaRL: Rollout-Aligned Quantization-Aware RL for Fast and Stable Training under Training--Inference Mismatch
von: Gu, Hao, et al.
Veröffentlicht: (2026)

Graph VQ-Transformer (GVT): Fast and Accurate Molecular Generation via High-Fidelity Discrete Latents
von: Zheng, Haozhuo, et al.
Veröffentlicht: (2025)

Reshaping Reasoning in LLMs: A Theoretical Analysis of RL Training Dynamics through Pattern Selection
von: Chen, Xingwu, et al.
Veröffentlicht: (2025)

Estimating the Effects of Sample Training Orders for Large Language Models without Retraining
von: Yang, Hao, et al.
Veröffentlicht: (2025)

A Theory of Training Profit-Optimal LLMs
von: Hao, Sophie, et al.
Veröffentlicht: (2026)

Junk DNA Hypothesis: Pruning Small Pre-Trained Weights Irreversibly and Monotonically Impairs "Difficult" Downstream Tasks in LLMs
von: Yin, Lu, et al.
Veröffentlicht: (2023)

Value-Based Pre-Training with Downstream Feedback
von: Ke, Shuqi, et al.
Veröffentlicht: (2026)

BWLA: Breaking the Barrier of W1AX Post-Training Quantization for LLMs
von: Zhao, Zhixiong, et al.
Veröffentlicht: (2026)

Vision-Language Model Selection and Reuse for Downstream Adaptation
von: Tan, Hao-Zhe, et al.
Veröffentlicht: (2025)

Finetune-Informed Pretraining Boosts Downstream Performance
von: Faysal, Atik, et al.
Veröffentlicht: (2026)

CAP: Controllable Alignment Prompting for Unlearning in LLMs
von: Wang, Zhaokun, et al.
Veröffentlicht: (2026)

Multi-Value Alignment for LLMs via Value Decorrelation and Extrapolation
von: Xu, Hefei, et al.
Veröffentlicht: (2025)

ENOT: Expectile Regularization for Fast and Accurate Training of Neural Optimal Transport
von: Buzun, Nazar, et al.
Veröffentlicht: (2024)

Achieving binary weight and activation for LLMs using Post-Training Quantization
von: Song, Siqing, et al.
Veröffentlicht: (2025)

EntroPIC: Towards Stable Long-Term Training of LLMs via Entropy Stabilization with Proportional-Integral Control
von: Yang, Kai, et al.
Veröffentlicht: (2025)

Revisiting Counterfactual Regression through the Lens of Gromov-Wasserstein Information Bottleneck
von: Yang, Hao, et al.
Veröffentlicht: (2024)

SliderQuant: Accurate Post-Training Quantization for LLMs
von: Wang, Shigeng, et al.
Veröffentlicht: (2026)

Understanding and Mitigating Bias Inheritance in LLM-based Data Augmentation on Downstream Tasks
von: Li, Miaomiao, et al.
Veröffentlicht: (2025)

When LLM Meets Time Series: Can LLMs Perform Multi-Step Time Series Reasoning and Inference
von: Ye, Wen, et al.
Veröffentlicht: (2025)

Training Overhead Ratio: A Practical Reliability Metric for Large Language Model Training Systems
von: Lu, Ning, et al.
Veröffentlicht: (2024)

Can Differentially Private Fine-tuning LLMs Protect Against Privacy Attacks?
von: Du, Hao, et al.
Veröffentlicht: (2025)

PolicyEvolve: Evolving Programmatic Policies by LLMs for multi-player games via Population-Based Training
von: Lv, Mingrui, et al.
Veröffentlicht: (2025)

Entropy-Guided Data-Efficient Training for Multimodal Reasoning Reward Models
von: Yang, Shidong, et al.
Veröffentlicht: (2026)

Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward
von: An, Hao, et al.
Veröffentlicht: (2025)

D$^2$Quant: Accurate Low-bit Post-Training Weight Quantization for LLMs
von: Yan, Xianglong, et al.
Veröffentlicht: (2026)

Fair Algorithms with Probing for Multi-Agent Multi-Armed Bandits
von: Xu, Tianyi, et al.
Veröffentlicht: (2025)

Reinforcement Learning Fine-Tuning Enhances Activation Intensity and Diversity in the Internal Circuitry of LLMs
von: Zhang, Honglin, et al.
Veröffentlicht: (2025)

PSMGD: Periodic Stochastic Multi-Gradient Descent for Fast Multi-Objective Optimization
von: Xu, Mingjing, et al.
Veröffentlicht: (2024)

CriticBench: Benchmarking LLMs for Critique-Correct Reasoning
von: Lin, Zicheng, et al.
Veröffentlicht: (2024)

Detecting Subtle Differences between Human and Model Languages Using Spectrum of Relative Likelihood
von: Xu, Yang, et al.
Veröffentlicht: (2024)

Ignition Phase : Standard Training for Fast Adversarial Robustness
von: Yu-Hang, Wang, et al.
Veröffentlicht: (2025)

ReST-RL: Achieving Accurate Code Reasoning of LLMs with Optimized Self-Training and Decoding
von: Zhoubian, Sining, et al.
Veröffentlicht: (2025)

Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing
von: Wang, Xu, et al.
Veröffentlicht: (2025)

Erase then Rectify: A Training-Free Parameter Editing Approach for Cost-Effective Graph Unlearning
von: Yang, Zhe-Rui, et al.
Veröffentlicht: (2024)

Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities
von: Liu, Zhichen, et al.
Veröffentlicht: (2026)

Smoothing DiLoCo with Primal Averaging for Faster Training of LLMs
von: Defazio, Aaron, et al.
Veröffentlicht: (2025)

Downstream Task-Oriented Generative Model Selections on Synthetic Data Training for Fraud Detection Models
von: Cheng, Yinan, et al.
Veröffentlicht: (2024)

FiCoTS: Fine-to-Coarse LLM-Enhanced Hierarchical Cross-Modality Interaction for Time Series Forecasting
von: Lyu, Yafei, et al.
Veröffentlicht: (2025)