Buchumschlag

Sample-efficient LLM Optimization with Reset Replay

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Zichuan, Wang, Jinyu, Song, Lei, Bian, Jiang
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Higher Replay Ratio Empowers Sample-Efficient Multi-Agent Reinforcement Learning
von: Xu, Linjie, et al.
Veröffentlicht: (2024)

Freshness-Aware Prioritized Experience Replay for LLM/VLM Reinforcement Learning
von: Ma, Weiyu, et al.
Veröffentlicht: (2026)

Internalizing LLM Reasoning via Discovery and Replay of Latent Actions
von: Shi, Zhenning, et al.
Veröffentlicht: (2026)

SPAM: Spike-Aware Adam with Momentum Reset for Stable LLM Training
von: Huang, Tianjin, et al.
Veröffentlicht: (2025)

GeRe: Towards Efficient Anti-Forgetting in Continual Learning of LLM via General Samples Replay
von: Zhang, Yunan, et al.
Veröffentlicht: (2025)

Dataset Reset Policy Optimization for RLHF
von: Chang, Jonathan D., et al.
Veröffentlicht: (2024)

Replay Failures as Successes: Sample-Efficient Reinforcement Learning for Instruction Following
von: Zhang, Kongcheng, et al.
Veröffentlicht: (2025)

Improving RL Exploration for LLM Reasoning through Retrospective Replay
von: Dou, Shihan, et al.
Veröffentlicht: (2025)

RePO: Replay-Enhanced Policy Optimization
von: Li, Siheng, et al.
Veröffentlicht: (2025)

SuRe: Surprise-Driven Prioritised Replay for Continual LLM Learning
von: Hazard, Hugo, et al.
Veröffentlicht: (2025)

Humanizing the Machine: Proxy Attacks to Mislead LLM Detectors
von: Wang, Tianchun, et al.
Veröffentlicht: (2024)

MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
von: Lu, Yiyang, et al.
Veröffentlicht: (2026)

LSPO: Length-aware Dynamic Sampling for Policy Optimization in LLM Reasoning
von: Chen, Weizhe, et al.
Veröffentlicht: (2025)

DISA: Offline Importance Sampling for Distribution-Matching LLM-RL
von: Wang, Shaobo, et al.
Veröffentlicht: (2026)

Replaying pre-training data improves fine-tuning
von: Kotha, Suhas, et al.
Veröffentlicht: (2026)

GRASS: Gradient-based Adaptive Layer-wise Importance Sampling for Memory-efficient Large Language Model Fine-tuning
von: Tian, Kaiyuan, et al.
Veröffentlicht: (2026)

Balancing Synthetic Data and Replay for Enhancing Task-Specific Capabilities
von: Spiegelhalter, Urs, et al.
Veröffentlicht: (2025)

Improving Data Efficiency for LLM Reinforcement Fine-tuning Through Difficulty-targeted Online Data Selection and Rollout Replay
von: Sun, Yifan, et al.
Veröffentlicht: (2025)

Training-free LLM Merging for Multi-task Learning
von: Fu, Zichuan, et al.
Veröffentlicht: (2025)

On multi-token prediction for efficient LLM inference
von: Mehra, Somesh, et al.
Veröffentlicht: (2025)

From Signal Degradation to Computation Collapse: Uncovering the Two Failure Modes of LLM Quantization
von: Zhou, Chenxi, et al.
Veröffentlicht: (2026)

Preference Optimization with Multi-Sample Comparisons
von: Wang, Chaoqi, et al.
Veröffentlicht: (2024)

HeaPA: Difficulty-Aware Heap Sampling and On-Policy Query Augmentation for LLM Reinforcement Learning
von: Wang, Weiqi, et al.
Veröffentlicht: (2026)

A Minimalist Approach to LLM Reasoning: from Rejection Sampling to Reinforce
von: Xiong, Wei, et al.
Veröffentlicht: (2025)

Threshold Filtering Packing for Supervised Fine-Tuning: Training Related Samples within Packs
von: Dong, Jiancheng, et al.
Veröffentlicht: (2024)

Prioritized Replay for RL Post-training
von: Fatemi, Mehdi
Veröffentlicht: (2026)

MPO: Boosting LLM Agents with Meta Plan Optimization
von: Xiong, Weimin, et al.
Veröffentlicht: (2025)

FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning
von: Feng, Yujie, et al.
Veröffentlicht: (2026)

Dial-In LLM: Human-Aligned LLM-in-the-loop Intent Clustering for Customer Service Dialogues
von: Hong, Mengze, et al.
Veröffentlicht: (2024)

Adaptive Memory Replay for Continual Learning
von: Smith, James Seale, et al.
Veröffentlicht: (2024)

AtP*: An efficient and scalable method for localizing LLM behaviour to components
von: Kramár, János, et al.
Veröffentlicht: (2024)

Enhancing LLM Safety via Constrained Direct Preference Optimization
von: Liu, Zixuan, et al.
Veröffentlicht: (2024)

Simplicity Prevails: Rethinking Negative Preference Optimization for LLM Unlearning
von: Fan, Chongyu, et al.
Veröffentlicht: (2024)

AccelOpt: A Self-Improving LLM Agentic System for AI Accelerator Kernel Optimization
von: Zhang, Genghan, et al.
Veröffentlicht: (2025)

SOUL: Unlocking the Power of Second-Order Optimization for LLM Unlearning
von: Jia, Jinghan, et al.
Veröffentlicht: (2024)

MagicPIG: LSH Sampling for Efficient LLM Generation
von: Chen, Zhuoming, et al.
Veröffentlicht: (2024)

Boundary-Guided Policy Optimization for Memory-efficient RL of Diffusion Large Language Models
von: Lin, Nianyi, et al.
Veröffentlicht: (2025)

POET-X: Memory-efficient LLM Training by Scaling Orthogonal Transformation
von: Qiu, Zeju, et al.
Veröffentlicht: (2026)

Data Driven Optimization of GPU efficiency for Distributed LLM Adapter Serving
von: Agullo, Ferran, et al.
Veröffentlicht: (2026)

Flipping Against All Odds: Reducing LLM Coin Flip Bias via Verbalized Rejection Sampling
von: Xiao, Tim Z., et al.
Veröffentlicht: (2025)