Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Huimin, Zhao, Shuai, Wu, Xiaobao, Luu, Anh Tuan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

HEALing Entropy Collapse: Enhancing Exploration in Few-Shot RLVR via Hybrid-Domain Entropy Dynamics Alignment
von: Liu, Zhanyu, et al.
Veröffentlicht: (2026)

Towards the TopMost: A Topic Modeling System Toolkit
von: Wu, Xiaobao, et al.
Veröffentlicht: (2023)

Rethinking Entropy Interventions in RLVR: An Entropy Change Perspective
von: Hao, Zhezheng, et al.
Veröffentlicht: (2025)

Upper Entropy for 2-Monotone Lower Probabilities
von: Vu, Tuan-Anh, et al.
Veröffentlicht: (2026)

CURE: Critical-Token-Guided Re-Concatenation for Entropy-Collapse Prevention
von: Li, Qingbin, et al.
Veröffentlicht: (2025)

Spectral Entropy Collapse as a Phase Transition in Delayed Generalisation: An Interventional and Predictive Framework for Grokkin
von: Khanh, Truong Xuan, et al.
Veröffentlicht: (2026)

LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning
von: Kang, Haoqiang, et al.
Veröffentlicht: (2026)

Asymmetric Advantage Modulation Calibrates Entropy Dynamics in RLVR
von: Gu, Hengrui, et al.
Veröffentlicht: (2026)

Flexible Entropy Control in RLVR with a Gradient-Preserving Perspective
von: Chen, Kun, et al.
Veröffentlicht: (2026)

When Maximum Entropy Misleads Policy Optimization
von: Zhang, Ruipeng, et al.
Veröffentlicht: (2025)

ESPO: Entropy Importance Sampling Policy Optimization
von: Sheng, Yuepeng, et al.
Veröffentlicht: (2025)

ERPO: Token-Level Entropy-Regulated Policy Optimization for Large Reasoning Models
von: Yu, Song, et al.
Veröffentlicht: (2026)

Exploration vs Exploitation: Rethinking RLVR through Clipping, Entropy, and Spurious Reward
von: Chen, Peter, et al.
Veröffentlicht: (2025)

Maximum Entropy On-Policy Actor-Critic via Entropy Advantage Estimation
von: Choe, Jean Seong Bjorn, et al.
Veröffentlicht: (2024)

Agentic Entropy-Balanced Policy Optimization
von: Dong, Guanting, et al.
Veröffentlicht: (2025)

Delay, Plateau, or Collapse: Evaluating the Impact of Systematic Verification Error on RLVR
von: Egashira, Kazuki, et al.
Veröffentlicht: (2026)

EP-GRPO: Entropy-Progress Aligned Group Relative Policy Optimization with Implicit Process Guidance
von: Yu, Song, et al.
Veröffentlicht: (2026)

Listwise Policy Optimization: Group-based RLVR as Target-Projection on the LLM Response Simplex
von: Qu, Yun, et al.
Veröffentlicht: (2026)

Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement
von: Wen, Muning, et al.
Veröffentlicht: (2024)

CLIPO: Contrastive Learning in Policy Optimization Generalizes RLVR
von: Cui, Sijia, et al.
Veröffentlicht: (2026)

Avoiding Premature Collapse: Adaptive Annealing for Entropy-Regularized Structural Inference
von: Liu, Yizhi
Veröffentlicht: (2026)

RLVR without Ineffective Samples: Group Prioritized Off-Policy Optimization for LLM Reasoning
von: Mao, Yixiu, et al.
Veröffentlicht: (2026)

Maximum Entropy Reinforcement Learning with Diffusion Policy
von: Dong, Xiaoyi, et al.
Veröffentlicht: (2025)

Unsupervised Hallucination Detection by Inspecting Reasoning Processes
von: Srey, Ponhvoan, et al.
Veröffentlicht: (2025)

Reasoning Paths Optimization: Learning to Reason and Explore From Diverse Paths
von: Chia, Yew Ken, et al.
Veröffentlicht: (2024)

ECHO: Entropy-Confidence Hybrid Optimization for Test-Time Reinforcement Learning
von: Zhao, Chu, et al.
Veröffentlicht: (2026)

Revisiting Mixture Policies in Entropy-Regularized Actor-Critic
von: He, Jiamin, et al.
Veröffentlicht: (2026)

Controllable Exploration in Hybrid-Policy RLVR for Multi-Modal Reasoning
von: Huang, Zhuoxu, et al.
Veröffentlicht: (2026)

Mind Your Entropy: From Maximum Entropy to Trajectory Entropy-Constrained RL
von: Zhan, Guojian, et al.
Veröffentlicht: (2025)

A Survey on Neural Topic Models: Methods, Applications, and Challenges
von: Wu, Xiaobao, et al.
Veröffentlicht: (2024)

A Comprehensive Survey of Direct Preference Optimization: Datasets, Theories, Variants, and Applications
von: Xiao, Wenyi, et al.
Veröffentlicht: (2024)

Policy Gradient with Adaptive Entropy Annealing for Continual Fine-Tuning
von: Zhang, Yaqian, et al.
Veröffentlicht: (2026)

GTPO: Stabilizing Group Relative Policy Optimization via Gradient and Entropy Control
von: Simoni, Marco, et al.
Veröffentlicht: (2025)

Entropy-Gated Selective Policy Optimization:Token-Level Gradient Allocation for Hybrid Training of Large Language Models
von: Hu, Yuelin, et al.
Veröffentlicht: (2026)

Entropy-Guided Dynamic Tokens for Graph-LLM Alignment in Molecular Understanding
von: Jing, Zihao, et al.
Veröffentlicht: (2026)

AEGPO: Adaptive Entropy-Guided Policy Optimization for Diffusion Models
von: Li, Yuming, et al.
Veröffentlicht: (2026)

EntropyStop: Unsupervised Deep Outlier Detection with Loss Entropy
von: Huang, Yihong, et al.
Veröffentlicht: (2024)

Low-rank Optimization Trajectories Modeling for LLM RLVR Acceleration
von: Chen, Zhipeng, et al.
Veröffentlicht: (2026)

ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization
von: Ji, Tianying, et al.
Veröffentlicht: (2024)

PPO-BR: Dual-Signal Entropy-Reward Adaptation for Trust Region Policy Optimization
von: Rahman, Ben
Veröffentlicht: (2025)