Buchumschlag

Entropy Regularizing Activation: Boosting Continuous Control, Large Language Models, and Image Classification with Activation as Entropy Constraints

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kang, Zilin, Liao, Chonghua, Xu, Tingqiang, Xu, Huazhe
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Forget-and-Grow Strategy for Deep Reinforcement Learning Scaling in Continuous Control
von: Kang, Zilin, et al.
Veröffentlicht: (2025)

ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization
von: Ji, Tianying, et al.
Veröffentlicht: (2024)

Fine-Tuning of Continuous-Time Diffusion Models as Entropy-Regularized Control
von: Uehara, Masatoshi, et al.
Veröffentlicht: (2024)

Large Language Model Compression via the Nested Activation-Aware Decomposition
von: Lu, Jun, et al.
Veröffentlicht: (2025)

Fast Policy Learning for Linear Quadratic Control with Entropy Regularization
von: Guo, Xin, et al.
Veröffentlicht: (2023)

Rethinking Entropy Regularization in Large Reasoning Models
von: Jiang, Yuxian, et al.
Veröffentlicht: (2025)

Entropy-Regularized Token-Level Policy Optimization for Language Agent Reinforcement
von: Wen, Muning, et al.
Veröffentlicht: (2024)

E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity
von: Li, Yun, et al.
Veröffentlicht: (2023)

Entropy-Regularized Process Reward Model
von: Zhang, Hanning, et al.
Veröffentlicht: (2024)

TemplateRL: Structured Template-Guided Reinforcement Learning for LLM Reasoning
von: Wu, Jinyang, et al.
Veröffentlicht: (2025)

Boosting Entropy with Bell Box Quantization
von: Yang, Ningfeng, et al.
Veröffentlicht: (2026)

Clip-Low Increases Entropy and Clip-High Decreases Entropy in Reinforcement Learning of Large Language Models
von: Park, Jaesung R., et al.
Veröffentlicht: (2025)

Internal Value Alignment in Large Language Models through Controlled Value Vector Activation
von: Jin, Haoran, et al.
Veröffentlicht: (2025)

Massive Activations in Large Language Models
von: Sun, Mingjie, et al.
Veröffentlicht: (2024)

Mixture of Message Passing Experts with Routing Entropy Regularization for Node Classification
von: Chen, Xuanze, et al.
Veröffentlicht: (2025)

Entropy Reweighted Conformal Classification
von: Luo, Rui, et al.
Veröffentlicht: (2024)

State Entropy Regularization for Robust Reinforcement Learning
von: Ashlag, Yonatan, et al.
Veröffentlicht: (2025)

Refined Analysis of Entropy-Regularized Actor-Critic
von: Labbi, Safwan, et al.
Veröffentlicht: (2026)

Generative Flow Networks as Entropy-Regularized RL
von: Tiapkin, Daniil, et al.
Veröffentlicht: (2023)

Flow Density Control: Generative Optimization Beyond Entropy-Regularized Fine-Tuning
von: De Santi, Riccardo, et al.
Veröffentlicht: (2025)

Mitigating the Impact of Outlier Channels for Language Model Quantization with Activation Regularization
von: Nrusimha, Aniruddha, et al.
Veröffentlicht: (2024)

Delta Activations: A Representation for Finetuned Large Language Models
von: Xu, Zhiqiu, et al.
Veröffentlicht: (2025)

First Activations Matter: Training-Free Methods for Dynamic Activation in Large Language Models
von: Ma, Chi, et al.
Veröffentlicht: (2024)

Convergence Theorems for Entropy-Regularized and Distributional Reinforcement Learning
von: Jhaveri, Yash, et al.
Veröffentlicht: (2025)

Universal Properties of Activation Sparsity in Modern Large Language Models
von: Szatkowski, Filip, et al.
Veröffentlicht: (2025)

Unleashing the Power of Pre-trained Language Models for Offline Reinforcement Learning
von: Shi, Ruizhe, et al.
Veröffentlicht: (2023)

Model-Free Inference of Investor Preferences: A Relative Entropy IRL Approach
von: Xu, Chen
Veröffentlicht: (2026)

Facies Classification with Copula Entropy
von: Ma, Jian
Veröffentlicht: (2025)

On the Entropy Dynamics in Reinforcement Fine-Tuning of Large Language Models
von: Wang, Shumin, et al.
Veröffentlicht: (2026)

Optimizing Learned Image Compression on Scalar and Entropy-Constraint Quantization
von: Borzechowski, Florian, et al.
Veröffentlicht: (2025)

Steering Large Language Model Activations in Sparse Spaces
von: Bayat, Reza, et al.
Veröffentlicht: (2025)

DittoGym: Learning to Control Soft Shape-Shifting Robots
von: Huang, Suning, et al.
Veröffentlicht: (2024)

World Models with Hints of Large Language Models for Goal Achieving
von: Liu, Zeyuan, et al.
Veröffentlicht: (2024)

ERPPO: Entropy Regularization-based Proximal Policy Optimization
von: Lee, Changha, et al.
Veröffentlicht: (2026)

Energy-Entropy Regularization: The True Power of Minimal Looped Transformers
von: Lam, Wai-Lun
Veröffentlicht: (2026)

Understanding and Preventing Entropy Collapse in RLVR with On-Policy Entropy Flow Optimization
von: Xu, Huimin, et al.
Veröffentlicht: (2026)

Fine-Tuning Large Language Models to Appropriately Abstain with Semantic Entropy
von: Tjandra, Benedict Aaron, et al.
Veröffentlicht: (2024)

Decoding Rewards in Competitive Games: Inverse Game Theory with Entropy Regularization
von: Liao, Junyi, et al.
Veröffentlicht: (2026)

Hyperbolic Continuous Structural Entropy for Hierarchical Clustering
von: Zeng, Guangjie, et al.
Veröffentlicht: (2025)

On the Entropy Calibration of Language Models
von: Cao, Steven, et al.
Veröffentlicht: (2025)