Buchumschlag

Demystifying Reasoning Dynamics with Mutual Information: Thinking Tokens are Information Peaks in LLM Reasoning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qian, Chen, Liu, Dongrui, Wen, Haochen, Bai, Zhen, Liu, Yong, Shao, Jing
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

ReasonAny: Incorporating Reasoning Capability to Any Model via Simple and Effective Model Merging
von: Yang, Junyao, et al.
Veröffentlicht: (2026)

How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning
von: Chen, Haoyang, et al.
Veröffentlicht: (2026)

Dynamic Thinking-Token Selection for Efficient Reasoning in Large Reasoning Models
von: Guo, Zhenyuan, et al.
Veröffentlicht: (2026)

Conditional Advantage Estimation for Reinforcement Learning in Large Reasoning Models
von: Chen, Guanxu, et al.
Veröffentlicht: (2025)

Entropy-Gradient Inversion: Moving Toward Internal Mechanism of Large Reasoning Models
von: Yang, Junyao, et al.
Veröffentlicht: (2026)

LLMs are Single-threaded Reasoners: Demystifying the Working Mechanism of Soft Thinking
von: Wu, Junhong, et al.
Veröffentlicht: (2025)

Rethinking Entropy Regularization in Large Reasoning Models
von: Jiang, Yuxian, et al.
Veröffentlicht: (2025)

Loop as a Bridge: Can Looped Transformers Truly Link Representation Space and Natural Language Outputs?
von: Chen, Guanxu, et al.
Veröffentlicht: (2026)

Towards Tracing Trustworthiness Dynamics: Revisiting Pre-training Period of Large Language Models
von: Qian, Chen, et al.
Veröffentlicht: (2024)

HeartLLM: Discretized ECG Tokenization for LLM-Based Diagnostic Reasoning
von: Yang, Jinning, et al.
Veröffentlicht: (2025)

LED-Merging: Mitigating Safety-Utility Conflicts in Model Merging with Location-Election-Disjoint
von: Ma, Qianli, et al.
Veröffentlicht: (2025)

Efficient Reasoning with Balanced Thinking
von: Li, Yulin, et al.
Veröffentlicht: (2026)

Safety Compliance: Rethinking LLM Safety Reasoning through the Lens of Compliance
von: Hu, Wenbin, et al.
Veröffentlicht: (2025)

Think or Not? Exploring Thinking Efficiency in Large Reasoning Models via an Information-Theoretic Lens
von: Yong, Xixian, et al.
Veröffentlicht: (2025)

Extending Token Computation for LLM Reasoning
von: Liao, Bingli, et al.
Veröffentlicht: (2024)

The LLM Already Knows: Estimating LLM-Perceived Question Difficulty via Hidden Representations
von: Zhu, Yubo, et al.
Veröffentlicht: (2025)

How Much Can RAG Help the Reasoning of LLM?
von: Liu, Jingyu, et al.
Veröffentlicht: (2024)

Rethinking External Slow-Thinking: From Snowball Errors to Probability of Correct Reasoning
von: Gan, Zeyu, et al.
Veröffentlicht: (2025)

ExGRPO: Learning to Reason from Experience
von: Zhan, Runzhe, et al.
Veröffentlicht: (2025)

Do Thinking Tokens Help or Trap? Towards More Efficient Large Reasoning Model
von: Ding, Bowen, et al.
Veröffentlicht: (2025)

REEF: Representation Encoding Fingerprints for Large Language Models
von: Zhang, Jie, et al.
Veröffentlicht: (2024)

Token-Budget-Aware LLM Reasoning
von: Han, Tingxu, et al.
Veröffentlicht: (2024)

SAT: Balancing Reasoning Accuracy and Efficiency with Stepwise Adaptive Thinking
von: Huang, Weiyang, et al.
Veröffentlicht: (2026)

Route-and-Reason: Scaling Large Language Model Reasoning with Reinforced Model Router
von: Shao, Chenyang, et al.
Veröffentlicht: (2025)

Training LLMs Beyond Next Token Prediction -- Filling the Mutual Information Gap
von: Yang, Chun-Hao, et al.
Veröffentlicht: (2025)

Anti-Self-Distillation for Reasoning RL via Pointwise Mutual Information
von: Shen, Guobin, et al.
Veröffentlicht: (2026)

LLM Reasoners: New Evaluation, Library, and Analysis of Step-by-Step Reasoning with Large Language Models
von: Hao, Shibo, et al.
Veröffentlicht: (2024)

Thinking Fast, Thinking Wrong: Intuitiveness Modulates LLM Counterfactual Reasoning in Policy Evaluation
von: He, Yanjie
Veröffentlicht: (2026)

SwiReasoning: Switch-Thinking in Latent and Explicit for Pareto-Superior Reasoning LLMs
von: Shi, Dachuan, et al.
Veröffentlicht: (2025)

Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge
von: Saha, Swarnadeep, et al.
Veröffentlicht: (2025)

Thinking by Subtraction: Confidence-Driven Contrastive Decoding for LLM Reasoning
von: Tang, Lexiang, et al.
Veröffentlicht: (2026)

Think Clearly: Improving Reasoning via Redundant Token Pruning
von: Choi, Daewon, et al.
Veröffentlicht: (2025)

Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge
von: Tang, Yao, et al.
Veröffentlicht: (2026)

Revisiting the Uniform Information Density Hypothesis in LLM Reasoning
von: Gwak, Minju, et al.
Veröffentlicht: (2025)

Controlling Thinking Speed in Reasoning Models
von: Lin, Zhengkai, et al.
Veröffentlicht: (2025)

InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models
von: Yan, Yuchen, et al.
Veröffentlicht: (2025)

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning
von: Li, Zheng, et al.
Veröffentlicht: (2025)

MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs
von: Zeng, Zhongshen, et al.
Veröffentlicht: (2024)

When Can Large Reasoning Models Save Thinking? Mechanistic Analysis of Behavioral Divergence in Reasoning
von: Zhu, Rongzhi, et al.
Veröffentlicht: (2025)

InftyThink+: Effective and Efficient Infinite-Horizon Reasoning via Reinforcement Learning
von: Yan, Yuchen, et al.
Veröffentlicht: (2026)