Buchumschlag

A Single Layer to Explain Them All:Understanding Massive Activations in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Shi, Zeru, Wang, Zhenting, Yang, Fan, Wang, Qifan, Tang, Ruixiang
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Read the Scene, Not the Script: Outcome-Aware Safety for LLMs
von: Wu, Rui, et al.
Veröffentlicht: (2025)

Auto-Prompt Generation is Not Robust: Prompt Optimization Driven by Pseudo Gradient
von: Shi, Zeru, et al.
Veröffentlicht: (2024)

Meaningless Tokens, Meaningful Gains: How Activation Shifts Enhance LLM Reasoning
von: Shi, Zeru, et al.
Veröffentlicht: (2025)

Can Large Vision-Language Models Detect Images Copyright Infringement from GenAI?
von: Xu, Qipan, et al.
Veröffentlicht: (2025)

Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models
von: Zeng, Qingcheng, et al.
Veröffentlicht: (2024)

Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension
von: Fang, Yanbo, et al.
Veröffentlicht: (2025)

AgentForesight: Online Auditing for Early Failure Prediction in Multi-Agent Systems
von: Zhang, Boxuan, et al.
Veröffentlicht: (2026)

TokenSeek: Memory Efficient Fine Tuning via Instance-Aware Token Ditching
von: Zeng, Runjia, et al.
Veröffentlicht: (2026)

Do They Understand Them? An Updated Evaluation on Nonbinary Pronoun Handling in Large Language Models
von: Tang, Xushuo, et al.
Veröffentlicht: (2025)

Massive Activations in Large Language Models
von: Sun, Mingjie, et al.
Veröffentlicht: (2024)

Disentangling Memory and Reasoning Ability in Large Language Models
von: Jin, Mingyu, et al.
Veröffentlicht: (2024)

DBR: Divergence-Based Regularization for Debiasing Natural Language Understanding Models
von: Li, Zihao, et al.
Veröffentlicht: (2025)

Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding
von: Jin, Mingyu, et al.
Veröffentlicht: (2025)

Q-Sparse: All Large Language Models can be Fully Sparsely-Activated
von: Wang, Hongyu, et al.
Veröffentlicht: (2024)

PromptBridge: Cross-Model Prompt Transfer for Large Language Models
von: Wang, Yaxuan, et al.
Veröffentlicht: (2025)

CounterBench: Evaluating and Improving Counterfactual Reasoning in Large Language Models
von: Chen, Yuefei, et al.
Veröffentlicht: (2025)

When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals
von: Wu, Rui, et al.
Veröffentlicht: (2026)

LTD-Bench: Evaluating Large Language Models by Letting Them Draw
von: Lin, Liuhao, et al.
Veröffentlicht: (2025)

Quantifying Generalization Complexity for Large Language Models
von: Qi, Zhenting, et al.
Veröffentlicht: (2024)

Exploring Concept Depth: How Large Language Models Acquire Knowledge and Concept at Different Layers?
von: Jin, Mingyu, et al.
Veröffentlicht: (2024)

Time Series Forecasting with LLMs: Understanding and Enhancing Model Capabilities
von: Tang, Hua, et al.
Veröffentlicht: (2024)

A Single-Layer Model Can Do Language Modeling
von: Wang, Zanmin
Veröffentlicht: (2026)

Embracing Anisotropy: Turning Massive Activations into Interpretable Control Knobs for Large Language Models
von: Roh, Youngji, et al.
Veröffentlicht: (2026)

Understanding Performance Collapse in Layer-Pruned Large Language Models via Decision Representation Transitions
von: Shi, Boyu, et al.
Veröffentlicht: (2026)

Grimoire is All You Need for Enhancing Large Language Models
von: Chen, Ding, et al.
Veröffentlicht: (2024)

Mirror, Mirror on the Wall -- Which is the Best Model of Them All?
von: Sayed, Dina, et al.
Veröffentlicht: (2025)

One-for-All Pruning: A Universal Model for Customized Compression of Large Language Models
von: Ye, Rongguang, et al.
Veröffentlicht: (2025)

Direct Simultaneous Translation Activation for Large Audio-Language Models
von: Zhang, Pei, et al.
Veröffentlicht: (2025)

GraphArena: Evaluating and Exploring Large Language Models on Graph Computation
von: Tang, Jianheng, et al.
Veröffentlicht: (2024)

GCoder: Improving Large Language Model for Generalized Graph Problem Solving
von: Zhang, Qifan, et al.
Veröffentlicht: (2024)

Induction Head Toxicity Mechanistically Explains Repetition Curse in Large Language Models
von: Wang, Shuxun, et al.
Veröffentlicht: (2025)

FaithLM: Towards Faithful Explanations for Large Language Models
von: Chuang, Yu-Neng, et al.
Veröffentlicht: (2024)

One Refiner to Unlock Them All: Inference-Time Reasoning Elicitation via Reinforcement Query Refinement
von: Zhou, Yixiao, et al.
Veröffentlicht: (2026)

Reinforcing Consistency in Video MLLMs with Structured Rewards
von: Quan, Yihao, et al.
Veröffentlicht: (2026)

Not All Jokes Land: Evaluating Large Language Models Understanding of Workplace Humor
von: Shafiei, Mohammadamin, et al.
Veröffentlicht: (2025)

Large Language Models Decide Early and Explain Later
von: Datta, Ayan, et al.
Veröffentlicht: (2026)

How Tokenization Limits Phonological Knowledge Representation in Language Models and How to Improve Them
von: Liao, Disen, et al.
Veröffentlicht: (2026)

One Ring to Rule Them All: Unifying Group-Based RL via Dynamic Power-Mean Geometry
von: Zhao, Weisong, et al.
Veröffentlicht: (2026)

Understanding the Interplay between Parametric and Contextual Knowledge for Large Language Models
von: Cheng, Sitao, et al.
Veröffentlicht: (2024)

Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection
von: Li, Moxin, et al.
Veröffentlicht: (2024)