Buchumschlag

Attention Sinks and Outliers in Attention Residuals

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Luo, Haozheng, Dai, Haoran, Zhang, Shaoyang, Chen, Xi, Jiang, Eric Hanchen, Li, Yijiang, Huang, Jingyuan, Qiu, Chenghao, Xu, Chenwei, Pan, Zhenyu, Zhang, Haotian, Wang, Binghui, Chen, Yan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

FROST: Filtering Reasoning Outliers with Attention for Efficient Reasoning
von: Luo, Haozheng, et al.
Veröffentlicht: (2026)

A Unified View of Attention and Residual Sinks: Outlier-Driven Rescaling is Essential for Transformer Training
von: Qiu, Zihan, et al.
Veröffentlicht: (2026)

GenoArmory: A Unified Evaluation Framework for Adversarial Attacks on Genomic Foundation Models
von: Luo, Haozheng, et al.
Veröffentlicht: (2025)

Contrastive Reasoning Alignment: Reinforcement Learning from Hidden Representations
von: Luo, Haozheng, et al.
Veröffentlicht: (2026)

Prefixing Attention Sinks can Mitigate Activation Outliers for Large Language Model Quantization
von: Son, Seungwoo, et al.
Veröffentlicht: (2024)

Fast and Low-Cost Genomic Foundation Models via Outlier Removal
von: Luo, Haozheng, et al.
Veröffentlicht: (2025)

CTR-Sink: Attention Sink for Language Models in Click-Through Rate Prediction
von: Li, Zixuan, et al.
Veröffentlicht: (2025)

Attention Residuals
von: Kimi Team, et al.
Veröffentlicht: (2026)

Attention Sinks Induce Gradient Sinks: Massive Activations as Gradient Regulators in Transformers
von: Chen, Yihong, et al.
Veröffentlicht: (2026)

SinkTrack: Attention Sink based Context Anchoring for Large Language Models
von: Liu, Xu, et al.
Veröffentlicht: (2026)

On the Existence and Behavior of Secondary Attention Sinks
von: Wong, Jeffrey T. H., et al.
Veröffentlicht: (2025)

When One Modality Rules Them All: Backdoor Modality Collapse in Multimodal Diffusion Models
von: Wang, Qitong, et al.
Veröffentlicht: (2026)

How Attention Sinks Emerge in Large Language Models: An Interpretability Perspective
von: Peng, Runyu, et al.
Veröffentlicht: (2026)

Efficient Streaming Language Models with Attention Sinks
von: Xiao, Guangxuan, et al.
Veröffentlicht: (2023)

SageAttention2: Efficient Attention with Thorough Outlier Smoothing and Per-thread INT4 Quantization
von: Zhang, Jintao, et al.
Veröffentlicht: (2024)

Forgetting to Forget: Attention Sink as A Gateway for Backdooring LLM Unlearning
von: Shang, Bingqi, et al.
Veröffentlicht: (2025)

The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks
von: Sun, Shangwen, et al.
Veröffentlicht: (2026)

Enhancing Imbalanced Node Classification via Curriculum-Guided Feature Learning and Three-Stage Attention Network
von: Fofanah, Abdul Joseph, et al.
Veröffentlicht: (2026)

Delta Attention Residuals
von: Luo, Cheng, et al.
Veröffentlicht: (2026)

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
von: Qiu, Zihan, et al.
Veröffentlicht: (2025)

Attention Sinks in Diffusion Language Models
von: Rulli, Maximo Eduardo, et al.
Veröffentlicht: (2025)

ASAP: Attention Sink Anchored Pruning
von: Lee, Jaehyuk, et al.
Veröffentlicht: (2026)

Conv-CoA: Improving Open-domain Question Answering in Large Language Models via Conversational Chain-of-Action
von: Pan, Zhenyu, et al.
Veröffentlicht: (2024)

Chain-of-Action: Faithful and Multimodal Question Answering through Large Language Models
von: Pan, Zhenyu, et al.
Veröffentlicht: (2024)

Attention Sinks: A 'Catch, Tag, Release' Mechanism for Embeddings
von: Zhang, Stephen, et al.
Veröffentlicht: (2025)

Attention Sink Forges Native MoE in Attention Layers: Sink-Aware Training to Address Head Collapse
von: Fu, Zizhuo, et al.
Veröffentlicht: (2026)

Expandable Residual Approximation for Knowledge Distillation
von: Yan, Zhaoyi, et al.
Veröffentlicht: (2025)

Open-Ended Multi-Modal Relational Reasoning for Video Question Answering
von: Luo, Haozheng, et al.
Veröffentlicht: (2020)

Attention Sink in Transformers: A Survey on Utilization, Interpretation, and Mitigation
von: Su, Zunhai, et al.
Veröffentlicht: (2026)

Multi-Scale Representations by Varying Window Attention for Semantic Segmentation
von: Yan, Haotian, et al.
Veröffentlicht: (2024)

Spectral Filters, Dark Signals, and Attention Sinks
von: Cancedda, Nicola
Veröffentlicht: (2024)

When Attention Sink Emerges in Language Models: An Empirical View
von: Gu, Xiangming, et al.
Veröffentlicht: (2024)

Text Classification Based on Knowledge Graphs and Improved Attention Mechanism
von: Li, Siyu, et al.
Veröffentlicht: (2024)

EDIT: Enhancing Vision Transformers by Mitigating Attention Sink through an Encoder-Decoder Architecture
von: Feng, Wenfeng, et al.
Veröffentlicht: (2025)

SMUTF: Schema Matching Using Generative Tags and Hybrid Features
von: Zhang, Yu, et al.
Veröffentlicht: (2024)

Garbage Attention in Large Language Models: BOS Sink Heads and Sink-aware Pruning
von: Sok, Jaewon, et al.
Veröffentlicht: (2026)

The Structural Origin of Attention Sink: Variance Discrepancy, Super Neurons, and Dimension Disparity
von: Li, Siquan, et al.
Veröffentlicht: (2026)

Attention Sinks in Diffusion Transformers: A Causal Analysis
von: Wu, Fangzheng, et al.
Veröffentlicht: (2026)

Softpick: No Attention Sink, No Massive Activations with Rectified Softmax
von: Zuhri, Zayd M. K., et al.
Veröffentlicht: (2025)

SLASH the Sink: Sharpening Structural Attention Inside LLMs
von: Liu, Yiming, et al.
Veröffentlicht: (2026)