Buchumschlag

LayerNorm Induces Recency Bias in Transformer Decoders

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Junu, Liu, Xiao, Lin, Zhenghao, Ji, Lei, Gong, Yeyun, Choi, Edward
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SLaNC: Static LayerNorm Calibration
von: Salmani, Mahsa, et al.
Veröffentlicht: (2024)

Post-LayerNorm Is Back: Stable, ExpressivE, and Deep
von: Chen, Chen, et al.
Veröffentlicht: (2026)

You can remove GPT2's LayerNorm by fine-tuning
von: Heimersheim, Stefan
Veröffentlicht: (2024)

LayerNorm: A key component in parameter-efficient fine-tuning
von: ValizadehAslani, Taha, et al.
Veröffentlicht: (2024)

When Does Removing LayerNorm Help? Activation Bounding as a Regime-Dependent Implicit Regularizer
von: Verma, Lucky
Veröffentlicht: (2026)

On the Role of Attention Masks and LayerNorm in Transformers
von: Wu, Xinyi, et al.
Veröffentlicht: (2024)

Geometry and Dynamics of LayerNorm
von: Riechers, Paul M.
Veröffentlicht: (2024)

Transformers Don't Need LayerNorm at Inference Time: Scaling LayerNorm Removal to GPT-2 XL and the Implications for Mechanistic Interpretability
von: Baroni, Luca, et al.
Veröffentlicht: (2025)

DynamixSFT: Dynamic Mixture Optimization of Instruction Tuning Collections
von: Shin, Haebin, et al.
Veröffentlicht: (2025)

Impact of Layer Norm on Memorization and Generalization in Transformers
von: Singhal, Rishi, et al.
Veröffentlicht: (2025)

SOLE: Hardware-Software Co-design of Softmax and LayerNorm for Efficient Transformer Inference
von: Wang, Wenxun, et al.
Veröffentlicht: (2025)

Data Mixing Agent: Learning to Re-weight Domains for Continual Pre-training
von: Yang, Kailai, et al.
Veröffentlicht: (2025)

General-Purpose Retrieval-Enhanced Medical Prediction Model Using Near-Infinite History
von: Kim, Junu, et al.
Veröffentlicht: (2023)

MoETTA: Test-Time Adaptation Under Mixed Distribution Shifts with MoE-LayerNorm
von: Fan, Xiao, et al.
Veröffentlicht: (2025)

APOLLO: An Optimized Training Approach for Long-form Numerical Reasoning
von: Sun, Jiashuo, et al.
Veröffentlicht: (2022)

Integrative Decoding: Improve Factuality via Implicit Self-consistency
von: Cheng, Yi, et al.
Veröffentlicht: (2024)

Optimizing Large Language Model Training Using FP4 Quantization
von: Wang, Ruizhe, et al.
Veröffentlicht: (2025)

Ensembling Large Language Models with Process Reward-Guided Tree Search for Better Complex Reasoning
von: Park, Sungjin, et al.
Veröffentlicht: (2024)

Concept Drift Guided LayerNorm Tuning for Efficient Multimodal Metaphor Identification
von: Qian, Wenhao, et al.
Veröffentlicht: (2025)

Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA
von: Bae, Sangmin, et al.
Veröffentlicht: (2024)

DEL: Context-Aware Dynamic Exit Layer for Efficient Self-Speculative Decoding
von: Zarch, Hossein Entezari, et al.
Veröffentlicht: (2025)

GeoNorm: Unify Pre-Norm and Post-Norm with Geodesic Optimization
von: Zheng, Chuanyang, et al.
Veröffentlicht: (2026)

SpanNorm: Reconciling Training Stability and Performance in Deep Transformers
von: Wang, Chao, et al.
Veröffentlicht: (2026)

PolarQuant: Leveraging Polar Transformation for Efficient Key Cache Quantization and Decoding Acceleration
von: Wu, Songhao, et al.
Veröffentlicht: (2025)

SwS: Self-aware Weakness-driven Problem Synthesis in Reinforcement Learning for LLM Reasoning
von: Liang, Xiao, et al.
Veröffentlicht: (2025)

ConfLayers: Adaptive Confidence-based Layer Skipping for Self-Speculative Decoding
von: Amer, Walaa, et al.
Veröffentlicht: (2026)

On The Adaptation of Unlimiformer for Decoder-Only Transformers
von: Ahrabian, Kian, et al.
Veröffentlicht: (2024)

Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation
von: Gui, Lujun, et al.
Veröffentlicht: (2024)

Improving Data and Reward Design for Scientific Reasoning in Large Language Models
von: Chen, Zijie, et al.
Veröffentlicht: (2026)

Overcoming Vocabulary Mismatch: Vocabulary-agnostic Teacher Guided Language Modeling
von: Shin, Haebin, et al.
Veröffentlicht: (2025)

Red-Teaming for Inducing Societal Bias in Large Language Models
von: Luo, Chu Fei, et al.
Veröffentlicht: (2024)

Federated Learning for Heterogeneous Electronic Health Record Systems with Cost Effective Participant Selection
von: Kim, Jiyoun, et al.
Veröffentlicht: (2024)

Dissociating Decodability and Causal Use in Bracket-Sequence Transformers
von: Sharma, Aryan, et al.
Veröffentlicht: (2026)

How Powerful are Decoder-Only Transformer Neural Models?
von: Roberts, Jesse
Veröffentlicht: (2023)

Learning to Skip the Middle Layers of Transformers
von: Lawson, Tim, et al.
Veröffentlicht: (2025)

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
von: Chuang, Yung-Sung, et al.
Veröffentlicht: (2023)

Linear Recency Bias During Training Improves Transformers' Fit to Reading Times
von: Clark, Christian, et al.
Veröffentlicht: (2024)

Associative-State Universal Transformers: Sparse Retrieval Meets Structured Recurrence
von: Xiao, Liu
Veröffentlicht: (2026)

Faster Transformer Decoding: N-gram Masked Self-Attention
von: Chelba, Ciprian, et al.
Veröffentlicht: (2020)

Multi-lingual Multi-institutional Electronic Health Record based Predictive Model
von: Hur, Kyunghoon, et al.
Veröffentlicht: (2026)