Buchumschlag

Impact of Layer Norm on Memorization and Generalization in Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Singhal, Rishi, Kim, Jung-Eun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TTOM: Test-Time Optimization and Memorization for Compositional Video Generation
von: Qu, Leigang, et al.
Veröffentlicht: (2025)

Quantifying In-Context Reasoning Effects and Memorization Effects in LLMs
von: Lou, Siyu, et al.
Veröffentlicht: (2024)

Frozen Transformers in Language Models Are Effective Visual Encoder Layers
von: Pang, Ziqi, et al.
Veröffentlicht: (2023)

AttnLRP: Attention-Aware Layer-Wise Relevance Propagation for Transformers
von: Achtibat, Reduan, et al.
Veröffentlicht: (2024)

We Should Separate Memorization from Copyright
von: Haviv, Adi, et al.
Veröffentlicht: (2026)

Explainable AI: Context-Aware Layer-Wise Integrated Gradients for Explaining Transformer Models
von: Mersha, Melkamu Abay, et al.
Veröffentlicht: (2026)

RESQUE: Quantifying Estimator to Task and Distribution Shift for Sustainable Model Reusability
von: Sangarya, Vishwesh, et al.
Veröffentlicht: (2024)

A General and Efficient Training for Transformer via Token Expansion
von: Huang, Wenxuan, et al.
Veröffentlicht: (2024)

Memorization In Stable Diffusion Is Unexpectedly Driven by CLIP Embeddings
von: Kim, Bumjun, et al.
Veröffentlicht: (2026)

Accelerating Vision Transformers with Adaptive Patch Sizes
von: Choudhury, Rohan, et al.
Veröffentlicht: (2025)

Rare-to-Frequent: Unlocking Compositional Generation Power of Diffusion Models on Rare Concepts with LLM Guidance
von: Park, Dongmin, et al.
Veröffentlicht: (2024)

MoLEx: Mixture of Layer Experts for Finetuning with Sparse Upcycling
von: Teo, Rachel S. Y., et al.
Veröffentlicht: (2025)

Tracing Representation Progression: Analyzing and Enhancing Layer-Wise Similarity
von: Jiang, Jiachen, et al.
Veröffentlicht: (2024)

Transforming Science with Large Language Models: A Survey on AI-assisted Scientific Discovery, Experimentation, Content Generation, and Evaluation
von: Eger, Steffen, et al.
Veröffentlicht: (2025)

Captured by Captions: On Memorization and its Mitigation in CLIP Models
von: Wang, Wenhao, et al.
Veröffentlicht: (2025)

Transformers without Normalization
von: Zhu, Jiachen, et al.
Veröffentlicht: (2025)

On Memorization in Diffusion Models
von: Gu, Xiangming, et al.
Veröffentlicht: (2023)

LLM-CXR: Instruction-Finetuned LLM for CXR Image Understanding and Generation
von: Lee, Suhyeon, et al.
Veröffentlicht: (2023)

Small Vision-Language Models: A Survey on Compact Architectures and Techniques
von: Patnaik, Nitesh, et al.
Veröffentlicht: (2025)

Aggregate Representation Measure for Predictive Model Reusability
von: Sangarya, Vishwesh, et al.
Veröffentlicht: (2024)

Estimating Environmental Cost Throughout Model's Adaptive Life Cycle
von: Sangarya, Vishwesh, et al.
Veröffentlicht: (2024)

Stronger Normalization-Free Transformers
von: Chen, Mingzhi, et al.
Veröffentlicht: (2025)

Universal Approximation of Visual Autoregressive Transformers
von: Chen, Yifang, et al.
Veröffentlicht: (2025)

Transformers are Stateless Differentiable Neural Computers
von: Tang, Bo, et al.
Veröffentlicht: (2026)

Weighted Multi-Prompt Learning with Description-free Large Language Model Distillation
von: Lee, Sua, et al.
Veröffentlicht: (2025)

Randomness of Low-Layer Parameters Determines Confusing Samples in Terms of Interaction Representations of a DNN
von: Zhang, Junpeng, et al.
Veröffentlicht: (2025)

ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models
von: Sung, Yi-Lin, et al.
Veröffentlicht: (2023)

Energy-Based Transformers are Scalable Learners and Thinkers
von: Gladstone, Alexi, et al.
Veröffentlicht: (2025)

SeqPE: Transformer with Sequential Position Encoding
von: Li, Huayang, et al.
Veröffentlicht: (2025)

Scalable Video-to-Dataset Generation for Cross-Platform Mobile Agents
von: Jang, Yunseok, et al.
Veröffentlicht: (2025)

MimicNorm: Weight Mean and Last BN Layer Mimic the Dynamic of Batch Normalization
von: Fei, Wen, et al.
Veröffentlicht: (2020)

Impact of Noisy Supervision in Foundation Model Learning
von: Chen, Hao, et al.
Veröffentlicht: (2024)

A Primal-Dual Framework for Transformers and Neural Networks
von: Nguyen, Tan M., et al.
Veröffentlicht: (2024)

State Space Model for New-Generation Network Alternative to Transformers: A Survey
von: Wang, Xiao, et al.
Veröffentlicht: (2024)

BiCLIP: Domain Canonicalization via Structured Geometric Transformation
von: Mantini, Pranav, et al.
Veröffentlicht: (2026)

IFCap: Image-like Retrieval and Frequency-based Entity Filtering for Zero-shot Captioning
von: Lee, Soeun, et al.
Veröffentlicht: (2024)

ViPCap: Retrieval Text-Based Visual Prompts for Lightweight Image Captioning
von: Kim, Taewhan, et al.
Veröffentlicht: (2024)

SynC: Synthetic Image Caption Dataset Refinement with One-to-many Mapping for Zero-shot Image Captioning
von: Kim, Si-Woo, et al.
Veröffentlicht: (2025)

GQKVA: Efficient Pre-training of Transformers by Grouping Queries, Keys, and Values
von: Javadi, Farnoosh, et al.
Veröffentlicht: (2023)

REALEDIT: Reddit Edits As a Large-scale Empirical Dataset for Image Transformations
von: Sushko, Peter, et al.
Veröffentlicht: (2025)