Buchumschlag

Universal Properties of Activation Sparsity in Modern Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Szatkowski, Filip, Będkowski, Patryk, Devoto, Alessio, Dubiński, Jan, Minervini, Pasquale, Piórczyński, Mikołaj, Scardapane, Simone, Wójcik, Bartosz
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion
von: Szatkowski, Filip, et al.
Veröffentlicht: (2023)

Adaptive Computation Modules: Granular Conditional Computation For Efficient Inference
von: Wójcik, Bartosz, et al.
Veröffentlicht: (2023)

ExpertSim: Fast Particle Detector Simulation Using Mixture-of-Generative-Experts
von: Będkowski, Patryk, et al.
Veröffentlicht: (2025)

Efficient LLM Moderation with Multi-Layer Latent Prototypes
von: Chrabąszcz, Maciej, et al.
Veröffentlicht: (2025)

A Simple and Effective $L_2$ Norm-Based Strategy for KV Cache Compression
von: Devoto, Alessio, et al.
Veröffentlicht: (2024)

Deep Generative Models for Proton Zero Degree Calorimeter Simulations in ALICE, CERN
von: Będkowski, Patryk, et al.
Veröffentlicht: (2024)

Conditional computation in neural networks: principles and research trends
von: Scardapane, Simone, et al.
Veröffentlicht: (2024)

Class incremental learning with probability dampening and cascaded gated classifier
von: Pomponi, Jary, et al.
Veröffentlicht: (2024)

Rethinking Calibration for Early-Exit Neural Networks
von: Kubaty, Piotr, et al.
Veröffentlicht: (2025)

Adaptive Layer Selection for Efficient Vision Transformer Fine-Tuning
von: Devoto, Alessio, et al.
Veröffentlicht: (2024)

Adaptive Semantic Token Selection for AI-native Goal-oriented Communications
von: Devoto, Alessio, et al.
Veröffentlicht: (2024)

Adaptive Semantic Token Communication for Transformer-based Edge Inference
von: Devoto, Alessio, et al.
Veröffentlicht: (2025)

Q-Filters: Leveraging QK Geometry for Efficient KV Cache Compression
von: Godey, Nathan, et al.
Veröffentlicht: (2025)

Goal-oriented Communications based on Recursive Early Exit Neural Networks
von: Pomponi, Jary, et al.
Veröffentlicht: (2024)

Attention Sinks in Diffusion Language Models
von: Rulli, Maximo Eduardo, et al.
Veröffentlicht: (2025)

Alice's Adventures in a Differentiable Wonderland -- Volume I, A Tour of the Land
von: Scardapane, Simone
Veröffentlicht: (2024)

Low-Rank Compression of Language Models via Differentiable Rank Selection
von: Sundrani, Sidhant, et al.
Veröffentlicht: (2025)

Attention Is All You Need But You Don't Need All Of It For Inference of Large Language Models
von: Tyukin, Georgy, et al.
Veröffentlicht: (2024)

Interpretable Classification of Levantine Ceramic Thin Sections via Neural Networks
von: Capriotti, Sara, et al.
Veröffentlicht: (2025)

Efficient Multi-Source Knowledge Transfer by Model Merging
von: Osial, Marcin, et al.
Veröffentlicht: (2025)

An Auditing Test To Detect Behavioral Shift in Language Models
von: Richter, Leo, et al.
Veröffentlicht: (2024)

Seamlessly Integrating Tree-Based Positional Embeddings into Transformer Models for Source Code Representation
von: Bartkowiak, Patryk, et al.
Veröffentlicht: (2025)

Activation Sparsity Opportunities for Compressing General Large Language Models
von: Dhar, Nobel, et al.
Veröffentlicht: (2024)

ActTail: Global Activation Sparsity in Large Language Models
von: Hou, Wenwen, et al.
Veröffentlicht: (2026)

Mixture-of-Experts Graph Transformers for Interpretable Particle Collision Detection
von: Genovese, Donatella, et al.
Veröffentlicht: (2025)

Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes
von: Montagna, Marco, et al.
Veröffentlicht: (2024)

Auditing Sybil: Explaining Deep Lung Cancer Risk Prediction Through Generative Interventional Attributions
von: Sobieski, Bartlomiej, et al.
Veröffentlicht: (2026)

Sparsing Law: Towards Large Language Models with Greater Activation Sparsity
von: Luo, Yuqi, et al.
Veröffentlicht: (2024)

SynDARin: Synthesising Datasets for Automated Reasoning in Low-Resource Languages
von: Ghazaryan, Gayane, et al.
Veröffentlicht: (2024)

Neurosymbolic Diffusion Models
von: van Krieken, Emile, et al.
Veröffentlicht: (2025)

Generative Diffusion Models for Fast Simulations of Particle Collisions at CERN
von: Kita, Mikołaj, et al.
Veröffentlicht: (2024)

Exploring the Stability Gap in Continual Learning: The Role of the Classification Head
von: Łapacz, Wojciech, et al.
Veröffentlicht: (2024)

Sparser, Better, Deeper, Stronger: Improving Sparse Training with Exact Orthogonal Initialization
von: Nowak, Aleksandra Irena, et al.
Veröffentlicht: (2024)

Jailbreaking Vision-Language Models Through the Visual Modality
von: Azulay, Aharon, et al.
Veröffentlicht: (2026)

Amber Pruner: Leveraging N:M Activation Sparsity for Efficient Prefill in Large Language Models
von: An, Tai, et al.
Veröffentlicht: (2025)

Interpreting Temporal Graph Neural Networks with Koopman Theory
von: Guerra, Michele, et al.
Veröffentlicht: (2024)

CDI: Copyrighted Data Identification in Diffusion Models
von: Dubiński, Jan, et al.
Veröffentlicht: (2024)

ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
von: Song, Chenyang, et al.
Veröffentlicht: (2024)

Privacy Attacks on Image AutoRegressive Models
von: Kowalczuk, Antoni, et al.
Veröffentlicht: (2025)

Radioactive Watermarks in Diffusion and Autoregressive Image Generative Models
von: Meintz, Michel, et al.
Veröffentlicht: (2025)