Buchumschlag

Conditional computation in neural networks: principles and research trends

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Scardapane, Simone, Baiocchi, Alessandro, Devoto, Alessio, Marsocci, Valerio, Minervini, Pasquale, Pomponi, Jary
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Class incremental learning with probability dampening and cascaded gated classifier
von: Pomponi, Jary, et al.
Veröffentlicht: (2024)

Adaptive Semantic Token Selection for AI-native Goal-oriented Communications
von: Devoto, Alessio, et al.
Veröffentlicht: (2024)

Adaptive Layer Selection for Efficient Vision Transformer Fine-Tuning
von: Devoto, Alessio, et al.
Veröffentlicht: (2024)

Communication Efficient Split Learning of ViTs with Attention-based Double Compression
von: Alvetreti, Federico, et al.
Veröffentlicht: (2025)

Adaptive Semantic Token Communication for Transformer-based Edge Inference
von: Devoto, Alessio, et al.
Veröffentlicht: (2025)

A Simple and Effective $L_2$ Norm-Based Strategy for KV Cache Compression
von: Devoto, Alessio, et al.
Veröffentlicht: (2024)

Adaptive Computation Modules: Granular Conditional Computation For Efficient Inference
von: Wójcik, Bartosz, et al.
Veröffentlicht: (2023)

Goal-oriented Communications based on Recursive Early Exit Neural Networks
von: Pomponi, Jary, et al.
Veröffentlicht: (2024)

Alice's Adventures in a Differentiable Wonderland -- Volume I, A Tour of the Land
von: Scardapane, Simone
Veröffentlicht: (2024)

NACHOS: Neural Architecture Search for Hardware Constrained Early Exit Neural Networks
von: Gambella, Matteo, et al.
Veröffentlicht: (2024)

Universal Properties of Activation Sparsity in Modern Large Language Models
von: Szatkowski, Filip, et al.
Veröffentlicht: (2025)

Q-Filters: Leveraging QK Geometry for Efficient KV Cache Compression
von: Godey, Nathan, et al.
Veröffentlicht: (2025)

Low-Rank Compression of Language Models via Differentiable Rank Selection
von: Sundrani, Sidhant, et al.
Veröffentlicht: (2025)

Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes
von: Montagna, Marco, et al.
Veröffentlicht: (2024)

Adaptive Point Transformer
von: Baiocchi, Alessandro, et al.
Veröffentlicht: (2024)

An Accurate and Low-Parameter Machine Learning Architecture for Next Location Prediction
von: Jary, Calvin, et al.
Veröffentlicht: (2024)

Probing the Emergence of Cross-lingual Alignment during LLM Training
von: Wang, Hetong, et al.
Veröffentlicht: (2024)

On the Independence Assumption in Neurosymbolic Learning
von: van Krieken, Emile, et al.
Veröffentlicht: (2024)

Elimination-compensation pruning for fully-connected neural networks
von: Ballini, Enrico, et al.
Veröffentlicht: (2026)

SynDARin: Synthesising Datasets for Automated Reasoning in Low-Resource Languages
von: Ghazaryan, Gayane, et al.
Veröffentlicht: (2024)

Agentic Uncertainty Reveals Agentic Overconfidence
von: Kaddour, Jean, et al.
Veröffentlicht: (2026)

Is Complex Query Answering Really Complex?
von: Gregucci, Cosimo, et al.
Veröffentlicht: (2024)

Attention Sinks in Diffusion Language Models
von: Rulli, Maximo Eduardo, et al.
Veröffentlicht: (2025)

Mixtures of In-Context Learners
von: Hong, Giwon, et al.
Veröffentlicht: (2024)

Training neural networks faster with minimal tuning using pre-computed lists of hyperparameters for NAdamW
von: Medapati, Sourabh, et al.
Veröffentlicht: (2025)

Rethinking the Harmonic Loss via Non-Euclidean Distance Layers
von: Miller-Golub, Maxwell, et al.
Veröffentlicht: (2026)

Representations learnt by SGD and Adaptive learning rules: Conditions that vary sparsity and selectivity in neural networks
von: Park, Jin Hyun
Veröffentlicht: (2022)

A multiobjective continuation method to compute the regularization path of deep neural networks
von: Amakor, Augustina C., et al.
Veröffentlicht: (2023)

On permutation-invariant neural networks
von: Kimura, Masanari, et al.
Veröffentlicht: (2024)

Sobolev acceleration for neural networks
von: Oh, Jong Kwon, et al.
Veröffentlicht: (2025)

Attention mechanisms in neural networks
von: Hays, Hasi
Veröffentlicht: (2026)

When Can Proxies Improve the Sample Complexity of Preference Learning?
von: Zhu, Yuchen, et al.
Veröffentlicht: (2024)

Principles of Lipschitz continuity in neural networks
von: Luo, Róisín
Veröffentlicht: (2026)

Linearity-based neural network compression
von: Dobler, Silas, et al.
Veröffentlicht: (2025)

LLMs learn governing principles of dynamical systems, revealing an in-context neural scaling law
von: Liu, Toni J. B., et al.
Veröffentlicht: (2024)

Applying graph neural network to SupplyGraph for supply chain network
von: Han, Kihwan
Veröffentlicht: (2024)

FLARE: Faithful Logic-Aided Reasoning and Exploration
von: Arakelyan, Erik, et al.
Veröffentlicht: (2024)

Understanding the dynamics of the frequency bias in neural networks
von: Molina, Juan, et al.
Veröffentlicht: (2024)

Graph neural networks informed locally by thermodynamics
von: Tierz, Alicia, et al.
Veröffentlicht: (2024)

Graph neural networks and non-commuting operators
von: Velasco, Mauricio, et al.
Veröffentlicht: (2024)