Copertina

State Soup: In-Context Skill Learning, Retrieval and Mixing

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Pióro, Maciej, Wołczyk, Maciej, Pascanu, Razvan, von Oswald, Johannes, Sacramento, João
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Discovering modular solutions that generalize compositionally
di: Schug, Simon, et al.
Pubblicazione: (2023)

Lattice: Learning to Efficiently Compress the Memory
di: Karami, Mahdi, et al.
Pubblicazione: (2025)

Revisiting Adam for Streaming Reinforcement Learning
di: Gogianu, Florin, et al.
Pubblicazione: (2026)

Uncovering mesa-optimization algorithms in Transformers
di: von Oswald, Johannes, et al.
Pubblicazione: (2023)

Emergent temporal abstractions in autoregressive models enable hierarchical reinforcement learning
di: Kobayashi, Seijin, et al.
Pubblicazione: (2025)

Retrieval-Augmented Decision Transformer: External Memory for In-context RL
di: Schmied, Thomas, et al.
Pubblicazione: (2024)

Meta-learning how to Share Credit among Macro-Actions
di: Hosu, Ionel-Alexandru, et al.
Pubblicazione: (2025)

Fine-Tuned In-Context Learners for Efficient Adaptation
di: Bornschein, Jorg, et al.
Pubblicazione: (2025)

Fine-tuning Reinforcement Learning Models is Secretly a Forgetting Mitigation Problem
di: Wołczyk, Maciej, et al.
Pubblicazione: (2024)

Projected Compression: Trainable Projection for Efficient Transformer Compression
di: Stefaniak, Maciej, et al.
Pubblicazione: (2025)

Softmax is not Enough (for Sharp Size Generalisation)
di: Veličković, Petar, et al.
Pubblicazione: (2024)

Asynchronous Algorithmic Alignment with Cocycles
di: Dudzik, Andrew, et al.
Pubblicazione: (2023)

From Markov to Laplace: How Mamba In-Context Learns Markov Chains
di: Bondaschi, Marco, et al.
Pubblicazione: (2025)

MesaNet: Sequence Modeling by Locally Optimal Test-Time Training
di: von Oswald, Johannes, et al.
Pubblicazione: (2025)

LLMs are Greedy Agents: Effects of RL Fine-tuning on Decision-Making Abilities
di: Schmied, Thomas, et al.
Pubblicazione: (2025)

Towards White Box Deep Learning
di: Satkiewicz, Maciej
Pubblicazione: (2024)

When can transformers compositionally generalize in-context?
di: Kobayashi, Seijin, et al.
Pubblicazione: (2024)

Joint MoE Scaling Laws: Mixture of Experts Can Be Memory Efficient
di: Ludziejewski, Jan, et al.
Pubblicazione: (2025)

MoE-Mamba: Efficient Selective State Space Models with Mixture of Experts
di: Pióro, Maciej, et al.
Pubblicazione: (2024)

Mining Generalizable Activation Functions
di: Vitvitskyi, Alex, et al.
Pubblicazione: (2026)

Non-Stationary Learning of Neural Networks with Automatic Soft Parameter Reset
di: Galashov, Alexandre, et al.
Pubblicazione: (2024)

Perplexity Cannot Always Tell Right from Wrong
di: Veličković, Petar, et al.
Pubblicazione: (2026)

Layerwise LQR for Geometry-Aware Optimization of Deep Networks
di: Dufort-Labbé, Simon, et al.
Pubblicazione: (2026)

Navigating Potholes with Geometry-Aware Sharpness Minimization
di: Dufort-Labbé, Simon, et al.
Pubblicazione: (2026)

A Large Recurrent Action Model: xLSTM enables Fast Inference for Robotics Tasks
di: Schmied, Thomas, et al.
Pubblicazione: (2024)

Attention as a Hypernetwork
di: Schug, Simon, et al.
Pubblicazione: (2024)

Normalization and effective learning rates in reinforcement learning
di: Lyle, Clare, et al.
Pubblicazione: (2024)

One-Shot Clustering for Federated Learning
di: Zuziak, Maciej Krzysztof, et al.
Pubblicazione: (2025)

One-Shot Clustering for Federated Learning Under Clustering-Agnostic Assumption
di: Zuziak, Maciej Krzysztof, et al.
Pubblicazione: (2025)

Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons
di: Dufort-Labbé, Simon, et al.
Pubblicazione: (2024)

Kalman Filter for Online Classification of Non-Stationary Data
di: Titsias, Michalis K., et al.
Pubblicazione: (2023)

Torque-Aware Momentum
di: Malviya, Pranshu, et al.
Pubblicazione: (2024)

Bone Soups: A Seek-and-Soup Model Merging Approach for Controllable Multi-Objective Generation
di: Xie, Guofu, et al.
Pubblicazione: (2025)

Towards plausibility in time series counterfactual explanations
di: Kostrzewa, Marcin, et al.
Pubblicazione: (2026)

A Probabilistic Consensus-Driven Approach for Robust Counterfactual Explanations
di: Kostrzewa, Marcin, et al.
Pubblicazione: (2026)

Promoting Exploration in Memory-Augmented Adam using Critical Momenta
di: Malviya, Pranshu, et al.
Pubblicazione: (2023)

Incremental Learning of Retrievable Skills For Efficient Continual Task Adaptation
di: Lee, Daehee, et al.
Pubblicazione: (2024)

ECG-Soup: Harnessing Multi-Layer Synergy for ECG Foundation Models
di: Nguyen, Phu X., et al.
Pubblicazione: (2025)

Soup to go: mitigating forgetting during continual learning with model averaging
di: Kleiman, Anat, et al.
Pubblicazione: (2025)

Explaining Time Series Classifiers with PHAR: Rule Extraction and Fusion from Post-hoc Attributions
di: Mozolewski, Maciej, et al.
Pubblicazione: (2025)