Buchumschlag

Promoting Exploration in Memory-Augmented Adam using Critical Momenta

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Malviya, Pranshu, Mordido, Gonçalo, Baratin, Aristide, Harikandeh, Reza Babanezhad, Huang, Jerry, Lacoste-Julien, Simon, Pascanu, Razvan, Chandar, Sarath
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Torque-Aware Momentum
von: Malviya, Pranshu, et al.
Veröffentlicht: (2024)

Lookbehind-SAM: k steps back, 1 step forward
von: Mordido, Gonçalo, et al.
Veröffentlicht: (2023)

Manifold Metric: A Loss Landscape Approach for Predicting Model Performance
von: Malviya, Pranshu, et al.
Veröffentlicht: (2024)

Layerwise LQR for Geometry-Aware Optimization of Deep Networks
von: Dufort-Labbé, Simon, et al.
Veröffentlicht: (2026)

Exploring Quantization for Efficient Pre-Training of Transformer Language Models
von: Chitsaz, Kamran, et al.
Veröffentlicht: (2024)

Why Don't Prompt-Based Fairness Metrics Correlate?
von: Zayed, Abdelrahman, et al.
Veröffentlicht: (2024)

Should We Attend More or Less? Modulating Attention for Fairness
von: Zayed, Abdelrahman, et al.
Veröffentlicht: (2023)

CoPeP: Benchmarking Continual Pretraining for Protein Language Models
von: Patil, Darshan, et al.
Veröffentlicht: (2026)

Navigating Potholes with Geometry-Aware Sharpness Minimization
von: Dufort-Labbé, Simon, et al.
Veröffentlicht: (2026)

Maxwell's Demon at Work: Efficient Pruning by Leveraging Saturation of Neurons
von: Dufort-Labbé, Simon, et al.
Veröffentlicht: (2024)

Revisiting Adam for Streaming Reinforcement Learning
von: Gogianu, Florin, et al.
Veröffentlicht: (2026)

Convergence of Steepest Descent and Adam under Non-Uniform Smoothness
von: Vaswani, Sharan, et al.
Veröffentlicht: (2026)

Iterative Methods via Locally Evolving Set Process
von: Zhou, Baojian, et al.
Veröffentlicht: (2024)

Mastering Memory Tasks with World Models
von: Samsami, Mohammad Reza, et al.
Veröffentlicht: (2024)

Dissecting Discrete Soft Actor-Critic: Limitations and Principled Alternatives
von: Asad, Reza, et al.
Veröffentlicht: (2025)

Lattice: Learning to Efficiently Compress the Memory
von: Karami, Mahdi, et al.
Veröffentlicht: (2025)

Any-Property-Conditional Molecule Generation with Self-Criticism using Spanning Trees
von: Jolicoeur-Martineau, Alexia, et al.
Veröffentlicht: (2024)

Lazy vs hasty: linearization in deep networks impacts learning schedule based on example difficulty
von: George, Thomas, et al.
Veröffentlicht: (2022)

Context-Aware Assistant Selection for Improved Inference Acceleration with Large Language Models
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

Towards Practical Tool Usage for Continually Learning LLMs
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

Retrieval-Augmented Decision Transformer: External Memory for In-context RL
von: Schmied, Thomas, et al.
Veröffentlicht: (2024)

Dual Optimistic Ascent (PI Control) is the Augmented Lagrangian Method in Disguise
von: Ramirez, Juan, et al.
Veröffentlicht: (2025)

Optimizers Qualitatively Alter Solutions And We Should Leverage This
von: Pascanu, Razvan, et al.
Veröffentlicht: (2025)

Armijo Line-search Can Make (Stochastic) Gradient Descent Provably Faster
von: Vaswani, Sharan, et al.
Veröffentlicht: (2025)

LLMs Can't Play Hangman: On the Necessity of a Private Working Memory for Language Agents
von: Baldelli, Davide, et al.
Veröffentlicht: (2026)

Do Large Language Models Know How Much They Know?
von: Prato, Gabriele, et al.
Veröffentlicht: (2025)

Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

EpiK-Eval: Evaluation for Language Models as Epistemic Models
von: Prato, Gabriele, et al.
Veröffentlicht: (2023)

Neural Coherence : Find higher performance to out-of-distribution tasks from few samples
von: Guiroy, Simon, et al.
Veröffentlicht: (2025)

Bias in Motion: Theoretical Insights into the Dynamics of Bias in SGD Training
von: Jain, Anchit, et al.
Veröffentlicht: (2024)

Dialectics of Alignment: Harnessing Unsafe Knowledge for Dynamic Safety Routing
von: Hashemzadeh, Maryam, et al.
Veröffentlicht: (2026)

Deep Grokking: Would Deep Neural Networks Generalize Better?
von: Fan, Simin, et al.
Veröffentlicht: (2024)

Faithfulness Measurable Masked Language Models
von: Madsen, Andreas, et al.
Veröffentlicht: (2023)

Are self-explanations from Large Language Models faithful?
von: Madsen, Andreas, et al.
Veröffentlicht: (2024)

(Accelerated) Noise-adaptive Stochastic Heavy-Ball Momentum
von: Dang, Anh, et al.
Veröffentlicht: (2024)

NoProp: Training Neural Networks without Full Back-propagation or Full Forward-propagation
von: Li, Qinyu, et al.
Veröffentlicht: (2025)

Meta-learning how to Share Credit among Macro-Actions
von: Hosu, Ionel-Alexandru, et al.
Veröffentlicht: (2025)

Latent Space Representations of Neural Algorithmic Reasoners
von: Mirjanić, Vladimir V., et al.
Veröffentlicht: (2023)

Steering Large Language Model Activations in Sparse Spaces
von: Bayat, Reza, et al.
Veröffentlicht: (2025)

Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models
von: Nilaksh, et al.
Veröffentlicht: (2026)