Copertina

Fixed-Point RNNs: Interpolating from Diagonal to Dense

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Movahedi, Sajad, Sarnthein, Felix, Cirone, Nicola Muca, Orvieto, Antonio
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Theoretical Foundations of Deep Selective State-Space Models
di: Cirone, Nicola Muca, et al.
Pubblicazione: (2024)

Rough kernel hedging
di: Cirone, Nicola Muca, et al.
Pubblicazione: (2025)

ParallelFlow: Parallelizing Linear Transformers via Flow Discretization
di: Cirone, Nicola Muca, et al.
Pubblicazione: (2025)

Geometric Inductive Biases of Deep Networks: The Role of Data and Architecture
di: Movahedi, Sajad, et al.
Pubblicazione: (2024)

Genus expansion for non-linear random matrix ensembles with applications to neural networks
di: Cirone, Nicola Muca, et al.
Pubblicazione: (2024)

Kernel Learning for Mean-Variance Trading Strategies
di: Futter, Owen, et al.
Pubblicazione: (2025)

Signature Reconstruction from Randomized Signatures
di: Glückstad, Mie, et al.
Pubblicazione: (2025)

Structured Linear CDEs: Maximally Expressive and Parallel-in-Time Sequence Models
di: Walker, Benjamin, et al.
Pubblicazione: (2025)

Selective Rotary Position Embedding
di: Movahedi, Sajad, et al.
Pubblicazione: (2025)

Improved state mixing in higher-order and block diagonal linear recurrent networks
di: Dubinin, Igor, et al.
Pubblicazione: (2026)

Generalized Interpolating Discrete Diffusion
di: von Rütte, Dimitri, et al.
Pubblicazione: (2025)

NIMBA: Towards Robust and Principled Processing of Point Clouds With SSMs
di: Köprücü, Nursena, et al.
Pubblicazione: (2024)

Adam Simplified: Bias Correction Debunked
di: Laing, Sam, et al.
Pubblicazione: (2025)

Revisiting associative recall in modern recurrent models
di: Okpekpe, Destiny, et al.
Pubblicazione: (2025)

In Search of Adam's Secret Sauce
di: Orvieto, Antonio, et al.
Pubblicazione: (2025)

An Adaptive Stochastic Gradient Method with Non-negative Gauss-Newton Stepsizes
di: Orvieto, Antonio, et al.
Pubblicazione: (2024)

Recurrent neural networks: vanishing and exploding gradients are not the end of the story
di: Zucchet, Nicolas, et al.
Pubblicazione: (2024)

An Uncertainty Principle for Linear Recurrent Neural Networks
di: François, Alexandre, et al.
Pubblicazione: (2025)

When, Where and Why to Average Weights?
di: Ajroldi, Niccolò, et al.
Pubblicazione: (2025)

Explaining Grokking in Transformers through the Lens of Inductive Bias
di: Singh, Jaisidh, et al.
Pubblicazione: (2026)

Universal Dynamics of Warmup Stable Decay: understanding WSD beyond Transformers
di: Belloni, Annalisa, et al.
Pubblicazione: (2026)

On the Role of Depth in the Expressivity of RNNs
di: Lizaire, Maude, et al.
Pubblicazione: (2026)

Is your batch size the problem? Revisiting the Adam-SGD gap in language modeling
di: Srećković, Teodora, et al.
Pubblicazione: (2025)

Towards Understanding Self-Pretraining for Sequence Classification
di: Coser, Omar, et al.
Pubblicazione: (2026)

Super Consistency of Neural Network Landscapes and Learning Rate Transfer
di: Noci, Lorenzo, et al.
Pubblicazione: (2024)

On the low-shot transferability of [V]-Mamba
di: Misra, Diganta, et al.
Pubblicazione: (2024)

Stimulus-to-Stimulus Learning in RNNs with Cortical Inductive Biases
di: Vafidis, Pantelis, et al.
Pubblicazione: (2024)

Memory Caching: RNNs with Growing Memory
di: Behrouz, Ali, et al.
Pubblicazione: (2026)

Were RNNs All We Needed?
di: Feng, Leo, et al.
Pubblicazione: (2024)

Mechanistic Interpretability of RNNs emulating Hidden Markov Models
di: Torre, Elia, et al.
Pubblicazione: (2025)

A Tensor Decomposition Perspective on Second-order RNNs
di: Lizaire, Maude, et al.
Pubblicazione: (2024)

Can you Finetune your Binoculars? Embedding Text Watermarks into the Weights of Large Language Models
di: Elhassan, Fay, et al.
Pubblicazione: (2025)

Enhancing Optimizer Stability: Momentum Adaptation of The NGN Step-size
di: Islamov, Rustem, et al.
Pubblicazione: (2025)

Loss Landscape Characterization of Neural Networks without Over-Parametrization
di: Islamov, Rustem, et al.
Pubblicazione: (2024)

Fixed Point Explainability
di: La Malfa, Emanuele, et al.
Pubblicazione: (2025)

Can Local Representation Alignment RNNs Solve Temporal Tasks?
di: Manchev, Nikolay, et al.
Pubblicazione: (2025)

$\texttt{lrnnx}$: A library for Linear RNNs
di: Bania, Karan, et al.
Pubblicazione: (2026)

Pessimistic Iterative Planning with RNNs for Robust POMDPs
di: Galesloot, Maris F. L., et al.
Pubblicazione: (2024)

Muown: Row-Norm Control for Muon Optimization
di: Lion, Kai, et al.
Pubblicazione: (2026)

Paradoxical noise preference in RNNs
di: Eckstein, Noah, et al.
Pubblicazione: (2026)