Buchumschlag

Linear Transformers Implicitly Discover Unified Numerical Algorithms

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lutz, Patrick, Gangrade, Aditya, Daneshmand, Hadi, Saligrama, Venkatesh
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Symmetry Reveals Layerwise Dynamics: How Transformers Perform In-Context Classification
von: Lutz, Patrick, et al.
Veröffentlicht: (2026)

Constrained Linear Thompson Sampling
von: Gangrade, Aditya, et al.
Veröffentlicht: (2025)

Safe Linear Bandits over Unknown Polytopes
von: Gangrade, Aditya, et al.
Veröffentlicht: (2022)

Testing the Feasibility of Linear Programs with Bandit Feedback
von: Gangrade, Aditya, et al.
Veröffentlicht: (2024)

Data Deletion Can Help in Adaptive RL
von: Budhraja, Param, et al.
Veröffentlicht: (2026)

Discovering Interpretable Algorithms by Decompiling Transformers to RASP
von: Huang, Xinting, et al.
Veröffentlicht: (2026)

Provable optimal transport with transformers: The essence of depth and prompt engineering
von: Daneshmand, Hadi
Veröffentlicht: (2024)

Discovering Temporally-Aware Reinforcement Learning Algorithms
von: Jackson, Matthew Thomas, et al.
Veröffentlicht: (2024)

Bypassing the Rationale: Causal Auditing of Implicit Reasoning in Language Models
von: Sathyanarayanan, Anish, et al.
Veröffentlicht: (2026)

Adaptive Locally Linear Embedding
von: Goli, Ali, et al.
Veröffentlicht: (2025)

Learning to Discover Iterative Spectral Algorithms
von: Liu, Zihang, et al.
Veröffentlicht: (2026)

Task Agnostic Architecture for Algorithm Induction via Implicit Composition
von: Sindhi, Sahil J., et al.
Veröffentlicht: (2024)

Discovering Hidden Algebraic Structures via Transformers with Rank-Aware Beam GRPO
von: Lee, Jaeha, et al.
Veröffentlicht: (2025)

Unified Kernel-Segregated Transpose Convolution Operation
von: Tida, Vijay Srinivas, et al.
Veröffentlicht: (2025)

Panther: Faster and Cheaper Computations with Randomized Numerical Linear Algebra
von: Seddik, Fahd, et al.
Veröffentlicht: (2026)

SNIP: Bridging Mathematical Symbolic and Numeric Realms with Unified Pre-training
von: Meidani, Kazem, et al.
Veröffentlicht: (2023)

Implicit Statistical Inference in Transformers: Approximating Likelihood-Ratio Tests In-Context
von: Chaudhry, Faris, et al.
Veröffentlicht: (2026)

Deep Companion Learning: Enhancing Generalization Through Historical Consistency
von: Zhu, Ruizhao, et al.
Veröffentlicht: (2024)

Discovering environments with XRM
von: Pezeshki, Mohammad, et al.
Veröffentlicht: (2023)

Implicit Safe Set Algorithm for Provably Safe Reinforcement Learning
von: Zhao, Weiye, et al.
Veröffentlicht: (2024)

Communication-Efficient Federated Low-Rank Update Algorithm and its Connection to Implicit Regularization
von: Park, Haemin, et al.
Veröffentlicht: (2024)

Self-Discovered Intention-aware Transformer for Multi-modal Vehicle Trajectory Prediction
von: Liu, Diyi, et al.
Veröffentlicht: (2026)

A Unifying View of Coverage in Linear Off-Policy Evaluation
von: Amortila, Philip, et al.
Veröffentlicht: (2026)

Mixed Dynamics In Linear Networks: Unifying the Lazy and Active Regimes
von: Tu, Zhenfeng, et al.
Veröffentlicht: (2024)

Representation Learning on Hyper-Relational and Numeric Knowledge Graphs with Transformers
von: Chung, Chanyoung, et al.
Veröffentlicht: (2023)

Claudini: Autoresearch Discovers State-of-the-Art Adversarial Attack Algorithms for LLMs
von: Panfilov, Alexander, et al.
Veröffentlicht: (2026)

Learning to Discover at Test Time
von: Yuksekgonul, Mert, et al.
Veröffentlicht: (2026)

Deriving Transformer Architectures as Implicit Multinomial Regression
von: Actor, Jonas A., et al.
Veröffentlicht: (2025)

How Memory in Optimization Algorithms Implicitly Modifies the Loss
von: Cattaneo, Matias D., et al.
Veröffentlicht: (2025)

Scalable Production Scheduling: Linear Complexity via Unified Homogeneous Graphs
von: Hoss, Jonathan, et al.
Veröffentlicht: (2026)

MetaLA: Unified Optimal Linear Approximation to Softmax Attention Map
von: Chou, Yuhong, et al.
Veröffentlicht: (2024)

Fault Analysis And Predictive Maintenance Of Induction Motor Using Machine Learning
von: Venkatesh, Kavana, et al.
Veröffentlicht: (2024)

Natural Learning
von: Fanaee-T, Hadi
Veröffentlicht: (2024)

An Innovative Next Activity Prediction Using Process Entropy and Dynamic Attribute-Wise-Transformer in Predictive Business Process Monitoring
von: Zare, Hadi, et al.
Veröffentlicht: (2025)

Finding Clustering Algorithms in the Transformer Architecture
von: Clarkson, Kenneth L., et al.
Veröffentlicht: (2025)

Transolver is a Linear Transformer: Revisiting Physics-Attention through the Lens of Linear Attention
von: Hu, Wenjie, et al.
Veröffentlicht: (2025)

Unified Training of Universal Time Series Forecasting Transformers
von: Woo, Gerald, et al.
Veröffentlicht: (2024)

Universal Algorithm-Implicit Learning
von: Woerner, Stefano, et al.
Veröffentlicht: (2026)

OpenTensor: Reproducing Faster Matrix Multiplication Discovering Algorithms
von: Sun, Yiwen, et al.
Veröffentlicht: (2024)

Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections
von: Wang, Bo, et al.
Veröffentlicht: (2025)