Buchumschlag

FAST: Factorizable Attention for Speeding up Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gerami, Armin, Hoover, Monte, Dulepet, Pranav S., Duraiswami, Ramani
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Numerical Analysis
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Transformer Based Linear Attention with Optimized GPU Kernel Implementation
von: Gerami, Armin, et al.
Veröffentlicht: (2025)

Quantifying Document Impact in RAG-LLMs
von: Gerami, Armin, et al.
Veröffentlicht: (2025)

Auditing Algorithmic Bias in Transformer-Based Trading
von: Gerami, Armin, et al.
Veröffentlicht: (2025)

CATO: Charted Attention for Neural PDE Operators
von: Cheng, Chun-Wun, et al.
Veröffentlicht: (2026)

Hybrid Neural World Models
von: Lakshmanan, Pranav, et al.
Veröffentlicht: (2026)

AttNS: Attention-Inspired Numerical Solving For Limited Data Scenarios
von: Huang, Zhongzhan, et al.
Veröffentlicht: (2023)

A Mathematical Explanation of Transformers
von: Tai, Xue-Cheng, et al.
Veröffentlicht: (2025)

Beyond Loss Guidance: Using PDE Residuals as Spectral Attention in Diffusion Neural Operators
von: Sawhney, Medha, et al.
Veröffentlicht: (2025)

Deriving Transformer Architectures as Implicit Multinomial Regression
von: Actor, Jonas A., et al.
Veröffentlicht: (2025)

When Attention Beats Fourier: Multi-Scale Transformers for PDE Solving on Irregular Domains
von: Yee, Brandon, et al.
Veröffentlicht: (2026)

AlgoFormer: An Efficient Transformer Framework with Algorithmic Structures
von: Gao, Yihang, et al.
Veröffentlicht: (2024)

STNet: Spectral Transformation Network for Solving Operator Eigenvalue Problem
von: Wang, Hong, et al.
Veröffentlicht: (2025)

Unisolver: PDE-Conditional Transformers Towards Universal Neural PDE Solvers
von: Zhou, Hang, et al.
Veröffentlicht: (2024)

Accelerating Matrix Diagonalization through Decision Transformers with Epsilon-Greedy Optimization
von: Bhatta, Kshitij, et al.
Veröffentlicht: (2024)

Online Pseudo-average Shifting Attention(PASA) for Robust Low-precision LLM Inference: Algorithms and Numerical Analysis
von: Cheng, Long, et al.
Veröffentlicht: (2025)

Learning phase-space flows using time-discrete implicit Runge-Kutta PINNs
von: Corral, Álvaro Fernández, et al.
Veröffentlicht: (2024)

Learning Explicitly Conditioned Sparsifying Transforms
von: Pătraşcu, Andrei, et al.
Veröffentlicht: (2024)

On The Application of Linear Attention in Multimodal Transformers
von: Gerami, Armin, et al.
Veröffentlicht: (2026)

A Practical Approach to Causal Inference over Time
von: Cinquini, Martina, et al.
Veröffentlicht: (2024)

Sparse $L^1$-Autoencoders for Scientific Data Compression
von: Chung, Matthias, et al.
Veröffentlicht: (2024)

Graph Neural Networks for Emulation of Finite-Element Ice Dynamics in Greenland and Antarctic Ice Sheets
von: Koo, Younghyun, et al.
Veröffentlicht: (2024)

Neural Operators with Localized Integral and Differential Kernels
von: Liu-Schiaffini, Miguel, et al.
Veröffentlicht: (2024)

Paired Autoencoders for Likelihood-free Estimation in Inverse Problems
von: Chung, Matthias, et al.
Veröffentlicht: (2024)

Operator learning without the adjoint
von: Boullé, Nicolas, et al.
Veröffentlicht: (2024)

Learning Semilinear Neural Operators : A Unified Recursive Framework For Prediction And Data Assimilation
von: Singh, Ashutosh, et al.
Veröffentlicht: (2024)

Observation-specific explanations through scattered data approximation
von: Ghidini, Valentina, et al.
Veröffentlicht: (2024)

Mixture of Experts Softens the Curse of Dimensionality in Operator Learning
von: Kratsios, Anastasis, et al.
Veröffentlicht: (2024)

Advancing the Understanding of Fixed Point Iterations in Deep Neural Networks: A Detailed Analytical Study
von: Ke, Yekun, et al.
Veröffentlicht: (2024)

Low-Rank Adversarial PGD Attack
von: Savostianova, Dayana, et al.
Veröffentlicht: (2024)

Deep Learning-Enhanced Preconditioning for Efficient Conjugate Gradient Solvers in Large-Scale PDE Systems
von: Li, Rui, et al.
Veröffentlicht: (2024)

Graph Neural Network as Computationally Efficient Emulator of Ice-sheet and Sea-level System Model (ISSM)
von: Koo, Younghyun, et al.
Veröffentlicht: (2024)

P$^2$C$^2$Net: PDE-Preserved Coarse Correction Network for efficient prediction of spatiotemporal dynamics
von: Wang, Qi, et al.
Veröffentlicht: (2024)

A practical existence theorem for reduced order models based on convolutional autoencoders
von: Franco, Nicola Rares, et al.
Veröffentlicht: (2024)

Towards Faster Matrix Diagonalization with Graph Isomorphism Networks and the AlphaZero Framework
von: Zollicoffer, Geigh, et al.
Veröffentlicht: (2024)

Accelerating Data Generation for Neural Operators via Krylov Subspace Recycling
von: Wang, Hong, et al.
Veröffentlicht: (2024)

Physics-Informed Neural Networks for High-Frequency and Multi-Scale Problems using Transfer Learning
von: Mustajab, Abdul Hannan, et al.
Veröffentlicht: (2024)

PDE Generalization of In-Context Operator Networks: A Study on 1D Scalar Nonlinear Conservation Laws
von: Yang, Liu, et al.
Veröffentlicht: (2024)

GeoLoRA: Geometric integration for parameter efficient fine-tuning
von: Schotthöfer, Steffen, et al.
Veröffentlicht: (2024)

Projection Methods for Operator Learning and Universal Approximation
von: Zappala, Emanuele
Veröffentlicht: (2024)

A Mathematical Guide to Operator Learning
von: Boullé, Nicolas, et al.
Veröffentlicht: (2023)