Buchumschlag

TiledAttention: a CUDA Tile SDPA Kernel for PyTorch

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Khan, Taimur
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

torchtune: PyTorch native post-training library
von: Obozov, Mark, et al.
Veröffentlicht: (2026)

HAT-CL: A Hard-Attention-to-the-Task PyTorch Library for Continual Learning
von: Duan, Xiaotian
Veröffentlicht: (2023)

Learning Bug Context for PyTorch-to-JAX Translation with LLMs
von: Phan, Hung, et al.
Veröffentlicht: (2025)

PyGraph: Robust Compiler Support for CUDA Graphs in PyTorch
von: Ghosh, Abhishek, et al.
Veröffentlicht: (2025)

Evaluating CUDA Tile for AI Workloads on Hopper and Blackwell GPUs
von: Yadav, Divakar Kumar, et al.
Veröffentlicht: (2026)

Fully Differentiable dMRI Streamline Propagation in PyTorch
von: Yoon, Jongyeon, et al.
Veröffentlicht: (2025)

PiShield: A PyTorch Package for Learning with Requirements
von: Stoian, Mihaela Cătălina, et al.
Veröffentlicht: (2024)

depyf: Open the Opaque Box of PyTorch Compiler for Machine Learning Researchers
von: You, Kaichao, et al.
Veröffentlicht: (2024)

Tiled Flash Linear Attention: More Efficient Linear RNN and xLSTM Kernels
von: Beck, Maximilian, et al.
Veröffentlicht: (2025)

Soft Decision Tree classifier: explainable and extendable PyTorch implementation
von: Shamir, Reuben R
Veröffentlicht: (2025)

pyFAST: A Modular PyTorch Framework for Time Series Modeling with Multi-source and Sparse Data
von: Wang, Zhijin, et al.
Veröffentlicht: (2025)

TorchTitan: One-stop PyTorch native solution for production ready LLM pre-training
von: Liang, Wanchao, et al.
Veröffentlicht: (2024)

KHNNs: hypercomplex neural networks computations via Keras using TensorFlow and PyTorch
von: Niemczynowicz, Agnieszka, et al.
Veröffentlicht: (2024)

SoftDTW-CUDA-Torch: Memory-Efficient GPU-Accelerated Soft Dynamic Time Warping for PyTorch
von: Weber, Ron Shapira, et al.
Veröffentlicht: (2026)

MIP Candy: A Modular PyTorch Framework for Medical Image Processing
von: Fu, Tianhao, et al.
Veröffentlicht: (2026)

LeetDecoding: A PyTorch Library for Exponentially Decaying Causal Linear Attention with CUDA Implementations
von: Wang, Jiaping, et al.
Veröffentlicht: (2025)

Diagonal-Tiled Mixed-Precision Attention for Efficient Low-Bit MXFP Inference
von: Ding, Yifu, et al.
Veröffentlicht: (2026)

CUDA-LLM: LLMs Can Write Efficient CUDA Kernels
von: Chen, Wentao, et al.
Veröffentlicht: (2025)

Hessian of Perplexity for Large Language Models by PyTorch autograd (Open Source)
von: Ilin, Ivan
Veröffentlicht: (2025)

Flashlight: PyTorch Compiler Extensions to Accelerate Attention Variants
von: You, Bozhi, et al.
Veröffentlicht: (2025)

CUDA Agent: Large-Scale Agentic RL for High-Performance CUDA Kernel Generation
von: Dai, Weinan, et al.
Veröffentlicht: (2026)

PyLO: Towards Accessible Learned Optimizers in PyTorch
von: Janson, Paul, et al.
Veröffentlicht: (2025)

LTNtorch: PyTorch Implementation of Logic Tensor Networks
von: Carraro, Tommaso, et al.
Veröffentlicht: (2024)

TorchAO: PyTorch-Native Training-to-Serving Model Optimization
von: Or, Andrew, et al.
Veröffentlicht: (2025)

PATCH: Learnable Tile-level Hybrid Sparsity for LLMs
von: Hourri, Younes, et al.
Veröffentlicht: (2025)

Venom: A PyTorch Generative Modeling Toolkit
von: Yan, Liang
Veröffentlicht: (2026)

Lowering PyTorch's Memory Consumption for Selective Differentiation
von: Bhatia, Samarth, et al.
Veröffentlicht: (2024)

torchgfn: A PyTorch GFlowNet library
von: Viviano, Joseph D., et al.
Veröffentlicht: (2023)

Torch Geometric Pool: the PyTorch library for pooling in Graph Neural Networks
von: Abate, Carlo, et al.
Veröffentlicht: (2025)

Sawtooth Wavefront Reordering: Enhanced CuTile FlashAttention on NVIDIA GB10
von: Zhu, Yifan, et al.
Veröffentlicht: (2026)

SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations
von: Guo, Wentao, et al.
Veröffentlicht: (2025)

A Comparative Survey of PyTorch vs TensorFlow for Deep Learning: Usability, Performance, and Deployment Trade-offs
von: Alawi, Zakariya Ba
Veröffentlicht: (2025)

ExecuTorch -- A Unified PyTorch Solution to Run AI Models On-Device
von: Nachin, Mergen, et al.
Veröffentlicht: (2026)

NewsTorch: A PyTorch-based Toolkit for Learner-oriented News Recommendation
von: Wang, Rongyao, et al.
Veröffentlicht: (2026)

PyTorch-based Geometric Learning with Non-CUDA Processing Units: Experiences from Intel Gaudi-v2 HPUs
von: Bu, Fanchen, et al.
Veröffentlicht: (2025)

A PyTorch Library of Turing-Complete Neural Networks
von: Bates, Jonathan
Veröffentlicht: (2026)

EvoEngineer: Mastering Automated CUDA Kernel Code Evolution with Large Language Models
von: Guo, Ping, et al.
Veröffentlicht: (2025)

Towards Robust Agentic CUDA Kernel Benchmarking, Verification, and Optimization
von: Lange, Robert Tjarko, et al.
Veröffentlicht: (2025)

Tiled Bit Networks: Sub-Bit Neural Network Compression Through Reuse of Learnable Binary Vectors
von: Gorbett, Matt, et al.
Veröffentlicht: (2024)

Kevin: Multi-Turn RL for Generating CUDA Kernels
von: Baronio, Carlo, et al.
Veröffentlicht: (2025)