Buchumschlag

CODA: Rewriting Transformer Blocks as GEMM-Epilogue Programs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Guo, Han, Zhang, Jack, Menon, Arjun, Guessous, Driss, Thakkar, Vijay, Kim, Yoon, Dao, Tri
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Flex Attention: A Programming Model for Generating Optimized Attention Kernels
von: Dong, Juechu, et al.
Veröffentlicht: (2024)

FlashAttention-3: Fast and Accurate Attention with Asynchrony and Low-precision
von: Shah, Jay, et al.
Veröffentlicht: (2024)

Transformers are SSMs: Generalized Models and Efficient Algorithms Through Structured State Space Duality
von: Dao, Tri, et al.
Veröffentlicht: (2024)

Log-Linear Attention
von: Guo, Han, et al.
Veröffentlicht: (2025)

CodeGEMM: A Codebook-Centric Approach to Efficient GEMM in Quantized LLMs
von: Park, Gunho, et al.
Veröffentlicht: (2025)

A Comparative Analysis of Microrings Based Incoherent Photonic GEMM Accelerators
von: Vatsavai, Sairam Sri, et al.
Veröffentlicht: (2024)

Assessing the Impact of Speaker Identity in Speech Spoofing Detection
von: Dao, Anh-Tuan, et al.
Veröffentlicht: (2026)

Mamba: Linear-Time Sequence Modeling with Selective State Spaces
von: Gu, Albert, et al.
Veröffentlicht: (2023)

Speculative Speculative Decoding
von: Kumar, Tanishq, et al.
Veröffentlicht: (2026)

Enhancing Multi-Corpus Training in SSL-Based Anti-Spoofing Models: Domain-Invariant Feature Extraction
von: Dao, Anh-Tuan, et al.
Veröffentlicht: (2026)

Improving Black-box Robustness with In-Context Rewriting
von: O'Brien, Kyle, et al.
Veröffentlicht: (2024)

Hardware-Efficient Attention for Fast Decoding
von: Zadouri, Ted, et al.
Veröffentlicht: (2025)

LP-GEMM: Integrating Layout Propagation into GEMM Operations
von: Carneiro, César Guedes, et al.
Veröffentlicht: (2026)

LiquidGEMM: Hardware-Efficient W4A8 GEMM Kernel for High-Performance LLM Serving
von: Hu, Huanqi, et al.
Veröffentlicht: (2025)

On the Duality between Gradient Transformations and Adapters
von: Torroba-Hennigen, Lucas, et al.
Veröffentlicht: (2025)

CODA: Coordination via On-Policy Diffusion for Multi-Agent Offline Reinforcement Learning
von: Hedman, Marcel, et al.
Veröffentlicht: (2026)

SonicMoE: Accelerating MoE with IO and Tile-aware Optimizations
von: Guo, Wentao, et al.
Veröffentlicht: (2025)

Steering Code LLMs with Activation Directions for Language and Library Control
von: Rahman, Md Mahbubur, et al.
Veröffentlicht: (2026)

tuGEMM: Area-Power-Efficient Temporal Unary GEMM Architecture for Low-Precision Edge AI
von: Nair, Harideep, et al.
Veröffentlicht: (2024)

Towards Fully FP8 GEMM LLM Training at Scale
von: Hernández-Cano, Alejandro, et al.
Veröffentlicht: (2025)

Hydra: Bidirectional State Space Models Through Generalized Matrix Mixers
von: Hwang, Sukjun, et al.
Veröffentlicht: (2024)

Partially Rewriting a Transformer in Natural Language
von: Paulo, Gonçalo, et al.
Veröffentlicht: (2025)

Accelerating Sparse Ternary GEMM for Quantized ML on Apple Silicon
von: Lipshitz, Baraq, et al.
Veröffentlicht: (2025)

Sustainable Transformer Neural Network Acceleration with Stochastic Photonic Computing
von: Afifi, S., et al.
Veröffentlicht: (2026)

Don't Transform the Code, Code the Transforms: Towards Precise Code Rewriting using LLMs
von: Cummins, Chris, et al.
Veröffentlicht: (2024)

CODA: A Continuous Online Evolve Framework for Deploying HAR Sensing Systems
von: Qiu, Minghui, et al.
Veröffentlicht: (2024)

TorchAO: PyTorch-Native Training-to-Serving Model Optimization
von: Or, Andrew, et al.
Veröffentlicht: (2025)

More Than a Score: Probing the Impact of Prompt Specificity on LLM Code Generation
von: Zi, Yangtian, et al.
Veröffentlicht: (2025)

ARTEMIS: A Mixed Analog-Stochastic In-DRAM Accelerator for Transformer Neural Networks
von: Afifi, Salma, et al.
Veröffentlicht: (2024)

RT-Lynx: Putting the GEMM Sparsity In a Right Way for Diffusion Models
von: Cong, Xing, et al.
Veröffentlicht: (2026)

Simplifying Transformer Blocks
von: He, Bobby, et al.
Veröffentlicht: (2023)

D-CODA: Diffusion for Coordinated Dual-Arm Data Augmentation
von: Liu, I-Chun Arthur, et al.
Veröffentlicht: (2025)

Fast KV Compaction via Attention Matching
von: Zweiger, Adam, et al.
Veröffentlicht: (2026)

SLEB: Streamlining LLMs through Redundancy Verification and Elimination of Transformer Blocks
von: Song, Jiwon, et al.
Veröffentlicht: (2024)

Search Your Block Floating Point Scales!
von: Gupta, Tanmaey, et al.
Veröffentlicht: (2026)

A method of using RSVD in residual calculation of LowBit GEMM
von: Gu, Hongyaoxing
Veröffentlicht: (2024)

M$^2$RNN: Non-Linear RNNs with Matrix-Valued States for Scalable Language Modeling
von: Mishra, Mayank, et al.
Veröffentlicht: (2026)

Understanding the Performance Horizon of the Latest ML Workloads with NonGEMM Workloads
von: Karami, Rachid, et al.
Veröffentlicht: (2024)

Hyperloop Transformers
von: Zeitoun, Abbas, et al.
Veröffentlicht: (2026)

The Mamba in the Llama: Distilling and Accelerating Hybrid Models
von: Wang, Junxiong, et al.
Veröffentlicht: (2024)