Buchumschlag

EG-MLA: Embedding-Gated Multi-head Latent Attention for Scalable and Efficient LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cai, Zhengge, Hou, Haowen
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

X-EcoMLA: Upcycling Pre-Trained Attention into MLA for Efficient and Extreme KV Compression
von: Li, Guihong, et al.
Veröffentlicht: (2025)

SnapMLA: Efficient Long-Context MLA Decoding via Hardware-Aware FP8 Quantized Pipelining
von: Zhang, Yifan, et al.
Veröffentlicht: (2026)

MHA2MLA-VLM: Enabling DeepSeek's Economical Multi-Head Latent Attention across Vision-Language Models
von: Fan, Xiaoran, et al.
Veröffentlicht: (2026)

EmbeddingRWKV: State-Centric Retrieval with Reusable States
von: Hou, Haowen, et al.
Veröffentlicht: (2026)

In-context KV-Cache Eviction for LLMs via Attention-Gate
von: Zeng, Zihao, et al.
Veröffentlicht: (2024)

Explicit Multi-head Attention for Inter-head Interaction in Large Language Models
von: Peng, Runyu, et al.
Veröffentlicht: (2026)

Gated Slot Attention for Efficient Linear-Time Sequence Modeling
von: Zhang, Yu, et al.
Veröffentlicht: (2024)

Interleaved Latent Visual Reasoning with Selective Perceptual Modeling
von: Dong, Shuai, et al.
Veröffentlicht: (2025)

Advancing Sentiment Analysis: A Novel LSTM Framework with Multi-head Attention
von: Yi, Jingyuan, et al.
Veröffentlicht: (2025)

Pair-In, Pair-Out: Latent Multi-Token Prediction for Efficient LLMs
von: Tan, Wenhui, et al.
Veröffentlicht: (2026)

Gated Tree Cross-Attention for Checkpoint-Compatible Syntax Injection in Decoder-Only LLMs
von: Gao, Xinyu, et al.
Veröffentlicht: (2026)

Gated Linear Attention Transformers with Hardware-Efficient Training
von: Yang, Songlin, et al.
Veröffentlicht: (2023)

Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance
von: Chen, Jiayi, et al.
Veröffentlicht: (2024)

MARRO: Multi-headed Attention for Rhetorical Role Labeling in Legal Documents
von: Bambroo, Purbid, et al.
Veröffentlicht: (2025)

OpenGuardrails: A Configurable, Unified, and Scalable Guardrails Platform for Large Language Models
von: Wang, Thomas, et al.
Veröffentlicht: (2025)

Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space
von: Figliolia, Tomas, et al.
Veröffentlicht: (2025)

CausalEmbed: Auto-Regressive Multi-Vector Generation in Latent Space for Visual Document Embedding
von: Huo, Jiahao, et al.
Veröffentlicht: (2026)

GTA: Grouped-head latenT Attention
von: Sun, Luoyang, et al.
Veröffentlicht: (2025)

Optimizing Native Sparse Attention with Latent Attention and Local Global Alternating Strategies
von: Hu, Yuxuan, et al.
Veröffentlicht: (2025)

Arctic-Embed: Scalable, Efficient, and Accurate Text Embedding Models
von: Merrick, Luke, et al.
Veröffentlicht: (2024)

VisualRWKV-HD and UHD: Advancing High-Resolution Processing for Visual Language Models
von: Li, Zihang, et al.
Veröffentlicht: (2024)

Towards Economical Inference: Enabling DeepSeek's Multi-Head Latent Attention in Any Transformer-based LLMs
von: Ji, Tao, et al.
Veröffentlicht: (2025)

Do Multilingual LLMs have specialized language heads?
von: Naufil, Muhammad
Veröffentlicht: (2026)

Latent Multi-Head Attention for Small Language Models
von: Mehta, Sushant, et al.
Veröffentlicht: (2025)

Towards Better Multi-head Attention via Channel-wise Sample Permutation
von: Yuan, Shen, et al.
Veröffentlicht: (2024)

ReGLA: Refining Gated Linear Attention
von: Lu, Peng, et al.
Veröffentlicht: (2025)

Griffin: Mixing Gated Linear Recurrences with Local Attention for Efficient Language Models
von: De, Soham, et al.
Veröffentlicht: (2024)

Fast-MIA: Efficient and Scalable Membership Inference for LLMs
von: Takahashi, Hiromu, et al.
Veröffentlicht: (2025)

Flux Attention: Context-Aware Hybrid Attention for Efficient LLMs Inference
von: Qiu, Quantong, et al.
Veröffentlicht: (2026)

FlashMLA-ETAP: Efficient Transpose Attention Pipeline for Accelerating MLA Inference on NVIDIA H20 GPUs
von: Dege, Pengcuo, et al.
Veröffentlicht: (2025)

Uncertainty-Aware Attention Heads: Efficient Unsupervised Uncertainty Quantification for LLMs
von: Vazhentsev, Artem, et al.
Veröffentlicht: (2025)

Attn-GS: Attention-Guided Context Compression for Efficient Personalized LLMs
von: Zeng, Shenglai, et al.
Veröffentlicht: (2026)

Answer-Centric or Reasoning-Driven? Uncovering the Latent Memory Anchor in LLMs
von: Wu, Yang, et al.
Veröffentlicht: (2025)

Gated Attention for Large Language Models: Non-linearity, Sparsity, and Attention-Sink-Free
von: Qiu, Zihan, et al.
Veröffentlicht: (2025)

SR-KI: Scalable and Real-Time Knowledge Integration into LLMs via Supervised Attention
von: Yu, Bohan, et al.
Veröffentlicht: (2025)

GAProtoNet: A Multi-head Graph Attention-based Prototypical Network for Interpretable Text Classification
von: Wen, Ximing, et al.
Veröffentlicht: (2024)

Scalable Multi-phase Word Embedding Using Conjunctive Propositional Clauses
von: Kadhim, Ahmed K., et al.
Veröffentlicht: (2025)

Learning to Look at the Other Side: A Semantic Probing Study of Word Embeddings in LLMs with Enabled Bidirectional Attention
von: Feng, Zhaoxin, et al.
Veröffentlicht: (2025)

Efficient Latent Semantic Clustering for Scaling Test-Time Computation of LLMs
von: Lee, Sungjae, et al.
Veröffentlicht: (2025)

Bias A-head? Analyzing Bias in Transformer-Based Language Model Attention Heads
von: Yang, Yi, et al.
Veröffentlicht: (2023)