Buchumschlag

RADLADS: Rapid Attention Distillation to Linear Attention Decoders at Scale

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Goldstein, Daniel, Alcaide, Eric, Lu, Janna, Cheah, Eugene
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning I.2.7
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Key-Value Means: Transformers with Expandable Block-Recurrent Compressed Memory
von: Goldstein, Daniel, et al.
Veröffentlicht: (2026)

RWKV-7 "Goose" with Expressive Dynamic State Evolution
von: Peng, Bo, et al.
Veröffentlicht: (2025)

Forget Attention: Importance-Aware Attention Is All You Need
von: Shin, Soohyeong, et al.
Veröffentlicht: (2026)

Adversarial Lens: Exploiting Attention Layers to Generate Adversarial Examples for Evaluation
von: Dhole, Kaustubh
Veröffentlicht: (2025)

AtManRL: Towards Faithful Reasoning via Differentiable Attention Saliency
von: Höth, Max Henning, et al.
Veröffentlicht: (2026)

Mixture of Attention Spans: Optimizing LLM Inference Efficiency with Heterogeneous Sliding-Window Lengths
von: Fu, Tianyu, et al.
Veröffentlicht: (2024)

Evaluating the Efficacy of Hybrid Deep Learning Models in Distinguishing AI-Generated Text
von: Oketunji, Abiodun Finbarrs
Veröffentlicht: (2023)

Attention Drift: What Autoregressive Speculative Decoding Models Learn
von: Eldenk, Doğaç, et al.
Veröffentlicht: (2026)

Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks
von: Nielsen, Dan Saattrup, et al.
Veröffentlicht: (2024)

SSSD: Simply-Scalable Speculative Decoding
von: Marzollo, Michele, et al.
Veröffentlicht: (2024)

Evaluating Explainable AI Attribution Methods in Neural Machine Translation via Attention-Guided Knowledge Distillation
von: Nourbakhsh, Aria, et al.
Veröffentlicht: (2026)

QiMeng-Attention: SOTA Attention Operator is generated by SOTA Attention Algorithm
von: Zhou, Qirui, et al.
Veröffentlicht: (2025)

Distilling Knowledge from Large Language Models: A Concept Bottleneck Model for Hate and Counter Speech Recognition
von: Labadie-Tamayo, Roberto, et al.
Veröffentlicht: (2025)

Large Language Model (LLM) Bias Index -- LLMBI
von: Oketunji, Abiodun Finbarrs, et al.
Veröffentlicht: (2023)

Dodo: Dynamic Contextual Compression for Decoder-only LMs
von: Qin, Guanghui, et al.
Veröffentlicht: (2023)

Weakly Supervised Distillation of Hallucination Signals into Transformer Representations
von: Salehmohamed, Shoaib Sadiq, et al.
Veröffentlicht: (2026)

Turning the TIDE: Cross-Architecture Distillation for Diffusion Large Language Models
von: Zhang, Gongbo, et al.
Veröffentlicht: (2026)

Generalizing Test-time Compute-optimal Scaling as an Optimizable Graph
von: Wang, Fali, et al.
Veröffentlicht: (2025)

Slim-SC: Thought Pruning for Efficient Scaling with Self-Consistency
von: Hong, Colin, et al.
Veröffentlicht: (2025)

Harnessing Negative Signals: Reinforcement Distillation from Teacher Data for LLM Reasoning
von: Xu, Shuyao, et al.
Veröffentlicht: (2025)

Revisiting Intermediate-Layer Matching in Knowledge Distillation: Layer-Selection Strategy Doesn't Matter (Much)
von: Yu, Zony, et al.
Veröffentlicht: (2025)

Align-to-Distill: Trainable Attention Alignment for Knowledge Distillation in Neural Machine Translation
von: Jin, Heegon, et al.
Veröffentlicht: (2024)

AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks
von: Wang, Fali, et al.
Veröffentlicht: (2025)

Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes
von: Liu, Ming
Veröffentlicht: (2026)

Text-Based Approaches to Item Difficulty Modeling in Large-Scale Assessments: A Systematic Review
von: Peters, Sydney, et al.
Veröffentlicht: (2025)

Softmax Linear Attention: Reclaiming Global Competition
von: Xu, Mingwei, et al.
Veröffentlicht: (2026)

Pressure-Testing Deception Probes in LLMs: Scaling, Robustness, and the Geometry of Deceptive Representations
von: Kumar, Sachin
Veröffentlicht: (2026)

ALISON: Fast and Effective Stylometric Authorship Obfuscation
von: Xing, Eric, et al.
Veröffentlicht: (2024)

Chain and Causal Attention for Efficient Entity Tracking
von: Fagnou, Erwan, et al.
Veröffentlicht: (2024)

Sleepless Nights, Sugary Days: Creating Synthetic Users with Health Conditions for Realistic Coaching Agent Interactions
von: Yun, Taedong, et al.
Veröffentlicht: (2025)

Entropy-Based Measurement of Value Drift and Alignment Work in Large Language Models
von: Fadli, Samih
Veröffentlicht: (2025)

AEyeDE: An Attention-Based Attribution Framework for AI-Generated Text Detection
von: Nourbakhsh, Aria, et al.
Veröffentlicht: (2026)

Paying Attention to Deflections: Mining Pragmatic Nuances for Whataboutism Detection in Online Discourse
von: Phi, Khiem, et al.
Veröffentlicht: (2024)

Disposition Distillation at Small Scale: A Three-Arc Negative Result
von: Sadasivan, Hari
Veröffentlicht: (2026)

On Explaining with Attention Matrices
von: Naim, Omar, et al.
Veröffentlicht: (2024)

Detecting Hallucinations in Graph Retrieval-Augmented Generation via Attention Patterns and Semantic Alignment
von: Li, Shanghao, et al.
Veröffentlicht: (2025)

Structured-Sparse Attention for Entity Tracking with Subquadratic Sequence Complexity
von: Zhao, Hangyue, et al.
Veröffentlicht: (2026)

Sparse Logit Sampling: Accelerating Knowledge Distillation in LLMs
von: Anshumann, et al.
Veröffentlicht: (2025)

AMALIA Technical Report: A Fully Open Source Large Language Model for European Portuguese
von: Simplício, Afonso, et al.
Veröffentlicht: (2026)

ObfusQAte: A Proposed Framework to Evaluate LLM Robustness on Obfuscated Factual Question Answering
von: Ghosh, Shubhra, et al.
Veröffentlicht: (2025)