Buchumschlag

Grammatically-Guided Sparse Attention for Efficient and Interpretable Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Pratyush, Spandan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Artificial Intelligence I.2.6; I.2.7; F.2.2
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Architecture of Errors: From Universal Impossibility to Patch-Local LLM Reliability
von: Arbuzov, Mikhail L., et al.
Veröffentlicht: (2026)

TRIM: Achieving Extreme Sparsity with Targeted Row-wise Iterative Metric-driven Pruning
von: Beck, Florentin, et al.
Veröffentlicht: (2025)

Enhanced and Efficient Reasoning in Large Learning Models
von: Valiant, Leslie G.
Veröffentlicht: (2026)

Recurrent Memory-Augmented Transformers with Chunked Attention for Long-Context Language Modeling
von: Kashyap, Ankit
Veröffentlicht: (2025)

Entropy-Based Measurement of Value Drift and Alignment Work in Large Language Models
von: Fadli, Samih
Veröffentlicht: (2025)

Time-to-Injury Forecasting in Elite Female Football: A DeepHit Survival Approach
von: Catterall, Victoria, et al.
Veröffentlicht: (2026)

Evaluating the efficacy of LLM Safety Solutions : The Palit Benchmark Dataset
von: Palit, Sayon, et al.
Veröffentlicht: (2025)

The Limits of Obliviate: Evaluating Unlearning in LLMs via Stimulus-Knowledge Entanglement-Behavior Framework
von: Shah, Aakriti, et al.
Veröffentlicht: (2025)

Whether, Not Which: Mechanistic Interpretability Reveals Dissociable Affect Reception and Emotion Categorization in LLMs
von: Keeman, Michael
Veröffentlicht: (2026)

Control Reinforcement Learning: Interpretable Token-Level Steering of LLMs via Sparse Autoencoder Features
von: Cho, Seonglae, et al.
Veröffentlicht: (2026)

Prototype Transformer: Towards Language Model Architectures Interpretable by Design
von: Yordanov, Yordan, et al.
Veröffentlicht: (2026)

Interactive LLM-assisted Curriculum Learning for Multi-Task Evolutionary Policy Search
von: Sakallioglu, Berfin, et al.
Veröffentlicht: (2026)

Exploring LLM-based Verilog Code Generation with Data-Efficient Fine-Tuning and Testbench Automation
von: Chen, Mu-Chi, et al.
Veröffentlicht: (2026)

Distilling Self-Consistency into Verbal Confidence: A Pre-Registered Negative Result and Post-Hoc Rescue on Gemma 3 4B
von: Cacioli, Jon-Paul
Veröffentlicht: (2026)

Exemplar Retrieval Without Overhypothesis Induction: Limits of Distributional Sequence Learning in Early Word Learning
von: Cacioli, Jon-Paul
Veröffentlicht: (2026)

Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification
von: Hilasaca, Kenji, et al.
Veröffentlicht: (2026)

ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law
von: Shportun, Nazarii
Veröffentlicht: (2026)

Intention Collapse: Intention-Level Metrics for Reasoning in Language Models
von: Vera, Patricio
Veröffentlicht: (2026)

Why Models Know But Don't Say: Chain-of-Thought Faithfulness Divergence Between Thinking Tokens and Answers in Open-Weight Reasoning Models
von: Young, Richard J.
Veröffentlicht: (2026)

The Pragmatic Persona: Discovering LLM Persona through Bridging Inference
von: Yang, Jisoo, et al.
Veröffentlicht: (2026)

RMGAP: Benchmarking the Generalization of Reward Models across Diverse Preferences
von: Zhou, Yangyang, et al.
Veröffentlicht: (2026)

UrduBench: An Urdu Reasoning Benchmark using Contextually Ensembled Translations with Human-in-the-Loop
von: Shafique, Muhammad Ali, et al.
Veröffentlicht: (2026)

Eyla: Toward an Identity-Anchored LLM Architecture with Integrated Biological Priors -- Vision, Implementation Attempt, and Lessons from AI-Assisted Development
von: Aditto, Arif
Veröffentlicht: (2026)

Truth as a Compression Artifact in Language Model Training
von: Krestnikov, Konstantin
Veröffentlicht: (2026)

Machine Unlearning for Masked Diffusion Language Models
von: Lee, Georu, et al.
Veröffentlicht: (2026)

KAConvText: Novel Approach to Burmese Sentence Classification using Kolmogorov-Arnold Convolution
von: Thu, Ye Kyaw, et al.
Veröffentlicht: (2025)

When Persuasion Overrides Truth in Multi-Agent LLM Debates: Introducing a Confidence-Weighted Persuasion Override Rate (CW-POR)
von: Agarwal, Mahak, et al.
Veröffentlicht: (2025)

A Hierarchical Error Framework for Reliable Automated Coding in Communication Research: Applications to Health and Political Communication
von: Zhao, Zhilong, et al.
Veröffentlicht: (2025)

Assessing Large Language Models on Islamic Legal Reasoning: Evidence from Inheritance Law Evaluation
von: Bouchekif, Abdessalam, et al.
Veröffentlicht: (2025)

Can AI Read Between The Lines? Benchmarking LLMs On Financial Nuance
von: Kubica, Dominick, et al.
Veröffentlicht: (2025)

SECURA: Sigmoid-Enhanced CUR Decomposition with Uninterrupted Retention and Low-Rank Adaptation in Large Language Models
von: Zhang, Yuxuan
Veröffentlicht: (2025)

Beyond Accuracy: Decomposing the Reasoning Efficiency of LLMs
von: Kaiser, Daniel, et al.
Veröffentlicht: (2026)

DRO-InstructZero: Distributionally Robust Prompt Optimization for Large Language Models
von: Li, Yangyang
Veröffentlicht: (2025)

Forget Attention: Importance-Aware Attention Is All You Need
von: Shin, Soohyeong, et al.
Veröffentlicht: (2026)

CoupleEvo: Evolving Heuristics for Coupled Optimization Problems Using Large Language Models
von: Bömer, Thomas, et al.
Veröffentlicht: (2026)

Aletheia: Quantifying Cognitive Conviction in Reasoning Models via Regularized Inverse Confusion Matrix
von: Fu, Fanzhe
Veröffentlicht: (2026)

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind
von: Srishty, Sharmin Sultana, et al.
Veröffentlicht: (2026)

MCP: A Control-Theoretic Orchestration Framework for Synergistic Efficiency and Interpretability in Multimodal Large Language Models
von: Zhang, Luyan
Veröffentlicht: (2025)

Causally Grounded Mechanistic Interpretability for LLMs with Faithful Natural-Language Explanations
von: Mahale, Ajay Pravin
Veröffentlicht: (2026)

CorrSteer: Generation-Time LLM Steering via Correlated Sparse Autoencoder Features
von: Cho, Seonglae, et al.
Veröffentlicht: (2025)