Buchumschlag

Intrinsically Interpretable Attention via Sparse Post-Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Draye, Florent, Lei, Anson, Pan, Hsiao-Ru, Posner, Ingmar, Schölkopf, Bernhard
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Identifying Intervenable and Interpretable Features via Orthogonality Regularization
von: Miller, Moritz, et al.
Veröffentlicht: (2026)

SPARTAN: A Sparse Transformer World Model Attending to What Matters
von: Lei, Anson, et al.
Veröffentlicht: (2024)

Compete and Compose: Learning Independent Mechanisms for Modular World Models
von: Lei, Anson, et al.
Veröffentlicht: (2024)

Skill or Luck? Return Decomposition via Advantage Functions
von: Pan, Hsiao-Ru, et al.
Veröffentlicht: (2024)

Disentangling Dynamical Systems: Causal Representation Learning Meets Local Sparse Attention
von: Baumgartner, Markus W., et al.
Veröffentlicht: (2026)

World Models via Policy-Guided Trajectory Diffusion
von: Rigter, Marc, et al.
Veröffentlicht: (2023)

Learning to Reason Efficiently with A* Post-Training
von: Opedal, Andreas, et al.
Veröffentlicht: (2026)

Post-Training Sparse Attention with Double Sparsity
von: Yang, Shuo, et al.
Veröffentlicht: (2024)

XQC: Well-conditioned Optimization Accelerates Deep Reinforcement Learning
von: Palenicek, Daniel, et al.
Veröffentlicht: (2025)

Causality can systematically address the monsters under the bench(marks)
von: Leeb, Felix, et al.
Veröffentlicht: (2025)

A Probabilistic Model Behind Self-Supervised Learning
von: Bizeul, Alice, et al.
Veröffentlicht: (2024)

Out-of-Variable Generalization for Discriminative Models
von: Guo, Siyuan, et al.
Veröffentlicht: (2023)

Computational Arbitrage in AI Model Markets
von: Olmedo, Ricardo, et al.
Veröffentlicht: (2026)

Reparameterized LLM Training via Orthogonal Equivalence Transformation
von: Qiu, Zeju, et al.
Veröffentlicht: (2025)

Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models
von: Rajendran, Goutham, et al.
Veröffentlicht: (2024)

Grasp-MPC: Closed-Loop Visual Grasping via Value-Guided Model Predictive Control
von: Yamada, Jun, et al.
Veröffentlicht: (2025)

DITTO: Offline Imitation Learning with World Models
von: DeMoss, Branton, et al.
Veröffentlicht: (2023)

Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering
von: Kladny, Klaus-Rudolf, et al.
Veröffentlicht: (2024)

SparseBalance: Load-Balanced Long Context Training with Dynamic Sparse Attention
von: Xu, Hongtao, et al.
Veröffentlicht: (2026)

Riemannian Networks over Full-Rank Correlation Matrices
von: Chen, Ziheng, et al.
Veröffentlicht: (2026)

Preference Elicitation for Offline Reinforcement Learning
von: Pace, Alizée, et al.
Veröffentlicht: (2024)

Provable Privacy with Non-Private Pre-Processing
von: Hu, Yaxi, et al.
Veröffentlicht: (2024)

Skill Learning via Policy Diversity Yields Identifiable Representations for Reinforcement Learning
von: Reizinger, Patrik, et al.
Veröffentlicht: (2025)

Lil: Less is Less When Applying Post-Training Sparse-Attention Algorithms in Long-Decode Stage
von: Hu, Junhao, et al.
Veröffentlicht: (2026)

A Mathematical Theory of Top-$k$ Sparse Attention via Total Variation Distance
von: Tzachristas, Georgios, et al.
Veröffentlicht: (2025)

Riemannian Batch Normalization: A Gyro Approach
von: Chen, Ziheng, et al.
Veröffentlicht: (2025)

Offline Adaptation of Quadruped Locomotion using Diffusion Models
von: O'Mahoney, Reece, et al.
Veröffentlicht: (2024)

vAttention: Verified Sparse Attention
von: Desai, Aditya, et al.
Veröffentlicht: (2025)

Learning Nonlinear Causal Reductions to Explain Reinforcement Learning Policies
von: Kekić, Armin, et al.
Veröffentlicht: (2025)

Natural Building Blocks for Structured World Models: Theory, Evidence, and Scaling
von: Da Costa, Lancelot, et al.
Veröffentlicht: (2025)

Identifiable Exchangeable Mechanisms for Causal Structure and Representation Learning
von: Reizinger, Patrik, et al.
Veröffentlicht: (2024)

Deep Backtracking Counterfactuals for Causally Compliant Explanations
von: Kladny, Klaus-Rudolf, et al.
Veröffentlicht: (2023)

SeerAttention-R: Sparse Attention Adaptation for Long Reasoning
von: Gao, Yizhao, et al.
Veröffentlicht: (2025)

Train One Sparse Autoencoder Across Multiple Sparsity Budgets to Preserve Interpretability and Accuracy
von: Balagansky, Nikita, et al.
Veröffentlicht: (2025)

Intrinsic Reward Policy Optimization for Sparse-Reward Environments
von: Cho, Minjae, et al.
Veröffentlicht: (2026)

Towards Interpretable Adversarial Examples via Sparse Adversarial Attack
von: Lin, Fudong, et al.
Veröffentlicht: (2025)

Post-Training Statistical Calibration for Higher Activation Sparsity
von: Chua, Vui Seng, et al.
Veröffentlicht: (2024)

Stargazer: A Scalable Model-Fitting Benchmark Environment for AI Agents under Astrophysical Constraints
von: Liu, Xinge, et al.
Veröffentlicht: (2026)

Improving Large Language Model Safety with Contrastive Representation Learning
von: Simko, Samuel, et al.
Veröffentlicht: (2025)

Counterfactual reasoning: an analysis of in-context emergence
von: Miller, Moritz, et al.
Veröffentlicht: (2025)