Buchumschlag

Decomposing Query-Key Feature Interactions Using Contrastive Covariances

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lee, Andrew, Belinkov, Yonatan, Viégas, Fernanda, Wattenberg, Martin
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Tensor Product Representation Probes Reveal Shared Structure Across Linear Directions
von: Lee, Andrew, et al.
Veröffentlicht: (2026)

Shared Global and Local Geometry of Language Model Embeddings
von: Lee, Andrew, et al.
Veröffentlicht: (2025)

Relational Composition in Neural Networks: A Survey and Call to Action
von: Wattenberg, Martin, et al.
Veröffentlicht: (2024)

The Geometry of Self-Verification in a Task-Specific Reasoning Model
von: Lee, Andrew, et al.
Veröffentlicht: (2025)

Dialogue Action Tokens: Steering Language Models in Goal-Directed Dialogue with a Multi-Turn Planner
von: Li, Kenneth, et al.
Veröffentlicht: (2024)

When Bad Data Leads to Good Models
von: Li, Kenneth, et al.
Veröffentlicht: (2025)

SAEs Are Good for Steering -- If You Select the Right Features
von: Arad, Dana, et al.
Veröffentlicht: (2025)

Large Language Models Generate Harmful Content Using a Distinct, Unified Mechanism
von: Orgad, Hadas, et al.
Veröffentlicht: (2026)

Inference-Time Intervention: Eliciting Truthful Answers from a Language Model
von: Li, Kenneth, et al.
Veröffentlicht: (2023)

Between the Layers Lies the Truth: Uncertainty Estimation in LLMs Using Intra-Layer Local Information Scores
von: Badash, Zvi N., et al.
Veröffentlicht: (2026)

Why Can't Transformers Learn Multiplication? Reverse-Engineering Reveals Long-Range Dependency Pitfalls
von: Bai, Xiaoyan, et al.
Veröffentlicht: (2025)

Accelerating the Global Aggregation of Local Explanations
von: Mor, Alon, et al.
Veröffentlicht: (2023)

Measures of Information Reflect Memorization Patterns
von: Bansal, Rachit, et al.
Veröffentlicht: (2022)

Chronotome: Real-Time Topic Modeling for Streaming Embedding Spaces
von: Lim, Matte, et al.
Veröffentlicht: (2025)

Decomposing Global Feature Effects Based on Feature Interactions
von: Herbinger, Julia, et al.
Veröffentlicht: (2023)

Leveraging Prototypical Representations for Mitigating Social Bias without Demographic Information
von: Iskander, Shadi, et al.
Veröffentlicht: (2024)

Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs
von: Itzhak, Itay, et al.
Veröffentlicht: (2025)

Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task
von: Li, Kenneth, et al.
Veröffentlicht: (2022)

Decomposing Gaussians with Unknown Covariance
von: Dharamshi, Ameer, et al.
Veröffentlicht: (2024)

Have Faith in Faithfulness: Going Beyond Circuit Overlap When Finding Model Mechanisms
von: Hanna, Michael, et al.
Veröffentlicht: (2024)

Measuring and Controlling Instruction (In)Stability in Language Model Dialogs
von: Li, Kenneth, et al.
Veröffentlicht: (2024)

Fast Forwarding Low-Rank Training
von: Rahamim, Adir, et al.
Veröffentlicht: (2024)

Explaining Categorical Feature Interactions Using Graph Covariance and LLMs
von: Shen, Cencheng, et al.
Veröffentlicht: (2025)

Story Ribbons: Reimagining Storyline Visualizations with Large Language Models
von: Yeh, Catherine, et al.
Veröffentlicht: (2025)

Silent Tokens, Loud Effects: Padding in LLMs
von: Himelstein, Rom, et al.
Veröffentlicht: (2025)

From Feelings to Metrics: Understanding and Formalizing How Users Vibe-Test LLMs
von: Itzhak, Itay, et al.
Veröffentlicht: (2026)

Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models
von: Marks, Samuel, et al.
Veröffentlicht: (2024)

Backward Lens: Projecting Language Model Gradients into the Vocabulary Space
von: Katz, Shahar, et al.
Veröffentlicht: (2024)

Instructed to Bias: Instruction-Tuned Language Models Exhibit Emergent Cognitive Bias
von: Itzhak, Itay, et al.
Veröffentlicht: (2023)

Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity Tracking
von: Prakash, Nikhil, et al.
Veröffentlicht: (2024)

Unified Concept Editing in Diffusion Models
von: Gandikota, Rohit, et al.
Veröffentlicht: (2023)

Induction Meets Biology: Mechanisms of Repeat Detection in Protein Language Models
von: Pomerants, Gal, et al.
Veröffentlicht: (2026)

What Does it Mean for a Neural Network to Learn a "World Model"?
von: Li, Kenneth, et al.
Veröffentlicht: (2025)

Mechanisms of AI Protein Folding in ESMFold
von: Lu, Kevin, et al.
Veröffentlicht: (2026)

Position-aware Automatic Circuit Discovery
von: Haklay, Tal, et al.
Veröffentlicht: (2025)

ContraSim -- Analyzing Neural Representations Based on Contrastive Learning
von: Rahamim, Adir, et al.
Veröffentlicht: (2023)

Does visualization help AI understand data?
von: Li, Victoria R., et al.
Veröffentlicht: (2025)

Coupled Query-Key Dynamics for Attention
von: Gahtan, Barak, et al.
Veröffentlicht: (2026)

Confidence Regulation Neurons in Language Models
von: Stolfo, Alessandro, et al.
Veröffentlicht: (2024)

Decomposing Uncertainty in Probabilistic Knowledge Graph Embeddings: Why Entity Variance Is Not Enough
von: Lee, Chorok
Veröffentlicht: (2025)