Buchumschlag

Mathematical Models of Computation in Superposition

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hänni, Kaarel, Mendel, Jake, Vaintrob, Dmitry, Chan, Lawrence
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Cluster-norm for Unsupervised Probing of Knowledge
von: Laurito, Walter, et al.
Veröffentlicht: (2024)

Using Degeneracy in the Loss Landscape for Mechanistic Interpretability
von: Bushnaq, Lucius, et al.
Veröffentlicht: (2024)

The Local Interaction Basis: Identifying Computationally-Relevant and Sparsely Interacting Features in Neural Networks
von: Bushnaq, Lucius, et al.
Veröffentlicht: (2024)

Superposition in Graph Neural Networks
von: Pertl, Lukas, et al.
Veröffentlicht: (2025)

Sparsity and Superposition in Mixture of Experts
von: Chaudhari, Marmik, et al.
Veröffentlicht: (2025)

RanDeS: Randomized Delta Superposition for Multi-Model Compression
von: Zhou, Hangyu, et al.
Veröffentlicht: (2025)

On Implications of Scaling Laws on Feature Superposition
von: Katta, Pavan
Veröffentlicht: (2024)

Integral Signatures of Activation Functions: A 9-Dimensional Taxonomy and Stability Theory for Deep Learning
von: Mali, Ankur, et al.
Veröffentlicht: (2025)

Understanding Emergent Misalignment via Feature Superposition Geometry
von: Minegishi, Gouki, et al.
Veröffentlicht: (2026)

Emergence of Frontier Superposition: Möbius attractor and Cascade Supervision
von: Gu, Hongyu, et al.
Veröffentlicht: (2026)

The Alignment Problem from a Deep Learning Perspective
von: Ngo, Richard, et al.
Veröffentlicht: (2022)

Outcome-Based RL Provably Leads Transformers to Reason, but Only With the Right Data
von: Ran-Milo, Yuval, et al.
Veröffentlicht: (2026)

Superposition as Lossy Compression: Measure with Sparse Autoencoders and Connect to Adversarial Vulnerability
von: Bereska, Leonard, et al.
Veröffentlicht: (2025)

Superposition Yields Robust Neural Scaling
von: Liu, Yizhou, et al.
Veröffentlicht: (2025)

Spectral Superposition: A Theory of Feature Geometry
von: Ivanov, Georgi, et al.
Veröffentlicht: (2026)

The Geometry of Multi-Task Grokking: Transverse Instability, Superposition, and Weight Decay Phase Structure
von: Xu, Yongzhong
Veröffentlicht: (2026)

Geometric Limits of Knowledge Distillation: A Minimum-Width Theorem via Superposition Theory
von: Sarkar, Nilesh, et al.
Veröffentlicht: (2026)

$f$-Trajectory Balance: A Loss Family for Tuning GFlowNets, Generative Models, and LLMs with Off- and On-Policy Data
von: Fawkes, Jake, et al.
Veröffentlicht: (2026)

Adaptive MSD-Splitting: Enhancing C4.5 and Random Forests for Skewed Continuous Attributes
von: Lee, Jake
Veröffentlicht: (2026)

Superposition Prompting: Improving and Accelerating Retrieval-Augmented Generation
von: Merth, Thomas, et al.
Veröffentlicht: (2024)

Modular addition without black-boxes: Compressing explanations of MLPs that compute numerical integration
von: Yip, Chun Hei, et al.
Veröffentlicht: (2024)

A Mathematical Explanation of Transformers
von: Tai, Xue-Cheng, et al.
Veröffentlicht: (2025)

Diffusion Models: A Mathematical Introduction
von: Maleki, Sepehr, et al.
Veröffentlicht: (2025)

Mathematical Foundation of Interpretable Equivariant Surrogate Models
von: Colombini, Jacopo Joy, et al.
Veröffentlicht: (2025)

Provably Extracting the Features from a General Superposition
von: Liu, Allen
Veröffentlicht: (2025)

Probing for Representation Manifolds in Superposition
von: Modell, Alexander
Veröffentlicht: (2026)

Rethinking Fine-Tuning when Scaling Test-Time Compute: Limiting Confidence Improves Mathematical Reasoning
von: Chen, Feng, et al.
Veröffentlicht: (2025)

Superposition unifies power-law training dynamics
von: Chen, Zixin Jessie, et al.
Veröffentlicht: (2026)

The Nature of Mathematical Modeling and Probabilistic Optimization Engineering in Generative AI
von: Li, Fulu
Veröffentlicht: (2024)

Shifting the Gradient: Understanding How Defensive Training Methods Protect Language Model Integrity
von: Grant, Satchel, et al.
Veröffentlicht: (2026)

Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
von: Ravuri, Aditya, et al.
Veröffentlicht: (2024)

Everything Everywhere All at Once: LLMs can In-Context Learn Multiple Tasks in Superposition
von: Xiong, Zheyang, et al.
Veröffentlicht: (2024)

Deep Learning for Modeling and Dispatching Hybrid Wind Farm Power Generation
von: Lawrence, Zach, et al.
Veröffentlicht: (2025)

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models
von: Mirzadeh, Iman, et al.
Veröffentlicht: (2024)

CAMA: Enhancing Mathematical Reasoning in Large Language Models with Causal Knowledge
von: Zan, Lei, et al.
Veröffentlicht: (2025)

Systematic Optimization of Open Source Large Language Models for Mathematical Reasoning
von: Pawar, Pranav, et al.
Veröffentlicht: (2025)

FormalMATH: Benchmarking Formal Mathematical Reasoning of Large Language Models
von: Yu, Zhouliang, et al.
Veröffentlicht: (2025)

Adversarial Attacks Leverage Interference Between Features in Superposition
von: Stevinson, Edward, et al.
Veröffentlicht: (2025)

Rank-1 LoRAs Encode Interpretable Reasoning Signals
von: Ward, Jake, et al.
Veröffentlicht: (2025)

Conformal Prediction as Bayesian Quadrature
von: Snell, Jake C., et al.
Veröffentlicht: (2025)