Buchumschlag

Harmonic Loss Trains Interpretable AI Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Baek, David D., Liu, Ziming, Tyagi, Riya, Tegmark, Max
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory
von: Baek, David D., et al.
Veröffentlicht: (2024)

Towards Understanding Distilled Reasoning Models: A Representational Approach
von: Baek, David D., et al.
Veröffentlicht: (2025)

How Do Transformers "Do" Physics? Investigating the Simple Harmonic Oscillator
von: Kantamneni, Subhash, et al.
Veröffentlicht: (2024)

Do Two AI Scientists Agree?
von: Fu, Xinghong, et al.
Veröffentlicht: (2025)

OptPDE: Discovering Novel Integrable Systems via AI-Human Collaboration
von: Kantamneni, Subhash, et al.
Veröffentlicht: (2024)

A Neural Scaling Law from Lottery Ticket Ensembling
von: Liu, Ziming, et al.
Veröffentlicht: (2023)

Neural Thermodynamic Laws for Large Language Model Training
von: Liu, Ziming, et al.
Veröffentlicht: (2025)

Investigating Representation Universality: Case Study on Genealogical Representations
von: Baek, David D., et al.
Veröffentlicht: (2024)

A Resource Model For Neural Scaling Law
von: Song, Jinyeop, et al.
Veröffentlicht: (2024)

The Quantization Model of Neural Scaling
von: Michaud, Eric J., et al.
Veröffentlicht: (2023)

Scaling Laws For Scalable Oversight
von: Engels, Joshua, et al.
Veröffentlicht: (2025)

Dual-Branch Convolutional Framework for Spatial and Frequency-Based Image Forgery Detection
von: Tyagi, Naman, et al.
Veröffentlicht: (2025)

Language Models Represent Space and Time
von: Gurnee, Wes, et al.
Veröffentlicht: (2023)

Language Models Use Trigonometry to Do Addition
von: Kantamneni, Subhash, et al.
Veröffentlicht: (2025)

Low-Rank Adapting Models for Sparse Autoencoders
von: Chen, Matthew, et al.
Veröffentlicht: (2025)

Survival of the Fittest Representation: A Case Study with Modular Addition
von: Ding, Xiaoman Delores, et al.
Veröffentlicht: (2024)

On the creation of narrow AI: hierarchy and nonlocality of neural network skills
von: Michaud, Eric J., et al.
Veröffentlicht: (2025)

Physics of Skill Learning
von: Liu, Ziming, et al.
Veröffentlicht: (2025)

KAN 2.0: Kolmogorov-Arnold Networks Meet Science
von: Liu, Ziming, et al.
Veröffentlicht: (2024)

Decomposing The Dark Matter of Sparse Autoencoders
von: Engels, Joshua, et al.
Veröffentlicht: (2024)

The Geometry of Concepts: Sparse Autoencoder Feature Structure
von: Li, Yuxiao, et al.
Veröffentlicht: (2024)

Opening the AI black box: program synthesis via mechanistic interpretability
von: Michaud, Eric J., et al.
Veröffentlicht: (2024)

Not All Language Model Features Are One-Dimensionally Linear
von: Engels, Joshua, et al.
Veröffentlicht: (2024)

GraVAC: Adaptive Compression for Communication-Efficient Distributed DL Training
von: Tyagi, Sahil, et al.
Veröffentlicht: (2023)

Training AI to be Loyal
von: Oh, Sewoong, et al.
Veröffentlicht: (2025)

KAN: Kolmogorov-Arnold Networks
von: Liu, Ziming, et al.
Veröffentlicht: (2024)

Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
von: Kantamneni, Subhash, et al.
Veröffentlicht: (2025)

The Remarkable Robustness of LLMs: Stages of Inference?
von: Lad, Vedang, et al.
Veröffentlicht: (2024)

Efficient Dictionary Learning with Switch Sparse Autoencoders
von: Mudide, Anish, et al.
Veröffentlicht: (2024)

Tula: Optimizing Time, Cost, and Generalization in Distributed Large-Batch Training
von: Tyagi, Sahil, et al.
Veröffentlicht: (2026)

Neural Interpretable PDEs: Harmonizing Fourier Insights with Attention for Scalable and Interpretable Physics Discovery
von: Liu, Ning, et al.
Veröffentlicht: (2025)

Affordable Precision Agriculture: A Deployment-Oriented Review of Low-Cost, Low-Power Edge AI and TinyML for Resource-Constrained Farming Systems
von: Samanta, Riya, et al.
Veröffentlicht: (2026)

Are Your Reasoning Models Reasoning or Guessing? A Mechanistic Analysis of Hierarchical Reasoning Models
von: Ren, Zirui, et al.
Veröffentlicht: (2026)

Train-before-Test Harmonizes Language Model Rankings
von: Zhang, Guanhua, et al.
Veröffentlicht: (2025)

Energy per Successful Goal: Goal-Level Energy Accounting for Agentic AI Systems
von: Panigrahy, Deepak, et al.
Veröffentlicht: (2026)

Spectral Path Regression: Directional Chebyshev Harmonics for Interpretable Tabular Learning
von: Coombs, Milo
Veröffentlicht: (2026)

Using Degeneracy in the Loss Landscape for Mechanistic Interpretability
von: Bushnaq, Lucius, et al.
Veröffentlicht: (2024)

Dynamic Sparse Training of Diagonally Sparse Networks
von: Tyagi, Abhishek, et al.
Veröffentlicht: (2025)

Rethinking the Harmonic Loss via Non-Euclidean Distance Layers
von: Miller-Golub, Maxwell, et al.
Veröffentlicht: (2026)

Molecular Odor Prediction with Harmonic Modulated Feature Mapping and Chemically-Informed Loss
von: Xie, HongXin, et al.
Veröffentlicht: (2025)