Copertina

Not All Language Model Features Are One-Dimensionally Linear

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Engels, Joshua, Michaud, Eric J., Liao, Isaac, Gurnee, Wes, Tegmark, Max
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Language Models Represent Space and Time
di: Gurnee, Wes, et al.
Pubblicazione: (2023)

The Remarkable Robustness of LLMs: Stages of Inference?
di: Lad, Vedang, et al.
Pubblicazione: (2024)

The Geometry of Concepts: Sparse Autoencoder Feature Structure
di: Li, Yuxiao, et al.
Pubblicazione: (2024)

Low-Rank Adapting Models for Sparse Autoencoders
di: Chen, Matthew, et al.
Pubblicazione: (2025)

Efficient Dictionary Learning with Switch Sparse Autoencoders
di: Mudide, Anish, et al.
Pubblicazione: (2024)

Decomposing The Dark Matter of Sparse Autoencoders
di: Engels, Joshua, et al.
Pubblicazione: (2024)

On the creation of narrow AI: hierarchy and nonlocality of neural network skills
di: Michaud, Eric J., et al.
Pubblicazione: (2025)

The Quantization Model of Neural Scaling
di: Michaud, Eric J., et al.
Pubblicazione: (2023)

When Models Manipulate Manifolds: The Geometry of a Counting Task
di: Gurnee, Wes, et al.
Pubblicazione: (2026)

Scaling Laws For Scalable Oversight
di: Engels, Joshua, et al.
Pubblicazione: (2025)

Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
di: Kantamneni, Subhash, et al.
Pubblicazione: (2025)

Dense SAE Latents Are Features, Not Bugs
di: Sun, Xiaoqing, et al.
Pubblicazione: (2025)

Survival of the Fittest Representation: A Case Study with Modular Addition
di: Ding, Xiaoman Delores, et al.
Pubblicazione: (2024)

Language Models Use Trigonometry to Do Addition
di: Kantamneni, Subhash, et al.
Pubblicazione: (2025)

Physics of Skill Learning
di: Liu, Ziming, et al.
Pubblicazione: (2025)

Confidence Regulation Neurons in Language Models
di: Stolfo, Alessandro, et al.
Pubblicazione: (2024)

Refusal in Language Models Is Mediated by a Single Direction
di: Arditi, Andy, et al.
Pubblicazione: (2024)

Opening the AI black box: program synthesis via mechanistic interpretability
di: Michaud, Eric J., et al.
Pubblicazione: (2024)

Towards Understanding Distilled Reasoning Models: A Representational Approach
di: Baek, David D., et al.
Pubblicazione: (2025)

Universal Neurons in GPT2 Language Models
di: Gurnee, Wes, et al.
Pubblicazione: (2024)

GenEFT: Understanding Statics and Dynamics of Model Generalization via Effective Theory
di: Baek, David D., et al.
Pubblicazione: (2024)

Neural Thermodynamic Laws for Large Language Model Training
di: Liu, Ziming, et al.
Pubblicazione: (2025)

A Neural Scaling Law from Lottery Ticket Ensembling
di: Liu, Ziming, et al.
Pubblicazione: (2023)

Harmonic Loss Trains Interpretable AI Models
di: Baek, David D., et al.
Pubblicazione: (2025)

OptPDE: Discovering Novel Integrable Systems via AI-Human Collaboration
di: Kantamneni, Subhash, et al.
Pubblicazione: (2024)

Do Two AI Scientists Agree?
di: Fu, Xinghong, et al.
Pubblicazione: (2025)

Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models
di: Marks, Samuel, et al.
Pubblicazione: (2024)

Investigating Representation Universality: Case Study on Genealogical Representations
di: Baek, David D., et al.
Pubblicazione: (2024)

A Resource Model For Neural Scaling Law
di: Song, Jinyeop, et al.
Pubblicazione: (2024)

How Do Transformers "Do" Physics? Investigating the Simple Harmonic Oscillator
di: Kantamneni, Subhash, et al.
Pubblicazione: (2024)

Efficient Level-Crossing Probability Calculation for Gaussian Process Modeled Data
di: Li, Haoyu, et al.
Pubblicazione: (2025)

Training on Documents About Monitoring Leads to CoT Obfuscation
di: Haskins, Reilly, et al.
Pubblicazione: (2026)

One for All: Towards Training One Graph Model for All Classification Tasks
di: Liu, Hao, et al.
Pubblicazione: (2023)

Understanding sparse autoencoder scaling in the presence of feature manifolds
di: Michaud, Eric J., et al.
Pubblicazione: (2025)

psifx -- Psychological and Social Interactions Feature Extraction Package
di: Rochette, Guillaume, et al.
Pubblicazione: (2024)

Linear Transformer Topological Masking with Graph Random Features
di: Reid, Isaac, et al.
Pubblicazione: (2024)

Interpretation of High-Dimensional Regression Coefficients by Comparison with Linearized Compressing Features
di: Schaeffer, Joachim, et al.
Pubblicazione: (2024)

The Geometry of Truth: Emergent Linear Structure in Large Language Model Representations of True/False Datasets
di: Marks, Samuel, et al.
Pubblicazione: (2023)

Attention Is Not All You Need: The Importance of Feedforward Networks in Transformer Models
di: Gerber, Isaac
Pubblicazione: (2025)

Transferring Linear Features Across Language Models With Model Stitching
di: Chen, Alan, et al.
Pubblicazione: (2025)