Buchumschlag

Exhaustive Circuit Mapping of a Single-Cell Foundation Model Reveals Massive Redundancy, Heavy-Tailed Hub Architecture, and Layer-Dependent Differentiation Control

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Kendiukhov, Ihor
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Causal Circuit Tracing Reveals Distinct Computational Architectures in Single-Cell Foundation Models: Inhibitory Dominance, Biological Coherence, and Cross-Model Convergence
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

Scaling Laws for Masked-Reconstruction Transformers on Single-Cell Transcriptomics
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

Multi-Dimensional Spectral Geometry of Biological Knowledge in Single-Cell Transformer Representations
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

Discovery of a Hematopoietic Manifold in scGPT Yields a Method for Extracting Performant Algorithms from Biological Foundation Model Internals
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

What Topological and Geometric Structure Do Biological Foundation Models Learn? Evidence from 141 Hypotheses
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

A Review of Developmental Interpretability in Large Language Models
von: Kendiukhov, Ihor
Veröffentlicht: (2025)

Sparse autoencoders reveal organized biological knowledge but minimal regulatory logic in single-cell foundation models: a comparative atlas of Geneformer and scGPT
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

Quantifying Ranking Instability Across Evaluation Protocol Axes in Gene Regulatory Network Benchmarking
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

Systematic Evaluation of Single-Cell Foundation Model Interpretability Reveals Attention Captures Co-Expression Rather Than Unique Regulatory Signal
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

Transcoder-based Circuit Analysis for Interpretable Single-Cell Foundation Models
von: Hosokawa, Sosuke, et al.
Veröffentlicht: (2025)

Ergodicity Library: A Python Toolkit for Stochastic-Process Simulation, Time-Average Diagnostics, and Agent-Based Experiments
von: Kendiukhov, Ihor
Veröffentlicht: (2026)

Ergodicity Library: An Introduction
von: Kendiukhov, Ihor
Veröffentlicht: (2024)

Present Value of the Future Consumer Goods Multiplier
von: Kendiukhov, Ihor
Veröffentlicht: (2024)

Risk Aversion in Non-Ergodic Systems
von: Kendiukhov, Ihor
Veröffentlicht: (2024)

Heavy-Tailed Diffusion Models
von: Pandey, Kushagra, et al.
Veröffentlicht: (2024)

On the Performance of Differentially Private Optimization with Heavy-Tail Class Imbalance
von: Tang, Qiaoyue, et al.
Veröffentlicht: (2025)

Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
von: Katyal, Calder
Veröffentlicht: (2024)

Models of Heavy-Tailed Mechanistic Universality
von: Hodgkinson, Liam, et al.
Veröffentlicht: (2025)

Long-Tail Learning with Foundation Model: Heavy Fine-Tuning Hurts
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2023)

Tail Annealing for Heavy-Tailed Flow Matching
von: Pachebat, Jean
Veröffentlicht: (2026)

Rényi Differential Privacy for Heavy-Tailed SDEs via Fractional Poincaré Inequalities
von: Dupuis, Benjamin, et al.
Veröffentlicht: (2025)

Universal Redundancies in Time Series Foundation Models
von: Bao, Anthony, et al.
Veröffentlicht: (2026)

Asynchronous Heavy-Tailed Optimization
von: Sun, Junfei, et al.
Veröffentlicht: (2026)

Self-Regulating Annealing in Heavy-Tailed Diffusion Models
von: Wakatsuki, Keito, et al.
Veröffentlicht: (2026)

Heavy-Tailed Diffusion with Denoising Lévy Probabilistic Models
von: Shariatian, Dario, et al.
Veröffentlicht: (2024)

SafeTail: Efficient Tail Latency Optimization in Edge Service Scheduling via Computational Redundancy Management
von: Shokhanda, Jyoti, et al.
Veröffentlicht: (2024)

AlphaPruning: Using Heavy-Tailed Self Regularization Theory for Improved Layer-wise Pruning of Large Language Models
von: Lu, Haiquan, et al.
Veröffentlicht: (2024)

Heavy-Tailed Principal Component Analysis
von: Sayde, Mario, et al.
Veröffentlicht: (2026)

Optimal Rates for Pure $\varepsilon$-Differentially Private Stochastic Convex Optimization with Heavy Tails
von: Lowy, Andrew
Veröffentlicht: (2026)

Stochastic Bilevel Optimization with Heavy-Tailed Noise
von: Liu, Zhuanghua, et al.
Veröffentlicht: (2025)

No Free Swap: Protocol-Dependent Layer Redundancy in Transformers
von: Garcia, Gabriel
Veröffentlicht: (2026)

Global Dynamics of Heavy-Tailed SGDs in Nonconvex Loss Landscape: Characterization and Control
von: Wang, Xingyu, et al.
Veröffentlicht: (2025)

Heavy-Tail Phenomenon in Decentralized SGD
von: Gurbuzbalaban, Mert, et al.
Veröffentlicht: (2022)

Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning
von: Yan, Jiaming
Veröffentlicht: (2024)

Stability and Generalization of Nonconvex Optimization with Heavy-Tailed Noise
von: Chen, Hongxu, et al.
Veröffentlicht: (2026)

Efficient Distributed Optimization under Heavy-Tailed Noise
von: Lee, Su Hyeong, et al.
Veröffentlicht: (2025)

Mirror Flow Matching with Heavy-Tailed Priors for Generative Modeling on Convex Domains
von: Guan, Yunrui, et al.
Veröffentlicht: (2025)

Heavy-Tailed Class-Conditional Priors for Long-Tailed Generative Modeling
von: Bouayed, Aymene Mohammed, et al.
Veröffentlicht: (2025)

Mind the Gap: How Elicitation Protocols Shape the Stated-Revealed Preference Gap in Language Models
von: Mahajan, Pranav, et al.
Veröffentlicht: (2026)

Layer-Aware Analysis of Catastrophic Overfitting: Revealing the Pseudo-Robust Shortcut Dependency
von: Lin, Runqi, et al.
Veröffentlicht: (2024)