Buchumschlag

Hierarchical Sparse Circuit Extraction from Billion-Parameter Language Models through Scalable Attribution Graph Decomposition

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Uddin, Mohammed Mudassir, Alam, Shahnawaz, Pasha, Mohammed Kaif
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Constraint-Aware Neurosymbolic Uncertainty Quantification with Bayesian Deep Learning for Scientific Discovery
von: Alam, Shahnawaz, et al.
Veröffentlicht: (2026)

Meta-Learning Guided Pruning for Few-Shot Plant Pathology on Edge Devices
von: Uddin, Mohammed Mudassir, et al.
Veröffentlicht: (2026)

AgentCompress: Task-Aware Compression for Affordable Large Language Model Agents
von: Taha, Zuhair Ahmed Khan, et al.
Veröffentlicht: (2026)

Sparse Attention Decomposition Applied to Circuit Tracing
von: Franco, Gabriel, et al.
Veröffentlicht: (2024)

Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models
von: Marks, Samuel, et al.
Veröffentlicht: (2024)

Assessing the Portability of Parameter Matrices Trained by Parameter-Efficient Finetuning Methods
von: Sabry, Mohammed, et al.
Veröffentlicht: (2024)

Evaluating Fine-Tuned LLM Model For Medical Transcription With Small Low-Resource Languages Validated Dataset
von: Chowdhury, Mohammed Nowshad Ruhani, et al.
Veröffentlicht: (2026)

Large Language Models as Topological Structure Enhancers for Text-Attributed Graphs
von: Sun, Shengyin, et al.
Veröffentlicht: (2023)

Efficient Text-Attributed Graph Learning through Selective Annotation and Graph Alignment
von: Xie, Huanyi, et al.
Veröffentlicht: (2025)

Large Language Models Meet Text-Attributed Graphs: A Survey of Integration Frameworks and Applications
von: Su, Guangxin, et al.
Veröffentlicht: (2025)

Understanding and Improving Length Generalization in Hierarchical Sparse Attention Models
von: Leng, Jiaqi, et al.
Veröffentlicht: (2025)

Diversity-driven Data Selection for Language Model Tuning through Sparse Autoencoder
von: Yang, Xianjun, et al.
Veröffentlicht: (2025)

Explaining Large Language Models with gSMILE
von: Dehghani, Zeinab, et al.
Veröffentlicht: (2025)

Efficient Automated Circuit Discovery in Transformers using Contextual Decomposition
von: Hsu, Aliyah R., et al.
Veröffentlicht: (2024)

Billion-Scale Graph Foundation Models
von: Bechler-Speicher, Maya, et al.
Veröffentlicht: (2026)

TriNER: A Series of Named Entity Recognition Models For Hindi, Bengali & Marathi
von: Dhamaskar, Mohammed Amaan, et al.
Veröffentlicht: (2025)

Reliable, Adaptable, and Attributable Language Models with Retrieval
von: Asai, Akari, et al.
Veröffentlicht: (2024)

Language Diffusion Models are Associative Memories Capable of Retrieving Unseen Data
von: Pham, Bao, et al.
Veröffentlicht: (2026)

Can LLMs Convert Graphs to Text-Attributed Graphs?
von: Wang, Zehong, et al.
Veröffentlicht: (2024)

Incorporating Hierarchical Semantics in Sparse Autoencoder Architectures
von: Muchane, Mark, et al.
Veröffentlicht: (2025)

Evaluating Large Language Models for Health-Related Text Classification Tasks with Public Social Media Data
von: Guo, Yuting, et al.
Veröffentlicht: (2024)

LAF-YOLOv10 with Partial Convolution Backbone, Attention-Guided Feature Pyramid, Auxiliary P2 Head, and Wise-IoU Loss for Small Object Detection in Drone Aerial Imagery
von: Farooqui, Sohail Ali, et al.
Veröffentlicht: (2026)

E-Sparse: Boosting the Large Language Model Inference through Entropy-based N:M Sparsity
von: Li, Yun, et al.
Veröffentlicht: (2023)

DashAttention: Differentiable and Adaptive Sparse Hierarchical Attention
von: Huang, Yuxiang, et al.
Veröffentlicht: (2026)

Sparse Autoencoder Decomposition of Clinical Sequence Model Representations: Feature Complexity, Task Specialisation, and Mortality Prediction
von: Sainsbury, Chris, et al.
Veröffentlicht: (2026)

Bridging Robustness and Generalization Against Word Substitution Attacks in NLP via the Growth Bound Matrix Approach
von: Bouri, Mohammed, et al.
Veröffentlicht: (2025)

Induction Signatures Are Not Enough: A Matched-Compute Study of Load-Bearing Structure in In-Context Learning
von: Sabry, Mohammed, et al.
Veröffentlicht: (2025)

Budgeted LoRA: Distillation as Structured Compute Allocation for Efficient Inference
von: Sabry, Mohammed, et al.
Veröffentlicht: (2026)

MathPile: A Billion-Token-Scale Pretraining Corpus for Math
von: Wang, Zengzhi, et al.
Veröffentlicht: (2023)

Distilling LLMs' Decomposition Abilities into Compact Language Models
von: Tarasov, Denis, et al.
Veröffentlicht: (2024)

Skewed Memorization in Large Language Models: Quantification and Decomposition
von: Li, Hao, et al.
Veröffentlicht: (2025)

ADaPT: As-Needed Decomposition and Planning with Language Models
von: Prasad, Archiki, et al.
Veröffentlicht: (2023)

Sparse Probabilistic Graph Circuits
von: Rektoris, Martin, et al.
Veröffentlicht: (2025)

Multi-Attribute Steering of Language Models via Targeted Intervention
von: Nguyen, Duy, et al.
Veröffentlicht: (2025)

Special Characters Attack: Toward Scalable Training Data Extraction From Large Language Models
von: Bai, Yang, et al.
Veröffentlicht: (2024)

Retrieval-Augmented Multi-LLM Ensemble for Industrial Part Specification Extraction
von: Mohammed, Muzakkiruddin Ahmed, et al.
Veröffentlicht: (2025)

Attribution-Guided Pruning for Insight and Control: Circuit Discovery and Targeted Correction in Small-scale LLMs
von: Hatefi, Sayed Mohammad Vakilzadeh, et al.
Veröffentlicht: (2025)

Revisiting In-context Learning Inference Circuit in Large Language Models
von: Cho, Hakaze, et al.
Veröffentlicht: (2024)

UniGLM: Training One Unified Language Model for Text-Attributed Graph Embedding
von: Fang, Yi, et al.
Veröffentlicht: (2024)

Beyond Linear Steering: Unified Multi-Attribute Control for Language Models
von: Oozeer, Narmeen, et al.
Veröffentlicht: (2025)