Buchumschlag

Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xu, Zhen, Tan, Zhen, Wang, Song, Xu, Kaidi, Chen, Tianlong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Leave It to the Experts: Detecting Knowledge Distillation via MoE Expert Signatures
von: Li, Pingzhi, et al.
Veröffentlicht: (2025)

QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts
von: Li, Pingzhi, et al.
Veröffentlicht: (2024)

GraphRCG: Self-Conditioned Graph Generation
von: Wang, Song, et al.
Veröffentlicht: (2024)

UProp: Investigating the Uncertainty Propagation of LLMs in Multi-Step Agentic Decision-Making
von: Duan, Jinhao, et al.
Veröffentlicht: (2025)

Let the Expert Stick to His Last: Expert-Specialized Fine-Tuning for Sparse Architectural Large Language Models
von: Wang, Zihan, et al.
Veröffentlicht: (2024)

Exploring Expert Specialization through Unsupervised Training in Sparse Mixture of Experts
von: Nikolic, Strahinja, et al.
Veröffentlicht: (2025)

The Quest for Efficient Reasoning: A Data-Centric Benchmark to CoT Distillation
von: Zhang, Ruichen, et al.
Veröffentlicht: (2025)

Are We Merely Justifying Results ex Post Facto? Quantifying Explanatory Inversion in Post-Hoc Model Explanations
von: Tan, Zhen, et al.
Veröffentlicht: (2025)

Word-Sequence Entropy: Towards Uncertainty Estimation in Free-Form Medical Question Answering Applications and Beyond
von: Wang, Zhiyuan, et al.
Veröffentlicht: (2024)

Probing to Refine: Reinforcement Distillation of LLMs via Explanatory Inversion
von: Tan, Zhen, et al.
Veröffentlicht: (2026)

MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models
von: Pandit, Shrey, et al.
Veröffentlicht: (2025)

Can GRPO Help LLMs Transcend Their Pretraining Origin?
von: Ni, Kangqi, et al.
Veröffentlicht: (2025)

COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees
von: Wang, Zhiyuan, et al.
Veröffentlicht: (2025)

SConU: Selective Conformal Uncertainty in Large Language Models
von: Wang, Zhiyuan, et al.
Veröffentlicht: (2025)

Let Experts Feel Uncertainty: A Multi-Expert Label Distribution Approach to Probabilistic Time Series Forecasting
von: Zhou, Zhen, et al.
Veröffentlicht: (2026)

BuddyMoE: Exploiting Expert Redundancy to Accelerate Memory-Constrained Mixture-of-Experts Inference
von: Wang, Yun, et al.
Veröffentlicht: (2025)

Learning Multi-Level Features with Matryoshka Sparse Autoencoders
von: Bussmann, Bart, et al.
Veröffentlicht: (2025)

LEC: Linear Expectation Constraints for Selection-Conditioned Risk Control in Selective Prediction and Routing Systems
von: Wang, Zhiyuan, et al.
Veröffentlicht: (2025)

Sparse Autoencoders, Again?
von: Lu, Yin, et al.
Veröffentlicht: (2025)

LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing
von: Hao, Jiawei, et al.
Veröffentlicht: (2026)

Optimizing Robustness and Accuracy in Mixture of Experts: A Dual-Model Approach
von: Zhang, Xu, et al.
Veröffentlicht: (2025)

Improving Sparse Autoencoder with Dynamic Attention
von: Wang, Dongsheng, et al.
Veröffentlicht: (2026)

$\textit{Agents Under Siege}$: Breaking Pragmatic Multi-Agent LLM Systems with Optimized Prompt Attacks
von: Khan, Rana Muhammad Shahroz, et al.
Veröffentlicht: (2025)

The Illusion of Specialization: Unveiling the Domain-Invariant "Standing Committee" in Mixture-of-Experts Models
von: Wang, Yan, et al.
Veröffentlicht: (2026)

Are Sparse Autoencoder Benchmarks Reliable?
von: Chanin, David
Veröffentlicht: (2026)

Modeling Expert Interactions in Sparse Mixture of Experts via Graph Structures
von: Nguyen-Nhat, Minh-Khoi, et al.
Veröffentlicht: (2025)

DOGe: Defensive Output Generation for LLM Protection Against Knowledge Distillation
von: Li, Pingzhi, et al.
Veröffentlicht: (2025)

DLO: Dynamic Layer Operation for Efficient Vertical Scaling of LLMs
von: Tan, Zhen, et al.
Veröffentlicht: (2024)

Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations
von: Jaiswal, Ajay, et al.
Veröffentlicht: (2025)

ReSAE: Residualized Sparse Autoencoders for Multi-Layer Transformer Interventions
von: Poduval, Prathyush, et al.
Veröffentlicht: (2026)

A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning
von: Yadav, Prateek, et al.
Veröffentlicht: (2024)

Decoding Dark Matter: Specialized Sparse Autoencoders for Interpreting Rare Concepts in Foundation Models
von: Muhamed, Aashiq, et al.
Veröffentlicht: (2024)

Mixture of Robust Experts (MoRE):A Robust Denoising Method towards multiple perturbations
von: Cheng, Hao, et al.
Veröffentlicht: (2021)

Does higher interpretability imply better utility? A Pairwise Analysis on Sparse Autoencoders
von: Wang, Xu, et al.
Veröffentlicht: (2025)

Beyond Input Activations: Identifying Influential Latents by Gradient Sparse Autoencoders
von: Shu, Dong, et al.
Veröffentlicht: (2025)

BatchTopK Sparse Autoencoders
von: Bussmann, Bart, et al.
Veröffentlicht: (2024)

Are Sparse Autoencoders Useful? A Case Study in Sparse Probing
von: Kantamneni, Subhash, et al.
Veröffentlicht: (2025)

FaithCoT-Bench: Benchmarking Instance-Level Faithfulness of Chain-of-Thought Reasoning
von: Shen, Xu, et al.
Veröffentlicht: (2025)

Diversity-driven Data Selection for Language Model Tuning through Sparse Autoencoder
von: Yang, Xianjun, et al.
Veröffentlicht: (2025)

Mixture of Diverse Size Experts
von: Sun, Manxi, et al.
Veröffentlicht: (2024)