Buchumschlag

SparseEval: Efficient Evaluation of Large Language Models by Sparse Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Taolin, Guo, Hang, Lu, Wang, Dai, Tao, Xia, Shu-Tao, Wang, Jindong
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Q-Sparse: All Large Language Models can be Fully Sparsely-Activated
von: Wang, Hongyu, et al.
Veröffentlicht: (2024)

EdgeMoE: Empowering Sparse Large Language Models on Mobile Devices
von: Yi, Rongjie, et al.
Veröffentlicht: (2023)

ROSE: Reordered SparseGPT for More Accurate One-Shot Large Language Models Pruning
von: Su, Mingluo, et al.
Veröffentlicht: (2026)

CoreInfer: Accelerating Large Language Model Inference with Semantics-Inspired Adaptive Sparse Activation
von: Wang, Qinsi, et al.
Veröffentlicht: (2024)

Qwen-Scope: Turning Sparse Features into Development Tools for Large Language Models
von: Deng, Boyi, et al.
Veröffentlicht: (2026)

Can I understand what I create? Self-Knowledge Evaluation of Large Language Models
von: Tan, Zhiquan, et al.
Veröffentlicht: (2024)

CALF: Aligning LLMs for Time Series Forecasting via Cross-modal Fine-Tuning
von: Liu, Peiyuan, et al.
Veröffentlicht: (2024)

Safe-SAIL: Towards a Fine-grained Safety Landscape of Large Language Models via Sparse Autoencoder Interpretation Framework
von: Weng, Jiaqi, et al.
Veröffentlicht: (2025)

Dynamic Evaluation of Large Language Models by Meta Probing Agents
von: Zhu, Kaijie, et al.
Veröffentlicht: (2024)

Enhancing One-shot Pruned Pre-trained Language Models through Sparse-Dense-Sparse Mechanism
von: Li, Guanchen, et al.
Veröffentlicht: (2024)

Learn from the Past: Fast Sparse Indexing for Large Language Model Decoding
von: Yao, Feiyu, et al.
Veröffentlicht: (2025)

MediSwift: Efficient Sparse Pre-trained Biomedical Language Models
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2024)

A Survey on Sparse Autoencoders: Interpreting the Internal Mechanisms of Large Language Models
von: Shu, Dong, et al.
Veröffentlicht: (2025)

Sparse-Autoencoder-Guided Internal Representation Unlearning for Large Language Models
von: Yamashita, Tomoya, et al.
Veröffentlicht: (2025)

metabench -- A Sparse Benchmark of Reasoning and Knowledge in Large Language Models
von: Kipnis, Alex, et al.
Veröffentlicht: (2024)

PromptBench: A Unified Library for Evaluation of Large Language Models
von: Zhu, Kaijie, et al.
Veröffentlicht: (2023)

Let the Expert Stick to His Last: Expert-Specialized Fine-Tuning for Sparse Architectural Large Language Models
von: Wang, Zihan, et al.
Veröffentlicht: (2024)

Saten: Sparse Augmented Tensor Networks for Post-Training Compression of Large Language Models
von: Solgi, Ryan, et al.
Veröffentlicht: (2025)

Scaling Sparse Fine-Tuning to Large Language Models
von: Ansell, Alan, et al.
Veröffentlicht: (2024)

Hybrid Reinforcement: When Reward Is Sparse, It's Better to Be Dense
von: Tao, Leitian, et al.
Veröffentlicht: (2025)

Sparse is Enough in Fine-tuning Pre-trained Large Language Models
von: Song, Weixi, et al.
Veröffentlicht: (2023)

KIEval: A Knowledge-grounded Interactive Evaluation Framework for Large Language Models
von: Yu, Zhuohao, et al.
Veröffentlicht: (2024)

Model Hemorrhage and the Robustness Limits of Large Language Models
von: Ma, Ziyang, et al.
Veröffentlicht: (2025)

DyVal: Dynamic Evaluation of Large Language Models for Reasoning Tasks
von: Zhu, Kaijie, et al.
Veröffentlicht: (2023)

FLoE: Fisher-Based Layer Selection for Efficient Sparse Adaptation of Low-Rank Experts
von: Wang, Xinyi, et al.
Veröffentlicht: (2025)

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
von: Yuan, Jingyang, et al.
Veröffentlicht: (2025)

Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
von: He, Zhengfu, et al.
Veröffentlicht: (2025)

Sparse Layers are Critical to Scaling Looped Language Models
von: Lee, Ryan, et al.
Veröffentlicht: (2026)

ProSparse: Introducing and Enhancing Intrinsic Activation Sparsity within Large Language Models
von: Song, Chenyang, et al.
Veröffentlicht: (2024)

NeuroPrune: A Neuro-inspired Topological Sparse Training Algorithm for Large Language Models
von: Dhurandhar, Amit, et al.
Veröffentlicht: (2024)

Model Unlearning via Sparse Autoencoder Subspace Guided Projections
von: Wang, Xu, et al.
Veröffentlicht: (2025)

StructEval: Deepen and Broaden Large Language Model Assessment via Structured Evaluation
von: Cao, Boxi, et al.
Veröffentlicht: (2024)

Dimensional Collapse in Transformer Attention Outputs: A Challenge for Sparse Dictionary Learning
von: Wang, Junxuan, et al.
Veröffentlicht: (2025)

PromptRobust: Towards Evaluating the Robustness of Large Language Models on Adversarial Prompts
von: Zhu, Kaijie, et al.
Veröffentlicht: (2023)

SpikingSSMs: Learning Long Sequences with Sparse and Parallel Spiking State Space Models
von: Shen, Shuaijie, et al.
Veröffentlicht: (2024)

Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization
von: Fang, Zheng, et al.
Veröffentlicht: (2026)

BiSparse-AAS: Bilinear Sparse Attention and Adaptive Spans Framework for Scalable and Efficient Text Summarization
von: Hagos, Desta Haileselassie, et al.
Veröffentlicht: (2025)

SparseTransX: Efficient Training of Translation-Based Knowledge Graph Embeddings Using Sparse Matrix Operations
von: Anik, Md Saidul Hoque, et al.
Veröffentlicht: (2025)

DICE: Diffusion Large Language Models Excel at Generating CUDA Kernels
von: Bai, Haolei, et al.
Veröffentlicht: (2026)

CultureLLM: Incorporating Cultural Differences into Large Language Models
von: Li, Cheng, et al.
Veröffentlicht: (2024)