Copertina

On Pruning State-Space LLMs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Ghattas, Tamer, Hassid, Michael, Schwartz, Roy
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

The Larger the Better? Improved LLM Code-Generation via Budget Reallocation
di: Hassid, Michael, et al.
Pubblicazione: (2024)

On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models
di: Varshavsky-Hassid, Miri, et al.
Pubblicazione: (2024)

Transformers are Multi-State RNNs
di: Oren, Matanel, et al.
Pubblicazione: (2024)

Pruning Weights but Not Truth: Safeguarding Truthfulness While Pruning LLMs
di: Fu, Yao, et al.
Pubblicazione: (2025)

Everybody Prune Now: Structured Pruning of LLMs with only Forward Passes
di: Kolawole, Steven, et al.
Pubblicazione: (2024)

Pruning Strategies for Backdoor Defense in LLMs
di: Chapagain, Santosh, et al.
Pubblicazione: (2025)

Self-Execution Simulation Improves Coding Models
di: Maimon, Gallil, et al.
Pubblicazione: (2026)

Don't Overthink it. Preferring Shorter Thinking Chains for Improved LLM Reasoning
di: Hassid, Michael, et al.
Pubblicazione: (2025)

Pruning Unsafe Tickets: A Resource-Efficient Framework for Safer and More Robust LLMs
di: Si, Wai Man, et al.
Pubblicazione: (2026)

VOCABTRIM: Vocabulary Pruning for Efficient Speculative Decoding in LLMs
di: Goel, Raghavv, et al.
Pubblicazione: (2025)

TraceNAS: Zero-shot LLM Pruning via Gradient Trace Correlation
di: Malettira, Prajna G., et al.
Pubblicazione: (2026)

DenoiseRotator: Enhance Pruning Robustness for LLMs via Importance Concentration
di: Gu, Tianteng, et al.
Pubblicazione: (2025)

Probe Pruning: Accelerating LLMs through Dynamic Pruning via Model-Probing
di: Le, Qi, et al.
Pubblicazione: (2025)

How Quantization Shapes Bias in Large Language Models
di: Marcuzzi, Federico, et al.
Pubblicazione: (2025)

Dynamic Vocabulary Pruning in Early-Exit LLMs
di: Vincenti, Jort, et al.
Pubblicazione: (2024)

Textually Pretrained Speech Language Models
di: Hassid, Michael, et al.
Pubblicazione: (2023)

Two-Stage Regularization-Based Structured Pruning for LLMs
di: Feng, Mingkuan, et al.
Pubblicazione: (2025)

REAM: Merging Improves Pruning of Experts in LLMs
di: Jha, Saurav, et al.
Pubblicazione: (2026)

STUN: Structured-Then-Unstructured Pruning for Scalable MoE Pruning
di: Lee, Jaeseong, et al.
Pubblicazione: (2024)

2SSP: A Two-Stage Framework for Structured Pruning of LLMs
di: Sandri, Fabrizio, et al.
Pubblicazione: (2025)

Evaluation of LLMs-based Hidden States as Author Representations for Psychological Human-Centered NLP Tasks
di: Soni, Nikita, et al.
Pubblicazione: (2025)

Interpreting and Mitigating Unwanted Uncertainty in LLMs
di: Roy, Tiasa Singha, et al.
Pubblicazione: (2025)

Condense, Don't Just Prune: Enhancing Efficiency and Performance in MoE Layer Pruning
di: Cao, Mingyu, et al.
Pubblicazione: (2024)

Alignment-Constrained Dynamic Pruning for LLMs: Identifying and Preserving Alignment-Critical Circuits
di: Patel, Dev, et al.
Pubblicazione: (2025)

Stateful KV Cache Management for LLMs: Balancing Space, Time, Accuracy, and Positional Fidelity
di: Poudel, Pratik
Pubblicazione: (2025)

EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
di: Zhao, Songlin, et al.
Pubblicazione: (2025)

High-Layer Attention Pruning with Rescaling
di: Liu, Songtao, et al.
Pubblicazione: (2025)

Rethinking Token Reduction for State Space Models
di: Zhan, Zheng, et al.
Pubblicazione: (2024)

StreetMath: Study of LLMs' Approximation Behaviors
di: Tseng, Chiung-Yi, et al.
Pubblicazione: (2025)

TeleLoRA: Teleporting Model-Specific Alignment Across LLMs
di: Lin, Xiao, et al.
Pubblicazione: (2025)

The Illusion of State in State-Space Models
di: Merrill, William, et al.
Pubblicazione: (2024)

Disentangling the Roles of Representation and Selection in Data Pruning
di: Du, Yupei, et al.
Pubblicazione: (2025)

Attribution-Guided Pruning for Insight and Control: Circuit Discovery and Targeted Correction in Small-scale LLMs
di: Hatefi, Sayed Mohammad Vakilzadeh, et al.
Pubblicazione: (2025)

Geometric Organization of Cognitive States in Transformer Embedding Spaces
di: Zhao, Sophie
Pubblicazione: (2025)

Lost in State Space: Probing Frozen Mamba Representations
di: Wagh, Bhagyashree, et al.
Pubblicazione: (2026)

Parameter-Efficient Fine-Tuning of State Space Models
di: Galim, Kevin, et al.
Pubblicazione: (2024)

The Expressive Capacity of State Space Models: A Formal Language Perspective
di: Sarrof, Yash, et al.
Pubblicazione: (2024)

Can LLMs $\textit{understand}$ Math? -- Exploring the Pitfalls in Mathematical Reasoning
di: Roy, Tiasa Singha, et al.
Pubblicazione: (2025)

LLMCloudHunter: Harnessing LLMs for Automated Extraction of Detection Rules from Cloud-Based CTI
di: Schwartz, Yuval, et al.
Pubblicazione: (2024)

Ranking Entities along Conceptual Space Dimensions with LLMs: An Analysis of Fine-Tuning Strategies
di: Kumar, Nitesh, et al.
Pubblicazione: (2024)