Buchumschlag

PERP: Rethinking the Prune-Retrain Paradigm in the Era of LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zimmer, Max, Andoni, Megi, Spiegel, Christoph, Pokutta, Sebastian
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Sparse Model Soups: A Recipe for Improved Pruning via Model Averaging
von: Zimmer, Max, et al.
Veröffentlicht: (2023)

A Free Lunch in LLM Compression: Revisiting Retraining after Pruning
von: Wagner, Moritz, et al.
Veröffentlicht: (2025)

SparseSwaps: Tractable LLM Pruning Mask Refinement at Scale
von: Zimmer, Max, et al.
Veröffentlicht: (2025)

Neural Sum-of-Squares: Certifying the Nonnegativity of Polynomials with Transformers
von: Pelleriti, Nico, et al.
Veröffentlicht: (2025)

Compression-aware Training of Neural Networks using Frank-Wolfe
von: Zimmer, Max, et al.
Veröffentlicht: (2022)

The Agentic Researcher: A Practical Guide to AI-Assisted Research in Mathematics and Machine Learning
von: Zimmer, Max, et al.
Veröffentlicht: (2026)

From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs
von: Schiekiera, Louis, et al.
Veröffentlicht: (2026)

On the Byzantine-Resilience of Distillation-Based Federated Learning
von: Roux, Christophe, et al.
Veröffentlicht: (2024)

Don't Be Greedy, Just Relax! Pruning LLMs via Frank-Wolfe
von: Roux, Christophe, et al.
Veröffentlicht: (2025)

Neural Discovery in Mathematics: Do Machines Dream of Colored Planes?
von: Mundinger, Konrad, et al.
Veröffentlicht: (2025)

Pruning Foundation Models for High Accuracy without Retraining
von: Zhao, Pu, et al.
Veröffentlicht: (2024)

Interpretability Guarantees with Merlin-Arthur Classifiers
von: Wäldchen, Stephan, et al.
Veröffentlicht: (2022)

Capturing Temporal Dynamics in Large-Scale Canopy Tree Height Estimation
von: Pauls, Jan, et al.
Veröffentlicht: (2025)

Rethinking Explainability in the Era of Multimodal AI
von: Agarwal, Chirag
Veröffentlicht: (2025)

Rethinking Losses for Diffusion Bridge Samplers
von: Sanokowski, Sebastian, et al.
Veröffentlicht: (2025)

Improving Policy Optimization via $\varepsilon$-Retrain
von: Marzari, Luca, et al.
Veröffentlicht: (2024)

A First Guess is Rarely the Final Answer: Learning to Search in the Traveling Salesperson Problem
von: Garmendia, Andoni Irazusta
Veröffentlicht: (2026)

PrunePEFT: Iterative Hybrid Pruning for Parameter-Efficient Fine-tuning of LLMs
von: Yu, Tongzhou, et al.
Veröffentlicht: (2025)

One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression
von: Janusz, Mikołaj, et al.
Veröffentlicht: (2025)

Neural Parameter Regression for Explicit Representations of PDE Solution Operators
von: Mundinger, Konrad, et al.
Veröffentlicht: (2024)

Rethinking Large Language Model Distillation: A Constrained Markov Decision Process Perspective
von: Zimmer, Matthieu, et al.
Veröffentlicht: (2025)

Rethinking Pruning for Backdoor Mitigation: An Optimization Perspective
von: Li, Nan, et al.
Veröffentlicht: (2024)

Estimating Canopy Height at Scale
von: Pauls, Jan, et al.
Veröffentlicht: (2024)

Assessing Per-Sample Membership Inference Vulnerability without Retraining
von: Dorseuil, Valentin, et al.
Veröffentlicht: (2026)

Safe Pruning LoRA: Robust Distance-Guided Pruning for Safety Alignment in Adaptation of LLMs
von: Ao, Shuang, et al.
Veröffentlicht: (2025)

Rethinking Interpretability in the Era of Large Language Models
von: Singh, Chandan, et al.
Veröffentlicht: (2024)

Matmul or No Matmul in the Era of 1-bit LLMs
von: Malekar, Jinendra, et al.
Veröffentlicht: (2024)

Data-Free Pruning of Self-Attention Layers in LLMs
von: Saikumar, Dhananjay, et al.
Veröffentlicht: (2025)

Mosaic: Composite Projection Pruning for Resource-efficient LLMs
von: Eccles, Bailey J., et al.
Veröffentlicht: (2025)

ECHOSAT: Estimating Canopy Height Over Space And Time
von: Pauls, Jan, et al.
Veröffentlicht: (2026)

Spectral Unforgetting: Post-Hoc Recovery of Damaged Capabilities Without Retraining
von: Abro, Aarash, et al.
Veröffentlicht: (2026)

Rethinking Thinking Tokens: LLMs as Improvement Operators
von: Madaan, Lovish, et al.
Veröffentlicht: (2025)

Toward Carbon-Neutral Human AI: Rethinking Data, Computation, and Learning Paradigms for Sustainable Intelligence
von: Santosh, KC, et al.
Veröffentlicht: (2025)

Labels Matter More Than Models: Rethinking the Unsupervised Paradigm in Time Series Anomaly Detection
von: Zhong, Zhijie, et al.
Veröffentlicht: (2025)

Estimating the Effects of Sample Training Orders for Large Language Models without Retraining
von: Yang, Hao, et al.
Veröffentlicht: (2025)

Is Retraining-Free Enough? The Necessity of Router Calibration for Efficient MoE Compression
von: Hyeon, Sieun, et al.
Veröffentlicht: (2026)

Rethinking Evaluation in the Era of Time Series Foundation Models: (Un)known Information Leakage Challenges
von: Meyer, Marcel, et al.
Veröffentlicht: (2025)

Spectra: Rethinking Optimizers for LLMs Under Spectral Anisotropy
von: Huang, Zhendong, et al.
Veröffentlicht: (2026)

From Local to Global: Revisiting Structured Pruning Paradigms for Large Language Models
von: Wang, Ziyan, et al.
Veröffentlicht: (2025)

Approximating Latent Manifolds in Neural Networks via Vanishing Ideals
von: Pelleriti, Nico, et al.
Veröffentlicht: (2025)