Buchumschlag

ACE: Exploring Activation Cosine Similarity and Variance for Accurate and Calibration-Efficient LLM Pruning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mi, Zhendong, Kong, Zhenglun, Yuan, Geng, Huang, Shaoyi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning I.2.6; I.2.7
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

KerZOO: Kernel Function Informed Zeroth-Order Optimization for Accurate and Accelerated LLM Fine-Tuning
von: Mi, Zhendong, et al.
Veröffentlicht: (2025)

FastForward Pruning: Efficient LLM Pruning via Single-Step Reinforcement Learning
von: Yuan, Xin, et al.
Veröffentlicht: (2025)

Mean-Pooled Cosine Similarity is Not Length-Invariant: Theory and Cross-Domain Evidence for a Length-Invariant Alternative
von: Mitra, Sibayan, et al.
Veröffentlicht: (2026)

Variance Is Not Importance: Structural Analysis of Transformer Compressibility Across Model Scales
von: Salfati, Samuel
Veröffentlicht: (2026)

Calibrated Confidence Estimation for Tabular Question Answering
von: Voss, Lukas
Veröffentlicht: (2026)

LLM-Rubric: A Multidimensional, Calibrated Approach to Automated Evaluation of Natural Language Texts
von: Hashemi, Helia, et al.
Veröffentlicht: (2024)

BitCal-TTS: Bit-Calibrated Test-Time Scaling for Quantized Reasoning Models
von: Patarlapalli, Sai Babu, et al.
Veröffentlicht: (2026)

Entropy-Based Measurement of Value Drift and Alignment Work in Large Language Models
von: Fadli, Samih
Veröffentlicht: (2025)

CoE: Collaborative Entropy for Uncertainty Quantification in Agentic Multi-LLM Systems
von: Sun, Kangkang, et al.
Veröffentlicht: (2026)

Exploring LLM-based Verilog Code Generation with Data-Efficient Fine-Tuning and Testbench Automation
von: Chen, Mu-Chi, et al.
Veröffentlicht: (2026)

Synergy over Discrepancy: A Partition-Based Approach to Multi-Domain LLM Fine-Tuning
von: Ye, Hua, et al.
Veröffentlicht: (2025)

Emergent Lexical Semantics in Neural Language Models: Testing Martin's Law on LLM-Generated Text
von: Kugler, Kai
Veröffentlicht: (2025)

Mixup Model Merge: Enhancing Model Merging Performance through Randomized Linear Interpolation
von: Zhou, Yue, et al.
Veröffentlicht: (2025)

D-COT: Disciplined Chain-of-Thought Learning for Efficient Reasoning in Small Language Models
von: Ubukata, Shunsuke
Veröffentlicht: (2026)

SCULPT: Constraint-Guided Pruned MCTS that Carves Efficient Paths for Mathematical Reasoning
von: Fang, Qitong, et al.
Veröffentlicht: (2026)

TRiMS: Real-Time Tracking of Minimal Sufficient Length for Efficient Reasoning via RL
von: Bian, Tingcheng, et al.
Veröffentlicht: (2026)

Why LoRA Resists Label Noise: A Theoretical Framework for Noise-Robust Parameter-Efficient Fine-Tuning
von: Steele, Brady
Veröffentlicht: (2026)

Automated Bug Triaging using Instruction-Tuned Large Language Models
von: Kiashemshaki, Kiana, et al.
Veröffentlicht: (2025)

Merge-Bench: Resolve Merge Conflicts with Large Language Models
von: Schesch, Benedikt, et al.
Veröffentlicht: (2026)

Survey Transfer Learning: Recycling Data with Silicon Responses
von: Amini, Ali
Veröffentlicht: (2025)

Discovering Transformer Circuits via a Hybrid Attribution and Pruning Framework
von: Gu, Hao, et al.
Veröffentlicht: (2025)

Stratified Hazard Sampling: Minimal-Variance Event Scheduling for CTMC/DTMC Discrete Diffusion and Flow Models
von: Jang, Seunghwan, et al.
Veröffentlicht: (2026)

Self-Pruned Key-Value Attention: Learning When to Write by Predicting Future Utility
von: Szilvasy, Gergely, et al.
Veröffentlicht: (2026)

TwinVoice: A Multi-dimensional Benchmark Towards Digital Twins via LLM Persona Simulation
von: Du, Bangde, et al.
Veröffentlicht: (2025)

Layer-Aware Embedding Fusion for LLMs in Text Classifications
von: Gwak, Jiho, et al.
Veröffentlicht: (2025)

KSHSeek: Data-Driven Approaches to Mitigating and Detecting Knowledge-Shortcut Hallucinations in Generative Models
von: Liu, Zhongxin, et al.
Veröffentlicht: (2025)

On the Influence of Discourse Relations in Persuasive Texts
von: Turk, Nawar, et al.
Veröffentlicht: (2025)

Latent Instruction Representation Alignment: defending against jailbreaks, backdoors and undesired knowledge in LLMs
von: Easley, Eric, et al.
Veröffentlicht: (2026)

Automated CAD Modeling Sequence Generation from Text Descriptions via Transformer-Based Large Language Models
von: Liao, Jianxing, et al.
Veröffentlicht: (2025)

Scalable GPU-Accelerated Euler Characteristic Curves: Optimization and Differentiable Learning for PyTorch
von: Saxena, Udit
Veröffentlicht: (2025)

JURY-RL: Votes Propose, Proofs Dispose for Label-Free RLVR
von: Chen, Xinjie, et al.
Veröffentlicht: (2026)

Descriptive Collision in Sparse Autoencoder Auto-Interpretability: When One Explanation Describes Many Features
von: McCann, Jordan F.
Veröffentlicht: (2026)

Super Apriel: One Checkpoint, Many Speeds
von: Labs, SLAM, et al.
Veröffentlicht: (2026)

OSCToM: RL-Guided Adversarial Generation for High-Order Theory of Mind
von: Srishty, Sharmin Sultana, et al.
Veröffentlicht: (2026)

Towards Alignment-Centric Paradigm: A Survey of Instruction Tuning in Large Language Models
von: Han, Xudong, et al.
Veröffentlicht: (2025)

Character-Level Transformer for Tajik-Persian Transliteration with a Parallel Lexical Corpus
von: Arabov, Mullosharaf K.
Veröffentlicht: (2026)

Mitigating Cross-Lingual Cultural Inconsistencies in LLMs via Consensus-Driven Preference Optimisation
von: Resck, Lucas, et al.
Veröffentlicht: (2026)

Learned Relay Representations for Forward-Thinking Discrete Diffusion Models
von: Rozonoyer, Benjamin, et al.
Veröffentlicht: (2026)

Bridging the Gap: An Intermediate Language for Enhanced and Cost-Effective Grapheme-to-Phoneme Conversion with Homographs with Multiple Pronunciations Disambiguation
von: Bertina, Abbas, et al.
Veröffentlicht: (2025)

Induce, Align, Predict: Zero-Shot Stance Detection via Cognitive Inductive Reasoning
von: Zhang, Bowen, et al.
Veröffentlicht: (2025)