Buchumschlag

IDAP++: Advancing Divergence-Based Pruning via Filter-Level and Layer-Level Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Samarin, Aleksei, Nazarenko, Artem, Kotenko, Egor, Malykh, Valentin, Savelev, Alexander, Toropov, Aleksei
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From 2:4 to 8:16 sparsity patterns in LLMs for Outliers and Weights with Variance Correction
von: Maximov, Egor, et al.
Veröffentlicht: (2025)

Toward Cost-efficient Adaptive Clinical Trials in Knee Osteoarthritis with Reinforcement Learning
von: Nguyen, Khanh, et al.
Veröffentlicht: (2024)

ReplaceMe: Network Simplification via Depth Pruning and Transformer Block Linearization
von: Shopkhoev, Dmitriy, et al.
Veröffentlicht: (2025)

StRuCom: A Novel Dataset of Structured Code Comments in Russian
von: Dziuba, Maria, et al.
Veröffentlicht: (2025)

CIDRe: A Reference-Free Multi-Aspect Criterion for Code Comment Quality Measurement
von: Dziuba, Maria, et al.
Veröffentlicht: (2025)

AI-Powered Predictions for Electricity Load in Prosumer Communities
von: Kychkin, Aleksei, et al.
Veröffentlicht: (2024)

SDG-MoE: Signed Debate Graph Mixture-of-Experts
von: Kulibaba, Stepan, et al.
Veröffentlicht: (2026)

One-Class Intrusion Detection with Dynamic Graphs
von: Liuliakov, Aleksei, et al.
Veröffentlicht: (2025)

SoK: Verifiable Cross-Silo FL
von: Korneev, Aleksei, et al.
Veröffentlicht: (2024)

Intriguing Properties of Input-dependent Randomized Smoothing
von: Súkeník, Peter, et al.
Veröffentlicht: (2021)

Detecting Atypical Clients in Federated Learning via Representation-Level Divergence
von: Pérez-Corral, Cristian, et al.
Veröffentlicht: (2026)

DoorINet: Door Heading Prediction through Inertial Deep Learning
von: Zakharchenko, Aleksei, et al.
Veröffentlicht: (2024)

DGPO: RL-Steered Graph Diffusion for Neural Architecture Generation
von: Liuliakov, Aleksei, et al.
Veröffentlicht: (2026)

Unveiling the Potential of AI for Nanomaterial Morphology Prediction
von: Dubrovsky, Ivan, et al.
Veröffentlicht: (2024)

Extracting Unlearned Information from LLMs with Activation Steering
von: Seyitoğlu, Atakan, et al.
Veröffentlicht: (2024)

Handling Label Noise via Instance-Level Difficulty Modeling and Dynamic Optimization
von: Zhang, Kuan, et al.
Veröffentlicht: (2025)

WebSTAR: Scalable Data Synthesis for Computer Use Agents with Step-Level Filtering
von: He, Yifei, et al.
Veröffentlicht: (2025)

Fortytwo: Swarm Inference with Peer-Ranked Consensus
von: Larin, Vladyslav, et al.
Veröffentlicht: (2025)

Layer Collapse Can be Induced by Unstructured Pruning
von: Liao, Zhu, et al.
Veröffentlicht: (2024)

Evaluating authenticity and quality of image captions via sentiment and semantic analyses
von: Krotov, Aleksei, et al.
Veröffentlicht: (2024)

Proximal Policy Gradient Arborescence for Quality Diversity Reinforcement Learning
von: Batra, Sumeet, et al.
Veröffentlicht: (2023)

Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification
von: Fadeeva, Ekaterina, et al.
Veröffentlicht: (2024)

Universality of Layer-Level Entropy-Weighted Quantization Beyond Model Architecture and Size
von: Behtash, Alireza, et al.
Veröffentlicht: (2025)

Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization
von: Zhu, Haodong, et al.
Veröffentlicht: (2026)

Divergence-Augmented Policy Optimization
von: Wang, Qing, et al.
Veröffentlicht: (2025)

Data-Free Pruning of Self-Attention Layers in LLMs
von: Saikumar, Dhananjay, et al.
Veröffentlicht: (2025)

Online Training and Pruning of Deep Reinforcement Learning Networks
von: Guenter, Valentin Frank Ingmar, et al.
Veröffentlicht: (2025)

ROAD: Adaptive Data Mixing for Offline-to-Online Reinforcement Learning via Bi-Level Optimization
von: Yang, Letian, et al.
Veröffentlicht: (2026)

Representational Alignment Across Model Layers and Brain Regions with Multi-Level Optimal Transport
von: Shah, Shaan, et al.
Veröffentlicht: (2025)

FAIR-Pruner: A Flexible Framework for Automatic Layer-Wise Pruning via Tolerance of Difference
von: Lin, Chenqing, et al.
Veröffentlicht: (2025)

Beyond KL Divergence: Policy Optimization with Flexible Bregman Divergences for LLM Reasoning
von: Yuan, Rui, et al.
Veröffentlicht: (2026)

Ghosted Layers: Unconstrained Activation Alignment for Recovering Layer-Pruned LLMs
von: Yun, Vincent-Daniel, et al.
Veröffentlicht: (2026)

CLID-MU: Cross-Layer Information Divergence Based Meta Update Strategy for Learning with Noisy Labels
von: Hu, Ruofan, et al.
Veröffentlicht: (2025)

CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)

On the Limits of Layer Pruning for Generative Reasoning in Large Language Models
von: Shrestha, Safal, et al.
Veröffentlicht: (2026)

APO: Alpha-Divergence Preference Optimization
von: Zixian, Wang
Veröffentlicht: (2025)

Reinforcement Learning for Long-Horizon Interactive LLM Agents
von: Chen, Kevin, et al.
Veröffentlicht: (2025)

Entropy-Preserving Reinforcement Learning
von: Petrenko, Aleksei, et al.
Veröffentlicht: (2026)

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
von: Wei, Jia, et al.
Veröffentlicht: (2026)

Selective Preference Optimization via Token-Level Reward Function Estimation
von: Yang, Kailai, et al.
Veröffentlicht: (2024)