Buchumschlag

A General Error-Theoretical Analysis Framework for Constructing Compression Strategies

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Boyang, Cheng, Daning, Zhang, Yunquan, Tu, Meiqi, Liu, Fangming, Tian, Jiake
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Lossless Model Compression via Joint Low-Rank Factorization Optimization
von: Zhang, Boyang, et al.
Veröffentlicht: (2024)

FP=xINT:Representing Neural Networks via Low-Bit Series Basis Functions
von: Zhang, Boyang, et al.
Veröffentlicht: (2024)

Compression for Better: A General and Stable Lossless Compression Framework
von: Zhang, Boyang, et al.
Veröffentlicht: (2024)

MoE-DisCo:Low Economy Cost Training Mixture-of-Experts Models
von: Ye, Xin, et al.
Veröffentlicht: (2026)

HeRo-Q: A General Framework for Stable Low Bit Quantization via Hessian Conditioning
von: Zhang, Jinhao Zhang Yunquan, et al.
Veröffentlicht: (2026)

Rethinking Parameter Sharing as Graph Coloring for Structured Compression
von: Zhang, Boyang, et al.
Veröffentlicht: (2025)

MoQE: Improve Quantization Model performance via Mixture of Quantization Experts
von: Zhang, Jinhao, et al.
Veröffentlicht: (2025)

A Qualitative Test-Risk Mechanism for Scaling Behavior in Normalized Residual Networks
von: Cheng, Daning, et al.
Veröffentlicht: (2026)

Context Channel Capacity: An Information-Theoretic Framework for Understanding Catastrophic Forgetting
von: Cheng, Ran
Veröffentlicht: (2026)

CALM: A CKA-Guided Adaptive Layer-Wise Modularization Framework for LLM Quantization
von: Zhang, Jinhao, et al.
Veröffentlicht: (2025)

GeoIB: Geometry-Aware Information Bottleneck via Statistical-Manifold Compression
von: Wang, Weiqi, et al.
Veröffentlicht: (2026)

Exploiting Block Coordinate Descent for Cost-Effective LLM Model Training
von: Liu, Zeyu, et al.
Veröffentlicht: (2025)

An Effective Information Theoretic Framework for Channel Pruning
von: Chen, Yihao, et al.
Veröffentlicht: (2024)

Neural Networks Learn Generic Multi-Index Models Near Information-Theoretic Limit
von: Zhang, Bohan, et al.
Veröffentlicht: (2025)

A General Deep Learning Framework for Wireless Resource Allocation under Discrete Constraints
von: Wang, Yikun, et al.
Veröffentlicht: (2026)

Understanding LLM Behaviors via Compression: Data Generation, Knowledge Acquisition and Scaling Laws
von: Pan, Zhixuan, et al.
Veröffentlicht: (2025)

Accelerating Error Correction Code Transformers
von: Levy, Matan, et al.
Veröffentlicht: (2024)

An Information-Theoretic Criterion for Efficient Data Synthesis
von: Li, Hanyu, et al.
Veröffentlicht: (2026)

Machine Unlearning via Information Theoretic Regularization
von: Xu, Shizhou, et al.
Veröffentlicht: (2025)

Towards Efficient VLMs: Information-Theoretic Driven Compression via Adaptive Structural Pruning
von: Xu, Zhaoqi, et al.
Veröffentlicht: (2025)

Compressing Chemistry Reveals Functional Groups
von: Sharma, Ruben, et al.
Veröffentlicht: (2025)

Distributed and Rate-Adaptive Feature Compression
von: Deshmukh, Aditya, et al.
Veröffentlicht: (2024)

Score Based Error Correcting Code Decoder
von: Helvits, Alon, et al.
Veröffentlicht: (2026)

Fairness Overfitting in Machine Learning: An Information-Theoretic Perspective
von: Laakom, Firas, et al.
Veröffentlicht: (2025)

Information-Theoretic State Variable Selection for Reinforcement Learning
von: Westphal, Charles, et al.
Veröffentlicht: (2024)

Compression Represents Intelligence Linearly
von: Huang, Yuzhen, et al.
Veröffentlicht: (2024)

Memorization-Compression Cycles Improve Generalization
von: Yu, Fangyuan
Veröffentlicht: (2025)

Hybrid Mamba-Transformer Decoder for Error-Correcting Codes
von: Cohen, Shy-el, et al.
Veröffentlicht: (2025)

Continual Learning-Aided Super-Resolution Scheme for Channel Reconstruction and Generalization in OFDM Systems
von: Chen, Jianqiao, et al.
Veröffentlicht: (2025)

Uncertainty Quantification and Data Efficiency in AI: An Information-Theoretic Perspective
von: Simeone, Osvaldo, et al.
Veröffentlicht: (2025)

The Causal Description Gap: Information-Theoretic Separations Across Pearl's Hierarchy
von: Emadi, Seyed Morteza
Veröffentlicht: (2026)

Factor Graph Optimization of Error-Correcting Codes for Belief Propagation Decoding
von: Choukroun, Yoni, et al.
Veröffentlicht: (2024)

Optimizing Learned Image Compression on Scalar and Entropy-Constraint Quantization
von: Borzechowski, Florian, et al.
Veröffentlicht: (2025)

AlphaZip: Neural Network-Enhanced Lossless Text Compression
von: Narashiman, Swathi Shree, et al.
Veröffentlicht: (2024)

Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective
von: Yang, Jiaming, et al.
Veröffentlicht: (2026)

Interpretability as Compression: Reconsidering SAE Explanations of Neural Activations with MDL-SAEs
von: Ayonrinde, Kola, et al.
Veröffentlicht: (2024)

A Communication-Theoretic Framework for LLM Agents: Cost-Aware Adaptive Reliability
von: Omidvar, Hamed, et al.
Veröffentlicht: (2026)

ProductAE: Toward Deep Learning Driven Error-Correction Codes of Large Dimensions
von: Jamali, Mohammad Vahid, et al.
Veröffentlicht: (2023)

FibQuant: Universal Vector Quantization for Random-Access KV-Cache Compression
von: Lee, Namyoon, et al.
Veröffentlicht: (2026)

Flexible Variational Information Bottleneck: Achieving Diverse Compression with a Single Training
von: Kudo, Sota, et al.
Veröffentlicht: (2024)