Buchumschlag

Compression is Routing: Reconstruction Error as an Intrinsic Signal for Modular Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Tang, Zhongpan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

From TLinFormer to TConstFormer: The Leap to Constant-Time Transformer Attention: Achieving O(1) Computation and O(1) KV Cache during Autoregressive Inference
von: Tang, Zhongpan
Veröffentlicht: (2025)

Rethinking Transformer Connectivity: TLinFormer, A Path to Exact, Full Context-Aware Linear Attention
von: Tang, Zhongpan
Veröffentlicht: (2025)

Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery
von: Kermiche, Noureddine
Veröffentlicht: (2026)

ASER: Activation Smoothing and Error Reconstruction for Large Language Model Quantization
von: Zhao, Weibo, et al.
Veröffentlicht: (2024)

Compressive Mahalanobis Metric Learning Adapts to Intrinsic Dimension
von: Palias, Efstratios, et al.
Veröffentlicht: (2023)

GRAIL: Post-hoc Compensation by Linear Reconstruction for Compressed Networks
von: Tang, Wenwu, et al.
Veröffentlicht: (2026)

Block-Operations: Using Modular Routing to Improve Compositional Generalization
von: Dietz, Florian, et al.
Veröffentlicht: (2024)

Rethinking Pruning Large Language Models: Benefits and Pitfalls of Reconstruction Error Minimization
von: Shin, Sungbin, et al.
Veröffentlicht: (2024)

LLMComp: A Language Modeling Paradigm for Error-Bounded Scientific Data Compression (Technical Report)
von: Li, Guozhong, et al.
Veröffentlicht: (2025)

Intrinsic Training Signals for Federated Learning Aggregation
von: Fiorini, Cosimo, et al.
Veröffentlicht: (2025)

SHRP: Specialized Head Routing and Pruning for Efficient Encoder Compression
von: Su, Zeli, et al.
Veröffentlicht: (2025)

MoDeGPT: Modular Decomposition for Large Language Model Compression
von: Lin, Chi-Heng, et al.
Veröffentlicht: (2024)

Neural Weight Compression for Language Models
von: Ryu, Jegwang, et al.
Veröffentlicht: (2025)

QERA: an Analytical Framework for Quantization Error Reconstruction
von: Zhang, Cheng, et al.
Veröffentlicht: (2024)

Route Sparse Autoencoder to Interpret Large Language Models
von: Shi, Wei, et al.
Veröffentlicht: (2025)

FoMo X: Modular Explainability Signals for Outlier Detection Foundation Models
von: Klüttermann, Simon, et al.
Veröffentlicht: (2026)

Modular Distributed Nonconvex Learning with Error Feedback
von: Carnevale, Guido, et al.
Veröffentlicht: (2025)

Intrinsic Signal Models Defined by the High-Dimensional, Small-Sample Limit
von: Mototake, Yoh-ichi, et al.
Veröffentlicht: (2023)

Training-free Ultra Small Model for Universal Sparse Reconstruction in Compressed Sensing
von: Tang, Chaoqing, et al.
Veröffentlicht: (2025)

Accelerated Distributed Optimization with Compression and Error Feedback
von: Gao, Yuan, et al.
Veröffentlicht: (2025)

Unlocking Emergent Modularity in Large Language Models
von: Qiu, Zihan, et al.
Veröffentlicht: (2023)

Curiosity-Critic: Cumulative Prediction Error Improvement as a Tractable Intrinsic Reward for World Model Training
von: Bhaskara, Vin, et al.
Veröffentlicht: (2026)

ECVL-ROUTER: Scenario-Aware Routing for Vision-Language Models
von: Tang, Xin, et al.
Veröffentlicht: (2025)

Paraphrase and Aggregate with Large Language Models for Minimizing Intent Classification Errors
von: Yadav, Vikas, et al.
Veröffentlicht: (2024)

Leveraging Kernel Symmetry for Joint Compression and Error Mitigation in Edge Model Transfer
von: Hamadouche, Anis, et al.
Veröffentlicht: (2026)

Spectral Manifold Regularization for Stable and Modular Routing in Deep MoE Architectures
von: Delibasoglu, Ibrahim
Veröffentlicht: (2026)

Compressing Search with Language Models
von: Mulc, Thomas, et al.
Veröffentlicht: (2024)

Proxy Compression for Language Modeling
von: Zheng, Lin, et al.
Veröffentlicht: (2026)

PocketLLM: Ultimate Compression of Large Language Models via Meta Networks
von: Tian, Ye, et al.
Veröffentlicht: (2025)

Smoothie: Label Free Language Model Routing
von: Guha, Neel, et al.
Veröffentlicht: (2024)

Learning the Error Patterns of Language Models
von: Kim, Jinwoo, et al.
Veröffentlicht: (2026)

Reconstruction Error-based Anomaly Detection with Few Outlying Examples
von: Angiulli, Fabrizio, et al.
Veröffentlicht: (2023)

Efficient Reinforcement Learning for Large Language Models with Intrinsic Exploration
von: Sun, Yan, et al.
Veröffentlicht: (2025)

Adaptation to Intrinsic Dependence in Diffusion Language Models
von: Zhao, Yunxiao, et al.
Veröffentlicht: (2026)

Planning Under Observation Mismatch for Traffic Signal Control via Adaptive Modular World Models
von: Huang, Zherui, et al.
Veröffentlicht: (2025)

MoE-Compression: How the Compression Error of Experts Affects the Inference Accuracy of MoE Model?
von: Ma, Songkai, et al.
Veröffentlicht: (2025)

WAGLE: Strategic Weight Attribution for Effective and Modular Unlearning in Large Language Models
von: Jia, Jinghan, et al.
Veröffentlicht: (2024)

Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression
von: Tang, Yuntian, et al.
Veröffentlicht: (2026)

Reflect before Act: Proactive Error Correction in Language Models
von: Zeng, Qiuhai, et al.
Veröffentlicht: (2025)

The Discrete Charm of the MLP: Binary Routing of Continuous Signals in Transformer Feed-Forward Layers
von: Balogh, Peter
Veröffentlicht: (2026)