Buchumschlag

Knowledge Offloading: Decomposing LLMs into Sparse Backbones and Memory Modules

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Galliamov, Karim, Choenni, Rochelle, Titov, Ivan
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Enhancing RLHF with Human Gaze Modeling
von: Galliamov, Karim, et al.
Veröffentlicht: (2025)

M-Wanda: Improving One-Shot Pruning for Multilingual LLMs
von: Choenni, Rochelle, et al.
Veröffentlicht: (2025)

Finding Culture-Sensitive Neurons in Vision-Language Models
von: Zhao, Xiutian, et al.
Veröffentlicht: (2025)

Refining Joint Text and Source Code Embeddings for Retrieval Task with Parameter-Efficient Fine-Tuning
von: Galliamov, Karim, et al.
Veröffentlicht: (2024)

[Re] FairDICE: A Fair Tradeoff in Multi-objective Offline RL
von: Adema, Peter, et al.
Veröffentlicht: (2026)

Concepts' Information Bottleneck Models
von: Galliamov, Karim, et al.
Veröffentlicht: (2026)

Self-Alignment: Improving Alignment of Cultural Values in LLMs via In-Context Learning
von: Choenni, Rochelle, et al.
Veröffentlicht: (2024)

Decomposing The Dark Matter of Sparse Autoencoders
von: Engels, Joshua, et al.
Veröffentlicht: (2024)

Unravelling the (In)compatibility of Statistical-Parity and Equalized-Odds
von: Bargh, Mortaza S., et al.
Veröffentlicht: (2026)

Breaking Agent Backbones: Evaluating the Security of Backbone LLMs in AI Agents
von: Bazinska, Julia, et al.
Veröffentlicht: (2025)

SDQ: Sparse Decomposed Quantization for LLM Inference
von: Jeong, Geonhwa, et al.
Veröffentlicht: (2024)

Backbone-Equated Diffusion OOD via Sparse Internal Snapshots
von: Rouzoumka, Yadang Alexis, et al.
Veröffentlicht: (2026)

What's New in My Data? Novelty Exploration via Contrastive Generation
von: Isonuma, Masaru, et al.
Veröffentlicht: (2024)

Targeted Visualization of the Backbone of Encoder LLMs
von: Roberts, Isaac, et al.
Veröffentlicht: (2024)

Language Agents Meet Causality -- Bridging LLMs and Causal World Models
von: Gkountouras, John, et al.
Veröffentlicht: (2024)

Efficient In-Memory Acceleration of Sparse Block Diagonal LLMs
von: de Lima, João Paulo Cardoso, et al.
Veröffentlicht: (2025)

Formal Theorem Proving by Rewarding LLMs to Decompose Proofs Hierarchically
von: Dong, Kefan, et al.
Veröffentlicht: (2024)

Autoencoding Conditional Neural Processes for Representation Learning
von: Prokhorov, Victor, et al.
Veröffentlicht: (2023)

Mitigating Copy Bias in In-Context Learning through Neuron Pruning
von: Ali, Ameen, et al.
Veröffentlicht: (2024)

Metaphor Understanding Challenge Dataset for LLMs
von: Tong, Xiaoyu, et al.
Veröffentlicht: (2024)

DecoHD: Decomposed Hyperdimensional Classification under Extreme Memory Budgets
von: Yun, Sanggeon, et al.
Veröffentlicht: (2025)

Multi-Turn Reasoning LLMs for Task Offloading in Mobile Edge Computing
von: Yang, Ning, et al.
Veröffentlicht: (2026)

When Does Sparse MoE Help in Vision? The Role of Backbone Compute Leverage in Sparse Routing
von: Sun, Libo, et al.
Veröffentlicht: (2026)

HeadInfer: Memory-Efficient LLM Inference by Head-wise Offloading
von: Luo, Cheng, et al.
Veröffentlicht: (2025)

Shared Doubt: Zero-shot Cross-Lingual Confidence Estimation for Language Models
von: Kyriakou, Athina, et al.
Veröffentlicht: (2026)

Joint Localization and Activation Editing for Low-Resource Fine-Tuning
von: Lai, Wen, et al.
Veröffentlicht: (2025)

Towards true discovery of the differential equations
von: Hvatov, Alexander, et al.
Veröffentlicht: (2023)

Hierarchical Decomposed Dual-domain Deep Learning for Sparse-View CT Reconstruction
von: Han, Yoseob
Veröffentlicht: (2025)

Decomposing Uncertainty in Probabilistic Knowledge Graph Embeddings: Why Entity Variance Is Not Enough
von: Lee, Chorok
Veröffentlicht: (2025)

Ultra-Sparse Memory Network
von: Huang, Zihao, et al.
Veröffentlicht: (2024)

Backbone Augmented Training for Adaptations
von: Park, Jae Wan, et al.
Veröffentlicht: (2025)

MISA: Memory-Efficient LLMs Optimization with Module-wise Importance Sampling
von: Liu, Yuxi, et al.
Veröffentlicht: (2025)

Cache & Distil: Optimising API Calls to Large Language Models
von: Ramírez, Guillem, et al.
Veröffentlicht: (2023)

Detecting and Pruning Prominent but Detrimental Neurons in Large Language Models
von: Ali, Ameen, et al.
Veröffentlicht: (2025)

Drawing Pandas: A Benchmark for LLMs in Generating Plotting Code
von: Galimzyanov, Timur, et al.
Veröffentlicht: (2024)

Decomposing Behavioral Phase Transitions in LLMs: Order Parameters for Emergent Misalignment
von: Arnold, Julian, et al.
Veröffentlicht: (2025)

The Echoes of Multilinguality: Tracing Cultural Value Shifts during LM Fine-tuning
von: Choenni, Rochelle, et al.
Veröffentlicht: (2024)

How do languages influence each other? Studying cross-lingual data sharing during LM fine-tuning
von: Choenni, Rochelle, et al.
Veröffentlicht: (2023)

Decomposed Trust: Privacy, Adversarial Robustness, Ethics, and Fairness in Low-Rank LLMs
von: Asante, Daniel Agyei, et al.
Veröffentlicht: (2025)

From Tokenizer Bias to Backbone Capability: A Controlled Study of LLMs for Time Series Forecasting
von: Zhang, Xinyu, et al.
Veröffentlicht: (2025)