Buchumschlag

Data-driven Clustering and Merging of Adapters for On-device Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bohdal, Ondrej, Ceritli, Taha, Ozay, Mete, Moon, Jijoong, Lee, Kyeng-Hun, Ko, Hyeonmok, Michieli, Umberto
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

HydraOpt: Navigating the Efficiency-Performance Trade-off of Adapter Merging
von: Ceritli, Taha, et al.
Veröffentlicht: (2025)

Efficient Compositional Multi-tasking for On-device Large Language Models
von: Bohdal, Ondrej, et al.
Veröffentlicht: (2025)

K-Merge: Online Continual Merging of Adapters for On-device Large Language Models
von: Shenaj, Donald, et al.
Veröffentlicht: (2025)

Clustering-driven Memory Compression for On-device Large Language Models
von: Bohdal, Ondrej, et al.
Veröffentlicht: (2026)

On-device System of Compositional Multi-tasking in Large Language Models
von: Bohdal, Ondrej, et al.
Veröffentlicht: (2025)

MemLoRA: Distilling Expert Adapters for On-Device Memory Systems
von: Bini, Massimo, et al.
Veröffentlicht: (2025)

CG-TTRL: Context-Guided Test-Time Reinforcement Learning for On-Device Large Language Models
von: Hosseini, Peyman, et al.
Veröffentlicht: (2025)

LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation
von: Shenaj, Donald, et al.
Veröffentlicht: (2024)

Object-conditioned Bag of Instances for Few-Shot Personalized Instance Recognition
von: Michieli, Umberto, et al.
Veröffentlicht: (2024)

HOP to the Next Tasks and Domains for Continual Learning in NLP
von: Michieli, Umberto, et al.
Veröffentlicht: (2024)

Swiss DINO: Efficient and Versatile Vision Framework for On-device Personal Object Search
von: Paramonov, Kirill, et al.
Veröffentlicht: (2024)

Enhanced Model Robustness to Input Corruptions by Per-corruption Adaptation of Normalization Statistics
von: Camuffo, Elena, et al.
Veröffentlicht: (2024)

A Model for Every User and Budget: Label-Free and Personalized Mixed-Precision Quantization
von: Fish, Edward, et al.
Veröffentlicht: (2023)

FFT-based Selection and Optimization of Statistics for Robust Recognition of Severely Corrupted Images
von: Camuffo, Elena, et al.
Veröffentlicht: (2024)

Cross-Architecture Auxiliary Feature Space Translation for Efficient Few-Shot Personalized Object Detection
von: Barbato, Francesco, et al.
Veröffentlicht: (2024)

Controllable Forgetting Mechanism for Few-Shot Class-Incremental Learning
von: Paramonov, Kirill, et al.
Veröffentlicht: (2025)

Diffusion Alignment Beyond KL: Variance Minimisation as Effective Policy Optimiser
von: Ou, Zijing, et al.
Veröffentlicht: (2026)

Model Merging and Safety Alignment: One Bad Model Spoils the Bunch
von: Hammoud, Hasan Abed Al Kader, et al.
Veröffentlicht: (2024)

Hansel: Output Length Controlling Framework for Large Language Models
von: Song, Seoha, et al.
Veröffentlicht: (2024)

MeKi: Memory-based Expert Knowledge Injection for Efficient LLM Scaling
von: Ding, Ning, et al.
Veröffentlicht: (2026)

Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation
von: Malinovsky, Grigory, et al.
Veröffentlicht: (2024)

Feature-Space Generative Models for One-Shot Class-Incremental Learning
von: Foster, Jack, et al.
Veröffentlicht: (2026)

Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains
von: Ali, Hafiz Tiomoko, et al.
Veröffentlicht: (2024)

Guided Model Merging for Hybrid Data Learning: Leveraging Centralized Data to Refine Decentralized Models
von: Zhu, Junyi, et al.
Veröffentlicht: (2025)

BRIDO: Bringing Democratic Order to Abstractive Summarization
von: Lee, Junhyun, et al.
Veröffentlicht: (2025)

MOCHA: Multi-modal Objects-aware Cross-arcHitecture Alignment
von: Camuffo, Elena, et al.
Veröffentlicht: (2025)

DreamCache: Finetuning-Free Lightweight Personalized Image Generation via Feature Caching
von: Aiello, Emanuele, et al.
Veröffentlicht: (2024)

A Modular System for Enhanced Robustness of Multimedia Understanding Networks via Deep Parametric Estimation
von: Barbato, Francesco, et al.
Veröffentlicht: (2024)

LoRA-Guard: Parameter-Efficient Guardrail Adaptation for Content Moderation of Large Language Models
von: Elesedy, Hayder, et al.
Veröffentlicht: (2024)

AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging
von: Zhao, Yiran, et al.
Veröffentlicht: (2024)

Continual Error Correction on Low-Resource Devices
von: Paramonov, Kirill, et al.
Veröffentlicht: (2025)

Decoding Text Spans for Efficient and Accurate Named-Entity Recognition
von: Maracani, Andrea, et al.
Veröffentlicht: (2026)

1bit-Merging: Dynamic Quantized Merging for Large Language Models
von: Liu, Shuqi, et al.
Veröffentlicht: (2025)

Block Circulant Adapter for Large Language Models
von: Ding, Xinyu, et al.
Veröffentlicht: (2025)

Transport and Merge: Cross-Architecture Merging for Large Language Models
von: Cui, Chenhang, et al.
Veröffentlicht: (2026)

PatientDx: Merging Large Language Models for Protecting Data-Privacy in Healthcare
von: Moreno, Jose G., et al.
Veröffentlicht: (2025)

Cross-Lingual Optimization for Language Transfer in Large Language Models
von: Lee, Jungseob, et al.
Veröffentlicht: (2025)

Mix Data or Merge Models? Balancing the Helpfulness, Honesty, and Harmlessness of Large Language Model via Model Merging
von: Yang, Jinluan, et al.
Veröffentlicht: (2025)

Leveraging Large Language Models for Building Interpretable Rule-Based Data-to-Text Systems
von: Warczyński, Jędrzej, et al.
Veröffentlicht: (2025)

Merging Methods for Multilingual Knowledge Editing for Large Language Models: An Empirical Odyssey
von: Lee, Kunil, et al.
Veröffentlicht: (2026)