Buchumschlag

Merging by Matching Models in Task Parameter Subspaces

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tam, Derek, Bansal, Mohit, Raffel, Colin
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Realistic Evaluation of Model Merging for Compositional Generalization
von: Tam, Derek, et al.
Veröffentlicht: (2024)

ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization
von: Yadav, Prateek, et al.
Veröffentlicht: (2023)

A Survey on Model MoErging: Recycling and Routing Among Specialized Experts for Collaborative Learning
von: Yadav, Prateek, et al.
Veröffentlicht: (2024)

Position: The Most Expensive Part of an LLM should be its Training Data
von: Kandpal, Nikhil, et al.
Veröffentlicht: (2025)

What Matters for Model Merging at Scale?
von: Yadav, Prateek, et al.
Veröffentlicht: (2024)

Branch-Solve-Merge Improves Large Language Model Evaluation and Generation
von: Saha, Swarnadeep, et al.
Veröffentlicht: (2023)

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale
von: Patel, Ajay, et al.
Veröffentlicht: (2026)

DataDreamer: A Tool for Synthetic Data Generation and Reproducible LLM Workflows
von: Patel, Ajay, et al.
Veröffentlicht: (2024)

Model Merging via Data-Free Covariance Estimation
von: Hameed, Marawan Gamal Abdel, et al.
Veröffentlicht: (2026)

The Unreasonable Effectiveness of Easy Training Data for Hard Tasks
von: Hase, Peter, et al.
Veröffentlicht: (2024)

Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
von: Zhang, Haobo, et al.
Veröffentlicht: (2025)

Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression
von: Xiao, Hanqi, et al.
Veröffentlicht: (2025)

Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy
von: Li, Pingzhi, et al.
Veröffentlicht: (2023)

LASeR: Learning to Adaptively Select Reward Models with Multi-Armed Bandits
von: Nguyen, Duy, et al.
Veröffentlicht: (2024)

SELMA: Learning and Merging Skill-Specific Text-to-Image Experts with Auto-Generated Data
von: Li, Jialu, et al.
Veröffentlicht: (2024)

Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models
von: Maharana, Adyasha, et al.
Veröffentlicht: (2023)

Model Merging by Uncertainty-Based Gradient Matching
von: Daheim, Nico, et al.
Veröffentlicht: (2023)

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior
von: Altıntaş, Gül Sena, et al.
Veröffentlicht: (2025)

DAM: Dynamic Adapter Merging for Continual Video QA Learning
von: Cheng, Feng, et al.
Veröffentlicht: (2024)

Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning
von: Aakanksha, et al.
Veröffentlicht: (2024)

BeaverTalk: Oregon State University's IWSLT 2025 Simultaneous Speech Translation System
von: Raffel, Matthew, et al.
Veröffentlicht: (2025)

Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation
von: Raffel, Matthew, et al.
Veröffentlicht: (2024)

Soft Merging of Experts with Adaptive Routing
von: Muqeeth, Mohammed, et al.
Veröffentlicht: (2023)

Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings
von: Jiang, Yichen, et al.
Veröffentlicht: (2024)

Fishers for Free? Approximating the Fisher Information Matrix by Recycling the Squared Gradient Accumulator
von: Li, YuXin, et al.
Veröffentlicht: (2025)

SOMP: Scalable Gradient Inversion for Large Language Models via Subspace-Guided Orthogonal Matching Pursuit
von: Li, Yibo, et al.
Veröffentlicht: (2026)

Soft Self-Consistency Improves Language Model Agents
von: Wang, Han, et al.
Veröffentlicht: (2024)

Multi-Attribute Steering of Language Models via Targeted Intervention
von: Nguyen, Duy, et al.
Veröffentlicht: (2025)

Parameter Competition Balancing for Model Merging
von: Du, Guodong, et al.
Veröffentlicht: (2024)

Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
von: Miyano, Ryota, et al.
Veröffentlicht: (2025)

UPCORE: Utility-Preserving Coreset Selection for Balanced Unlearning
von: Patil, Vaidehi, et al.
Veröffentlicht: (2025)

Merge to Learn: Efficiently Adding Skills to Language Models with Model Merging
von: Morrison, Jacob, et al.
Veröffentlicht: (2024)

Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models
von: Prasad, Archiki, et al.
Veröffentlicht: (2023)

ECoFLaP: Efficient Coarse-to-Fine Layer-Wise Pruning for Vision-Language Models
von: Sung, Yi-Lin, et al.
Veröffentlicht: (2023)

REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy
von: Chang, Haw-Shiuan, et al.
Veröffentlicht: (2024)

ReConcile: Round-Table Conference Improves Reasoning via Consensus among Diverse LLMs
von: Chen, Justin Chih-Yao, et al.
Veröffentlicht: (2023)

Multi-Task Model Merging via Adaptive Weight Disentanglement
von: Xiong, Feng, et al.
Veröffentlicht: (2024)

Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models
von: Pan, Bowen, et al.
Veröffentlicht: (2024)

Language Models Improve When Pretraining Data Matches Target Tasks
von: Mizrahi, David, et al.
Veröffentlicht: (2025)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)