Buchumschlag

MOMA: Masked Orthogonal Matrix Alignment for Zero-Additional-Parameter Model Merging

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kong, Fanshuang, Zhang, Richong, Nie, Zhijie, Zhou, Hang, Wang, Ziqiao, Sun, Qiang, Hu, Chunming
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Activated Parameter Locating via Causal Intervention for Model Merging
von: Kong, Fanshuang, et al.
Veröffentlicht: (2024)

LH-Mix: Local Hierarchy Correlation Guided Mixup over Hierarchical Prompt Tuning
von: Kong, Fanshuang, et al.
Veröffentlicht: (2024)

inversedMixup: Data Augmentation via Inverting Mixed Embeddings
von: Kong, Fanshuang, et al.
Veröffentlicht: (2026)

On SkipGram Word Embedding Models with Negative Sampling: Unified Framework and Impact of Noise Distributions
von: Liu, Dezhi, et al.
Veröffentlicht: (2020)

Improving Zero-Shot Cross-Lingual Transfer via Progressive Code-Switching
von: Li, Zhuoran, et al.
Veröffentlicht: (2024)

Nora: Normalized Orthogonal Row Alignment for Scalable Matrix Optimizer
von: Yuan, Jinghui, et al.
Veröffentlicht: (2026)

Implicit Word Reordering with Knowledge Distillation for Cross-Lingual Dependency Parsing
von: Li, Zhuoran, et al.
Veröffentlicht: (2025)

Orthogonal Model Merging
von: Yang, Sihan, et al.
Veröffentlicht: (2026)

Improved Operator Learning by Orthogonal Attention
von: Xiao, Zipeng, et al.
Veröffentlicht: (2023)

Safety Alignment as Continual Learning: Mitigating the Alignment Tax via Orthogonal Gradient Projection
von: Sun, Guanglong, et al.
Veröffentlicht: (2026)

Unraveling LoRA Interference: Orthogonal Subspaces for Robust Model Merging
von: Zhang, Haobo, et al.
Veröffentlicht: (2025)

Expert Merging: Model Merging with Unsupervised Expert Alignment and Importance-Guided Layer Chunking
von: Zhang, Dengming, et al.
Veröffentlicht: (2025)

Model Breadcrumbs: Scaling Multi-Task Model Merging with Sparse Masks
von: Davari, MohammadReza, et al.
Veröffentlicht: (2023)

Rethinking Graph Masked Autoencoders through Alignment and Uniformity
von: Wang, Liang, et al.
Veröffentlicht: (2024)

FedMerge: Federated Personalization via Model Merging
von: Chen, Shutong, et al.
Veröffentlicht: (2025)

Fisher Mask Nodes for Language Model Merging
von: K, Thennal D, et al.
Veröffentlicht: (2024)

From Coefficients to Directions: Rethinking Model Merging with Directional Alignment
von: Chen, Zhikang, et al.
Veröffentlicht: (2025)

Non-Uniform Parameter-Wise Model Merging
von: Camacho, Albert Manuel Orozco, et al.
Veröffentlicht: (2024)

Merging by Matching Models in Task Parameter Subspaces
von: Tam, Derek, et al.
Veröffentlicht: (2023)

FedMuon: Accelerating Federated Learning with Matrix Orthogonalization
von: Liu, Junkang, et al.
Veröffentlicht: (2025)

Improving General Text Embedding Model: Tackling Task Conflict and Data Imbalance through Model Merging
von: Li, Mingxin, et al.
Veröffentlicht: (2024)

Decouple and Orthogonalize: A Data-Free Framework for LoRA Merging
von: Zheng, Shenghe, et al.
Veröffentlicht: (2025)

Orthogonalized Multimodal Contrastive Learning with Asymmetric Masking for Structured Representations
von: Cissee, Carolin, et al.
Veröffentlicht: (2026)

Cross-attention Secretly Performs Orthogonal Alignment in Recommendation Models
von: Lee, Hyunin, et al.
Veröffentlicht: (2025)

Extra-Merge: Tracing the Rank-1 Subspace of Model Merging in Language Model Pre-Training
von: Zhou, Wenjie, et al.
Veröffentlicht: (2026)

Sparse Orthogonal Parameters Tuning for Continual Learning
von: Ning, Kun-Peng, et al.
Veröffentlicht: (2024)

MaskGCT: Zero-Shot Text-to-Speech with Masked Generative Codec Transformer
von: Wang, Yuancheng, et al.
Veröffentlicht: (2024)

SeMe: Training-Free Language Model Merging via Semantic Alignment
von: Gu, Jian, et al.
Veröffentlicht: (2025)

MergeSFL: Split Federated Learning with Feature Merging and Batch Size Regulation
von: Liao, Yunming, et al.
Veröffentlicht: (2023)

Modular Delta Merging with Orthogonal Constraints: A Scalable Framework for Continual and Reversible Model Composition
von: Khan, Haris, et al.
Veröffentlicht: (2025)

Dynamic Task Vector Grouping for Efficient Multi-Task Prompt Tuning
von: Zhang, Pieyi, et al.
Veröffentlicht: (2025)

FedSKD: Aggregation-free Model-heterogeneous Federated Learning via Multi-dimensional Similarity Knowledge Distillation for Medical Image Classification
von: Weng, Ziqiao, et al.
Veröffentlicht: (2025)

Parameter Competition Balancing for Model Merging
von: Du, Guodong, et al.
Veröffentlicht: (2024)

Online Merging Optimizers for Boosting Rewards and Mitigating Tax in Alignment
von: Lu, Keming, et al.
Veröffentlicht: (2024)

Adaptive Tokenization: On the Hop-Overpriority Problem in Tokenized Graph Learning Models
von: Wang, Zhibiao, et al.
Veröffentlicht: (2025)

Training-Free Self-Correction for Multimodal Masked Diffusion Models
von: Ouyang, Yidong, et al.
Veröffentlicht: (2026)

COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression
von: Makhov, Denis, et al.
Veröffentlicht: (2026)

T3: Test-Time Model Merging in VLMs for Zero-Shot Medical Imaging Analysis
von: Imam, Raza, et al.
Veröffentlicht: (2025)

Rethinking Inter-LoRA Orthogonality in Adapter Merging: Insights from Orthogonal Monte Carlo Dropout
von: Zhang, Andi, et al.
Veröffentlicht: (2025)

MergeBench: A Benchmark for Merging Domain-Specialized LLMs
von: He, Yifei, et al.
Veröffentlicht: (2025)