Copertina

Model Merging on Loss Landscape: A Geometry Perspective

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Lu, Juanwu, Bhaskar, Anand, Axelrod, Brian, Tolstaya, Ekaterina, Emrich, Tristan
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

On Variance Reduction in Learning Mean Flows
di: Lu, Juanwu, et al.
Pubblicazione: (2026)

Early-Warning Signals of Grokking via Loss-Landscape Geometry
di: Xu, Yongzhong
Pubblicazione: (2026)

Evaluating Loss Landscapes from a Topology Perspective
di: Xie, Tiankai, et al.
Pubblicazione: (2024)

Accelerating Inference of Discrete Autoregressive Normalizing Flows by Selective Jacobi Decoding
di: Zhang, Jiaru, et al.
Pubblicazione: (2025)

There is a Singularity in the Loss Landscape
di: Lowell, Mark
Pubblicazione: (2022)

Unlocking the Potential of Continual Model Merging: An ODE Perspective
di: Lin, Lihong, et al.
Pubblicazione: (2026)

A Tale of Two Symmetries: Exploring the Loss Landscape of Equivariant Models
di: Xie, YuQing, et al.
Pubblicazione: (2025)

Landscaper: Understanding Loss Landscapes Through Multi-Dimensional Topological Analysis
di: Chen, Jiaqing, et al.
Pubblicazione: (2026)

MIN-Merging: Merge the Important Neurons for Model Merging
di: Liang, Yunfei
Pubblicazione: (2025)

Visualizing Loss Functions as Topological Landscape Profiles
di: Geniesse, Caleb, et al.
Pubblicazione: (2024)

Tube Loss: A Novel Approach for Prediction Interval Estimation
di: Anand, Pritam, et al.
Pubblicazione: (2024)

Arcee's MergeKit: A Toolkit for Merging Large Language Models
di: Goddard, Charles, et al.
Pubblicazione: (2024)

ToMA: Token Merge with Attention for Diffusion Models
di: Lu, Wenbo, et al.
Pubblicazione: (2025)

Matrix Sensing with Kernel Optimal Loss: Robustness and Optimization Landscape
di: Song, Xinyuan, et al.
Pubblicazione: (2025)

CAT Merging: A Training-Free Approach for Resolving Conflicts in Model Merging
di: Sun, Wenju, et al.
Pubblicazione: (2025)

Geometry Preserving Loss Functions Promote Improved Adaptation of Blackbox Generative Model
di: Mitra, Sinjini, et al.
Pubblicazione: (2026)

Bayesian Model Merging
di: Li, Kaiyang, et al.
Pubblicazione: (2026)

FW-Merging: Scaling Model Merging with Frank-Wolfe Optimization
di: Chen, Hao Mark, et al.
Pubblicazione: (2025)

PSO-Merging: Merging Models Based on Particle Swarm Optimization
di: Zhang, Kehao, et al.
Pubblicazione: (2025)

Twin-Merging: Dynamic Integration of Modular Expertise in Model Merging
di: Lu, Zhenyi, et al.
Pubblicazione: (2024)

Practical Bayesian Inference for Speech SNNs: Uncertainty and Loss-Landscape Smoothing
di: Abdennadher, Yesmine, et al.
Pubblicazione: (2026)

Identifying Sparsely Active Circuits Through Local Loss Landscape Decomposition
di: Chrisman, Brianna, et al.
Pubblicazione: (2025)

The Geometry of Grokking: Norm Minimization on the Zero-Loss Manifold
di: Musat, Tiberiu
Pubblicazione: (2025)

Merging Smarter, Generalizing Better: Enhancing Model Merging on OOD Data
di: Zhang, Bingjie, et al.
Pubblicazione: (2025)

Decom-Renorm-Merge: Model Merging on the Right Space Improves Multitasking
di: Chaichana, Yuatyong, et al.
Pubblicazione: (2025)

Tube Loss based Deep Networks For Improving the Probabilistic Forecasting of Wind Speed
di: Anand, Pritam, et al.
Pubblicazione: (2025)

Fine, I'll Merge It Myself: A Multi-Fidelity Framework for Automated Model Merging
di: Su, Guinan, et al.
Pubblicazione: (2025)

FeatCal: Feature Calibration for Post-Merging Models
di: Gu, Yanggan, et al.
Pubblicazione: (2026)

Model Merging: Foundations and Algorithms
di: Crisostomi, Donato
Pubblicazione: (2026)

Model Merging in the Essential Subspace
di: Li, Longhua, et al.
Pubblicazione: (2026)

Loss Landscape Degeneracy and Stagewise Development in Transformers
di: Hoogland, Jesse, et al.
Pubblicazione: (2024)

MergeMix: Optimizing Mid-Training Data Mixtures via Learnable Model Merging
di: Wang, Jiapeng, et al.
Pubblicazione: (2026)

BD-Merging: Bias-Aware Dynamic Model Merging with Evidence-Guided Contrastive Learning
di: Xie, Yuhan, et al.
Pubblicazione: (2026)

Loss Barcode: A Topological Measure of Escapability in Loss Landscapes
di: Barannikov, Serguei, et al.
Pubblicazione: (2020)

Sparsity-Aware Evolution for Model Merging
di: Zhang, Huan, et al.
Pubblicazione: (2026)

Training-free Heterogeneous Model Merging
di: Xu, Zhengqi, et al.
Pubblicazione: (2024)

Multi-Level Collaboration in Model Merging
di: Li, Qi, et al.
Pubblicazione: (2025)

Revisiting Weight Averaging for Model Merging
di: Choi, Jiho, et al.
Pubblicazione: (2024)

A Loss Landscape Visualization Framework for Interpreting Reinforcement Learning: An ADHDP Case Study
di: Liu, Jingyi, et al.
Pubblicazione: (2026)

Loss-to-Loss Prediction: Scaling Laws for All Datasets
di: Brandfonbrener, David, et al.
Pubblicazione: (2024)