Buchumschlag

Uncovering Symmetry Transfer in Large Language Models via Layer-Peeled Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Du, Zhehang, He, Hangfeng, Su, Weijie
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Optimization and Control Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Newton-Muon Optimizer
von: Du, Zhehang, et al.
Veröffentlicht: (2026)

Isotropic Curvature Model for Understanding Deep Learning Optimization: Is Gradient Orthogonalization Optimal?
von: Su, Weijie
Veröffentlicht: (2025)

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers
von: Lau, Tim Tsz-Kit, et al.
Veröffentlicht: (2026)

Robust Learning Rate Selection for Stochastic Optimization via Splitting Diagnostic
von: Sordello, Matteo, et al.
Veröffentlicht: (2019)

Reward Collapse in Aligning Large Language Models
von: Song, Ziang, et al.
Veröffentlicht: (2023)

Differentiable Distributionally Robust Optimization Layers
von: Ma, Xutao, et al.
Veröffentlicht: (2024)

A Law of Next-Token Prediction in Large Language Models
von: He, Hangfeng, et al.
Veröffentlicht: (2024)

From Large Language Models and Optimization to Decision Optimization CoPilot: A Research Manifesto
von: Wasserkrug, Segev, et al.
Veröffentlicht: (2024)

Tree-Preconditioned Differentiable Optimization and Axioms as Layers
von: Liao, Yuexin
Veröffentlicht: (2025)

ARO: A New Lens On Matrix Optimization For Large Models
von: Gong, Wenbo, et al.
Veröffentlicht: (2026)

MiMuon: Mixed Muon Optimizer with Improved Generalization for Large Models
von: Huang, Feihu, et al.
Veröffentlicht: (2026)

Data-Driven Portfolio Management for Motion Pictures Industry: A New Data-Driven Optimization Methodology Using a Large Language Model as the Expert
von: Alipour-Vaezi, Mohammad, et al.
Veröffentlicht: (2024)

Hereditary Geometric Meta-RL: Nonlocal Generalization via Task Symmetries
von: Nitschke, Paul, et al.
Veröffentlicht: (2026)

Solving General Natural-Language-Description Optimization Problems with Large Language Models
von: Zhang, Jihai, et al.
Veröffentlicht: (2024)

GANQ: GPU-Adaptive Non-Uniform Quantization for Large Language Models
von: Zhao, Pengxiang, et al.
Veröffentlicht: (2025)

Compressing Large Language Models using Low Rank and Low Precision Decomposition
von: Saha, Rajarshi, et al.
Veröffentlicht: (2024)

To Cool or not to Cool? Temperature Network Meets Large Foundation Models via DRO
von: Qiu, Zi-Hao, et al.
Veröffentlicht: (2024)

Stochastic Optimization of Inventory at Large-scale Supply Chains
von: Jin, Zhaoyang Larry, et al.
Veröffentlicht: (2025)

One-Layer Transformer Provably Learns One-Nearest Neighbor In Context
von: Li, Zihao, et al.
Veröffentlicht: (2024)

StoSignSGD: Unbiased Structural Stochasticity Fixes SignSGD for Training Large Language Models
von: Yu, Dingzhi, et al.
Veröffentlicht: (2026)

AdLoCo: adaptive batching significantly improves communications efficiency and convergence for Large Language Models
von: Kutuzov, Nikolay, et al.
Veröffentlicht: (2025)

Intersectional Fairness via Mixed-Integer Optimization
von: Němeček, Jiří, et al.
Veröffentlicht: (2026)

Online Submodular Maximization via Online Convex Optimization
von: Salem, Tareq Si, et al.
Veröffentlicht: (2023)

Optimizer-Model Consistency: Full Finetuning with the Same Optimizer as Pretraining Forgets Less
von: Liu, Yuxing, et al.
Veröffentlicht: (2026)

Stability of Transformers under Layer Normalization
von: Kan, Kelvin, et al.
Veröffentlicht: (2025)

Self-Certifying Primal-Dual Optimization Proxies for Large-Scale Batch Economic Dispatch
von: Klamkin, Michael, et al.
Veröffentlicht: (2025)

Memory-Efficient LLM Pretraining via Minimalist Optimizer Design
von: Glentis, Athanasios, et al.
Veröffentlicht: (2025)

SPAP: Structured Pruning via Alternating Optimization and Penalty Methods
von: Hu, Hanyu, et al.
Veröffentlicht: (2025)

Constructing Industrial-Scale Optimization Modeling Benchmark
von: Li, Zhong, et al.
Veröffentlicht: (2026)

Zeroth-Order Optimization Finds Flat Minima
von: Zhang, Liang, et al.
Veröffentlicht: (2025)

One-Shot Safety Alignment for Large Language Models via Optimal Dualization
von: Huang, Xinmeng, et al.
Veröffentlicht: (2024)

One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
von: Shen, Jucheng, et al.
Veröffentlicht: (2026)

Hidden Convexity of Fair PCA and Fast Solver via Eigenvalue Optimization
von: Shen, Junhui, et al.
Veröffentlicht: (2025)

Capabilities of Large Language Models in Control Engineering: A Benchmark Study on GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra
von: Kevian, Darioush, et al.
Veröffentlicht: (2024)

Policy Optimization in Hybrid Discrete-Continuous Action Spaces via Mixed Gradients
von: Alvo, Matias, et al.
Veröffentlicht: (2026)

Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
von: Sheen, Heejune, et al.
Veröffentlicht: (2024)

Learning Concave Bid Shading Strategies in Online Auctions via Measure-valued Proximal Optimization
von: Nodozi, Iman, et al.
Veröffentlicht: (2025)

Beyond Minimax Rates in Group Distributionally Robust Optimization via a Novel Notion of Sparsity
von: Nguyen, Quan, et al.
Veröffentlicht: (2024)

Unsupervised Training of Diffusion Models for Feasible Solution Generation in Neural Combinatorial Optimization
von: Hong, Seong-Hyun, et al.
Veröffentlicht: (2024)

DT-PBO: an Interpretable Tree-based Surrogate Model for Preferential Bayesian Optimization
von: Leenders, Nick, et al.
Veröffentlicht: (2025)