Buchumschlag

Towards Efficient Optimizer Design for LLM via Structured Fisher Approximation with a Low-Rank Extension

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gong, Wenbo, Scetbon, Meyer, Ma, Chao, Meeds, Edward
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Gradient Multi-Normalization for Stateless and Scalable LLM Training
von: Scetbon, Meyer, et al.
Veröffentlicht: (2025)

SWAN: SGD with Normalization and Whitening Enables Stateless LLM Training
von: Ma, Chao, et al.
Veröffentlicht: (2024)

Low-Rank Correction for Quantized LLMs
von: Scetbon, Meyer, et al.
Veröffentlicht: (2024)

Rank-1 Approximation of Inverse Fisher for Natural Policy Gradients in Deep Reinforcement Learning
von: Huo, Yingxiao, et al.
Veröffentlicht: (2026)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
von: Barazandeh, Babak, et al.
Veröffentlicht: (2025)

Matrix Low-Rank Approximation For Policy Gradient Methods
von: Rozada, Sergio, et al.
Veröffentlicht: (2024)

Low-Rank GEMM: Efficient Matrix Multiplication via Low-Rank Approximation with FP8 Acceleration
von: Metere, Alfredo
Veröffentlicht: (2025)

Taming Momentum: Rethinking Optimizer States Through Low-Rank Approximation
von: Wang, Zhengbo, et al.
Veröffentlicht: (2026)

Towards Symmetric Low-Rank Adapters
von: Panoutsos, Tales, et al.
Veröffentlicht: (2025)

Joint Tensor-Train Parameterization for Efficient and Expressive Low-Rank Adaptation
von: Qi, Jun, et al.
Veröffentlicht: (2025)

RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation
von: Liu, Jun, et al.
Veröffentlicht: (2025)

FL-TAC: Enhanced Fine-Tuning in Federated Learning via Low-Rank, Task-Specific Adapter Clustering
von: Ping, Siqi, et al.
Veröffentlicht: (2024)

Memory-Efficient Fine-Tuning via Low-Rank Activation Compression
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

Neural Structure Learning with Stochastic Differential Equations
von: Wang, Benjie, et al.
Veröffentlicht: (2023)

Towards LLM-guided Efficient and Interpretable Multi-linear Tensor Network Rank Selection
von: Iacovides, Giorgos, et al.
Veröffentlicht: (2024)

Tensor and Matrix Low-Rank Value-Function Approximation in Reinforcement Learning
von: Rozada, Sergio, et al.
Veröffentlicht: (2022)

Lotus: Efficient LLM Training by Randomized Low-Rank Gradient Projection with Adaptive Subspace Switching
von: Miao, Tianhao, et al.
Veröffentlicht: (2026)

Generalized Fisher-Weighted SVD: Scalable Kronecker-Factored Fisher Approximation for Compressing Large Language Models
von: Chekalina, Viktoriia, et al.
Veröffentlicht: (2025)

The Essential Role of Causality in Foundation World Models for Embodied AI
von: Gupta, Tarun, et al.
Veröffentlicht: (2024)

ARO: A New Lens On Matrix Optimization For Large Models
von: Gong, Wenbo, et al.
Veröffentlicht: (2026)

Hierarchical Sparse Plus Low Rank Compression of LLM
von: Kumar, Pawan, et al.
Veröffentlicht: (2025)

Memory-Efficient LLM Pretraining via Minimalist Optimizer Design
von: Glentis, Athanasios, et al.
Veröffentlicht: (2025)

The Primacy of Magnitude in Low-Rank Adaptation
von: Zhang, Zicheng, et al.
Veröffentlicht: (2025)

Initialization using Update Approximation is a Silver Bullet for Extremely Efficient Low-Rank Fine-Tuning
von: Ponkshe, Kaustubh, et al.
Veröffentlicht: (2024)

Learning More with Less: A Dynamic Dual-Level Down-Sampling Framework for Efficient Policy Optimization
von: Wang, Chao, et al.
Veröffentlicht: (2025)

$\mathrm{E^{2}CFD}$: Towards Effective and Efficient Cost Function Design for Safe Reinforcement Learning via Large Language Model
von: Wang, Zepeng, et al.
Veröffentlicht: (2024)

CoLA: Compute-Efficient Pre-Training of LLMs via Low-Rank Activation
von: Liu, Ziyue, et al.
Veröffentlicht: (2025)

LiteASR: Efficient Automatic Speech Recognition with Low-Rank Approximation
von: Kamahori, Keisuke, et al.
Veröffentlicht: (2025)

Matrix Low-Rank Trust Region Policy Optimization
von: Rozada, Sergio, et al.
Veröffentlicht: (2024)

Energy-Structured Low-Rank Adaptation for Continual Learning
von: Li, Longhua, et al.
Veröffentlicht: (2026)

Low-Rank Compression of Language Models via Differentiable Rank Selection
von: Sundrani, Sidhant, et al.
Veröffentlicht: (2025)

Enhancing Parameter Efficiency and Generalization in Large-Scale Models: A Regularized and Masked Low-Rank Adaptation Approach
von: Mao, Yuzhu, et al.
Veröffentlicht: (2024)

D-QRELO: Training- and Data-Free Delta Compression for Large Language Models via Quantization and Residual Low-Rank Approximation
von: Li, Junlin, et al.
Veröffentlicht: (2026)

CoMERA: Computing- and Memory-Efficient Training via Rank-Adaptive Tensor Optimization
von: Yang, Zi, et al.
Veröffentlicht: (2024)

Beyond Variance: Knowledge-Aware LLM Compression via Fisher-Aligned Subspace Diagnostics
von: Shihab, Ibne Farabi, et al.
Veröffentlicht: (2026)

LoRDO: Distributed Low-Rank Optimization with Infrequent Communication
von: Jovanović, Andrej, et al.
Veröffentlicht: (2026)

A3 : an Analytical Low-Rank Approximation Framework for Attention
von: Wong, Jeffrey T. H., et al.
Veröffentlicht: (2025)

Towards Efficient Pareto Set Approximation via Mixture of Experts Based Model Fusion
von: Tang, Anke, et al.
Veröffentlicht: (2024)

The Approximate Fisher Influence Function: Faster Estimation of Data Influence in Statistical Models
von: Lev, Omri, et al.
Veröffentlicht: (2024)

Towards Unified Multi-task EEG Analysis with Low-Rank Adaptation
von: Dai, Sicheng, et al.
Veröffentlicht: (2026)