Buchumschlag

Balanced LoRA: Removing Parameter Invariance to Accelerate Convergence

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Castin, Valérie, Nadjahi, Kimia, Ablin, Pierre, Peyré, Gabriel
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning 68T07
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Unified Perspective on the Dynamics of Deep Transformers
von: Castin, Valérie, et al.
Veröffentlicht: (2025)

How Smooth Is Attention?
von: Castin, Valérie, et al.
Veröffentlicht: (2023)

FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA
von: Zhang, Haoran, et al.
Veröffentlicht: (2026)

A Generalization Bound for a Family of Implicit Networks
von: Fung, Samy Wu, et al.
Veröffentlicht: (2024)

Evaluating Embedding Generalization: How LLMs, LoRA, and SLERP Shape Representational Geometry
von: Kabane, Siyaxolisa
Veröffentlicht: (2025)

A LoRA-Based Approach to Fine-Tuning LLMs for Educational Guidance in Resource-Constrained Settings
von: Hosen, Md Millat
Veröffentlicht: (2025)

On The Convergence of Euler Discretization of Finite-Time Convergent Gradient Flows
von: Zhang, Siqi, et al.
Veröffentlicht: (2020)

LoRA meets Riemannion: Muon Optimizer for Parametrization-independent Low-Rank Adapters
von: Bogachev, Vladimir, et al.
Veröffentlicht: (2025)

Exploring Efficient Learning of Small BERT Networks with LoRA and DoRA
von: Frees, Daniel, et al.
Veröffentlicht: (2025)

QuAILoRA: Quantization-Aware Initialization for LoRA
von: Lawton, Neal, et al.
Veröffentlicht: (2024)

Super-fast Rates of Convergence for Neural Network Classifiers under the Hard Margin Condition
von: Tepakbong, Nathanael, et al.
Veröffentlicht: (2025)

Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization
von: Pavlov, Gorgi
Veröffentlicht: (2026)

From Features to Graphs: Exploring Graph Structures and Pairwise Interactions via GNNs
von: Yamchote, Phaphontee, et al.
Veröffentlicht: (2025)

The Inhibitor: ReLU and Addition-Based Attention for Efficient Transformers under Fully Homomorphic Encryption on the Torus
von: Brännvall, Rickard, et al.
Veröffentlicht: (2023)

Convergence of Continuous Normalizing Flows for Learning Probability Distributions
von: Gao, Yuan, et al.
Veröffentlicht: (2024)

The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning
von: Bastounis, Alexander, et al.
Veröffentlicht: (2023)

Global Convergence of Sampling-Based Nonconvex Optimization through Diffusion-Style Smoothing
von: Yi, Zeji, et al.
Veröffentlicht: (2026)

Tadpole: Autoencoders as Foundation Models for 3D PDEs with Online Learning
von: Liu, Qiang, et al.
Veröffentlicht: (2026)

Flow matching on homogeneous spaces
von: Ruscelli, Francesco
Veröffentlicht: (2026)

Training-Free Generative Sampling via Moment-Matched Score Smoothing
von: Yao, Zhenyu, et al.
Veröffentlicht: (2026)

Generative Design of Ship Propellers using Conditional Flow Matching
von: Kruger, Patrick, et al.
Veröffentlicht: (2026)

Beyond the Class Subspace: Teacher-Guided Training for Reliable Out-of-Distribution Detection in Single-Domain Models
von: Yang, Hong, et al.
Veröffentlicht: (2026)

TabPFN for Zero-shot Parametric Engineering Design Generation
von: Wang, Ke, et al.
Veröffentlicht: (2026)

Adynamical systems view of training generativemodels and the memorization phenomenon
von: Athreya, Siva, et al.
Veröffentlicht: (2026)

Wave-Attractor-Tree: A Hierarchical Binary Tree Reduction Architecture for Efficient Sequence Modeling
von: Berezkin, Igor
Veröffentlicht: (2026)

Graph-Conditional Flow Matching for Relational Data Generation
von: Scassola, Davide, et al.
Veröffentlicht: (2025)

Feature Learning Beyond the Edge of Stability
von: Terjék, Dávid
Veröffentlicht: (2025)

ConFIG: Towards Conflict-free Training of Physics Informed Neural Networks
von: Liu, Qiang, et al.
Veröffentlicht: (2024)

Optimizing Basis Function Selection in Constructive Wavelet Neural Networks and Its Applications
von: Huang, Dunsheng, et al.
Veröffentlicht: (2025)

A Teacher-Student Perspective on the Dynamics of Learning Near the Optimal Point
von: Couto, Carlos, et al.
Veröffentlicht: (2025)

A Comprehensive View of Personalized Federated Learning on Heterogeneous Clinical Datasets
von: Tavakoli, Fatemeh, et al.
Veröffentlicht: (2023)

Closed-Form Feedback-Free Learning with Forward Projection
von: O'Shea, Robert, et al.
Veröffentlicht: (2025)

Markov Chain Estimation with In-Context Learning
von: Lepage, Simon, et al.
Veröffentlicht: (2025)

Structured Knowledge Accumulation: The Principle of Entropic Least Action in Forward-Only Neural Learning
von: Quantiota, Bouarfa Mahi
Veröffentlicht: (2025)

Deep Learning and Transfer Learning Architectures for English Premier League Player Performance Forecasting
von: Frees, Daniel, et al.
Veröffentlicht: (2024)

Improving Fairness and Mitigating MADness in Generative Models
von: Mayer, Paul, et al.
Veröffentlicht: (2024)

Cooperative Multi-Agent Deep Reinforcement Learning in Content Ranking Optimization
von: Qin, Zhou, et al.
Veröffentlicht: (2024)

Stability Analysis of Equivariant Convolutional Representations Through The Lens of Equivariant Multi-layered CKNs
von: Chowdhury, Soutrik Roy
Veröffentlicht: (2024)

Iterative Orthogonalization Scaling Laws
von: Selvaraj, Devan
Veröffentlicht: (2025)

MLPs at the EOC: Spectrum of the NTK
von: Terjék, Dávid, et al.
Veröffentlicht: (2025)