Buchumschlag

AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Su, Barbara, Liao, Fangshuo, Kyrillidis, Anastasios
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Provable Model-Parallel Distributed Principal Component Analysis with Parallel Deflation
von: Liao, Fangshuo, et al.
Veröffentlicht: (2025)

On the Error-Propagation of Inexact Hotelling's Deflation for Principal Component Analysis
von: Liao, Fangshuo, et al.
Veröffentlicht: (2023)

Guided by the Experts: Provable Feature Learning Dynamic of Soft-Routed Mixture-of-Experts
von: Liao, Fangshuo, et al.
Veröffentlicht: (2025)

Provable Accelerated Convergence of Nesterov's Momentum for Deep ReLU Neural Networks
von: Liao, Fangshuo, et al.
Veröffentlicht: (2023)

One Rank at a Time: Cascading Error Dynamics in Sequential Learning
von: Vandchali, Mahtab Alizadeh, et al.
Veröffentlicht: (2025)

Exploiting Low-Rank Structure in Max-K-Cut Problems
von: Stevens, Ria, et al.
Veröffentlicht: (2026)

SGD at the Edge of Stability: The Stochastic Sharpness Gap
von: Liao, Fangshuo, et al.
Veröffentlicht: (2026)

Convergence Analysis of Two-Layer Neural Networks under Gaussian Input Masking
von: Kolomvaki, Afroditi, et al.
Veröffentlicht: (2026)

One Model, Two Roles: Emergent Specialization in a Shared Recurrent Transformer
von: Shen, Jucheng, et al.
Veröffentlicht: (2026)

GHOST: Unmasking Phantom States in Mamba2 via Grouped Hidden-state Output-aware Selection & Truncation
von: Menezes, Michael, et al.
Veröffentlicht: (2026)

Learning to Specialize: Joint Gating-Expert Training for Adaptive MoEs in Decentralized Settings
von: Farhat, Yehya, et al.
Veröffentlicht: (2023)

TwIST: Rigging the Lottery in Transformers with Independent Subnetwork Training
von: Menezes, Michael, et al.
Veröffentlicht: (2025)

Better Schedules for Low Precision Training of Deep Neural Networks
von: Wolfe, Cameron R., et al.
Veröffentlicht: (2024)

Quantum EigenGame for excited state calculation
von: Quiroga, David, et al.
Veröffentlicht: (2025)

Unveiling Hidden Pivotal Players with GoalNet: A GNN-Based Soccer Player Evaluation System
von: Jiang, Jacky Hao, et al.
Veröffentlicht: (2025)

Adaptive Federated Learning with Auto-Tuned Clients
von: Kim, Junhyung Lyle, et al.
Veröffentlicht: (2023)

AdaRank: Adaptive Rank Pruning for Enhanced Model Merging
von: Lee, Chanhyuk, et al.
Veröffentlicht: (2025)

Three Birds with One Stone: Improving Performance, Convergence, and System Throughput with Nest
von: Huo, Yuqian, et al.
Veröffentlicht: (2025)

When is Momentum Extragradient Optimal? A Polynomial-Based Analysis
von: Kim, Junhyung Lyle, et al.
Veröffentlicht: (2022)

AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning
von: Refael, Yehonathan, et al.
Veröffentlicht: (2024)

AntiPaSTO: Self-Supervised Honesty Steering via Anti-Parallel Representations
von: Clark, Michael J.
Veröffentlicht: (2026)

A Catalyst Framework for the Quantum Linear System Problem via the Proximal Point Algorithm
von: Kim, Junhyung Lyle, et al.
Veröffentlicht: (2024)

Data-Driven Discovery of Conservation Laws from Trajectories via Neural Deflation
von: Chen, Shaoxuan, et al.
Veröffentlicht: (2024)

COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling
von: Flynn, Noah
Veröffentlicht: (2026)

AdaRank: Disagreement Based Module Rank Prediction for Low-rank Adaptation
von: Dong, Yihe
Veröffentlicht: (2024)

Deflation-Free Optimal Scoring
von: Afroz, Sharmin, et al.
Veröffentlicht: (2026)

Deflated Dynamics Value Iteration
von: Lee, Jongmin, et al.
Veröffentlicht: (2024)

AdaMuon: Adaptive Muon Optimizer
von: Si, Chongjie, et al.
Veröffentlicht: (2025)

A Preliminary Agentic Framework for Matrix Deflation
von: Goulart, Paimon, et al.
Veröffentlicht: (2026)

AdaParse: An Adaptive Parallel PDF Parsing and Resource Scaling Engine
von: Siebenschuh, Carlo, et al.
Veröffentlicht: (2025)

PaSE: Parallelization Strategies for Efficient DNN Training
von: Elango, Venmugil
Veröffentlicht: (2024)

AdaDPO: Self-Adaptive Direct Preference Optimization with Balanced Gradient Updates
von: Chen, Shaolong, et al.
Veröffentlicht: (2026)

GRIT -- Geometry-Aware PEFT with K-FACPreconditioning, Fisher-Guided Reprojection, andDynamic Rank Adaptation
von: Saha, Pritish, et al.
Veröffentlicht: (2026)

PaCoRe: Learning to Scale Test-Time Compute with Parallel Coordinated Reasoning
von: Hu, Jingcheng, et al.
Veröffentlicht: (2026)

PaPaformer: Language Model from Pre-trained Parallel Paths
von: Tapaninaho, Joonas, et al.
Veröffentlicht: (2025)

RecCrysFormer: Refined Protein Structural Prediction from 3D Patterson Maps via Recycling Training Runs
von: Pan, Tom, et al.
Veröffentlicht: (2025)

Finer Parameter Steps for Low-Rank PEFT: A Controlled Study with CP Tensor Adapters
von: Wang, Xinjue, et al.
Veröffentlicht: (2026)

Eigenpruning: an Interpretability-Inspired PEFT Method
von: Vergara-Browne, Tomás, et al.
Veröffentlicht: (2024)

Quantum-PEFT: Ultra parameter-efficient fine-tuning
von: Koike-Akino, Toshiaki, et al.
Veröffentlicht: (2025)

AdaSTaR: Adaptive Data Sampling for Training Self-Taught Reasoners
von: Koh, Woosung, et al.
Veröffentlicht: (2025)