Buchumschlag

HD-PiSSA: High-Rank Distributed Orthogonal Adaptation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Yiding, Meng, Fauxu, Zhang, Xuefeng, Jiang, Fan, Tang, Pingzhi, Zhang, Muhan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)

Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation
von: Tang, Pingzhi, et al.
Veröffentlicht: (2026)

CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)

Breaking the Blocks: Continuous Low-Rank Decomposed Scaling for Unified LLM Quantization and Adaptation
von: Tang, Pingzhi, et al.
Veröffentlicht: (2026)

TransMLA: Multi-Head Latent Attention Is All You Need
von: Meng, Fanxu, et al.
Veröffentlicht: (2025)

TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference
von: Tang, Xiaojuan, et al.
Veröffentlicht: (2025)

The Primacy of Magnitude in Low-Rank Adaptation
von: Zhang, Zicheng, et al.
Veröffentlicht: (2025)

An Empirical Study of Realized GNN Expressiveness
von: Wang, Yanbo, et al.
Veröffentlicht: (2023)

Polynomial Expansion Rank Adaptation: Enhancing Low-Rank Fine-Tuning with High-Order Interactions
von: Zhang, Wenhao, et al.
Veröffentlicht: (2026)

Training Data Selection with Gradient Orthogonality for Efficient Domain Adaptation
von: Zhang, Xiyang, et al.
Veröffentlicht: (2026)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
von: Tang, Chuanyu, et al.
Veröffentlicht: (2024)

The Road Less Traveled: Enhancing Exploration in LLMs via Sequential Sampling
von: Kang, Shijia, et al.
Veröffentlicht: (2025)

OCN: Effectively Utilizing Higher-Order Common Neighbors for Better Link Prediction
von: Wang, Juntong, et al.
Veröffentlicht: (2025)

HyperAdapt: Simple High-Rank Adaptation
von: Gurung, Abel, et al.
Veröffentlicht: (2025)

RulE: Knowledge Graph Reasoning with Rule Embedding
von: Tang, Xiaojuan, et al.
Veröffentlicht: (2022)

iLoRA: Bayesian Low-Rank Adaptation with Latent Interaction Graphs for Microbiome Diagnosis
von: Song, Yang, et al.
Veröffentlicht: (2026)

MoRA: On-the-fly Molecule-aware Low-Rank Adaptation Framework for LLM-based Multi-Modal Molecular Assistant
von: Yin, Tao, et al.
Veröffentlicht: (2025)

Harnessing Orthogonality to Train Low-Rank Neural Networks
von: Coquelin, Daniel, et al.
Veröffentlicht: (2024)

Reconsidering the Performance of GAE in Link Prediction
von: Ma, Weishuo, et al.
Veröffentlicht: (2024)

FlashMol: High-Quality Molecule Generation in as Few as Four Steps
von: Wei, Xinyuan, et al.
Veröffentlicht: (2026)

SPGNN: Recognizing Salient Subgraph Patterns via Enhanced Graph Convolution and Pooling
von: Dong, Zehao, et al.
Veröffentlicht: (2024)

Strategic Over-Parameterization for Generalizable Low-Rank Adaptation
von: Gao, Jing, et al.
Veröffentlicht: (2026)

Mixture-of-Subspaces in Low-Rank Adaptation
von: Wu, Taiqiang, et al.
Veröffentlicht: (2024)

Deep Orthogonal Hypersphere Compression for Anomaly Detection
von: Zhang, Yunhe, et al.
Veröffentlicht: (2023)

LLMPi: Optimizing LLMs for High-Throughput on Raspberry Pi
von: Ardakani, Mahsa, et al.
Veröffentlicht: (2025)

RoRA: Efficient Fine-Tuning of LLM with Reliability Optimization for Rank Adaptation
von: Liu, Jun, et al.
Veröffentlicht: (2025)

On the Completeness of Invariant Geometric Deep Learning Models
von: Li, Zian, et al.
Veröffentlicht: (2024)

Is Distance Matrix Enough for Geometric Deep Learning?
von: Li, Zian, et al.
Veröffentlicht: (2023)

Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition
von: Wu, Xinghao, et al.
Veröffentlicht: (2024)

Learning Permutation Distributions via Reflected Diffusion on Ranks
von: He, Sizhuang, et al.
Veröffentlicht: (2026)

LoRA-DA: Data-Aware Initialization for Low-Rank Adaptation via Asymptotic Analysis
von: Zhang, Qingyue, et al.
Veröffentlicht: (2025)

ODICE: Revealing the Mystery of Distribution Correction Estimation via Orthogonal-gradient Update
von: Mao, Liyuan, et al.
Veröffentlicht: (2024)

AROMA: Autonomous Rank-one Matrix Adaptation
von: Sheng, Hao Nan, et al.
Veröffentlicht: (2025)

GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR
von: Zhang, Jiaying, et al.
Veröffentlicht: (2026)

SBoRA: Low-Rank Adaptation with Regional Weight Updates
von: Po, Lai-Man, et al.
Veröffentlicht: (2024)

GILT: An LLM-Free, Tuning-Free Graph Foundational Model for In-Context Learning
von: Ma, Weishuo, et al.
Veröffentlicht: (2025)

HELLoRA: Hot Experts Layer-Level Low-Rank Adaptation for Mixture-of-Experts Models
von: Wei, Jia, et al.
Veröffentlicht: (2026)

HISA: Efficient Hierarchical Indexing for Fine-Grained Sparse Attention
von: Xu, Yufei, et al.
Veröffentlicht: (2026)

Relational In-Context Learning via Synthetic Pre-training with Structural Prior
von: Wang, Yanbo, et al.
Veröffentlicht: (2026)