Copertina

UORA: Uniform Orthogonal Reinitialization Adaptation in Parameter-Efficient Fine-Tuning of Large Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhang, Xueyan, Zhao, Jinman, Yang, Zhifei, Zhong, Yibo, Guan, Shuhao, Cao, Linbo, Wang, Yining
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Exploring the Limitations of Large Language Models in Compositional Relation Reasoning
di: Zhao, Jinman, et al.
Pubblicazione: (2024)

Pretraining on the Test Set Is No Longer All You Need: A Debate-Driven Approach to QA Benchmarks
di: Cao, Linbo, et al.
Pubblicazione: (2025)

Role-Play Paradox in Large Language Models: Reasoning Performance Gains and Ethical Dilemmas
di: Zhao, Jinman, et al.
Pubblicazione: (2024)

$λ$-GRPO: Unifying the GRPO Frameworks with Learnable Token Preferences
di: Wang, Yining, et al.
Pubblicazione: (2025)

Parameter Efficient Quasi-Orthogonal Fine-Tuning via Givens Rotation
di: Ma, Xinyu, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning with Differential Privacy for Robust Instruction Adaptation in Large Language Models
di: Huang, Yulin, et al.
Pubblicazione: (2025)

LoR2C : Low-Rank Residual Connection Adaptation for Parameter-Efficient Fine-Tuning
di: Zhao, Jiancheng, et al.
Pubblicazione: (2025)

QWHA: Quantization-Aware Walsh-Hadamard Adaptation for Parameter-Efficient Fine-Tuning on Large Language Models
di: Jeon, Hyesung, et al.
Pubblicazione: (2025)

TLoRA+: A Low-Rank Parameter-Efficient Fine-Tuning Method for Large Language Models
di: Cao, Yarui, et al.
Pubblicazione: (2026)

Gender Bias in Large Language Models across Multiple Languages
di: Zhao, Jinman, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning in Large Models: A Survey of Methodologies
di: Wang, Luping, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning of Large Language Models using Semantic Knowledge Tuning
di: Prottasha, Nusrat Jahan, et al.
Pubblicazione: (2024)

RoSA: Enhancing Parameter-Efficient Fine-Tuning via RoPE-aware Selective Adaptation in Large Language Models
di: Pan, Dayan, et al.
Pubblicazione: (2025)

Privacy-Preserving Parameter-Efficient Fine-Tuning for Large Language Model Services
di: Li, Yansong, et al.
Pubblicazione: (2023)

MoA: Heterogeneous Mixture of Adapters for Parameter-Efficient Fine-Tuning of Large Language Models
di: Cao, Jie, et al.
Pubblicazione: (2025)

AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models
di: Liu, Zeyu, et al.
Pubblicazione: (2024)

DropLoRA: Sparse Low-Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Zhang, Haojie
Pubblicazione: (2025)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
di: Wu, Yichao, et al.
Pubblicazione: (2024)

Crafting Efficient Fine-Tuning Strategies for Large Language Models
di: Oliver, Michael, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning With Adapters
di: Chen, Keyu, et al.
Pubblicazione: (2024)

FoRA: Fisher-orthogonal Rank Adaptation for Parameter-Efficient Fine-Tuning
di: Park, Juneyoung, et al.
Pubblicazione: (2026)

SPP: Sparsity-Preserved Parameter-Efficient Fine-Tuning for Large Language Models
di: Lu, Xudong, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning of Large Language Models via Deconvolution in Subspace
di: Zhang, Jia-Chen, et al.
Pubblicazione: (2025)

Parameter-Efficient Fine-Tuning for Foundation Models
di: Zhang, Dan, et al.
Pubblicazione: (2025)

Structure-Learnable Adapter Fine-Tuning for Parameter-Efficient Large Language Models
di: Gong, Ming, et al.
Pubblicazione: (2025)

OPLoRA: Orthogonal Projection LoRA Prevents Catastrophic Forgetting during Parameter-Efficient Fine-Tuning
di: Xiong, Yifeng, et al.
Pubblicazione: (2025)

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
di: Sun, Chengwei, et al.
Pubblicazione: (2024)

Can Language Model Understand Word Semantics as A Chatbot? An Empirical Study of Language Model Internal External Mismatch
di: Zhao, Jinman, et al.
Pubblicazione: (2024)

PEANuT: Parameter-Efficient Adaptation with Weight-aware Neural Tweakers
di: Zhong, Yibo, et al.
Pubblicazione: (2024)

PEFT-Factory: Unified Parameter-Efficient Fine-Tuning of Autoregressive Large Language Models
di: Belanec, Robert, et al.
Pubblicazione: (2025)

An Empirical Study on Parameter-Efficient Fine-Tuning for MultiModal Large Language Models
di: Zhou, Xiongtao, et al.
Pubblicazione: (2024)

Low-Rank Interconnected Adaptation across Layers
di: Zhong, Yibo, et al.
Pubblicazione: (2024)

DoRA: Enhancing Parameter-Efficient Fine-Tuning with Dynamic Rank Distribution
di: Mao, Yulong, et al.
Pubblicazione: (2024)

High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning
di: Liu, Yongkang, et al.
Pubblicazione: (2026)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
di: Yang, Yifan, et al.
Pubblicazione: (2024)

RoSA: Accurate Parameter-Efficient Fine-Tuning via Robust Adaptation
di: Nikdan, Mahdi, et al.
Pubblicazione: (2024)

Parameter-Efficient Fine-Tuning of State Space Models
di: Galim, Kevin, et al.
Pubblicazione: (2024)

TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning
di: Han, Xiaosong, et al.
Pubblicazione: (2026)

MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning
di: Zhao, Jiancheng, et al.
Pubblicazione: (2025)

BIPEFT: Budget-Guided Iterative Search for Parameter Efficient Fine-Tuning of Large Pretrained Language Models
di: Chang, Aofei, et al.
Pubblicazione: (2024)