Buchumschlag

Astra: Activation-Space Tail-Eigenvector Low-Rank Adaptation of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Kainan, Zhang, Yong, Cheng, Ning, Zhu, Yun, Wang, Yanmeng, Wang, Shaojun, Xiao, Jing
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression
von: Liu, Kainan, et al.
Veröffentlicht: (2024)

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression
von: Zhang, Yong, et al.
Veröffentlicht: (2025)

Rethinking LLM-as-a-Judge: Representation-as-a-Judge with Small Language Models via Semantic Capacity Asymmetry
von: Li, Zhuochun, et al.
Veröffentlicht: (2026)

Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
von: Huang, Yanwen, et al.
Veröffentlicht: (2025)

SSPO: Subsentence-level Policy Optimization
von: Yang, Kun, et al.
Veröffentlicht: (2025)

Learning to Adapt to Low-Resource Paraphrase Generation
von: Li, Zhigen, et al.
Veröffentlicht: (2024)

SSMLoRA: Enhancing Low-Rank Adaptation with State Space Model
von: Yu, Jiayang, et al.
Veröffentlicht: (2025)

CoRA: Optimizing Low-Rank Adaptation with Common Subspace of Large Language Models
von: Xiao, Xiaojun, et al.
Veröffentlicht: (2024)

Self-Enhanced Reasoning Training: Activating Latent Reasoning in Small Models for Enhanced Reasoning Distillation
von: Zhang, Yong, et al.
Veröffentlicht: (2025)

ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models
von: Liu, Zequan, et al.
Veröffentlicht: (2024)

Derivative-Free Optimization for Low-Rank Adaptation in Large Language Models
von: Jin, Feihu, et al.
Veröffentlicht: (2024)

LoRS: Efficient Low-Rank Adaptation for Sparse Large Language Model
von: Hu, Yuxuan, et al.
Veröffentlicht: (2025)

DenseLoRA: Dense Low-Rank Adaptation of Large Language Models
von: Mu, Lin, et al.
Veröffentlicht: (2025)

BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models
von: Wang, Yibin, et al.
Veröffentlicht: (2024)

Flexora: Flexible Low Rank Adaptation for Large Language Models
von: Wei, Chenxing, et al.
Veröffentlicht: (2024)

TLoRA: Task-aware Low Rank Adaptation of Large Language Models
von: Lin, Weicheng, et al.
Veröffentlicht: (2026)

MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning
von: Zhang, Jingfan, et al.
Veröffentlicht: (2024)

OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models
von: Büyükakyüz, Kerim
Veröffentlicht: (2024)

Controlled Low-Rank Adaptation with Subspace Regularization for Continued Training on Large Language Models
von: Lu, Yuheng, et al.
Veröffentlicht: (2024)

ActTail: Global Activation Sparsity in Large Language Models
von: Hou, Wenwen, et al.
Veröffentlicht: (2026)

RaSA: Rank-Sharing Low-Rank Adaptation
von: He, Zhiwei, et al.
Veröffentlicht: (2025)

Leveraging Biases in Large Language Models: "bias-kNN'' for Effective Few-Shot Learning
von: Zhang, Yong, et al.
Veröffentlicht: (2024)

LoRTA: Low Rank Tensor Adaptation of Large Language Models
von: Hounie, Ignacio, et al.
Veröffentlicht: (2024)

Gated Integration of Low-Rank Adaptation for Continual Learning of Large Language Models
von: Liang, Yan-Shuo, et al.
Veröffentlicht: (2025)

NLoRA: Nyström-Initiated Low-Rank Adaptation for Large Language Models
von: Guo, Chenlu, et al.
Veröffentlicht: (2025)

MoR: Mixture of Ranks for Low-Rank Adaptation Tuning
von: Tang, Chuanyu, et al.
Veröffentlicht: (2024)

Gaussian Stochastic Weight Averaging for Bayesian Low-Rank Adaptation of Large Language Models
von: Onal, Emre, et al.
Veröffentlicht: (2024)

HaLoRA: Hardware-aware Low-Rank Adaptation for Large Language Models Based on Hybrid Compute-in-Memory Architecture
von: Wu, Taiqiang, et al.
Veröffentlicht: (2025)

AdaMoLE: Fine-Tuning Large Language Models with Adaptive Mixture of Low-Rank Adaptation Experts
von: Liu, Zefang, et al.
Veröffentlicht: (2024)

DoTA: Weight-Decomposed Tensor Adaptation for Large Language Models
von: Hu, Xiaolin, et al.
Veröffentlicht: (2024)

QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning
von: Rajabzadeh, Hossein, et al.
Veröffentlicht: (2024)

BeamLoRA: Beam-Constraint Low-Rank Adaptation
von: Gu, Naibin, et al.
Veröffentlicht: (2025)

Training-Free Bayesianization for Low-Rank Adapters of Large Language Models
von: Shi, Haizhou, et al.
Veröffentlicht: (2024)

DoRA: Weight-Decomposed Low-Rank Adaptation
von: Liu, Shih-Yang, et al.
Veröffentlicht: (2024)

Complementary Subspace Low-Rank Adaptation of Vision-Language Models for Few-Shot Classification
von: Wang, Zhongqi, et al.
Veröffentlicht: (2025)

Structured Gradient Guidance for Few-Shot Adaptation in Large Language Models
von: Zheng, Hongye, et al.
Veröffentlicht: (2025)

Inducing Generalization across Languages and Tasks using Featurized Low-Rank Mixtures
von: Lin, Chu-Cheng, et al.
Veröffentlicht: (2024)

FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression
von: Tian, Jiayi, et al.
Veröffentlicht: (2025)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRETTA: Low-Rank Economic Tensor-Train Adaptation for Ultra-Low-Parameter Fine-Tuning of Large Language Models
von: Yang, Yifan, et al.
Veröffentlicht: (2024)