Buchumschlag

SORSA: Singular Values and Orthonormal Regularized Singular Vectors Adaptation of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Cao, Yang, Song, Zhao
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

KaSA: Knowledge-Aware Singular-Value Adaptation of Large Language Models
von: Wang, Fan, et al.
Veröffentlicht: (2024)

SVD-LLM: Truncation-aware Singular Value Decomposition for Large Language Model Compression
von: Wang, Xin, et al.
Veröffentlicht: (2024)

PiSSA: Principal Singular Values and Singular Vectors Adaptation of Large Language Models
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)

SVFit: Parameter-Efficient Fine-Tuning of Large Pre-Trained Models Using Singular Values
von: Sun, Chengwei, et al.
Veröffentlicht: (2024)

SARA: Singular-Value Based Adaptive Low-Rank Adaption
von: Gu, Jihao, et al.
Veröffentlicht: (2024)

SVFT: Parameter-Efficient Fine-Tuning with Singular Vectors
von: Lingam, Vijay, et al.
Veröffentlicht: (2024)

EDoRA: Efficient Weight-Decomposed Low-Rank Adaptation via Singular Value Decomposition
von: Nasiri, Hamid, et al.
Veröffentlicht: (2025)

Beyond Components: Singular Vector-Based Interpretability of Transformer Circuits
von: Ahmad, Areeb, et al.
Veröffentlicht: (2025)

xKV: Cross-Layer KV-Cache Compression via Aligned Singular Vector Extraction
von: Chang, Chi-Chih, et al.
Veröffentlicht: (2025)

Beyond the Singular: Revealing the Value of Multiple Generations in Benchmark Evaluation
von: Zhang, Wenbo, et al.
Veröffentlicht: (2025)

Adaptive Task Vectors for Large Language Models
von: Kang, Joonseong, et al.
Veröffentlicht: (2025)

Singular Value Decomposition on Kronecker Adaptation for Large Language Model
von: Chong, Yee Hin, et al.
Veröffentlicht: (2025)

Internal Value Alignment in Large Language Models through Controlled Value Vector Activation
von: Jin, Haoran, et al.
Veröffentlicht: (2025)

Function Vectors in Large Language Models
von: Todd, Eric, et al.
Veröffentlicht: (2023)

GRASP: Replace Redundant Layers with Adaptive Singular Parameters for Efficient Model Compression
von: Liu, Kainan, et al.
Veröffentlicht: (2024)

Personalized Steering of Large Language Models: Versatile Steering Vectors Through Bi-directional Preference Optimization
von: Cao, Yuanpu, et al.
Veröffentlicht: (2024)

SELF: A Robust Singular Value and Eigenvalue Approach for LLM Fingerprinting
von: Zhang, Hanxiu, et al.
Veröffentlicht: (2025)

RSAVQ: Riemannian Sensitivity-Aware Vector Quantization for Large Language Models
von: Xu, Zukang, et al.
Veröffentlicht: (2025)

ASVD: Activation-aware Singular Value Decomposition for Compressing Large Language Models
von: Yuan, Zhihang, et al.
Veröffentlicht: (2023)

Off-Policy Value-Based Reinforcement Learning for Large Language Models
von: Wang, Peng-Yuan, et al.
Veröffentlicht: (2026)

Exploring Context Window of Large Language Models via Decomposed Positional Vectors
von: Dong, Zican, et al.
Veröffentlicht: (2024)

EfficientXpert: Efficient Domain Adaptation for Large Language Models via Propagation-Aware Pruning
von: Zhao, Songlin, et al.
Veröffentlicht: (2025)

Revisiting Dynamic Evaluation: Online Adaptation for Large Language Models
von: Rannen-Triki, Amal, et al.
Veröffentlicht: (2024)

Heterogeneous Value Alignment Evaluation for Large Language Models
von: Zhang, Zhaowei, et al.
Veröffentlicht: (2023)

Analogical Reasoning Inside Large Language Models: Concept Vectors and the Limits of Abstraction
von: Opiełka, Gustaw, et al.
Veröffentlicht: (2025)

OLoRA: Orthonormal Low-Rank Adaptation of Large Language Models
von: Büyükakyüz, Kerim
Veröffentlicht: (2024)

DoTA: Weight-Decomposed Tensor Adaptation for Large Language Models
von: Hu, Xiaolin, et al.
Veröffentlicht: (2024)

Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis
von: Li, Kunrong, et al.
Veröffentlicht: (2025)

Spectral Generative Flow Models: A Physics-Inspired Replacement for Vectorized Large Language Models
von: Kiruluta, Andrew
Veröffentlicht: (2026)

Geometry-Aware Decoding with Wasserstein-Regularized Truncation and Mass Penalties for Large Language Models
von: Davoodi, Arash Gholami, et al.
Veröffentlicht: (2026)

Revealing Fine-Grained Values and Opinions in Large Language Models
von: Wright, Dustin, et al.
Veröffentlicht: (2024)

Optimal Singular Damage: Efficient LLM Inference in Low Storage Regimes
von: Alipour, Mohammadsajad, et al.
Veröffentlicht: (2025)

SKVQ: Sliding-window Key and Value Cache Quantization for Large Language Models
von: Duanmu, Haojie, et al.
Veröffentlicht: (2024)

Utilizing Large Language Models for Information Extraction from Real Estate Transactions
von: Zhao, Yu, et al.
Veröffentlicht: (2024)

Regurgitative Training: The Value of Real Data in Training Large Language Models
von: Zhang, Jinghui, et al.
Veröffentlicht: (2024)

Relative Value Biases in Large Language Models
von: Hayes, William M., et al.
Veröffentlicht: (2024)

Frustratingly Easy Task-aware Pruning for Large Language Models
von: Tian, Yuanhe, et al.
Veröffentlicht: (2025)

A Survey of On-Policy Distillation for Large Language Models
von: Song, Mingyang, et al.
Veröffentlicht: (2026)

Assessing Adversarial Robustness of Large Language Models: An Empirical Study
von: Yang, Zeyu, et al.
Veröffentlicht: (2024)

AdaSVD: Adaptive Singular Value Decomposition for Large Language Models
von: Li, Zhiteng, et al.
Veröffentlicht: (2025)