Buchumschlag

Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sengupta, Ayan, Seth, Vaibhav, Pathak, Arinjay, Verma, Aastha, Raman, Natraj, Gopalakrishnan, Sriram, Chatterjee, Niladri, Chakraborty, Tanmoy
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2024)

Position: Enough of Scaling LLMs! Lets Focus on Downscaling
von: Goel, Yash, et al.
Veröffentlicht: (2025)

Value-Guided KV Compression for LLMs via Approximated CUR Decomposition
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics
von: Ananthanarayanan, Samhruth, et al.
Veröffentlicht: (2026)

Can LLMs replace Neil deGrasse Tyson? Evaluating the Reliability of LLMs as Science Communicators
von: Bajpai, Prasoon, et al.
Veröffentlicht: (2024)

Multilingual Language Models Encode Script Over Linguistic Structure
von: Verma, Aastha A K, et al.
Veröffentlicht: (2026)

The Art of Scaling Test-Time Compute for Large Language Models
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2025)

First Finish Search: Efficient Test-Time Scaling in Large Language Models
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2025)

How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

Compression Laws for Large Language Models
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

You Only Prune Once: Designing Calibration-Free Model Compression With Policy Learning
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

QuanTaxo: A Quantum Approach to Self-Supervised Taxonomy Expansion
von: Mishra, Sahil, et al.
Veröffentlicht: (2025)

On the Generalization vs Fidelity Paradox in Knowledge Distillation
von: Ramesh, Suhas Kamasetty, et al.
Veröffentlicht: (2025)

Persona-aware Generative Model for Code-mixed Language
von: Sengupta, Ayan, et al.
Veröffentlicht: (2023)

From Images to Words: Efficient Cross-Modal Knowledge Distillation to Language Models from Black-box Teachers
von: Sengupta, Ayan, et al.
Veröffentlicht: (2026)

QBD-RankedDataGen: Generating Custom Ranked Datasets for Improving Query-By-Document Search Using LLM-Reranking with Reduced Human Effort
von: Gopalakrishnan, Sriram, et al.
Veröffentlicht: (2025)

PepDoRA: A Unified Peptide Language Model via Weight-Decomposed Low-Rank Adaptation
von: Wang, Leyao, et al.
Veröffentlicht: (2024)

RepLoRA: Reparameterizing Low-Rank Adaptation via the Perspective of Mixture of Experts
von: Truong, Tuan, et al.
Veröffentlicht: (2025)

Inference of Fine-grained Attributes of Bengali Corpus for Stylometry Detection
von: Tanmoy Chakraborty
Veröffentlicht: (2011)

Bayesian Low-Rank Factorization for Robust Model Adaptation
von: Ugan, Enes Yavuz, et al.
Veröffentlicht: (2025)

Editorial
von: Niladri Chatterjee
Veröffentlicht: (2012)

Scalable Representation Learning for Multimodal Tabular Transactions
von: Raman, Natraj, et al.
Veröffentlicht: (2024)

Multilingual LLMs Inherently Reward In-Language Time-Sensitive Semantic Alignment for Low-Resource Languages
von: Bajpai, Ashutosh, et al.
Veröffentlicht: (2024)

Low-Rank Adaptation with Task-Relevant Feature Enhancement for Fine-tuning Language Models
von: Li, Changqun, et al.
Veröffentlicht: (2024)

ALoRA: Allocating Low-Rank Adaptation for Fine-tuning Large Language Models
von: Liu, Zequan, et al.
Veröffentlicht: (2024)

On the arithmetic complexity of computing Gröbner bases of comaximal determinantal ideals
von: Gopalakrishnan, Sriram
Veröffentlicht: (2024)

Don't Vibe Code, Do Skele-Code: Interactive No-Code Notebooks for Subject Matter Experts to Build Lower-Cost Agentic Workflows
von: Gopalakrishnan, Sriram
Veröffentlicht: (2026)

ShareLoRA: Parameter Efficient and Robust Large Language Model Fine-tuning via Shared Low-Rank Adaptation
von: Song, Yurun, et al.
Veröffentlicht: (2024)

Aggregating Low Rank Adapters in Federated Fine-tuning
von: Trautmann, Evelyn, et al.
Veröffentlicht: (2025)

Small Language Models Fine-tuned to Coordinate Larger Language Models improve Complex Reasoning
von: Juneja, Gurusha, et al.
Veröffentlicht: (2023)

SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation
von: Hu, Teng, et al.
Veröffentlicht: (2024)

MiLoRA: Efficient Mixture of Low-Rank Adaptation for Large Language Models Fine-tuning
von: Zhang, Jingfan, et al.
Veröffentlicht: (2024)

From Syntax to Emotion: A Mechanistic Analysis of Emotion Inference in LLMs
von: Shu, Bangzhao, et al.
Veröffentlicht: (2026)

Characterizing Multimodal Long-form Summarization: A Case Study on Financial Reports
von: Cao, Tianyu, et al.
Veröffentlicht: (2024)

HIDE and Seek: Detecting Hallucinations in Language Models via Decoupled Representations
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2025)

TeZO: Empowering the Low-Rankness on the Temporal Dimension in the Zeroth-Order Optimization for Fine-tuning LLMs
von: Sun, Yan, et al.
Veröffentlicht: (2025)

Harnessing Lightweight Ciphers for PDF Encryption
von: Chauhan, Aastha, et al.
Veröffentlicht: (2024)

Scalable Variational Bayesian Fine-Tuning of LLMs via Orthogonalized Low-Rank Adapters
von: Xiang, Haotian, et al.
Veröffentlicht: (2026)

Clozapine-induced hypersensitivity myocarditis presenting as sudden cardiac death
von: Natraj Katta
Veröffentlicht: (2016)

Novel Aligned Correlation Method to Estimate Lead–Lag Relationship Between Time Series
von: Kartikay Gupta, et al.
Veröffentlicht: (2025)