Buchumschlag

Challenges in Adapting Multilingual LLMs to Low-Resource Languages using LoRA PEFT Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Khade, Omkar, Jagdale, Shruti, Phaltankar, Abhishek, Takalikar, Gauri, Joshi, Raviraj
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

On Importance of Code-Mixed Embeddings for Hate Speech Identification
von: Jagdale, Shruti, et al.
Veröffentlicht: (2024)

Adapting Multilingual LLMs to Low-Resource Languages using Continued Pre-training and Synthetic Corpus
von: Joshi, Raviraj, et al.
Veröffentlicht: (2024)

Better To Ask in English? Evaluating Factual Accuracy of Multilingual LLMs in English and Low-Resource Languages
von: Rohera, Pritika, et al.
Veröffentlicht: (2025)

Efficient Zero-Shot Long Document Classification by Reducing Context Through Sentence Ranking
von: Kokate, Prathamesh, et al.
Veröffentlicht: (2025)

LowRA: Accurate and Efficient LoRA Fine-Tuning of LLMs under 2 Bits
von: Zhou, Zikai, et al.
Veröffentlicht: (2025)

Adaptive LoRA Merge with Parameter Pruning for Low-Resource Generation
von: Miyano, Ryota, et al.
Veröffentlicht: (2025)

KD-LoRA: A Hybrid Approach to Efficient Fine-Tuning with LoRA and Knowledge Distillation
von: Azimi, Rambod, et al.
Veröffentlicht: (2024)

LoRA-PAR: A Flexible Dual-System LoRA Partitioning Approach to Efficient LLM Fine-Tuning
von: Huang, Yining, et al.
Veröffentlicht: (2025)

Chain-of-Translation Prompting (CoTR): A Novel Prompting Technique for Low Resource Languages
von: Deshpande, Tejas, et al.
Veröffentlicht: (2024)

LoRA-SP: Streamlined Partial Parameter Adaptation for Resource-Efficient Fine-Tuning of Large Language Models
von: Wu, Yichao, et al.
Veröffentlicht: (2024)

On Limitations of LLM as Annotator for Low Resource Languages
von: Jadhav, Suramya, et al.
Veröffentlicht: (2024)

LoRA-drop: Efficient LoRA Parameter Pruning based on Output Evaluation
von: Zhou, Hongyun, et al.
Veröffentlicht: (2024)

$D^2LoRA$: Data-Driven LoRA Initialization for Low Resource Tasks
von: SeraJ, Javad, et al.
Veröffentlicht: (2025)

CA-LoRA: Adapting Existing LoRA for Compressed LLMs to Enable Efficient Multi-Tasking on Personal Devices
von: Zhao, Weilin, et al.
Veröffentlicht: (2023)

Uncertainty quantification in fine-tuned LLMs using LoRA ensembles
von: Balabanov, Oleksandr, et al.
Veröffentlicht: (2024)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

Localized LoRA: A Structured Low-Rank Approximation for Efficient Fine-Tuning
von: Barazandeh, Babak, et al.
Veröffentlicht: (2025)

AFA-LoRA: Enabling Non-Linear Adaptations in LoRA with Activation Function Annealing
von: Li, Jiacheng, et al.
Veröffentlicht: (2025)

Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data
von: Patwa, Parth, et al.
Veröffentlicht: (2024)

Adapting Large Language Models to a Low-Resource Agglutinative Language: A Comparative Study of LoRA and QLoRA for Bashkir
von: Arabov, Mullosharaf K., et al.
Veröffentlicht: (2026)

LoRA-GA: Low-Rank Adaptation with Gradient Approximation
von: Wang, Shaowen, et al.
Veröffentlicht: (2024)

Mixture of LoRA Experts
von: Wu, Xun, et al.
Veröffentlicht: (2024)

LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization
von: Yen, Jui-Nan, et al.
Veröffentlicht: (2024)

On Importance of Layer Pruning for Smaller BERT Models and Low Resource Languages
von: Shirke, Mayur, et al.
Veröffentlicht: (2025)

A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations
von: Kowtal, Nidhi, et al.
Veröffentlicht: (2024)

Accurate LoRA-Finetuning Quantization of LLMs via Information Retention
von: Qin, Haotong, et al.
Veröffentlicht: (2024)

A Note on LoRA
von: Fomenko, Vlad, et al.
Veröffentlicht: (2024)

Mitigating Unintended Memorization with LoRA in Federated Learning for LLMs
von: Bossy, Thierry, et al.
Veröffentlicht: (2025)

LoRA Soups: Merging LoRAs for Practical Skill Composition Tasks
von: Prabhakar, Akshara, et al.
Veröffentlicht: (2024)

LoRA Fine-Tuning Without GPUs: A CPU-Efficient Meta-Generation Framework for LLMs
von: Arabpour, Reza, et al.
Veröffentlicht: (2025)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
von: Zhang, Yuxuan, et al.
Veröffentlicht: (2024)

LoRA-Pro: Are Low-Rank Adapters Properly Optimized?
von: Wang, Zhengbo, et al.
Veröffentlicht: (2024)

LoRA+: Efficient Low Rank Adaptation of Large Models
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

L3Cube-MahaEmotions: A Marathi Emotion Recognition Dataset with Synthetic Annotations using CoTR prompting and Large Language Models
von: Kowtal, Nidhi, et al.
Veröffentlicht: (2025)

Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models
von: Liao, Xiaoxuan, et al.
Veröffentlicht: (2025)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
von: Vulić, Ivan, et al.
Veröffentlicht: (2026)

A Survey on LoRA of Large Language Models
von: Mao, Yuren, et al.
Veröffentlicht: (2024)

Sci-LoRA: Mixture of Scientific LoRAs for Cross-Domain Lay Paraphrasing
von: Cheng, Ming, et al.
Veröffentlicht: (2025)

CE-LoRA: Computation-Efficient LoRA Fine-Tuning for Language Models
von: Chen, Guanduo, et al.
Veröffentlicht: (2025)

GEM-Style Constraints for PEFT with Dual Gradient Projection in LoRA
von: Tekmen, Brian, et al.
Veröffentlicht: (2026)