Buchumschlag

Investigating ReLoRA: Effects on the Learning Dynamics of Small Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Weiss, Yuval, Africa, David Demitri, Buttery, Paula, Martinez, Richard Diehl
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Learning Dynamics of Meta-Learning in Small Model Pretraining
von: Africa, David Demitri, et al.
Veröffentlicht: (2025)

Pico: A Modular Framework for Hypothesis-Driven Small Language Model Research
von: Martinez, Richard Diehl, et al.
Veröffentlicht: (2025)

Meta-Pretraining for Zero-Shot Cross-Lingual Named Entity Recognition in Low-Resource Philippine Languages
von: Africa, David Demitri, et al.
Veröffentlicht: (2025)

Less is More: Pre-Training Cross-Lingual Small-Scale Language Models with Cognitively-Plausible Curriculum Learning Strategies
von: Salhan, Suchir, et al.
Veröffentlicht: (2024)

LURE: Live-Usage Replay Evaluations for Reducing Evaluation Awareness
von: Ivanov, Igor, et al.
Veröffentlicht: (2026)

Steering Awareness: Detecting Activation Steering from Within
von: Rivera, Joshua Fonseca, et al.
Veröffentlicht: (2025)

Tending Towards Stability: Convergence Challenges in Small Language Models
von: Martinez, Richard Diehl, et al.
Veröffentlicht: (2024)

Consistency Training while Mitigating Obfuscation via Rate Matching
von: Imran, Sohaib, et al.
Veröffentlicht: (2026)

Looking to Learn: Token-wise Dynamic Gating for Low-Resource Vision-Language Modelling
von: Ganescu, Bianca-Mihaela, et al.
Veröffentlicht: (2025)

Bias Dynamics in BabyLMs: Towards a Compute-Efficient Sandbox for Democratising Pre-Training Debiasing
von: Trhlik, Filip, et al.
Veröffentlicht: (2026)

DR-LoRA: Dynamic Rank LoRA for Fine-Tuning Mixture-of-Experts Models
von: Deng, Guanzhi, et al.
Veröffentlicht: (2026)

LoRA-Gen: Specializing Large Language Model via Online LoRA Generation
von: Xiao, Yicheng, et al.
Veröffentlicht: (2025)

HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
von: Trojan, Bartosz, et al.
Veröffentlicht: (2026)

MixLoRA: Enhancing Large Language Models Fine-Tuning with LoRA-based Mixture of Experts
von: Li, Dengchun, et al.
Veröffentlicht: (2024)

STAR: Constraint LoRA with Dynamic Active Learning for Data-Efficient Fine-Tuning of Large Language Models
von: Zhang, Linhai, et al.
Veröffentlicht: (2024)

DLP-LoRA: Efficient Task-Specific LoRA Fusion with a Dynamic, Lightweight Plugin for Large Language Models
von: Zhang, Yuxuan, et al.
Veröffentlicht: (2024)

Batayan: A Filipino NLP benchmark for evaluating Large Language Models
von: Montalan, Jann Railey, et al.
Veröffentlicht: (2025)

No Answer Needed: Predicting LLM Answer Accuracy from Question-Only Linear Probes
von: Cencerrado, Iván Vicente Moreno, et al.
Veröffentlicht: (2025)

Inoculation Prompting: Eliciting traits from LLMs during training can suppress them at test-time
von: Tan, Daniel, et al.
Veröffentlicht: (2025)

Does Self-Evaluation Enable Wireheading in Language Models?
von: Africa, David Demitri, et al.
Veröffentlicht: (2025)

LoRA on the Go: Instance-level Dynamic LoRA Selection and Merging
von: Lee, Seungeon, et al.
Veröffentlicht: (2025)

Train Small, Infer Large: Memory-Efficient LoRA Training for Large Language Models
von: Zhang, Jun, et al.
Veröffentlicht: (2025)

LoRA-Leak: Membership Inference Attacks Against LoRA Fine-tuned Language Models
von: Ran, Delong, et al.
Veröffentlicht: (2025)

Identifying a Circuit for Verb Conjugation in GPT-2
von: Africa, David Demitri
Veröffentlicht: (2025)

HydraLoRA: An Asymmetric LoRA Architecture for Efficient Fine-Tuning
von: Tian, Chunlin, et al.
Veröffentlicht: (2024)

DenseLoRA: Dense Low-Rank Adaptation of Large Language Models
von: Mu, Lin, et al.
Veröffentlicht: (2025)

A Survey on LoRA of Large Language Models
von: Mao, Yuren, et al.
Veröffentlicht: (2024)

SAMoRA: Semantic-Aware Mixture of LoRA Experts for Task-Adaptive Learning
von: Shi, Boyan, et al.
Veröffentlicht: (2026)

JumpLoRA: Sparse Adapters for Continual Learning in Large Language Models
von: Dragomir, Alexandra, et al.
Veröffentlicht: (2026)

Doc-to-LoRA: Learning to Instantly Internalize Contexts
von: Charakorn, Rujikorn, et al.
Veröffentlicht: (2026)

Temporally Phenotyping GLP-1RA Case Reports with Large Language Models: A Textual Time Series Corpus and Risk Modeling
von: Kumar, Sayantan, et al.
Veröffentlicht: (2026)

LoRA-Squeeze: Simple and Effective Post-Tuning and In-Tuning Compression of LoRA Modules
von: Vulić, Ivan, et al.
Veröffentlicht: (2026)

MeteoRA: Multiple-tasks Embedded LoRA for Large Language Models
von: Xu, Jingwei, et al.
Veröffentlicht: (2024)

The Impact of Initialization on LoRA Finetuning Dynamics
von: Hayou, Soufiane, et al.
Veröffentlicht: (2024)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)

Improving LoRA with Variational Learning
von: Cong, Bai, et al.
Veröffentlicht: (2025)

RadLite: Multi-Task LoRA Fine-Tuning of Small Language Models for CPU-Deployable Radiology AI
von: Gupta, Pankaj, et al.
Veröffentlicht: (2026)

Chinese Essay Rhetoric Recognition Using LoRA, In-context Learning and Model Ensemble
von: Lai, Yuxuan, et al.
Veröffentlicht: (2026)

LD-MoLE: Learnable Dynamic Routing for Mixture of LoRA Experts
von: Zhuang, Yuan, et al.
Veröffentlicht: (2025)

A Language-Guided Bayesian Optimization for Efficient LoRA Hyperparameter Search
von: Seong-Eun, Baek, et al.
Veröffentlicht: (2026)