Buchumschlag

Tackling Distribution Shift in LLM via KILO: Knowledge-Instructed Learning for Continual Adaptation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Muttakhiroh, Iing, Fevens, Thomas
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Enhancing Memory Recall in LLMs with Gauss-Tin: A Hybrid Instructional and Gaussian Replay Approach
von: Muttakhiroh, Iing, et al.
Veröffentlicht: (2025)

InstructRAG: Instructing Retrieval-Augmented Generation via Self-Synthesized Rationales
von: Wei, Zhepei, et al.
Veröffentlicht: (2024)

MetaRM: Shifted Distributions Alignment via Meta-Learning
von: Dou, Shihan, et al.
Veröffentlicht: (2024)

Continual Learning Under Language Shift
von: Gogoulou, Evangelia, et al.
Veröffentlicht: (2023)

Domain Adaptation of Llama3-70B-Instruct through Continual Pre-Training and Model Merging: A Comprehensive Evaluation
von: Siriwardhana, Shamane, et al.
Veröffentlicht: (2024)

Instruct-SkillMix: A Powerful Pipeline for LLM Instruction Tuning
von: Kaur, Simran, et al.
Veröffentlicht: (2024)

MathChat: Converse to Tackle Challenging Math Problems with LLM Agents
von: Wu, Yiran, et al.
Veröffentlicht: (2023)

Knowledge is Not Enough: Injecting RL Skills for Continual Adaptation
von: Tang, Pingzhi, et al.
Veröffentlicht: (2026)

Few-shot Adaptation to Distribution Shifts By Mixing Source and Target Embeddings
von: Xue, Yihao, et al.
Veröffentlicht: (2023)

Few-shot Knowledge Graph Relational Reasoning via Subgraph Adaptation
von: Liu, Haochen, et al.
Veröffentlicht: (2024)

Training Superior Sparse Autoencoders for Instruct Models
von: Li, Jiaming, et al.
Veröffentlicht: (2025)

CURaTE: Continual Unlearning in Real Time with Ensured Preservation of LLM Knowledge
von: Bae, Seyun, et al.
Veröffentlicht: (2026)

Enhancing LLM Knowledge Learning through Generalization
von: Zhu, Mingkang, et al.
Veröffentlicht: (2025)

Active Continual Learning: On Balancing Knowledge Retention and Learnability
von: Vu, Thuy-Trang, et al.
Veröffentlicht: (2023)

A Regularization-based Transfer Learning Method for Information Extraction via Instructed Graph Decoder
von: Chen, Kedi, et al.
Veröffentlicht: (2024)

Personalized Adaptation via In-Context Preference Learning
von: Lau, Allison, et al.
Veröffentlicht: (2024)

Continual Knowledge Updating in LLM Systems: Learning Through Multi-Timescale Memory Dynamics
von: Pattichis, Andreas, et al.
Veröffentlicht: (2026)

IPCGRL: Language-Instructed Reinforcement Learning for Procedural Level Generation
von: Baek, In-Chang, et al.
Veröffentlicht: (2025)

Learning to Evolve: Bayesian-Guided Continual Knowledge Graph Embedding
von: Li, Linyu, et al.
Veröffentlicht: (2025)

Tackling Length Inflation Without Trade-offs: Group Relative Reward Rescaling for Reinforcement Learning
von: Li, Zichao, et al.
Veröffentlicht: (2026)

Reinforcement Learning-based Knowledge Distillation with LLM-as-a-Judge
von: Shen, Yiyang, et al.
Veröffentlicht: (2026)

Ultra-Fast Language Generation via Discrete Diffusion Divergence Instruct
von: Zheng, Haoyang, et al.
Veröffentlicht: (2025)

Learning to Instruct for Visual Instruction Tuning
von: Zhou, Zhihan, et al.
Veröffentlicht: (2025)

Montessori-Instruct: Generate Influential Training Data Tailored for Student Learning
von: Li, Xiaochuan, et al.
Veröffentlicht: (2024)

GONE: Structural Knowledge Unlearning via Neighborhood-Expanded Distribution Shaping
von: Dahal, Chahana, et al.
Veröffentlicht: (2026)

Foundation Model's Embedded Representations May Detect Distribution Shift
von: Vargas, Max, et al.
Veröffentlicht: (2023)

Tackling prediction tasks in relational databases with LLMs
von: Wydmuch, Marek, et al.
Veröffentlicht: (2024)

KnowLA: Enhancing Parameter-efficient Finetuning with Knowledgeable Adaptation
von: Luo, Xindi, et al.
Veröffentlicht: (2024)

LLM Pretraining with Continuous Concepts
von: Tack, Jihoon, et al.
Veröffentlicht: (2025)

Deep Learning-based Method for Expressing Knowledge Boundary of Black-Box LLM
von: Sheng, Haotian, et al.
Veröffentlicht: (2026)

SEEKR: Selective Attention-Guided Knowledge Retention for Continual Learning of Large Language Models
von: He, Jinghan, et al.
Veröffentlicht: (2024)

Less Finetuning, Better Retrieval: Rethinking LLM Adaptation for Biomedical Retrievers via Synthetic Data and Model Merging
von: Khattab, Sameh, et al.
Veröffentlicht: (2026)

When Prompts Interact: Assessing Prompt Arithmetic for Deconfounding under Distribution Shift
von: Sheng, Zhecheng, et al.
Veröffentlicht: (2026)

Geometry-Adaptive Explainer for Faithful Dictionary-Based Interpretability under Distribution Shift
von: Lim, Sungjun, et al.
Veröffentlicht: (2026)

EdgeInfinite-Instruct: Bridging SFT-Based Optimization and NPU-Level Efficiency for Edge Devices
von: Chen, Jiyu, et al.
Veröffentlicht: (2025)

LawInstruct: A Resource for Studying Language Model Adaptation to the Legal Domain
von: Niklaus, Joel, et al.
Veröffentlicht: (2024)

SPARC: Subspace-Aware Prompt Adaptation for Robust Continual Learning in LLMs
von: Jayasuriya, Dinithi, et al.
Veröffentlicht: (2025)

WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct
von: Luo, Haipeng, et al.
Veröffentlicht: (2023)

InCo-DPO: Balancing Distribution Shift and Data Quality for Enhanced Preference Optimization
von: Wang, Yunan, et al.
Veröffentlicht: (2025)

AgentInstruct: Toward Generative Teaching with Agentic Flows
von: Mitra, Arindam, et al.
Veröffentlicht: (2024)