Buchumschlag

LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mao, Yansheng, Li, Jiaqi, Meng, Fanxu, Xiong, Jing, Zheng, Zilong, Zhang, Muhan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning
von: Mao, Yansheng, et al.
Veröffentlicht: (2025)

LooGLE: Can Long-Context Language Models Understand Long Contexts?
von: Li, Jiaqi, et al.
Veröffentlicht: (2023)

Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure
von: Yang, Haotong, et al.
Veröffentlicht: (2023)

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
von: Liu, Yewei, et al.
Veröffentlicht: (2026)

LooGLE v2: Are LLMs Ready for Real World Long Dependency Challenges?
von: He, Ziyuan, et al.
Veröffentlicht: (2025)

Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue
von: Fan, Shixuan, et al.
Veröffentlicht: (2024)

CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)

Shifting Long-Context LLMs Research from Input to Output
von: Wu, Yuhao, et al.
Veröffentlicht: (2025)

Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning
von: Li, Miao, et al.
Veröffentlicht: (2026)

GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models
von: Feng, Jiarui, et al.
Veröffentlicht: (2025)

Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise
von: Yang, Qimin, et al.
Veröffentlicht: (2024)

LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning
von: Zhang, Hongbin, et al.
Veröffentlicht: (2024)

Law in Silico: Simulating Legal Society with LLM-Based Agents
von: Wang, Yiding, et al.
Veröffentlicht: (2025)

Mars: Situated Inductive Reasoning in an Open-World Environment
von: Tang, Xiaojuan, et al.
Veröffentlicht: (2024)

Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG
von: Jin, Bowen, et al.
Veröffentlicht: (2024)

FocusLLM: Precise Understanding of Long Context by Dynamic Condensing
von: Li, Zhenyu, et al.
Veröffentlicht: (2024)

Self-Taught Agentic Long Context Understanding
von: Zhuang, Yufan, et al.
Veröffentlicht: (2025)

LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
von: Liu, Zihang, et al.
Veröffentlicht: (2025)

Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning
von: Zhu, Wenhao, et al.
Veröffentlicht: (2025)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)

OWL: Overcoming Window Length-Dependence in Speculative Decoding for Long-Context Inputs
von: Lee, Jaeseong, et al.
Veröffentlicht: (2025)

Number Cookbook: Number Understanding of Language Models and How to Improve It
von: Yang, Haotong, et al.
Veröffentlicht: (2024)

Long Context Compression with Activation Beacon
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

When Long Helps Short: How Context Length in Supervised Fine-tuning Affects Behavior of Large Language Models
von: Zheng, Yingming, et al.
Veröffentlicht: (2025)

LiveLongBench: Tackling Long-Context Understanding for Spoken Texts from Live Streams
von: Wu, Yongxuan, et al.
Veröffentlicht: (2025)

Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding
von: Fei, Weizhi, et al.
Veröffentlicht: (2024)

Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding
von: Liu, Yanming, et al.
Veröffentlicht: (2024)

MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

Long Input Benchmark for Russian Analysis
von: Churin, Igor, et al.
Veröffentlicht: (2024)

NExtLong: Toward Effective Long-Context Training without Long Documents
von: Gao, Chaochen, et al.
Veröffentlicht: (2025)

MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference
von: Zhou, Ruijie, et al.
Veröffentlicht: (2026)

Evaluating Retrieval-Augmented Generation vs. Long-Context Input for Clinical Reasoning over EHRs
von: Myers, Skatje, et al.
Veröffentlicht: (2025)

VTCBench: Can Vision-Language Models Understand Long Context with Vision-Text Compression?
von: Zhao, Hongbo, et al.
Veröffentlicht: (2025)

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning
von: Cui, Hao, et al.
Veröffentlicht: (2025)

OPSDL: On-Policy Self-Distillation for Long-Context Language Models
von: Zhang, Xinsen, et al.
Veröffentlicht: (2026)

RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
von: Wang, Zihao, et al.
Veröffentlicht: (2024)

Too Long, Didn't Model: Decomposing LLM Long-Context Understanding With Novels
von: Hamilton, Sil, et al.
Veröffentlicht: (2025)

LiteLong: Resource-Efficient Long-Context Data Synthesis for LLMs
von: Jia, Junlong, et al.
Veröffentlicht: (2025)