LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning
Fuente:
arXiv
Gespeichert in:
| Hauptverfasser: | Mao, Yansheng, Li, Jiaqi, Meng, Fanxu, Xiong, Jing, Zheng, Zilong, Zhang, Muhan |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2024
|
| Schlagworte: | |
| Online-Zugang: | |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning
von: Mao, Yansheng, et al.
Veröffentlicht: (2025)
von: Mao, Yansheng, et al.
Veröffentlicht: (2025)
LooGLE: Can Long-Context Language Models Understand Long Contexts?
von: Li, Jiaqi, et al.
Veröffentlicht: (2023)
von: Li, Jiaqi, et al.
Veröffentlicht: (2023)
Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure
von: Yang, Haotong, et al.
Veröffentlicht: (2023)
von: Yang, Haotong, et al.
Veröffentlicht: (2023)
SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
von: Liu, Yewei, et al.
Veröffentlicht: (2026)
von: Liu, Yewei, et al.
Veröffentlicht: (2026)
LooGLE v2: Are LLMs Ready for Real World Long Dependency Challenges?
von: He, Ziyuan, et al.
Veröffentlicht: (2025)
von: He, Ziyuan, et al.
Veröffentlicht: (2025)
Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)
Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue
von: Fan, Shixuan, et al.
Veröffentlicht: (2024)
von: Fan, Shixuan, et al.
Veröffentlicht: (2024)
CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)
LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)
von: Li, Yanan, et al.
Veröffentlicht: (2025)
Shifting Long-Context LLMs Research from Input to Output
von: Wu, Yuhao, et al.
Veröffentlicht: (2025)
von: Wu, Yuhao, et al.
Veröffentlicht: (2025)
Long-Context Reasoning Through Proxy-Based Chain-of-Thought Tuning
von: Li, Miao, et al.
Veröffentlicht: (2026)
von: Li, Miao, et al.
Veröffentlicht: (2026)
GRIP: In-Parameter Graph Reasoning through Fine-Tuning Large Language Models
von: Feng, Jiarui, et al.
Veröffentlicht: (2025)
von: Feng, Jiarui, et al.
Veröffentlicht: (2025)
Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise
von: Yang, Qimin, et al.
Veröffentlicht: (2024)
von: Yang, Qimin, et al.
Veröffentlicht: (2024)
LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning
von: Zhang, Hongbin, et al.
Veröffentlicht: (2024)
von: Zhang, Hongbin, et al.
Veröffentlicht: (2024)
Law in Silico: Simulating Legal Society with LLM-Based Agents
von: Wang, Yiding, et al.
Veröffentlicht: (2025)
von: Wang, Yiding, et al.
Veröffentlicht: (2025)
Mars: Situated Inductive Reasoning in an Open-World Environment
von: Tang, Xiaojuan, et al.
Veröffentlicht: (2024)
von: Tang, Xiaojuan, et al.
Veröffentlicht: (2024)
Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG
von: Jin, Bowen, et al.
Veröffentlicht: (2024)
von: Jin, Bowen, et al.
Veröffentlicht: (2024)
FocusLLM: Precise Understanding of Long Context by Dynamic Condensing
von: Li, Zhenyu, et al.
Veröffentlicht: (2024)
von: Li, Zhenyu, et al.
Veröffentlicht: (2024)
Self-Taught Agentic Long Context Understanding
von: Zhuang, Yufan, et al.
Veröffentlicht: (2025)
von: Zhuang, Yufan, et al.
Veröffentlicht: (2025)
LIFT the Veil for the Truth: Principal Weights Emerge after Rank Reduction for Reasoning-Focused Supervised Fine-Tuning
von: Liu, Zihang, et al.
Veröffentlicht: (2025)
von: Liu, Zihang, et al.
Veröffentlicht: (2025)
Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning
von: Zhu, Wenhao, et al.
Veröffentlicht: (2025)
von: Zhu, Wenhao, et al.
Veröffentlicht: (2025)
Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)
OWL: Overcoming Window Length-Dependence in Speculative Decoding for Long-Context Inputs
von: Lee, Jaeseong, et al.
Veröffentlicht: (2025)
von: Lee, Jaeseong, et al.
Veröffentlicht: (2025)
Number Cookbook: Number Understanding of Language Models and How to Improve It
von: Yang, Haotong, et al.
Veröffentlicht: (2024)
von: Yang, Haotong, et al.
Veröffentlicht: (2024)
Long Context Compression with Activation Beacon
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)
When Long Helps Short: How Context Length in Supervised Fine-tuning Affects Behavior of Large Language Models
von: Zheng, Yingming, et al.
Veröffentlicht: (2025)
von: Zheng, Yingming, et al.
Veröffentlicht: (2025)
LiveLongBench: Tackling Long-Context Understanding for Spoken Texts from Live Streams
von: Wu, Yongxuan, et al.
Veröffentlicht: (2025)
von: Wu, Yongxuan, et al.
Veröffentlicht: (2025)
Retrieval Meets Reasoning: Dynamic In-Context Editing for Long-Text Understanding
von: Fei, Weizhi, et al.
Veröffentlicht: (2024)
von: Fei, Weizhi, et al.
Veröffentlicht: (2024)
Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding
von: Liu, Yanming, et al.
Veröffentlicht: (2024)
von: Liu, Yanming, et al.
Veröffentlicht: (2024)
MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)
Long Input Benchmark for Russian Analysis
von: Churin, Igor, et al.
Veröffentlicht: (2024)
von: Churin, Igor, et al.
Veröffentlicht: (2024)
NExtLong: Toward Effective Long-Context Training without Long Documents
von: Gao, Chaochen, et al.
Veröffentlicht: (2025)
von: Gao, Chaochen, et al.
Veröffentlicht: (2025)
MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference
von: Zhou, Ruijie, et al.
Veröffentlicht: (2026)
von: Zhou, Ruijie, et al.
Veröffentlicht: (2026)
Evaluating Retrieval-Augmented Generation vs. Long-Context Input for Clinical Reasoning over EHRs
von: Myers, Skatje, et al.
Veröffentlicht: (2025)
von: Myers, Skatje, et al.
Veröffentlicht: (2025)
VTCBench: Can Vision-Language Models Understand Long Context with Vision-Text Compression?
von: Zhao, Hongbo, et al.
Veröffentlicht: (2025)
von: Zhao, Hongbo, et al.
Veröffentlicht: (2025)
CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning
von: Cui, Hao, et al.
Veröffentlicht: (2025)
von: Cui, Hao, et al.
Veröffentlicht: (2025)
OPSDL: On-Policy Self-Distillation for Long-Context Language Models
von: Zhang, Xinsen, et al.
Veröffentlicht: (2026)
von: Zhang, Xinsen, et al.
Veröffentlicht: (2026)
RAT: Retrieval Augmented Thoughts Elicit Context-Aware Reasoning in Long-Horizon Generation
von: Wang, Zihao, et al.
Veröffentlicht: (2024)
von: Wang, Zihao, et al.
Veröffentlicht: (2024)
Too Long, Didn't Model: Decomposing LLM Long-Context Understanding With Novels
von: Hamilton, Sil, et al.
Veröffentlicht: (2025)
von: Hamilton, Sil, et al.
Veröffentlicht: (2025)
LiteLong: Resource-Efficient Long-Context Data Synthesis for LLMs
von: Jia, Junlong, et al.
Veröffentlicht: (2025)
von: Jia, Junlong, et al.
Veröffentlicht: (2025)
Ähnliche Einträge
-
LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning
von: Mao, Yansheng, et al.
Veröffentlicht: (2025) -
LooGLE: Can Long-Context Language Models Understand Long Contexts?
von: Li, Jiaqi, et al.
Veröffentlicht: (2023) -
Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure
von: Yang, Haotong, et al.
Veröffentlicht: (2023) -
SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
von: Liu, Yewei, et al.
Veröffentlicht: (2026) -
LooGLE v2: Are LLMs Ready for Real World Long Dependency Challenges?
von: He, Ziyuan, et al.
Veröffentlicht: (2025)