Buchumschlag

LIFT: A Novel Framework for Enhancing Long-Context Understanding of LLMs via Long Input Fine-Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Mao, Yansheng, Xu, Yufei, Li, Jiaqi, Meng, Fanxu, Yang, Haotong, Zheng, Zilong, Wang, Xiyuan, Zhang, Muhan
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning
von: Mao, Yansheng, et al.
Veröffentlicht: (2024)

LooGLE: Can Long-Context Language Models Understand Long Contexts?
von: Li, Jiaqi, et al.
Veröffentlicht: (2023)

Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure
von: Yang, Haotong, et al.
Veröffentlicht: (2023)

SHINE: A Scalable In-Context Hypernetwork for Mapping Context to LoRA in a Single Pass
von: Liu, Yewei, et al.
Veröffentlicht: (2026)

MISA: Mixture of Indexer Sparse Attention for Long-Context LLM Inference
von: Zhou, Ruijie, et al.
Veröffentlicht: (2026)

LIFT: Last-Mile Fine-Tuning for Table Explicitation
von: Khaitan, Divij, et al.
Veröffentlicht: (2026)

Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

An Efficient Recipe for Long Context Extension via Middle-Focused Positional Encoding
von: Wu, Tong, et al.
Veröffentlicht: (2024)

ROSA-Tuning: Enhancing Long-Context Modeling via Suffix Matching
von: Zheng, Yunao, et al.
Veröffentlicht: (2026)

LIFT+: Lightweight Fine-Tuning for Long-Tail Learning
von: Shi, Jiang-Xin, et al.
Veröffentlicht: (2025)

CLOVER: Cross-Layer Orthogonal Vectors Pruning and Fine-Tuning
von: Meng, Fanxu, et al.
Veröffentlicht: (2024)

LooGLE v2: Are LLMs Ready for Real World Long Dependency Challenges?
von: He, Ziyuan, et al.
Veröffentlicht: (2025)

Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG
von: Jin, Bowen, et al.
Veröffentlicht: (2024)

Shifting Long-Context LLMs Research from Input to Output
von: Wu, Yuhao, et al.
Veröffentlicht: (2025)

Beyond Single-Task: Robust Multi-Task Length Generalization for LLMs
von: Hu, Yi, et al.
Veröffentlicht: (2025)

LongFaith: Enhancing Long-Context Reasoning in LLMs with Faithful Synthetic Data
von: Yang, Cehao, et al.
Veröffentlicht: (2025)

LongSafety: Enhance Safety for Long-Context LLMs
von: Huang, Mianqiu, et al.
Veröffentlicht: (2024)

Fine-Tuning Medical Language Models for Enhanced Long-Contextual Understanding and Domain Expertise
von: Yang, Qimin, et al.
Veröffentlicht: (2024)

LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
von: Jiang, Huiqiang, et al.
Veröffentlicht: (2023)

Mixture of In-Context Experts Enhance LLMs' Long Context Awareness
von: Lin, Hongzhan, et al.
Veröffentlicht: (2024)

Understanding and Leveraging the Expert Specialization of Context Faithfulness in Mixture-of-Experts LLMs
von: Bai, Jun, et al.
Veröffentlicht: (2025)

GL-Fusion: Rethinking the Combination of Graph Neural Network and Large Language model
von: Yang, Haotong, et al.
Veröffentlicht: (2024)

Long Exposure: Accelerating Parameter-Efficient Fine-Tuning for LLMs under Shadowy Sparsity
von: Wang, Tuowei, et al.
Veröffentlicht: (2025)

Exploring Fine-Tuning for In-Context Retrieval and Efficient KV-Caching in Long-Context Language Models
von: Molfese, Francesco Maria, et al.
Veröffentlicht: (2026)

FocuSFT: Bilevel Optimization for Dilution-Aware Long-Context Fine-Tuning
von: Pei, Zehua, et al.
Veröffentlicht: (2026)

Too Long, Didn't Model: Decomposing LLM Long-Context Understanding With Novels
von: Hamilton, Sil, et al.
Veröffentlicht: (2025)

LoRASuite: Efficient LoRA Adaptation Across Large Language Model Upgrades
von: Li, Yanan, et al.
Veröffentlicht: (2025)

Number Cookbook: Number Understanding of Language Models and How to Improve It
von: Yang, Haotong, et al.
Veröffentlicht: (2024)

Insights into LLM Long-Context Failures: When Transformers Know but Don't Tell
von: Lu, Taiming, et al.
Veröffentlicht: (2024)

ETT: Expanding the Long Context Understanding Capability of LLMs at Test-Time
von: Zahirnia, Kiarash, et al.
Veröffentlicht: (2025)

Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective
von: Zhong, Meizhi, et al.
Veröffentlicht: (2024)

Neural Common Neighbor with Completion for Link Prediction
von: Wang, Xiyuan, et al.
Veröffentlicht: (2023)

Infinite Retrieval: Attention Enhanced LLMs in Long-Context Processing
von: Ye, Xiaoju, et al.
Veröffentlicht: (2025)

DoubleDipper: Improving Long-Context LLMs via Context Recycling
von: Cattan, Arie, et al.
Veröffentlicht: (2024)

Towards Understanding Fine-Tuning Mechanisms of LLMs via Circuit Analysis
von: Wang, Xu, et al.
Veröffentlicht: (2025)

LongGenBench: Benchmarking Long-Form Generation in Long Context LLMs
von: Wu, Yuhao, et al.
Veröffentlicht: (2024)

LinguaLIFT: An Effective Two-stage Instruction Tuning Framework for Low-Resource Language Reasoning
von: Zhang, Hongbin, et al.
Veröffentlicht: (2024)

CURIE: Evaluating LLMs On Multitask Scientific Long Context Understanding and Reasoning
von: Cui, Hao, et al.
Veröffentlicht: (2025)

Position Debiasing Fine-Tuning for Causal Perception in Long-Term Dialogue
von: Fan, Shixuan, et al.
Veröffentlicht: (2024)

Offline Exploration-Aware Fine-Tuning for Long-Chain Mathematical Reasoning
von: Mu, Yongyu, et al.
Veröffentlicht: (2026)