Buchumschlag

A Controlled Study on Long Context Extension and Generalization in LLMs

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Lu, Yi, Yan, Jing Nathan, Yang, Songlin, Chiu, Justin T., Ren, Siyu, Yuan, Fei, Zhao, Wenting, Wu, Zhiyong, Rush, Alexander M.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Commit0: Library Generation from Scratch
von: Zhao, Wenting, et al.
Veröffentlicht: (2024)

PolicyLong: Towards On-Policy Context Extension
von: Jia, Junlong, et al.
Veröffentlicht: (2026)

Great Memory, Shallow Reasoning: Limits of $k$NN-LMs
von: Geng, Shangyi, et al.
Veröffentlicht: (2024)

Challenges in Trustworthy Human Evaluation of Chatbots
von: Zhao, Wenting, et al.
Veröffentlicht: (2024)

Understanding the RoPE Extensions of Long-Context LLMs: An Attention Perspective
von: Zhong, Meizhi, et al.
Veröffentlicht: (2024)

I Could've Asked That: Reformulating Unanswerable Questions
von: Zhao, Wenting, et al.
Veröffentlicht: (2024)

MambaByte: Token-free Selective State Space Model
von: Wang, Junxiong, et al.
Veröffentlicht: (2024)

Log Parsing using LLMs with Self-Generated In-Context Learning and Self-Correction
von: Wu, Yifan, et al.
Veröffentlicht: (2024)

NExtLong: Toward Effective Long-Context Training without Long Documents
von: Gao, Chaochen, et al.
Veröffentlicht: (2025)

Teal: Learning-Accelerated Optimization of WAN Traffic Engineering
von: Xu, Zhiying, et al.
Veröffentlicht: (2022)

HexiSeq: Accommodating Long Context Training of LLMs over Heterogeneous Hardware
von: Liang, Yan, et al.
Veröffentlicht: (2026)

An Efficient Recipe for Long Context Extension via Middle-Focused Positional Encoding
von: Wu, Tong, et al.
Veröffentlicht: (2024)

Refactoring Codebases through Library Design
von: Kovacic, Ziga, et al.
Veröffentlicht: (2025)

An Empirical Study on Commit Message Generation using LLMs via In-Context Learning
von: Wu, Yifan, et al.
Veröffentlicht: (2025)

EMO: Earth Mover Distance Optimization for Auto-Regressive Language Modeling
von: Ren, Siyu, et al.
Veröffentlicht: (2023)

Beyond Real: Imaginary Extension of Rotary Position Embeddings for Long-Context LLMs
von: Liu, Xiaoran, et al.
Veröffentlicht: (2025)

LongGenBench: Benchmarking Long-Form Generation in Long Context LLMs
von: Wu, Yuhao, et al.
Veröffentlicht: (2024)

Asymmetric π‐Extension Design of Long Wavelength Rhodamine Derivatives for Imaging and Phototherapy
von: Long He, et al.
Veröffentlicht: (2024)

Multi-Turn Code Generation Through Single-Step Rewards
von: Jain, Arnav Kumar, et al.
Veröffentlicht: (2025)

OverFill: Two-Stage Models for Efficient Language Model Decoding
von: Kim, Woojeong, et al.
Veröffentlicht: (2025)

Predicting Text Preference Via Structured Comparative Reasoning
von: Yan, Jing Nathan, et al.
Veröffentlicht: (2023)

Audiobook-CC: Controllable Long-context Speech Generation for Multicast Audiobook
von: Liu, Min, et al.
Veröffentlicht: (2025)

Towards Robust Matched Observational Studies with General Treatment Types: Consistency, Efficiency, and Adaptivity
von: Heng, Siyu, et al.
Veröffentlicht: (2024)

Pack and Force Your Memory: Long-form and Consistent Video Generation
von: Wu, Xiaofei, et al.
Veröffentlicht: (2025)

A Controllable Examination for Long-Context Language Models
von: Yang, Yijun, et al.
Veröffentlicht: (2025)

EntropyLong: Effective Long-Context Training via Predictive Uncertainty
von: Jia, Junlong, et al.
Veröffentlicht: (2025)

UIO-LLMs: Unbiased Incremental Optimization for Long-Context LLMs
von: Li, Wenhao, et al.
Veröffentlicht: (2024)

MoBA: Mixture of Block Attention for Long-Context LLMs
von: Lu, Enzhe, et al.
Veröffentlicht: (2025)

EndPrompt: Efficient Long-Context Extension via Terminal Anchoring
von: Tian, Han, et al.
Veröffentlicht: (2026)

LongBench Pro: A More Realistic and Comprehensive Bilingual Long-Context Evaluation Benchmark
von: Chen, Ziyang, et al.
Veröffentlicht: (2026)

Mixture of In-Context Experts Enhance LLMs' Long Context Awareness
von: Lin, Hongzhan, et al.
Veröffentlicht: (2024)

Training Long-Context Vision-Language Models Effectively with Generalization Beyond 128K Context
von: Wang, Zhaowei, et al.
Veröffentlicht: (2026)

Symbol-LLM: Towards Foundational Symbol-centric Interface For Large Language Models
von: Xu, Fangzhi, et al.
Veröffentlicht: (2023)

QwenLong-CPRS: Towards $\infty$-LLMs with Dynamic Context Optimization
von: Shen, Weizhou, et al.
Veröffentlicht: (2025)

Less-to-More Generalization: Unlocking More Controllability by In-Context Generation
von: Wu, Shaojin, et al.
Veröffentlicht: (2025)

Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems
von: Laban, Philippe, et al.
Veröffentlicht: (2024)

Sovereign Context Protocol: An Open Attribution Layer for Human-Generated Content in the Age of Large Language Models
von: Panchigar, Praneel, et al.
Veröffentlicht: (2026)

Retrieval Augmented Generation or Long-Context LLMs? A Comprehensive Study and Hybrid Approach
von: Li, Zhuowan, et al.
Veröffentlicht: (2024)

LongMagpie: A Self-synthesis Method for Generating Large-scale Long-context Instructions
von: Gao, Chaochen, et al.
Veröffentlicht: (2025)

Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning
von: Zhu, Wenhao, et al.
Veröffentlicht: (2025)