Buchumschlag

Beyond the Limits: A Survey of Techniques to Extend the Context Length in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wang, Xindi, Salmani, Mahsa, Omidi, Parsa, Ren, Xiangyu, Rezagholizadeh, Mehdi, Eshaghi, Armaghan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Memory-Augmented Transformers: A Systematic Review from Neuroscience Principles to Enhanced Model Architectures
von: Omidi, Parsa, et al.
Veröffentlicht: (2025)

Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference
von: Kavehzadeh, Parsa, et al.
Veröffentlicht: (2023)

Balcony: A Lightweight Approach to Dynamic Inference of Generative Language Models
von: Jamialahmadi, Benyamin, et al.
Veröffentlicht: (2025)

Early Stopping for Large Reasoning Models via Confidence Dynamics
von: Hosseini, Parsa, et al.
Veröffentlicht: (2026)

Leveraging Distillation Techniques for Document Understanding: A Case Study with FLAN-T5
von: Lamott, Marcel, et al.
Veröffentlicht: (2024)

Resonance RoPE: Improving Context Length Generalization of Large Language Models
von: Wang, Suyuchen, et al.
Veröffentlicht: (2024)

Long-Context Aware Upcycling: A New Frontier for Hybrid LLM Scaling
von: Fashi, Parsa Ashrafi, et al.
Veröffentlicht: (2026)

Context-Aware Assistant Selection for Improved Inference Acceleration with Large Language Models
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

EchoAtt: Attend, Copy, then Adjust for More Efficient Large Language Models
von: Rajabzadeh, Hossein, et al.
Veröffentlicht: (2024)

SLaNC: Static LayerNorm Calibration
von: Salmani, Mahsa, et al.
Veröffentlicht: (2024)

QDyLoRA: Quantized Dynamic Low-Rank Adaptation for Efficient Large Language Model Tuning
von: Rajabzadeh, Hossein, et al.
Veröffentlicht: (2024)

SELF: Self-Extend the Context Length With Logistic Growth Function
von: Dang, Phat Thanh, et al.
Veröffentlicht: (2025)

Zebra-Llama: Towards Extremely Efficient Hybrid Models
von: Yang, Mingyu, et al.
Veröffentlicht: (2025)

DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers
von: Sharma, Aman, et al.
Veröffentlicht: (2025)

Towards Practical Tool Usage for Continually Learning LLMs
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

LABO: Towards Learning Optimal Label Regularization via Bi-level Optimization
von: Lu, Peng, et al.
Veröffentlicht: (2023)

Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought
von: Jiao, Yuling, et al.
Veröffentlicht: (2026)

Hijacking Large Language Models via Adversarial In-Context Learning
von: Zhou, Xiangyu, et al.
Veröffentlicht: (2023)

Do Robot Snakes Dream like Electric Sheep? Investigating the Effects of Architectural Inductive Biases on Hallucination
von: Huang, Jerry, et al.
Veröffentlicht: (2024)

Chain-of-Defensive-Thought: Structured Reasoning Elicits Robustness in Large Language Models against Reference Corruption
von: Wang, Wenxiao, et al.
Veröffentlicht: (2025)

Demystifying OPD: Length Inflation and Stabilization Strategies for Large Language Models
von: Luo, Feng, et al.
Veröffentlicht: (2026)

A Comprehensive Survey on Long Context Language Modeling
von: Liu, Jiaheng, et al.
Veröffentlicht: (2025)

Hansel: Output Length Controlling Framework for Large Language Models
von: Song, Seoha, et al.
Veröffentlicht: (2024)

Extending Input Contexts of Language Models through Training on Segmented Sequences
von: Karypis, Petros, et al.
Veröffentlicht: (2023)

LLLMs: A Data-Driven Survey of Evolving Research on Limitations of Large Language Models
von: Kostikova, Aida, et al.
Veröffentlicht: (2025)

LIDAO: Towards Limited Interventions for Debiasing (Large) Language Models
von: Liu, Tianci, et al.
Veröffentlicht: (2024)

Systematic Evaluation of Optimization Techniques for Long-Context Language Models
von: Ahmed, Ammar, et al.
Veröffentlicht: (2025)

Advancing Graph Representation Learning with Large Language Models: A Comprehensive Survey of Techniques
von: Mao, Qiheng, et al.
Veröffentlicht: (2024)

A Survey on Medical Large Language Models: Technology, Application, Trustworthiness, and Future Directions
von: Liu, Lei, et al.
Veröffentlicht: (2024)

Large Language Model Selection with Limited Annotations
von: Durmazkeser, Yavuz, et al.
Veröffentlicht: (2026)

Model Hemorrhage and the Robustness Limits of Large Language Models
von: Ma, Ziyang, et al.
Veröffentlicht: (2025)

MULTIVERSE: Exposing Large Language Model Alignment Problems in Diverse Worlds
von: Jin, Xiaolong, et al.
Veröffentlicht: (2024)

A Survey on Mixture of Experts in Large Language Models
von: Cai, Weilin, et al.
Veröffentlicht: (2024)

Out-of-Context Reasoning in Large Language Models
von: Shaki, Jonathan, et al.
Veröffentlicht: (2025)

Fine-tuning Large Language Models with Limited Data: A Survey and Practical Guide
von: Szep, Marton, et al.
Veröffentlicht: (2024)

SmartThinker: Progressive Chain-of-Thought Length Calibration for Efficient Large Language Model Reasoning
von: Hu, Chenzhi, et al.
Veröffentlicht: (2026)

Context-Aware Initialization for Reducing Generative Path Length in Diffusion Language Models
von: Miao, Tongyuan, et al.
Veröffentlicht: (2025)

LongEmbed: Extending Embedding Models for Long Context Retrieval
von: Zhu, Dawei, et al.
Veröffentlicht: (2024)

RakutenAI-7B: Extending Large Language Models for Japanese
von: Rakuten Group, et al.
Veröffentlicht: (2024)

Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
von: Huang, Yanwen, et al.
Veröffentlicht: (2025)