Buchumschlag

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jin, Hongye, Han, Xiaotian, Yang, Jingfeng, Jiang, Zhimeng, Liu, Zirui, Chang, Chia-Yuan, Chen, Huiyuan, Hu, Xia
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Longer Context, Deeper Thinking: Uncovering the Role of Long-Context Ability in Reasoning
von: Yang, Wang, et al.
Veröffentlicht: (2025)

Towards Mitigating Dimensional Collapse of Representations in Collaborative Filtering
von: Chen, Huiyuan, et al.
Veröffentlicht: (2023)

Gradient Rewiring for Editable Graph Neural Network Training
von: Jiang, Zhimeng, et al.
Veröffentlicht: (2024)

100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
von: Yang, Wang, et al.
Veröffentlicht: (2025)

Thinking Preference Optimization
von: Yang, Wang, et al.
Veröffentlicht: (2025)

LongRoPE: Extending LLM Context Window Beyond 2 Million Tokens
von: Ding, Yiran, et al.
Veröffentlicht: (2024)

KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache
von: Liu, Zirui, et al.
Veröffentlicht: (2024)

You Only Debias Once: Towards Flexible Accuracy-Fairness Trade-offs at Inference Time
von: Han, Xiaotian, et al.
Veröffentlicht: (2025)

LongRoPE2: Near-Lossless LLM Context Window Scaling
von: Shang, Ning, et al.
Veröffentlicht: (2025)

PandaLM: An Automatic Evaluation Benchmark for LLM Instruction Tuning Optimization
von: Wang, Yidong, et al.
Veröffentlicht: (2023)

CoachLM: Automatic Instruction Revisions Improve the Data Quality in LLM Instruction Tuning
von: Liu, Yilun, et al.
Veröffentlicht: (2023)

SELF: Self-Extend the Context Length With Logistic Growth Function
von: Dang, Phat Thanh, et al.
Veröffentlicht: (2025)

Analysis and Optimized CXL-Attached Memory Allocation for Long-Context LLM Fine-Tuning
von: Liaw, Yong-Cheng, et al.
Veröffentlicht: (2025)

Assessment of Self-Archiving in Institutional Repositories: Across Disciplines
von: Xia, Jingfeng
Veröffentlicht: (2007)

Recurrent Context Compression: Efficiently Expanding the Context Window of LLM
von: Huang, Chensen, et al.
Veröffentlicht: (2024)

KV Cache Compression, But What Must We Give in Return? A Comprehensive Benchmark of Long Context Capable Approaches
von: Yuan, Jiayi, et al.
Veröffentlicht: (2024)

AzeroS: Extending LLM to Speech with Self-Generated Instruction-Free Tuning
von: Shao, Yiwen, et al.
Veröffentlicht: (2025)

RecLM: Recommendation Instruction Tuning
von: Jiang, Yangqin, et al.
Veröffentlicht: (2024)

Is Long Context All You Need? Leveraging LLM's Extended Context for NL2SQL
von: Chung, Yeounoh, et al.
Veröffentlicht: (2025)

A Window into Multilingual Students' Worlds: Using Multimodal Writing to Support Writing Growth
von: Hongye Zeng
Veröffentlicht: (2024)

CoCA: Fusing Position Embedding with Collinear Constrained Attention in Transformers for Long Context Window Extending
von: Zhu, Shiyi, et al.
Veröffentlicht: (2023)

Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference
von: Wu, Zimeng, et al.
Veröffentlicht: (2026)

Is poisoning a real threat to LLM alignment? Maybe more so than you think
von: Pathmanathan, Pankayaraj, et al.
Veröffentlicht: (2024)

Enhancing Foundation Models in Transaction Understanding with LLM-based Sentence Embeddings
von: Fan, Xiran, et al.
Veröffentlicht: (2025)

The Missing Memory Hierarchy: Demand Paging for LLM Context Windows
von: Mason, Tony
Veröffentlicht: (2026)

Extending LLMs' Context Window with 100 Samples
von: Zhang, Yikai, et al.
Veröffentlicht: (2024)

Smooth Reading: Bridging the Gap of Recurrent LLM to Self-Attention LLM on Long-Context Tasks
von: Liu, Kai, et al.
Veröffentlicht: (2025)

Horizon-LM: A RAM-Centric Architecture for LLM Training
von: Yuan, Zhengqing, et al.
Veröffentlicht: (2026)

AcademicEval: Live Long-Context LLM Benchmark
von: Zhang, Haozhen, et al.
Veröffentlicht: (2025)

Understanding and Mitigating Memorization in Diffusion Models for Tabular Data
von: Fang, Zhengyu, et al.
Veröffentlicht: (2024)

LLMSteer: Improving Long-Context LLM Inference by Steering Attention on Reused Contexts
von: Gu, Zhuohan, et al.
Veröffentlicht: (2024)

Pause-Tuning for Long-Context Comprehension: A Lightweight Approach to LLM Attention Recalibration
von: Begin, James, et al.
Veröffentlicht: (2025)

M+: Extending MemoryLLM with Scalable Long-Term Memory
von: Wang, Yu, et al.
Veröffentlicht: (2025)

FaithLM: Towards Faithful Explanations for Large Language Models
von: Chuang, Yu-Neng, et al.
Veröffentlicht: (2024)

Divulge Now or Maybe Later
von: Machon, Lianne Irish S., et al.
Veröffentlicht: (2026)

CorrectionLM: Self-Corrections with SLM for Dialogue State Tracking
von: Lee, Chia-Hsuan, et al.
Veröffentlicht: (2024)

Efficient Long-Context LLM Inference via KV Cache Clustering
von: Hu, Jie, et al.
Veröffentlicht: (2025)

Unified Context Evolution for LLM Agents
von: Zhu, Zixuan, et al.
Veröffentlicht: (2026)

Representation Without Reward: A JEPA Audit for LLM Fine-Tuning
von: Sengupta, Biswa
Veröffentlicht: (2026)

The LLM Data Auditor: A Metric-oriented Survey on Quality and Trustworthiness in Evaluating Synthetic Data
von: Zhang, Kaituo, et al.
Veröffentlicht: (2026)