Buchumschlag

LongPO: Long Context Self-Evolution of Large Language Models through Short-to-Long Preference Optimization

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Guanzheng, Li, Xin, Shieh, Michael Qizhe, Bing, Lidong
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LongRLVR: Long-Context Reinforcement Learning Requires Verifiable Context Rewards
von: Chen, Guanzheng, et al.
Veröffentlicht: (2026)

RAPID: Long-Context Inference with Retrieval-Augmented Speculative Decoding
von: Chen, Guanzheng, et al.
Veröffentlicht: (2025)

LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation
von: Dong, Zican, et al.
Veröffentlicht: (2025)

LongAlign: A Recipe for Long Context Alignment of Large Language Models
von: Bai, Yushi, et al.
Veröffentlicht: (2024)

Long-Short Alignment for Effective Long-Context Modeling in LLMs
von: Du, Tianqi, et al.
Veröffentlicht: (2025)

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
von: Chen, Yukang, et al.
Veröffentlicht: (2023)

Long Context RAG Performance of Large Language Models
von: Leng, Quinn, et al.
Veröffentlicht: (2024)

Core Context Aware Transformers for Long Context Language Modeling
von: Chen, Yaofo, et al.
Veröffentlicht: (2024)

LongReward: Improving Long-context Large Language Models with AI Feedback
von: Zhang, Jiajie, et al.
Veröffentlicht: (2024)

Systematic Evaluation of Optimization Techniques for Long-Context Language Models
von: Ahmed, Ammar, et al.
Veröffentlicht: (2025)

How to Train Long-Context Language Models (Effectively)
von: Gao, Tianyu, et al.
Veröffentlicht: (2024)

LongEmbed: Extending Embedding Models for Long Context Retrieval
von: Zhu, Dawei, et al.
Veröffentlicht: (2024)

A Comprehensive Survey on Long Context Language Modeling
von: Liu, Jiaheng, et al.
Veröffentlicht: (2025)

Retrieval meets Long Context Large Language Models
von: Xu, Peng, et al.
Veröffentlicht: (2023)

AutoL2S: Auto Long-Short Reasoning for Efficient Large Language Models
von: Luo, Feng, et al.
Veröffentlicht: (2025)

Short Data, Long Context: Distilling Positional Knowledge in Transformers
von: Huber, Patrick, et al.
Veröffentlicht: (2026)

Training Optimal Large Diffusion Language Models
von: Ni, Jinjie, et al.
Veröffentlicht: (2025)

Focus-LIME: Surgical Interpretation of Long-Context Large Language Models via Proxy-Based Neighborhood Selection
von: Liu, Junhao, et al.
Veröffentlicht: (2026)

SoLoPO: Unlocking Long-Context Capabilities in LLMs via Short-to-Long Preference Optimization
von: Sun, Huashan, et al.
Veröffentlicht: (2025)

Revisiting In-Context Learning with Long Context Language Models
von: Baek, Jinheon, et al.
Veröffentlicht: (2024)

LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
von: Bai, Yushi, et al.
Veröffentlicht: (2024)

PENCIL: Long Thoughts with Short Memory
von: Yang, Chenxiao, et al.
Veröffentlicht: (2025)

DebateBench: A Challenging Long Context Reasoning Benchmark For Large Language Models
von: Tiwari, Utkarsh, et al.
Veröffentlicht: (2025)

LongAct: Harnessing Intrinsic Activation Patterns for Long-Context Reinforcement Learning
von: Ping, Bowen, et al.
Veröffentlicht: (2026)

LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models
von: Shi, Dachuan, et al.
Veröffentlicht: (2025)

Step-DPO: Step-wise Preference Optimization for Long-chain Reasoning of LLMs
von: Lai, Xin, et al.
Veröffentlicht: (2024)

CLEX: Continuous Length Extrapolation for Large Language Models
von: Chen, Guanzheng, et al.
Veröffentlicht: (2023)

Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models
von: Hengle, Amey, et al.
Veröffentlicht: (2024)

LongSafety: Enhance Safety for Long-Context LLMs
von: Huang, Mianqiu, et al.
Veröffentlicht: (2024)

Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing
von: Wu, Chen, et al.
Veröffentlicht: (2025)

LiPO: Listwise Preference Optimization through Learning-to-Rank
von: Liu, Tianqi, et al.
Veröffentlicht: (2024)

100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
von: Yang, Wang, et al.
Veröffentlicht: (2025)

Benchmarking Uncertainty Calibration in Large Language Model Long-Form Question Answering
von: Müller, Philip, et al.
Veröffentlicht: (2026)

Document Reconstruction Unlocks Scalable Long-Context RLVR
von: Xiao, Yao, et al.
Veröffentlicht: (2026)

LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
von: Jiang, Huiqiang, et al.
Veröffentlicht: (2023)

Multipole Attention for Efficient Long Context Reasoning
von: Hooper, Coleman, et al.
Veröffentlicht: (2025)

The Impossibility Triangle of Long-Context Modeling
von: Zhou, Yan
Veröffentlicht: (2026)

Too Long, Didn't Model: Decomposing LLM Long-Context Understanding With Novels
von: Hamilton, Sil, et al.
Veröffentlicht: (2025)

Probe and Skip: Self-Predictive Token Skipping for Efficient Long-Context LLM Inference
von: Wu, Zimeng, et al.
Veröffentlicht: (2026)

From 128K to 4M: Efficient Training of Ultra-Long Context Large Language Models
von: Xu, Chejian, et al.
Veröffentlicht: (2025)