Buchumschlag

Long Context RAG Performance of Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Leng, Quinn, Portes, Jacob, Havens, Sam, Zaharia, Matei, Carbin, Michael
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Drowning in Documents: Consequences of Scaling Reranker Inference
von: Jacob, Mathew, et al.
Veröffentlicht: (2024)

SIEVE: Sample-Efficient Parametric Learning from Natural Language
von: Asawa, Parth, et al.
Veröffentlicht: (2026)

MosaicBERT: A Bidirectional Encoder Optimized for Fast Pretraining
von: Portes, Jacob, et al.
Veröffentlicht: (2023)

Beyond Chinchilla-Optimal: Accounting for Inference in Language Model Scaling Laws
von: Sardana, Nikhil, et al.
Veröffentlicht: (2023)

Optimizing Instructions and Demonstrations for Multi-Stage Language Model Programs
von: Opsahl-Ong, Krista, et al.
Veröffentlicht: (2024)

Retrieval Capabilities of Large Language Models Scale with Pretraining FLOPs
von: Portes, Jacob, et al.
Veröffentlicht: (2025)

LongPO: Long Context Self-Evolution of Large Language Models through Short-to-Long Preference Optimization
von: Chen, Guanzheng, et al.
Veröffentlicht: (2025)

LongAlign: A Recipe for Long Context Alignment of Large Language Models
von: Bai, Yushi, et al.
Veröffentlicht: (2024)

Long-Context LLMs Meet RAG: Overcoming Challenges for Long Inputs in RAG
von: Jin, Bowen, et al.
Veröffentlicht: (2024)

$L^*LM$: Learning Automata from Examples using Natural Language Oracles
von: Vazquez-Chanlatte, Marcell, et al.
Veröffentlicht: (2024)

BARE: Leveraging Base Language Models for Few-Shot Synthetic Data Generation
von: Zhu, Alan, et al.
Veröffentlicht: (2025)

Out-of-Context Reasoning in Large Language Models
von: Shaki, Jonathan, et al.
Veröffentlicht: (2025)

Core Context Aware Transformers for Long Context Language Modeling
von: Chen, Yaofo, et al.
Veröffentlicht: (2024)

Diversity Enhances an LLM's Performance in RAG and Long-context Task
von: Wang, Zhichao, et al.
Veröffentlicht: (2025)

DebateBench: A Challenging Long Context Reasoning Benchmark For Large Language Models
von: Tiwari, Utkarsh, et al.
Veröffentlicht: (2025)

How to Train Your Advisor: Steering Black-Box LLMs with Advisor Models
von: Asawa, Parth, et al.
Veröffentlicht: (2025)

LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation
von: Dong, Zican, et al.
Veröffentlicht: (2025)

Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models
von: Hengle, Amey, et al.
Veröffentlicht: (2024)

How to Train Long-Context Language Models (Effectively)
von: Gao, Tianyu, et al.
Veröffentlicht: (2024)

A Comprehensive Survey on Long Context Language Modeling
von: Liu, Jiaheng, et al.
Veröffentlicht: (2025)

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
von: Chen, Yukang, et al.
Veröffentlicht: (2023)

LoRA Learns Less and Forgets Less
von: Biderman, Dan, et al.
Veröffentlicht: (2024)

Revisiting In-Context Learning with Long Context Language Models
von: Baek, Jinheon, et al.
Veröffentlicht: (2024)

Retrieval meets Long Context Large Language Models
von: Xu, Peng, et al.
Veröffentlicht: (2023)

Focus-LIME: Surgical Interpretation of Long-Context Large Language Models via Proxy-Based Neighborhood Selection
von: Liu, Junhao, et al.
Veröffentlicht: (2026)

Can QPP Choose the Right Query Variant? Evaluating Query Variant Selection for RAG Pipelines
von: Arabzadeh, Negar, et al.
Veröffentlicht: (2026)

Context-Guided Dynamic Retrieval for Improving Generation Quality in RAG Models
von: He, Jacky, et al.
Veröffentlicht: (2025)

DFA-RAG: Conversational Semantic Router for Large Language Model with Definite Finite Automaton
von: Sun, Yiyou, et al.
Veröffentlicht: (2024)

Cost-Optimal Grouped-Query Attention for Long-Context Modeling
von: Chen, Yingfa, et al.
Veröffentlicht: (2025)

How do Language Models Bind Entities in Context?
von: Feng, Jiahai, et al.
Veröffentlicht: (2023)

The Price Reversal Phenomenon: When Cheaper Reasoning Models Cost More
von: Chen, Lingjiao, et al.
Veröffentlicht: (2026)

Optimizing Model Selection for Compound AI Systems
von: Chen, Lingjiao, et al.
Veröffentlicht: (2025)

Uncertainty Quantification for In-Context Learning of Large Language Models
von: Ling, Chen, et al.
Veröffentlicht: (2024)

In-Context Language Learning: Architectures and Algorithms
von: Akyürek, Ekin, et al.
Veröffentlicht: (2024)

Benchmarking Uncertainty Calibration in Large Language Model Long-Form Question Answering
von: Müller, Philip, et al.
Veröffentlicht: (2026)

Performance Law of Large Language Models
von: Wu, Chuhan, et al.
Veröffentlicht: (2024)

LangProBe: a Language Programs Benchmark
von: Tan, Shangyin, et al.
Veröffentlicht: (2025)

SimulRAG: Simulator-based RAG for Grounding LLMs in Long-form Scientific QA
von: Xu, Haozhou, et al.
Veröffentlicht: (2025)

Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing
von: Wu, Chen, et al.
Veröffentlicht: (2025)

Systematic Evaluation of Optimization Techniques for Long-Context Language Models
von: Ahmed, Ammar, et al.
Veröffentlicht: (2025)