Buchumschlag

LongEmbed: Extending Embedding Models for Long Context Retrieval

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhu, Dawei, Wang, Liang, Yang, Nan, Song, Yifan, Wu, Wenhao, Wei, Furu, Li, Sujian
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

PoSE: Efficient Context Window Extension of LLMs via Positional Skip-wise Training
von: Zhu, Dawei, et al.
Veröffentlicht: (2023)

CoCA: Fusing Position Embedding with Collinear Constrained Attention in Transformers for Long Context Window Extending
von: Zhu, Shiyi, et al.
Veröffentlicht: (2023)

A Comprehensive Survey on Long Context Language Modeling
von: Liu, Jiaheng, et al.
Veröffentlicht: (2025)

Long Context Alignment with Short Instructions and Synthesized Positions
von: Wu, Wenhao, et al.
Veröffentlicht: (2024)

Retrieval meets Long Context Large Language Models
von: Xu, Peng, et al.
Veröffentlicht: (2023)

The Rotary Position Embedding May Cause Dimension Inefficiency in Attention Heads for Long-Distance Retrieval
von: Chiang, Ting-Rui, et al.
Veröffentlicht: (2025)

Learning to Retrieve In-Context Examples for Large Language Models
von: Wang, Liang, et al.
Veröffentlicht: (2023)

Thinking Augmented Pre-training
von: Wang, Liang, et al.
Veröffentlicht: (2025)

Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement
von: Xiong, Weimin, et al.
Veröffentlicht: (2024)

Chain-of-Thought Matters: Improving Long-Context Language Models with Reasoning Path Supervision
von: Zhu, Dawei, et al.
Veröffentlicht: (2025)

RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
von: Liu, Di, et al.
Veröffentlicht: (2024)

Scaling Context, Not Parameters: Training a Compact 7B Language Model for Efficient Long-Context Processing
von: Wu, Chen, et al.
Veröffentlicht: (2025)

Long-Short Alignment for Effective Long-Context Modeling in LLMs
von: Du, Tianqi, et al.
Veröffentlicht: (2025)

100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
von: Yang, Wang, et al.
Veröffentlicht: (2025)

Core Context Aware Transformers for Long Context Language Modeling
von: Chen, Yaofo, et al.
Veröffentlicht: (2024)

S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference
von: Ma, Qingsen, et al.
Veröffentlicht: (2026)

More Vulnerable than You Think: On the Stability of Tool-Integrated LLM Agents
von: Xiong, Weimin, et al.
Veröffentlicht: (2025)

LongLLMLingua: Accelerating and Enhancing LLMs in Long Context Scenarios via Prompt Compression
von: Jiang, Huiqiang, et al.
Veröffentlicht: (2023)

CoUDA: Coherence Evaluation via Unified Data Augmentation
von: Zhu, Dawei, et al.
Veröffentlicht: (2024)

SnapMLA: Efficient Long-Context MLA Decoding via Hardware-Aware FP8 Quantized Pipelining
von: Zhang, Yifan, et al.
Veröffentlicht: (2026)

LongPO: Long Context Self-Evolution of Large Language Models through Short-to-Long Preference Optimization
von: Chen, Guanzheng, et al.
Veröffentlicht: (2025)

Rotary Positional Embeddings as Phase Modulation: Theoretical Bounds on the RoPE Base for Long-Context Transformers
von: Liu, Feilong
Veröffentlicht: (2026)

LongAlign: A Recipe for Long Context Alignment of Large Language Models
von: Bai, Yushi, et al.
Veröffentlicht: (2024)

Auto-ICL: In-Context Learning without Human Supervision
von: Yang, Jinghan, et al.
Veröffentlicht: (2023)

Jina Embeddings 2: 8192-Token General-Purpose Text Embeddings for Long Documents
von: Günther, Michael, et al.
Veröffentlicht: (2023)

Retrieval Backward Attention without Additional Training: Enhance Embeddings of Large Language Models via Repetition
von: Duan, Yifei, et al.
Veröffentlicht: (2025)

LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
von: Bai, Yushi, et al.
Veröffentlicht: (2024)

Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference
von: Tang, Jiaming, et al.
Veröffentlicht: (2024)

UT-ACA: Uncertainty-Triggered Adaptive Context Allocation for Long-Context Inference
von: Zhou, Lang, et al.
Veröffentlicht: (2026)

SEAL: Scaling to Emphasize Attention for Long-Context Retrieval
von: Lee, Changhun, et al.
Veröffentlicht: (2025)

LongSafety: Enhance Safety for Long-Context LLMs
von: Huang, Mianqiu, et al.
Veröffentlicht: (2024)

On Debiasing Text Embeddings Through Context Injection
von: Uriot, Thomas
Veröffentlicht: (2024)

LongReD: Mitigating Short-Text Degradation of Long-Context Large Language Models via Restoration Distillation
von: Dong, Zican, et al.
Veröffentlicht: (2025)

LongLoRA: Efficient Fine-tuning of Long-Context Large Language Models
von: Chen, Yukang, et al.
Veröffentlicht: (2023)

Cost-Optimal Grouped-Query Attention for Long-Context Modeling
von: Chen, Yingfa, et al.
Veröffentlicht: (2025)

MPO: Boosting LLM Agents with Meta Plan Optimization
von: Xiong, Weimin, et al.
Veröffentlicht: (2025)

ParisKV: Fast and Drift-Robust KV-Cache Retrieval for Long-Context LLMs
von: Qi, Yanlin, et al.
Veröffentlicht: (2026)

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning
von: Jin, Hongye, et al.
Veröffentlicht: (2024)

Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation
von: Sorokin, Nikita, et al.
Veröffentlicht: (2026)

Improving Text Embeddings with Large Language Models
von: Wang, Liang, et al.
Veröffentlicht: (2023)