Long Context Compression with Activation Beacon

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Zhang, Peitian, Liu, Zheng, Xiao, Shitao, Shao, Ninglu, Ye, Qiwei, Dou, Zhicheng
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Compressing Lengthy Context With UltraGist
di: Zhang, Peitian, et al.
Pubblicazione: (2024)

Extending Llama-3's Context Ten-Fold Overnight
di: Zhang, Peitian, et al.
Pubblicazione: (2024)

Extensible Embedding: A Flexible Multipler For LLM's Context Length
di: Shao, Ninglu, et al.
Pubblicazione: (2024)

Flexibly Scaling Large Language Models Contexts Through Extensible Tokenization
di: Shao, Ninglu, et al.
Pubblicazione: (2024)

Boosting Long-Context Management via Query-Guided Activation Refilling
di: Qian, Hongjin, et al.
Pubblicazione: (2024)

Are Long-LLMs A Necessity For Long-Context Tasks?
di: Qian, Hongjin, et al.
Pubblicazione: (2024)

MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
di: Qian, Hongjin, et al.
Pubblicazione: (2024)

M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
di: Chen, Jianlv, et al.
Pubblicazione: (2024)

C-Pack: Packed Resources For General Chinese Embeddings
di: Xiao, Shitao, et al.
Pubblicazione: (2023)

Lighter And Better: Towards Flexible Context Adaptation For Retrieval Augmented Generation
di: Liu, Zheng, et al.
Pubblicazione: (2024)

From Matching to Generation: A Survey on Generative Information Retrieval
di: Li, Xiaoxi, et al.
Pubblicazione: (2024)

Task-Aware KV Compression For Cost-Effective Long Video Understanding
di: Qin, Minghao, et al.
Pubblicazione: (2025)

Understanding Privacy Risks of Embeddings Induced by Large Language Models
di: Zhu, Zhihao, et al.
Pubblicazione: (2024)

Search-o1: Agentic Search-Enhanced Large Reasoning Models
di: Li, Xiaoxi, et al.
Pubblicazione: (2025)

Grounding Language Model with Chunking-Free In-Context Retrieval
di: Qian, Hongjin, et al.
Pubblicazione: (2024)

AssistRAG: Boosting the Potential of Large Language Models with an Intelligent Information Assistant
di: Zhou, Yujia, et al.
Pubblicazione: (2024)

AgentFugue: Agent Scaling for Long-Horizon Tasks through Collective Reasoning
di: Hu, Yuyang, et al.
Pubblicazione: (2026)

TimelineReasoner: Advancing Timeline Summarization with Large Reasoning Models
di: Zhang, Liancheng, et al.
Pubblicazione: (2026)

Evaluating Zero-Shot Long-Context LLM Compression
di: Wang, Chenyu, et al.
Pubblicazione: (2024)

LooGLE: Can Long-Context Language Models Understand Long Contexts?
di: Li, Jiaqi, et al.
Pubblicazione: (2023)

QUITO: Accelerating Long-Context Reasoning through Query-Guided Context Compression
di: Wang, Wenshan, et al.
Pubblicazione: (2024)

ZSMerge: Zero-Shot KV Cache Compression for Memory-Efficient Long-Context LLMs
di: Liu, Xin, et al.
Pubblicazione: (2025)

Activation-aware Probe-Query: Effective Key-Value Retrieval for Long-Context LLMs Inference
di: Xiao, Qingfa, et al.
Pubblicazione: (2025)

ATACompressor: Adaptive Task-Aware Compression for Efficient Long-Context Processing in LLMs
di: Li, Xuancheng, et al.
Pubblicazione: (2026)

ACON: Optimizing Context Compression for Long-horizon LLM Agents
di: Kang, Minki, et al.
Pubblicazione: (2025)

Towards Long Context Hallucination Detection
di: Liu, Siyi, et al.
Pubblicazione: (2025)

Dynamic Long Context Reasoning over Compressed Memory via End-to-End Reinforcement Learning
di: Chen, Zhuoen, et al.
Pubblicazione: (2026)

Generate, Not Recommend: Personalized Multimodal Content Generation
di: Liu, Jiongnan, et al.
Pubblicazione: (2025)

AdaComp: Extractive Context Compression with Adaptive Predictor for Retrieval-Augmented Large Language Models
di: Zhang, Qianchi, et al.
Pubblicazione: (2024)

Towards Verifiable Multimodal Deep Research: A Multi-Agent Harness for Interleaved Report Generation
di: Zhang, Chenghao, et al.
Pubblicazione: (2026)

Sentinel: Decoding Context Utilization via Attention Probing for Efficient LLM Context Compression
di: Zhang, Yong, et al.
Pubblicazione: (2025)

InftyThink: Breaking the Length Limits of Long-Context Reasoning in Large Language Models
di: Yan, Yuchen, et al.
Pubblicazione: (2025)

GLARE: Agentic Reasoning for Legal Judgment Prediction
di: Yang, Xinyu, et al.
Pubblicazione: (2025)

Single LLM, Multiple Roles: A Unified Retrieval-Augmented Generation Framework Using Role-Specific Token Optimization
di: Zhu, Yutao, et al.
Pubblicazione: (2025)

StreamingDialogue: Prolonged Dialogue Learning via Long Context Compression with Minimal Losses
di: Li, Jia-Nan, et al.
Pubblicazione: (2024)

LIFT: Improving Long Context Understanding Through Long Input Fine-Tuning
di: Mao, Yansheng, et al.
Pubblicazione: (2024)

Beacon: Single-Turn Diagnosis and Mitigation of Latent Sycophancy in Large Language Models
di: Pandey, Sanskar, et al.
Pubblicazione: (2025)

Enhancing RAG Efficiency with Adaptive Context Compression
di: Guo, Shuyu, et al.
Pubblicazione: (2025)

InfLLM: Training-Free Long-Context Extrapolation for LLMs with an Efficient Context Memory
di: Xiao, Chaojun, et al.
Pubblicazione: (2024)

Smooth Reading: Bridging the Gap of Recurrent LLM to Self-Attention LLM on Long-Context Tasks
di: Liu, Kai, et al.
Pubblicazione: (2025)