A Silver Bullet or a Compromise for Full Attention? A Comprehensive Study of Gist Token-based Context Compression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Deng, Chenlong, Zhang, Zhisong, Mao, Kelong, Li, Shuaiyi, Huang, Xinting, Yu, Dong, Dou, Zhicheng
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression
von: Deng, Chenlong, et al.
Veröffentlicht: (2025)

Attention Entropy is a Key Factor: An Analysis of Parallel Context Encoding with Full-attention-based Pre-trained Language Models
von: Zhang, Zhisong, et al.
Veröffentlicht: (2024)

Learning Interpretable Legal Case Retrieval via Knowledge-Guided Case Reformulation
von: Deng, Chenlong, et al.
Veröffentlicht: (2024)

Enabling Discriminative Reasoning in LLMs for Legal Judgment Prediction
von: Deng, Chenlong, et al.
Veröffentlicht: (2024)

Compressing Lengthy Context With UltraGist
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing
von: Li, Shuaiyi, et al.
Veröffentlicht: (2025)

Long Context In-Context Compression by Getting to the Gist of Gisting
von: Petrov, Aleksandar, et al.
Veröffentlicht: (2025)

Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation
von: Li, Shuaiyi, et al.
Veröffentlicht: (2026)

ChatRetriever: Adapting Large Language Models for Generalized and Robust Conversational Dense Retrieval
von: Mao, Kelong, et al.
Veröffentlicht: (2024)

Learning to Compress Prompts with Gist Tokens
von: Mu, Jesse, et al.
Veröffentlicht: (2023)

Interpreting Conversational Dense Retrieval by Rewriting-Enhanced Inversion of Session Embedding
von: Cheng, Yiruo, et al.
Veröffentlicht: (2024)

Grounding Language Model with Chunking-Free In-Context Retrieval
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

GLARE: Agentic Reasoning for Legal Judgment Prediction
von: Yang, Xinyu, et al.
Veröffentlicht: (2025)

Forget, Then Recall: Learnable Compression and Selective Unfolding via Gist Sparse Attention
von: Mao, Yuzhen, et al.
Veröffentlicht: (2026)

Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

Sentence-Anchored Gist Compression for Long-Context LLMs
von: Tarasov, Dmitrii, et al.
Veröffentlicht: (2025)

MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

LawThinker: A Deep Research Legal Agent in Dynamic Environments
von: Yang, Xinyu, et al.
Veröffentlicht: (2026)

Generalizing Conversational Dense Retrieval via LLM-Cognition Data Augmentation
von: Chen, Haonan, et al.
Veröffentlicht: (2024)

RecThinker: An Agentic Framework for Tool-Augmented Reasoning in Recommendation
von: Zhang, Haobo, et al.
Veröffentlicht: (2026)

Silver Diamine Fluoride: A "Silver Bullet" in Pediatric Caries Management – A Comprehensive Review
von: Prachi P S, Niharika G, Shridevi H, Bhomika A K, Jaya S B, Vartika V S
Veröffentlicht: (2026)

GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks
von: Gupta, Shivanshu, et al.
Veröffentlicht: (2023)

On the Transformations across Reward Model, Parameter Update, and In-Context Prompt
von: Cai, Deng, et al.
Veröffentlicht: (2024)

GPG: Generalized Policy Gradient Theorem for Transformer-based Policies
von: Mao, Hangyu, et al.
Veröffentlicht: (2025)

Regression Testing Optimization for ROS-based Autonomous Systems: A Comprehensive Review of Techniques
von: Jiang, Yupeng, et al.
Veröffentlicht: (2025)

LLMs Are Not a Silver Bullet: A Case Study on Software Fairness
von: Li, Xinyue, et al.
Veröffentlicht: (2026)

Say More with Less: Understanding Prompt Learning Behaviors through Gist Compression
von: Li, Xinze, et al.
Veröffentlicht: (2024)

Red-Teaming for Generative AI: Silver Bullet or Security Theater?
von: Feffer, Michael, et al.
Veröffentlicht: (2024)

ChatShopBuddy: Towards Reliable Conversational Shopping Agents via Reinforcement Learning
von: Cheng, Yiruo, et al.
Veröffentlicht: (2026)

Long Context Compression with Activation Beacon
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability
von: Zhu, Chiwei, et al.
Veröffentlicht: (2025)

Atomic Calibration of LLMs in Long-Form Generations
von: Zhang, Caiqi, et al.
Veröffentlicht: (2024)

UNCLE: Benchmarking Uncertainty Expressions in Long-Form Generation
von: Yang, Ruihan, et al.
Veröffentlicht: (2025)

Is TabPFN the Silver Bullet for Insurance Pricing?
von: Deprez, Bruno, et al.
Veröffentlicht: (2026)

EmoGist: Efficient In-Context Learning for Visual Emotion Understanding
von: Seoh, Ronald, et al.
Veröffentlicht: (2025)

ToolScope: An Agentic Framework for Vision-Guided and Long-Horizon Tool Use
von: Deng, Mengjie, et al.
Veröffentlicht: (2025)

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts
von: Lee, Kuang-Huei, et al.
Veröffentlicht: (2024)

LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing
von: Li, Kuan, et al.
Veröffentlicht: (2025)

Session-level Normalization and Click-through Data Enhancement for Session-based Evaluation
von: Chen, Haonan, et al.
Veröffentlicht: (2024)

One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models
von: Zhu, Yutao, et al.
Veröffentlicht: (2024)