Buchumschlag

UniGist: Towards General and Hardware-aligned Sequence-level Long Context Compression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Deng, Chenlong, Zhang, Zhisong, Mao, Kelong, Li, Shuaiyi, Fang, Tianqing, Zhang, Hongming, Mi, Haitao, Yu, Dong, Dou, Zhicheng
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

A Silver Bullet or a Compromise for Full Attention? A Comprehensive Study of Gist Token-based Context Compression
von: Deng, Chenlong, et al.
Veröffentlicht: (2024)

InComeS: Integrating Compression and Selection Mechanisms into LLMs for Efficient Model Editing
von: Li, Shuaiyi, et al.
Veröffentlicht: (2025)

Recall with Reasoning: Chain-of-Thought Distillation for Mamba's Long-Context Memory and Extrapolation
von: Ma, Junyu, et al.
Veröffentlicht: (2025)

Attention Entropy is a Key Factor: An Analysis of Parallel Context Encoding with Full-attention-based Pre-trained Language Models
von: Zhang, Zhisong, et al.
Veröffentlicht: (2024)

Learning Interpretable Legal Case Retrieval via Knowledge-Guided Case Reformulation
von: Deng, Chenlong, et al.
Veröffentlicht: (2024)

Enabling Discriminative Reasoning in LLMs for Legal Judgment Prediction
von: Deng, Chenlong, et al.
Veröffentlicht: (2024)

Compressing Lengthy Context With UltraGist
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

WebRollback: Enhancing Web Agents with Explicit Rollback Mechanisms
von: Zhang, Zhisong, et al.
Veröffentlicht: (2025)

WebEvolver: Enhancing Web Agent Self-Improvement with Coevolving World Model
von: Fang, Tianqing, et al.
Veröffentlicht: (2025)

Long Context In-Context Compression by Getting to the Gist of Gisting
von: Petrov, Aleksandar, et al.
Veröffentlicht: (2025)

VScan: Rethinking Visual Token Reduction for Efficient Large Vision-Language Models
von: Zhang, Ce, et al.
Veröffentlicht: (2025)

Are Long-LLMs A Necessity For Long-Context Tasks?
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation
von: Li, Shuaiyi, et al.
Veröffentlicht: (2026)

Sentence-Anchored Gist Compression for Long-Context LLMs
von: Tarasov, Dmitrii, et al.
Veröffentlicht: (2025)

ChatRetriever: Adapting Large Language Models for Generalized and Robust Conversational Dense Retrieval
von: Mao, Kelong, et al.
Veröffentlicht: (2024)

WebCoT: Enhancing Web Agent Reasoning by Reconstructing Chain-of-Thought in Reflection, Branching, and Rollback
von: Hu, Minda, et al.
Veröffentlicht: (2025)

Interpreting Conversational Dense Retrieval by Rewriting-Enhanced Inversion of Session Embedding
von: Cheng, Yiruo, et al.
Veröffentlicht: (2024)

MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

Grounding Language Model with Chunking-Free In-Context Retrieval
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

GLARE: Agentic Reasoning for Legal Judgment Prediction
von: Yang, Xinyu, et al.
Veröffentlicht: (2025)

Long Context Compression with Activation Beacon
von: Zhang, Peitian, et al.
Veröffentlicht: (2024)

RecThinker: An Agentic Framework for Tool-Augmented Reasoning in Recommendation
von: Zhang, Haobo, et al.
Veröffentlicht: (2026)

WebAggregator: Enhancing Compositional Reasoning Capabilities of Deep Research Agent Foundation Models
von: Wang, Rui, et al.
Veröffentlicht: (2025)

ChatShopBuddy: Towards Reliable Conversational Shopping Agents via Reinforcement Learning
von: Cheng, Yiruo, et al.
Veröffentlicht: (2026)

Generalizing Conversational Dense Retrieval via LLM-Cognition Data Augmentation
von: Chen, Haonan, et al.
Veröffentlicht: (2024)

ToolScope: An Agentic Framework for Vision-Guided and Long-Horizon Tool Use
von: Deng, Mengjie, et al.
Veröffentlicht: (2025)

Learning to Compress Prompts with Gist Tokens
von: Mu, Jesse, et al.
Veröffentlicht: (2023)

GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks
von: Gupta, Shivanshu, et al.
Veröffentlicht: (2023)

Forget, Then Recall: Learnable Compression and Selective Unfolding via Gist Sparse Attention
von: Mao, Yuzhen, et al.
Veröffentlicht: (2026)

LawThinker: A Deep Research Legal Agent in Dynamic Environments
von: Yang, Xinyu, et al.
Veröffentlicht: (2026)

Low-Bit Quantization Favors Undertrained LLMs: Scaling Laws for Quantized LLMs with 100T Training Tokens
von: Ouyang, Xu, et al.
Veröffentlicht: (2024)

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts
von: Lee, Kuang-Huei, et al.
Veröffentlicht: (2024)

Boosting Long-Context Management via Query-Guided Activation Refilling
von: Qian, Hongjin, et al.
Veröffentlicht: (2024)

GPG: Generalized Policy Gradient Theorem for Transformer-based Policies
von: Mao, Hangyu, et al.
Veröffentlicht: (2025)

Towards Mixed-Modal Retrieval for Universal Retrieval-Augmented Generation
von: Zhang, Chenghao, et al.
Veröffentlicht: (2025)

MALLOC: Benchmarking the Memory-aware Long Sequence Compression for Large Sequential Recommendation
von: Yu, Qihang, et al.
Veröffentlicht: (2026)

Measure Twice, Click Once: Co-evolving Proposer and Visual Critic via Reinforcement Learning for GUI Grounding
von: Wang, Wenkai, et al.
Veröffentlicht: (2026)

EmoGist: Efficient In-Context Learning for Visual Emotion Understanding
von: Seoh, Ronald, et al.
Veröffentlicht: (2025)

Guided Self-Evolving LLMs with Minimal Human Supervision
von: Yu, Wenhao, et al.
Veröffentlicht: (2025)

CCF: A Context Compression Framework for Efficient Long-Sequence Language Modeling
von: Li, Wenhao, et al.
Veröffentlicht: (2025)