Buchumschlag

Fundamental Limits of Prompt Compression: A Rate-Distortion Framework for Black-Box Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Nagle, Alliot, Girish, Adway, Bondaschi, Marco, Gastpar, Michael, Makkuva, Ashok Vardhan, Kim, Hyeji
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language Information Theory
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Attention with Markov: A Framework for Principled Analysis of Transformers via Markov Chains
von: Makkuva, Ashok Vardhan, et al.
Veröffentlicht: (2024)

Local to Global: Learning Dynamics and Effect of Initialization for Transformers
von: Makkuva, Ashok Vardhan, et al.
Veröffentlicht: (2024)

TERMINATOR: Learning Optimal Exit Points for Early Stopping in Chain-of-Thought Reasoning
von: Nagle, Alliot, et al.
Veröffentlicht: (2026)

Transformers on Markov Data: Constant Depth Suffices
von: Rajaraman, Nived, et al.
Veröffentlicht: (2024)

LASER: Linear Compression in Wireless Distributed Optimization
von: Makkuva, Ashok Vardhan, et al.
Veröffentlicht: (2023)

From Markov to Laplace: How Mamba In-Context Learns Markov Chains
von: Bondaschi, Marco, et al.
Veröffentlicht: (2025)

Alpha-NML Universal Predictors
von: Bondaschi, Marco, et al.
Veröffentlicht: (2022)

Batch Universal Prediction
von: Bondaschi, Marco, et al.
Veröffentlicht: (2024)

The Conditional Regret-Capacity Theorem for Batch Universal Prediction
von: Bondaschi, Marco, et al.
Veröffentlicht: (2025)

Neural Distributed Source Coding
von: Whang, Jay, et al.
Veröffentlicht: (2021)

Shannon Bounds for Quadratic Rate-Distortion Problems
von: Gastpar, Michael, et al.
Veröffentlicht: (2024)

What One Cannot, Two Can: Two-Layer Transformers Provably Represent Induction Heads on Any-Order Markov Chains
von: Ekbote, Chanakya, et al.
Veröffentlicht: (2025)

On the Suboptimality of Rate--Distortion-Optimal Compression: Fundamental Accuracy Limits for Distributed Localization
von: Weiss, Amir
Veröffentlicht: (2026)

A Rate-Distortion Framework for Summarization
von: Arda, Enes, et al.
Veröffentlicht: (2025)

A Theoretical Framework for Rate-Distortion Limits in Learned Image Compression
von: Wang, Changshuo, et al.
Veröffentlicht: (2026)

Integrated Sensing and Communication: Rate-Distortion Fundamental Limits of State Estimator
von: Feng, Lugaoze, et al.
Veröffentlicht: (2025)

Prompt Compression in the Wild: Measuring Latency, Rate Adherence, and Quality for Faster LLM Inference
von: Kummer, Cornelius, et al.
Veröffentlicht: (2026)

Fundamental Limitation of Semantic Communications: Neural Estimation for Rate-Distortion
von: Li, Dongxu, et al.
Veröffentlicht: (2024)

On entropy-constrained Gaussian channel capacity via the moment problem
von: Girish, Adway, et al.
Veröffentlicht: (2025)

High signal-to-noise ratio asymptotics of entropy-constrained Gaussian channel capacity
von: Girish, Adway, et al.
Veröffentlicht: (2026)

Open-Source Reproduction and Explainability Analysis of Corrective Retrieval Augmented Generation
von: Yalavarthi, Surya Vardhan
Veröffentlicht: (2026)

Document Optimization for Black-Box Retrieval via Reinforcement Learning
von: Uzan, Omri, et al.
Veröffentlicht: (2026)

Batch Normalization Decomposed
von: Nachum, Ido, et al.
Veröffentlicht: (2024)

Approaching Rate-Distortion Limits in Neural Compression with Lattice Transform Coding
von: Lei, Eric, et al.
Veröffentlicht: (2024)

RateQuant: Optimal Mixed-Precision KV Cache Quantization via Rate-Distortion Theory
von: Zuo, Fei, et al.
Veröffentlicht: (2026)

CodeTaxo: Enhancing Taxonomy Expansion with Limited Examples via Code Language Prompts
von: Zeng, Qingkai, et al.
Veröffentlicht: (2024)

FIT-RAG: Black-Box RAG with Factual Information and Token Reduction
von: Mao, Yuren, et al.
Veröffentlicht: (2024)

Peeking inside the Black-Box: Reinforcement Learning for Explainable and Accurate Relation Extraction
von: Guo, Xinyu, et al.
Veröffentlicht: (2025)

Low-Rate, Low-Distortion Compression with Wasserstein Distortion
von: Qiu, Yang, et al.
Veröffentlicht: (2024)

Residual Diffusion Models for Variable-Rate Joint Source Channel Coding of MIMO CSI
von: Ankireddy, Sravan Kumar, et al.
Veröffentlicht: (2025)

On the suboptimality of linear codes for binary distributed hypothesis testing
von: Girish, Adway, et al.
Veröffentlicht: (2026)

Rate-Distortion Analysis of Optically Passive Vision Compression
von: Ogden, Ronald, et al.
Veröffentlicht: (2026)

Universal Rate-Distortion-Classification Representations for Lossy Compression
von: Nguyen, Nam, et al.
Veröffentlicht: (2025)

Radio: Rate-Distortion Optimization for Large Language Model Compression
von: Young, Sean I.
Veröffentlicht: (2025)

Harmonizing Program Induction with Rate-Distortion Theory
von: Zhou, Hanqi, et al.
Veröffentlicht: (2024)

Semantic Identity Compression: Zero-Error Laws, Rate-Distortion, and Neurosymbolic Necessity
von: Simas, Tristan
Veröffentlicht: (2026)

LimGen: Probing the LLMs for Generating Suggestive Limitations of Research Papers
von: Faizullah, Abdur Rahman Bin Md, et al.
Veröffentlicht: (2024)

Converse for Multi-Server Single-Message PIR with Side Information
von: Li, Su, et al.
Veröffentlicht: (2018)

Are Longer Prompts Always Better? Prompt Selection in Large Language Models for Recommendation Systems
von: Kusano, Genki, et al.
Veröffentlicht: (2024)

Model non-collapse: Minimax bounds for recursive discrete distribution estimation
von: Kanabar, Millen, et al.
Veröffentlicht: (2025)