Buchumschlag

Frequency-Ordered Tokenization for Better Text Compression

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Kalcher, Maximilian
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Information Theory Computation and Language 68P30 E.4; I.2.7
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

The Lossy Horizon: Error-Bounded Predictive Coding for Lossy Text Compression (Episode I)
von: Aghanya, Nnamdi, et al.
Veröffentlicht: (2025)

Separate Before You Compress: The WWHO Tokenization Architecture
von: Darshana, Kusal
Veröffentlicht: (2026)

Multi-Agent GraphRAG: A Text-to-Cypher Framework for Labeled Property Graphs
von: Gusarov, Anton, et al.
Veröffentlicht: (2025)

D-SMART: Enhancing LLM Dialogue Consistency via Dynamic Structured Memory And Reasoning Tree
von: Lei, Xiang, et al.
Veröffentlicht: (2025)

Probabilistic Language Tries: A Unified Framework for Compression, Decision Policies, and Execution Reuse
von: Magarshak, Gregory
Veröffentlicht: (2026)

AgenticAI-DialogGen: Topic-Guided Conversation Generation for Fine-Tuning and Evaluating Short- and Long-Term Memories of LLMs
von: Perera, Manoj Madushanka, et al.
Veröffentlicht: (2026)

Mitigating LLM Hallucinations through Domain-Grounded Tiered Retrieval
von: Haque, Md. Asraful, et al.
Veröffentlicht: (2026)

Ontology Learning with LLMs: A Benchmark Study on Axiom Identification
von: Bakker, Roos M., et al.
Veröffentlicht: (2025)

A New Perspective on ADHD Research: Knowledge Graph Construction with LLMs and Network Based Insights
von: Otal, Hakan T., et al.
Veröffentlicht: (2024)

DPDisc: From Factoid Questions to Data Product Requests for Open-World Data Product Discovery over Tables and Text
von: Zhang, Liangliang, et al.
Veröffentlicht: (2025)

Towards Robust Retrieval-Augmented Generation Based on Knowledge Graph: A Comparative Analysis
von: Amamou, Hazem, et al.
Veröffentlicht: (2026)

GE-Chat: A Graph Enhanced RAG Framework for Evidential Response Generation of LLMs
von: Da, Longchao, et al.
Veröffentlicht: (2025)

GSDFuse: Capturing Cognitive Inconsistencies from Multi-Dimensional Weak Signals in Social Media Steganalysis
von: Huang, Kaibo, et al.
Veröffentlicht: (2025)

LLM-Viterbi: Semantic-Aware Decoding for Convolutional Codes
von: Li, Zhengtong, et al.
Veröffentlicht: (2026)

Knowledge Distillation for Low-Resource Open-source Text-to-SQL Model
von: Qiu, Tianhao, et al.
Veröffentlicht: (2026)

Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts
von: Glazkova, Anna, et al.
Veröffentlicht: (2024)

Multi-Task Contrastive Learning for 8192-Token Bilingual Text Embeddings
von: Mohr, Isabelle, et al.
Veröffentlicht: (2024)

A Novel Kuhnian Ontology for Epistemic Classification of STM Scholarly Articles
von: Saqr, Khalid M.
Veröffentlicht: (2020)

Tokenizations for Austronesian Language Models: study on languages in Indonesia Archipelago
von: Lumbantobing, Andhika Bernard, et al.
Veröffentlicht: (2026)

Semantic Retention and Extreme Compression in LLMs: Can We Have Both?
von: Laborde, Stanislas, et al.
Veröffentlicht: (2025)

KNIGHT: Knowledge Graph-Driven Multiple-Choice Question Generation with Adaptive Hardness Calibration
von: Amanlou, Mohammad, et al.
Veröffentlicht: (2026)

LotteryCodec: Searching the Implicit Representation in a Random Network for Low-Complexity Image Compression
von: Wu, Haotian, et al.
Veröffentlicht: (2025)

Adaptive Engram Memory System for Indonesian Language Model: Generative AI Based on TOBA LM for Batak and Minang Language
von: Situngkir, Hokky, et al.
Veröffentlicht: (2026)

An Information-Theoretic Approach for Detecting Edits in AI-Generated Text
von: Kashtan, Idan, et al.
Veröffentlicht: (2023)

Judgment2vec: Apply Graph Analytics to Searching and Recommendation of Similar Judgments
von: Shao, Hsuan-Lei
Veröffentlicht: (2024)

Tokenization Is More Than Compression
von: Schmidt, Craig W., et al.
Veröffentlicht: (2024)

Retrieval-Based Multi-Label Legal Annotation: Extensible, Data-Efficient and Hallucination-Free
von: Zhang, Li, et al.
Veröffentlicht: (2026)

Thinking Longer, Not Always Smarter: Evaluating LLM Capabilities in Hierarchical Legal Reasoning
von: Zhang, Li, et al.
Veröffentlicht: (2025)

Advancing Expert Specialization for Better MoE
von: Guo, Hongcan, et al.
Veröffentlicht: (2025)

A Question Answering Dataset for Temporal-Sensitive Retrieval-Augmented Generation
von: Chen, Ziyang, et al.
Veröffentlicht: (2025)

A Review on Knowledge Graphs for Healthcare: Resources, Applications, and Promises
von: Cui, Hejie, et al.
Veröffentlicht: (2023)

Conformal Prediction Sets for Next-Token Prediction in Large Language Models: Balancing Coverage Guarantees with Set Efficiency
von: Kotla, Yoshith Roy, et al.
Veröffentlicht: (2025)

Compression Method Matters: Benchmark-Dependent Output Dynamics in LLM Prompt Compression
von: Johnson, Warren
Veröffentlicht: (2026)

Evaluating GenAI for Simplifying Texts for Education: Improving Accuracy and Consistency for Enhanced Readability
von: Day, Stephanie L., et al.
Veröffentlicht: (2025)

Multilingual Multi-Label Emotion Classification at Scale with Synthetic Data
von: Borisov, Vadim
Veröffentlicht: (2026)

From Unstructured Recall to Schema-Grounded Memory: Reliable AI Memory via Iterative, Schema-Aware Extraction
von: Petrov, Alex, et al.
Veröffentlicht: (2026)

Fast Quiet-STaR: Thinking Without Thought Tokens
von: Huang, Wei, et al.
Veröffentlicht: (2025)

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution
von: Liu, Xiaoou, et al.
Veröffentlicht: (2026)

Mapping the Web of Science, a large-scale graph and text-based dataset with LLM embeddings
von: Kunt, Tim, et al.
Veröffentlicht: (2026)

Amortized Locally Decodable Codes for Insertions and Deletions
von: Blocki, Jeremiah, et al.
Veröffentlicht: (2025)