Buchumschlag

Information Gravity: A Field-Theoretic Model for Token Selection in Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Vyshnyvetska, Maryna
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Problematic Tokens: Tokenizer Bias in Large Language Models
von: Yang, Jin, et al.
Veröffentlicht: (2024)

Enhancing Large Language Model Reasoning via Selective Critical Token Fine-Tuning
von: Ruan, Zhiwen, et al.
Veröffentlicht: (2025)

Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models
von: Yang, Jinbiao
Veröffentlicht: (2024)

Towards Distillation-Resistant Large Language Models: An Information-Theoretic Perspective
von: Fang, Hao, et al.
Veröffentlicht: (2026)

Large Language Model as Token Compressor and Decompressor
von: Li, Wenbing, et al.
Veröffentlicht: (2026)

Retrofitting Large Language Models with Dynamic Tokenization
von: Feher, Darius, et al.
Veröffentlicht: (2024)

Unveiling Selection Biases: Exploring Order and Token Sensitivity in Large Language Models
von: Wei, Sheng-Lun, et al.
Veröffentlicht: (2024)

An Information-Theoretic Framework for Robust Large Language Model Editing
von: Chen, Qizhou, et al.
Veröffentlicht: (2025)

Performance Evaluation of Tokenizers in Large Language Models for the Assamese Language
von: Tamang, Sagar, et al.
Veröffentlicht: (2024)

MorphPiece : A Linguistic Tokenizer for Large Language Models
von: Jabbar, Haris
Veröffentlicht: (2023)

Not Every Token Needs Forgetting: Selective Unlearning to Limit Change in Utility in Large Language Model Unlearning
von: Wan, Yixin, et al.
Veröffentlicht: (2025)

Rethinking Personalization in Large Language Models at the Token Level
von: Zhang, Chenheng, et al.
Veröffentlicht: (2026)

Knowledge of Pretrained Language Models on Surface Information of Tokens
von: Hiraoka, Tatsuya, et al.
Veröffentlicht: (2024)

PromptDistill: Query-based Selective Token Retention in Intermediate Layers for Efficient Large Language Model Inference
von: Jin, Weisheng, et al.
Veröffentlicht: (2025)

Token-Level Privacy in Large Language Models
von: Harel, Re'em, et al.
Veröffentlicht: (2025)

Tokenization Matters! Degrading Large Language Models through Challenging Their Tokenization
von: Wang, Dixuan, et al.
Veröffentlicht: (2024)

FTP: A Fine-grained Token-wise Pruner for Large Language Models via Token Routing
von: Li, Zekai, et al.
Veröffentlicht: (2024)

Contextually Structured Token Dependency Encoding for Large Language Models
von: Blades, James, et al.
Veröffentlicht: (2025)

Identifying and Analyzing Performance-Critical Tokens in Large Language Models
von: Bai, Yu, et al.
Veröffentlicht: (2024)

Tokenization Falling Short: On Subword Robustness in Large Language Models
von: Chai, Yekun, et al.
Veröffentlicht: (2024)

Taking a Deep Breath: Enhancing Language Modeling of Large Language Models with Sentinel Tokens
von: Luo, Weiyao, et al.
Veröffentlicht: (2024)

InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models
von: Liu, Xinxin, et al.
Veröffentlicht: (2026)

From Tokens To Agents: A Researcher's Guide To Understanding Large Language Models
von: Barolo, Daniele
Veröffentlicht: (2026)

Vision-centric Token Compression in Large Language Model
von: Xing, Ling, et al.
Veröffentlicht: (2025)

The Geometry of Tokens in Internal Representations of Large Language Models
von: Viswanathan, Karthik, et al.
Veröffentlicht: (2025)

Counting Ability of Large Language Models and Impact of Tokenization
von: Zhang, Xiang, et al.
Veröffentlicht: (2024)

Addressing Tokenization Inconsistency in Steganography and Watermarking Based on Large Language Models
von: Yan, Ruiyi, et al.
Veröffentlicht: (2025)

Structured Token Retention and Computational Memory Paths in Large Language Models
von: Delena, Jonathan, et al.
Veröffentlicht: (2025)

STARS: Synchronous Token Alignment for Robust Supervision in Large Language Models
von: Quamar, Mohammad Atif, et al.
Veröffentlicht: (2025)

TokMem: One-Token Procedural Memory for Large Language Models
von: Wu, Zijun, et al.
Veröffentlicht: (2025)

LBPE: Long-token-first Tokenization to Improve Large Language Models
von: Lian, Haoran, et al.
Veröffentlicht: (2024)

Flexibly Scaling Large Language Models Contexts Through Extensible Tokenization
von: Shao, Ninglu, et al.
Veröffentlicht: (2024)

BAS: A Decision-Theoretic Approach to Evaluating Large Language Model Confidence
von: Wu, Sean, et al.
Veröffentlicht: (2026)

Temporal Tokenization Strategies for Event Sequence Modeling with Large Language Models
von: Liu, Zefang, et al.
Veröffentlicht: (2025)

Evaluating Large Language Models for Material Selection
von: Grandi, Daniele, et al.
Veröffentlicht: (2024)

Large Language Model-guided Document Selection
von: Kong, Xiang, et al.
Veröffentlicht: (2024)

Theoretical and Methodological Framework for Studying Texts Produced by Large Language Models
von: Milička, Jiří
Veröffentlicht: (2024)

Theoretical Foundations and Mitigation of Hallucination in Large Language Models
von: Gumaan, Esmail
Veröffentlicht: (2025)

Active Model Selection for Large Language Models
von: Durmazkeser, Yavuz, et al.
Veröffentlicht: (2025)

Counterfactual Token Generation in Large Language Models
von: Chatzi, Ivi, et al.
Veröffentlicht: (2024)