Copertina

Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Phan, Buu, Amos, Brandon, Gat, Itai, Havasi, Marton, Muckley, Matthew, Ullrich, Karen
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Understanding and Mitigating Tokenization Bias in Language Models
di: Phan, Buu, et al.
Pubblicazione: (2024)

Cross-Tokenizer Likelihood Scoring Algorithms for Language Model Distillation
di: Phan, Buu, et al.
Pubblicazione: (2025)

Edit Flows: Flow Matching with Edit Operations
di: Havasi, Marton, et al.
Pubblicazione: (2025)

Corrector Sampling in Language Models
di: Gat, Itai, et al.
Pubblicazione: (2025)

Set Block Decoding is a Language Model Inference Accelerator
di: Gat, Itai, et al.
Pubblicazione: (2025)

ByteFlow: Language Modeling through Adaptive Byte Compression without a Tokenizer
di: Deng, Chunyuan, et al.
Pubblicazione: (2026)

Channel Simulation and Distributed Compression with Ensemble Rejection Sampling
di: Phan, Buu, et al.
Pubblicazione: (2025)

SpaceByte: Towards Deleting Tokenization from Large Language Modeling
di: Slagle, Kevin
Pubblicazione: (2024)

MambaByte: Token-free Selective State Space Model
di: Wang, Junxiong, et al.
Pubblicazione: (2024)

Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models
di: Shravan, Rohan
Pubblicazione: (2026)

Diverse Concept Proposals for Concept Bottleneck Models
di: Brown, Katrina, et al.
Pubblicazione: (2024)

MrT5: Dynamic Token Merging for Efficient Byte-level Language Models
di: Kallini, Julie, et al.
Pubblicazione: (2024)

Scratchpad Patching: Decoupling Compute from Patch Size in Byte-Level Language Models
di: Zheng, Lin, et al.
Pubblicazione: (2026)

List-Level Distribution Coupling with Applications to Speculative Decoding and Lossy Compression
di: Rowan, Joseph, et al.
Pubblicazione: (2025)

Flow Matching with General Discrete Paths: A Kinetic-Optimal Perspective
di: Shaul, Neta, et al.
Pubblicazione: (2024)

Generator Matching: Generative modeling with arbitrary Markov processes
di: Holderrieth, Peter, et al.
Pubblicazione: (2024)

Lossless Compression of Vector IDs for Approximate Nearest Neighbor Search
di: Severo, Daniel, et al.
Pubblicazione: (2025)

GPUTOK: GPU Accelerated Byte Level BPE Tokenization
di: Kadamba, Venu Gopal, et al.
Pubblicazione: (2026)

Just on Time: Token-Level Early Stopping for Diffusion Language Models
di: Kohut, Zahar, et al.
Pubblicazione: (2026)

Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
di: Neitemeier, Pit, et al.
Pubblicazione: (2025)

Language Models over Canonical Byte-Pair Encodings
di: Vieira, Tim, et al.
Pubblicazione: (2025)

Specialising and Analysing Instruction-Tuned and Byte-Level Language Models for Organic Reaction Prediction
di: Pang, Jiayun, et al.
Pubblicazione: (2024)

Byte-token Enhanced Language Models for Temporal Point Processes Analysis
di: Kong, Quyu, et al.
Pubblicazione: (2025)

Online Intrinsic Rewards for Decision Making Agents from Large Language Model Feedback
di: Zheng, Qinqing, et al.
Pubblicazione: (2024)

Scalable Token-Level Hallucination Detection in Large Language Models
di: Min, Rui, et al.
Pubblicazione: (2026)

Flow Matching Guide and Code
di: Lipman, Yaron, et al.
Pubblicazione: (2024)

Guarantee Regions for Local Explanations
di: Havasi, Marton, et al.
Pubblicazione: (2024)

Textually Pretrained Speech Language Models
di: Hassid, Michael, et al.
Pubblicazione: (2023)

Sampling from Your Language Model One Byte at a Time
di: Hayase, Jonathan, et al.
Pubblicazione: (2025)

Transition Matching: Scalable and Flexible Generative Modeling
di: Shaul, Neta, et al.
Pubblicazione: (2025)

TLPO: Token-Level Policy Optimization for Mitigating Language Confusion in Large Language Models
di: Choo, Jinho, et al.
Pubblicazione: (2026)

Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach
di: Quevedo, Ernesto, et al.
Pubblicazione: (2024)

Language Modeling with Learned Meta-Tokens
di: Shah, Alok N., et al.
Pubblicazione: (2025)

Parallel Token Prediction for Language Models
di: Draxler, Felix, et al.
Pubblicazione: (2025)

AlignDistil: Token-Level Language Model Alignment as Adaptive Policy Distillation
di: Zhang, Songming, et al.
Pubblicazione: (2025)

Large Language Models Struggle in Token-Level Clinical Named Entity Recognition
di: Lu, Qiuhao, et al.
Pubblicazione: (2024)

DP-Fusion: Token-Level Differentially Private Inference for Large Language Models
di: Thareja, Rushil, et al.
Pubblicazione: (2025)

Beyond Next Token Prediction: Patch-Level Training for Large Language Models
di: Shao, Chenze, et al.
Pubblicazione: (2024)

TokUR: Token-Level Uncertainty Estimation for Large Language Model Reasoning
di: Zhang, Tunyu, et al.
Pubblicazione: (2025)

Ensembling Finetuned Language Models for Text Classification
di: Arango, Sebastian Pineda, et al.
Pubblicazione: (2024)