Copertina

The Truth Lies Somewhere in the Middle (of the Generated Tokens)

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Wang, Sophie L., Isola, Phillip, Cheung, Brian
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Words That Make Language Models Perceive
di: Wang, Sophie L., et al.
Pubblicazione: (2025)

Soft Tokens, Hard Truths
di: Butt, Natasha, et al.
Pubblicazione: (2025)

The Platonic Representation Hypothesis
di: Huh, Minyoung, et al.
Pubblicazione: (2024)

TruthFlow: Truthful LLM Generation via Representation Flow Correction
di: Wang, Hanyu, et al.
Pubblicazione: (2025)

Training Neural Networks from Scratch with Parallel Low-Rank Adapters
di: Huh, Minyoung, et al.
Pubblicazione: (2024)

Pruning Weights but Not Truth: Safeguarding Truthfulness While Pruning LLMs
di: Fu, Yao, et al.
Pubblicazione: (2025)

Evaluation of LLMs on Syntax-Aware Code Fill-in-the-Middle Tasks
di: Gong, Linyuan, et al.
Pubblicazione: (2024)

Compressing LLMs: The Truth is Rarely Pure and Never Simple
di: Jaiswal, Ajay, et al.
Pubblicazione: (2023)

Adaptive Length Image Tokenization via Recurrent Allocation
di: Duggal, Shivam, et al.
Pubblicazione: (2024)

TruthRL: Incentivizing Truthful LLMs via Reinforcement Learning
di: Wei, Zhepei, et al.
Pubblicazione: (2025)

Over-Tokenized Transformer: Vocabulary is Generally Worth Scaling
di: Huang, Hongzhi, et al.
Pubblicazione: (2025)

Multi-Token Prediction via Self-Distillation
di: Kirchenbauer, John, et al.
Pubblicazione: (2026)

TokenShapley: Token Level Context Attribution with Shapley Value
di: Xiao, Yingtai, et al.
Pubblicazione: (2025)

ProPD: Dynamic Token Tree Pruning and Generation for LLM Parallel Decoding
di: Zhong, Shuzhang, et al.
Pubblicazione: (2024)

Few Tokens, Big Leverage: Preserving Safety Alignment by Constraining Safety Tokens during Fine-tuning
di: Wang, Guoli, et al.
Pubblicazione: (2026)

Improved Representation of Asymmetrical Distances with Interval Quasimetric Embeddings
di: Wang, Tongzhou, et al.
Pubblicazione: (2022)

TruthX: Alleviating Hallucinations by Editing Large Language Models in Truthful Space
di: Zhang, Shaolei, et al.
Pubblicazione: (2024)

Non-Linear Inference Time Intervention: Improving LLM Truthfulness
di: Hoscilowicz, Jakub, et al.
Pubblicazione: (2024)

LLM Knowledge is Brittle: Truthfulness Representations Rely on Superficial Resemblance
di: Haller, Patrick, et al.
Pubblicazione: (2025)

Distilled Feature Fields Enable Few-Shot Language-Guided Manipulation
di: Shen, William, et al.
Pubblicazione: (2023)

Single-pass Adaptive Image Tokenization for Minimum Program Search
di: Duggal, Shivam, et al.
Pubblicazione: (2025)

A Vision Check-up for Language Models
di: Sharma, Pratyusha, et al.
Pubblicazione: (2024)

A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens
di: Dobre, David, et al.
Pubblicazione: (2025)

ADELT: Transpilation Between Deep Learning Frameworks
di: Gong, Linyuan, et al.
Pubblicazione: (2023)

TokSuite: Measuring the Impact of Tokenizer Choice on Language Model Behavior
di: Altıntaş, Gül Sena, et al.
Pubblicazione: (2025)

Improving Next Tokens via Second-to-Last Predictions with Generate and Refine
di: Schneider, Johannes
Pubblicazione: (2024)

Improving Diffusion Language Model Decoding through Joint Search in Generation Order and Token Space
di: Shen, Yangyi, et al.
Pubblicazione: (2026)

Challenging Assumptions in Learning Generic Text Style Embeddings
di: Ostheimer, Phil, et al.
Pubblicazione: (2025)

Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations
di: Chen, Tong, et al.
Pubblicazione: (2025)

X-Token: Projection-Guided Cross-Tokenizer Knowledge Distillation
di: Sreenivas, Sharath Turuvekere, et al.
Pubblicazione: (2026)

Token Distillation: Attention-aware Input Embeddings For New Tokens
di: Dobler, Konstantin, et al.
Pubblicazione: (2025)

The Geometries of Truth Are Orthogonal Across Tasks
di: Azizian, Waiss, et al.
Pubblicazione: (2025)

RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably
di: Du, Yufeng, et al.
Pubblicazione: (2026)

Learning to Skip the Middle Layers of Transformers
di: Lawson, Tim, et al.
Pubblicazione: (2025)

Towards Auto-Regressive Next-Token Prediction: In-Context Learning Emerges from Generalization
di: Gong, Zixuan, et al.
Pubblicazione: (2025)

Lossless Compression of Large Language Model-Generated Text via Next-Token Prediction
di: Mao, Yu, et al.
Pubblicazione: (2025)

Token Sparse Attention: Efficient Long-Context Inference with Interleaved Token Selection
di: Jo, Dongwon, et al.
Pubblicazione: (2026)

AST-T5: Structure-Aware Pretraining for Code Generation and Understanding
di: Gong, Linyuan, et al.
Pubblicazione: (2024)

LanguaShrink: Reducing Token Overhead with Psycholinguistics
di: Liang, Xuechen, et al.
Pubblicazione: (2024)

The Foundations of Tokenization: Statistical and Computational Concerns
di: Gastaldi, Juan Luis, et al.
Pubblicazione: (2024)