Copertina

Unraveling Token Prediction Refinement and Identifying Essential Layers in Language Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Kongmanee, Jaturong
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Artificial Intelligence Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

The Model Mastery Lifecycle: A Framework for Designing Human-AI Interaction
di: Chignell, Mark, et al.
Pubblicazione: (2024)

A Law of Next-Token Prediction in Large Language Models
di: He, Hangfeng, et al.
Pubblicazione: (2024)

Beyond Next Token Prediction: Patch-Level Training for Large Language Models
di: Shao, Chenze, et al.
Pubblicazione: (2024)

TokenButler: Token Importance is Predictable
di: Akhauri, Yash, et al.
Pubblicazione: (2025)

Adaptive Layer Selection for Layer-Wise Token Pruning in LLM Inference
di: Taniguchi, Rei, et al.
Pubblicazione: (2026)

Length-MAX Tokenizer for Language Models
di: Dong, Dong, et al.
Pubblicazione: (2025)

Beyond Next-Token Prediction: A Performance Characterization of Diffusion versus Autoregressive Language Models
di: Kim, Minseo, et al.
Pubblicazione: (2025)

Unraveling and Mitigating Safety Alignment Degradation of Vision-Language Models
di: Liu, Qin, et al.
Pubblicazione: (2024)

Understanding and Mitigating Tokenization Bias in Language Models
di: Phan, Buu, et al.
Pubblicazione: (2024)

Guiding Language Model Reasoning with Planning Tokens
di: Wang, Xinyi, et al.
Pubblicazione: (2023)

Adapting Language Models via Token Translation
di: Feng, Zhili, et al.
Pubblicazione: (2024)

Counterfactual Token Generation in Large Language Models
di: Chatzi, Ivi, et al.
Pubblicazione: (2024)

Layer by Layer: Uncovering Hidden Representations in Language Models
di: Skean, Oscar, et al.
Pubblicazione: (2025)

TIDE: Every Layer Knows the Token Beneath the Context
di: Jaiswal, Ajay, et al.
Pubblicazione: (2026)

Cautious Next Token Prediction
di: Wang, Yizhou, et al.
Pubblicazione: (2025)

Unraveling the cognitive patterns of Large Language Models through module communities
di: Bhandari, Kushal Raj, et al.
Pubblicazione: (2025)

Revisiting Graph-Tokenizing Large Language Models: A Systematic Evaluation of Graph Token Understanding
di: Zhang, Zhongjian, et al.
Pubblicazione: (2026)

Probabilistic Token Alignment for Large Language Model Fusion
di: Zeng, Runjia, et al.
Pubblicazione: (2025)

Specialised or Generic? Tokenization Choices for Radiology Language Models
di: Warr, Hermione, et al.
Pubblicazione: (2025)

Compositional Steering of Large Language Models with Steering Tokens
di: Radevski, Gorjan, et al.
Pubblicazione: (2026)

Token-Efficient Leverage Learning in Large Language Models
di: Zeng, Yuanhao, et al.
Pubblicazione: (2024)

Language Model Cascades: Token-level uncertainty and beyond
di: Gupta, Neha, et al.
Pubblicazione: (2024)

SSR: Socratic Self-Refine for Large Language Model Reasoning
di: Shi, Haizhou, et al.
Pubblicazione: (2025)

Efficient Real-time Refinement of Language Model Text Generation
di: Ko, Joonho, et al.
Pubblicazione: (2025)

Peering Through Preferences: Unraveling Feedback Acquisition for Aligning Large Language Models
di: Bansal, Hritik, et al.
Pubblicazione: (2023)

Does Visual Rendering Bypass Tokenization? Investigating Script-Tokenizer Misalignment in Pixel-Based Language Models
di: Susanto, Lucky, et al.
Pubblicazione: (2026)

Self-Distillation for Multi-Token Prediction
di: Zhao, Guoliang, et al.
Pubblicazione: (2026)

Inconsistent Tokenizations Cause Language Models to be Perplexed by Japanese Grammar
di: Gambardella, Andrew, et al.
Pubblicazione: (2025)

Evaluation of Large Language Models via Coupled Token Generation
di: Benz, Nina Corvelo, et al.
Pubblicazione: (2025)

Scalable Token-Level Hallucination Detection in Large Language Models
di: Min, Rui, et al.
Pubblicazione: (2026)

How Important Is Tokenization in French Medical Masked Language Models?
di: Labrak, Yanis, et al.
Pubblicazione: (2024)

CPR: Mitigating Large Language Model Hallucinations with Curative Prompt Refinement
di: Shim, Jung-Woo, et al.
Pubblicazione: (2025)

Multi-stage Prompt Refinement for Mitigating Hallucinations in Large Language Models
di: Shim, Jung-Woo, et al.
Pubblicazione: (2025)

Self-Refinement of Language Models from External Proxy Metrics Feedback
di: Ramji, Keshav, et al.
Pubblicazione: (2024)

LayerIF: Estimating Layer Quality for Large Language Models using Influence Functions
di: Askari, Hadi, et al.
Pubblicazione: (2025)

Toward Consistent World Models with Multi-Token Prediction and Latent Semantic Enhancement
di: Zhong, Qimin, et al.
Pubblicazione: (2026)

TLPO: Token-Level Policy Optimization for Mitigating Language Confusion in Large Language Models
di: Choo, Jinho, et al.
Pubblicazione: (2026)

Efficient Joint Prediction of Multiple Future Tokens
di: Ahn, Kwangjun, et al.
Pubblicazione: (2025)

Pruning Large Language Models by Identifying and Preserving Functional Networks
di: Liu, Yiheng, et al.
Pubblicazione: (2025)

Training Large Language Models To Reason In Parallel With Global Forking Tokens
di: Jia, Sheng, et al.
Pubblicazione: (2025)