Buchumschlag

NITP: Next Implicit Token Prediction for LLM Pre-training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zhang, Xiangdong, Zhang, Debing, Zhang, Shaofeng, Qin, Xiaohan, Cheng, Yu, Yan, Junchi
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Towards More Diverse and Challenging Pre-training for Point Cloud Learning: Self-Supervised Cross Reconstruction with Decoupled Views
von: Zhang, Xiangdong, et al.
Veröffentlicht: (2025)

PCP-MAE: Learning to Predict Centers for Point Masked Autoencoders
von: Zhang, Xiangdong, et al.
Veröffentlicht: (2024)

Put the Space of LoRA Initialization to the Extreme to Preserve Pre-trained Knowledge
von: Tang, Pengwei, et al.
Veröffentlicht: (2025)

Reasoning Bias of Next Token Prediction Training
von: Lin, Pengxiao, et al.
Veröffentlicht: (2025)

Implicit Optimization Bias of Next-Token Prediction in Linear Models
von: Thrampoulidis, Christos
Veröffentlicht: (2024)

Cautious Next Token Prediction
von: Wang, Yizhou, et al.
Veröffentlicht: (2025)

Untie the Knots: An Efficient Data Augmentation Strategy for Long-Context Pre-Training in Language Models
von: Tian, Junfeng, et al.
Veröffentlicht: (2024)

Geometry of Semantics in Next-Token Prediction: How Optimization Implicitly Organizes Linguistic Representations
von: Zhao, Yize, et al.
Veröffentlicht: (2025)

Token Prediction as Implicit Classification to Identify LLM-Generated Text
von: Chen, Yutian, et al.
Veröffentlicht: (2023)

Anatomical Structure-Guided Medical Vision-Language Pre-training
von: Li, Qingqiu, et al.
Veröffentlicht: (2024)

Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models
von: Zhang, Ying, et al.
Veröffentlicht: (2024)

Dual-Branch Center-Surrounding Contrast: Rethinking Contrastive Learning for 3D Point Clouds
von: Zhang, Shaofeng, et al.
Veröffentlicht: (2025)

SENTRA: Selected-Next-Token Transformer for LLM Text Detection
von: Plyler, Mitchell, et al.
Veröffentlicht: (2025)

ssToken: Self-modulated and Semantic-aware Token Selection for LLM Fine-tuning
von: Qin, Xiaohan, et al.
Veröffentlicht: (2025)

Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
von: Cheng, Yu-Ang, et al.
Veröffentlicht: (2025)

QoSBERT: An Uncertainty-Aware Approach based on Pre-trained Language Models for Service Quality Prediction
von: Wang, Ziliang, et al.
Veröffentlicht: (2025)

Adaptive Pre-training Data Detection for Large Language Models via Surprising Tokens
von: Zhang, Anqi, et al.
Veröffentlicht: (2024)

VideoREPA: Learning Physics for Video Generation through Relational Alignment with Foundation Models
von: Zhang, Xiangdong, et al.
Veröffentlicht: (2025)

Scaling LLM Pre-training with Vocabulary Curriculum
von: Yu, Fangyuan
Veröffentlicht: (2025)

Diversity or Precision? A Deep Dive into Next Token Prediction
von: Wu, Haoyuan, et al.
Veröffentlicht: (2025)

Teaching Old Tokenizers New Words: Efficient Tokenizer Adaptation for Pre-trained Models
von: Purason, Taido, et al.
Veröffentlicht: (2025)

NEST-RQ: Next Token Prediction for Speech Self-Supervised Pre-Training
von: Han, Minglun, et al.
Veröffentlicht: (2024)

On Predicting the Post-training Potential of Pre-trained LLMs
von: Li, Xiaoyuan, et al.
Veröffentlicht: (2026)

JTok: On Token Embedding as another Axis of Scaling Law via Joint Token Self-modulation
von: Yang, Yebin, et al.
Veröffentlicht: (2026)

Fine-tuning Pre-trained Language Models for Few-shot Intent Detection: Supervised Pre-training and Isotropization
von: Zhang, Haode, et al.
Veröffentlicht: (2022)

Training LLMs Beyond Next Token Prediction -- Filling the Mutual Information Gap
von: Yang, Chun-Hao, et al.
Veröffentlicht: (2025)

ENTP: Encoder-only Next Token Prediction
von: Ewer, Ethan, et al.
Veröffentlicht: (2024)

GeoX: Geometric Problem Solving Through Unified Formalized Vision-Language Pre-training
von: Xia, Renqiu, et al.
Veröffentlicht: (2024)

TRELM: Towards Robust and Efficient Pre-training for Knowledge-Enhanced Language Models
von: Yan, Junbing, et al.
Veröffentlicht: (2024)

Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs?
von: Zeng, Hansi, et al.
Veröffentlicht: (2025)

Next-Token Prediction Task Assumes Optimal Data Ordering for LLM Training in Proof Generation
von: An, Chenyang, et al.
Veröffentlicht: (2024)

New Intent Discovery with Pre-training and Contrastive Learning
von: Zhang, Yuwei, et al.
Veröffentlicht: (2022)

Domain-Adapted Pre-trained Language Models for Implicit Information Extraction in Crash Narratives
von: Wang, Xixi, et al.
Veröffentlicht: (2025)

Chinese Sequence Labeling with Semi-Supervised Boundary-Aware Language Model Pre-training
von: Zhang, Longhui, et al.
Veröffentlicht: (2024)

Text-to-Code Generation with Modality-relative Pre-training
von: Christopoulou, Fenia, et al.
Veröffentlicht: (2024)

From Implicit to Explicit: Token-Efficient Logical Supervision for Mathematical Reasoning in LLMs
von: Wang, Shaojie, et al.
Veröffentlicht: (2026)

Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization
von: Jin, Yang, et al.
Veröffentlicht: (2024)

Is Next Token Prediction Sufficient for GPT? Exploration on Code Logic Comprehension
von: Qi, Mengnan, et al.
Veröffentlicht: (2024)

SoftMCL: Soft Momentum Contrastive Learning for Fine-grained Sentiment-aware Pre-training
von: Wang, Jin, et al.
Veröffentlicht: (2024)

Effectiveness of Pre-training for Few-shot Intent Classification
von: Zhang, Haode, et al.
Veröffentlicht: (2021)