Buchumschlag

IGOT: Information Gain Optimized Tokenizer on Domain Adaptive Pretraining

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Feng, Dawei, Zhang, Yihai, Xu, Zhixuan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Small Vocabularies, Big Gains: Pretraining and Tokenization in Time Series Models
von: Roger, Alexis, et al.
Veröffentlicht: (2025)

Token Signature: Predicting Chain-of-Thought Gains with Token Decoding Feature in Large Language Models
von: Liu, Peijie, et al.
Veröffentlicht: (2025)

Reflection Pretraining Enables Token-Level Self-Correction in Biological Sequence Models
von: Zhang, Xiang, et al.
Veröffentlicht: (2025)

IKnow: Instruction-Knowledge-Aware Continual Pretraining for Effective Domain Adaptation
von: Zhang, Tianyi, et al.
Veröffentlicht: (2025)

Incorporating Domain Knowledge into Materials Tokenization
von: Oh, Yerim, et al.
Veröffentlicht: (2025)

ixi-GEN: Efficient Industrial sLLMs through Domain Adaptive Continual Pretraining
von: Kim, Seonwu, et al.
Veröffentlicht: (2025)

Optimizing Pretraining Data Mixtures with LLM-Estimated Utility
von: Held, William, et al.
Veröffentlicht: (2025)

LLM-Oriented Token-Adaptive Knowledge Distillation
von: Xie, Xurong, et al.
Veröffentlicht: (2025)

Next Token Knowledge Tracing: Exploiting Pretrained LLM Representations to Decode Student Behaviour
von: Norris, Max, et al.
Veröffentlicht: (2025)

Adaptive Computation Pruning for the Forgetting Transformer
von: Lin, Zhixuan, et al.
Veröffentlicht: (2025)

Better RAG using Relevant Information Gain
von: Pickett, Marc, et al.
Veröffentlicht: (2024)

Token-level Direct Preference Optimization
von: Zeng, Yongcheng, et al.
Veröffentlicht: (2024)

FASTopic: Pretrained Transformer is a Fast, Adaptive, Stable, and Transferable Topic Model
von: Wu, Xiaobao, et al.
Veröffentlicht: (2024)

Exploring the Benefits of Domain-Pretraining of Generative Large Language Models for Chemistry
von: Acharya, Anurag, et al.
Veröffentlicht: (2024)

FAMMA: A Benchmark for Financial Domain Multilingual Multimodal Question Answering
von: Xue, Siqiao, et al.
Veröffentlicht: (2024)

WRAP++: Web discoveRy Amplified Pretraining
von: Zhou, Jiang, et al.
Veröffentlicht: (2026)

Cornerstones or Stumbling Blocks? Deciphering the Rock Tokens in On-Policy Distillation
von: Jiang, Yuxuan, et al.
Veröffentlicht: (2026)

The Tokenization Bottleneck: How Vocabulary Extension Improves Chemistry Representation Learning in Pretrained Language Models
von: Kalamkar, Prathamesh, et al.
Veröffentlicht: (2025)

Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets
von: Yang, Yuchen, et al.
Veröffentlicht: (2026)

Information Gain-Guided Causal Intervention for Autonomous Debiasing Large Language Models
von: Sun, Zhouhao, et al.
Veröffentlicht: (2025)

Adaptive Token Biaser: Knowledge Editing via Biasing Key Entities
von: Bi, Baolong, et al.
Veröffentlicht: (2024)

SelfBudgeter: Adaptive Token Allocation for Efficient LLM Reasoning
von: Li, Zheng, et al.
Veröffentlicht: (2025)

Less is More for RAG: Information Gain Pruning for Generator-Aligned Reranking and Evidence Selection
von: Song, Zhipeng, et al.
Veröffentlicht: (2026)

KnowledgeGain: Evaluating and Optimizing Science News Generation for Reader Learning
von: Soós, Dominik, et al.
Veröffentlicht: (2026)

MathPile: A Billion-Token-Scale Pretraining Corpus for Math
von: Wang, Zengzhi, et al.
Veröffentlicht: (2023)

Generating Pretraining Tokens from Organic Data for Data-Bound Scaling
von: Yu, Zichun, et al.
Veröffentlicht: (2026)

Backdoor Token Unlearning: Exposing and Defending Backdoors in Pretrained Language Models
von: Jiang, Peihai, et al.
Veröffentlicht: (2025)

TokenRatio: Principled Token-Level Preference Optimization via Ratio Matching
von: Nguyen, Truong, et al.
Veröffentlicht: (2026)

AlignDistil: Token-Level Language Model Alignment as Adaptive Policy Distillation
von: Zhang, Songming, et al.
Veröffentlicht: (2025)

DLLMQuant: Quantizing Diffusion-based Large Language Models
von: Xu, Chen, et al.
Veröffentlicht: (2025)

KL3M Tokenizers: A Family of Domain-Specific and Character-Level Tokenizers for Legal, Financial, and Preprocessing Applications
von: Bommarito, Michael J, et al.
Veröffentlicht: (2025)

APLe: Token-Wise Adaptive for Multi-Modal Prompt Learning
von: Cao, Guiming, et al.
Veröffentlicht: (2024)

Alignment-Enhanced Decoding:Defending via Token-Level Adaptive Refining of Probability Distributions
von: Liu, Quan, et al.
Veröffentlicht: (2024)

Unleashing Diverse Thinking Modes in LLMs through Multi-Agent Collaboration
von: He, Zhixuan, et al.
Veröffentlicht: (2025)

Training LLMs Beyond Next Token Prediction -- Filling the Mutual Information Gap
von: Yang, Chun-Hao, et al.
Veröffentlicht: (2025)

Adaptive Token Boundaries: Integrating Human Chunking Mechanisms into Multimodal LLMs
von: Yu, Dongxing
Veröffentlicht: (2025)

CodePMP: Scalable Preference Model Pretraining for Large Language Model Reasoning
von: Yu, Huimu, et al.
Veröffentlicht: (2024)

ProMed: Shapley Information Gain Guided Reinforcement Learning for Proactive Medical LLMs
von: Ding, Hongxin, et al.
Veröffentlicht: (2025)

MIG: Automatic Data Selection for Instruction Tuning by Maximizing Information Gain in Semantic Space
von: Chen, Yicheng, et al.
Veröffentlicht: (2025)

Preference Curriculum: LLMs Should Always Be Pretrained on Their Preferred Data
von: Zhang, Xuemiao, et al.
Veröffentlicht: (2025)