Buchumschlag

Small Vocabularies, Big Gains: Pretraining and Tokenization in Time Series Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Roger, Alexis, Legate, Gwen, Rasul, Kashif, Nevmyvaka, Yuriy, Rish, Irina
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Random Initialization Can't Catch Up: The Advantage of Language Model Transfer for Time Series Forecasting
von: Riachi, Roland, et al.
Veröffentlicht: (2025)

LLM Pretraining Shapes a Generalizable Manifold: Insights into Cross-Modal Transfer to Time Series
von: Roger, Alexis, et al.
Veröffentlicht: (2026)

Warming Up for Zeroth-Order Federated Pre-Training with Low Resource Clients
von: Legate, Gwen, et al.
Veröffentlicht: (2025)

Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI
von: Garg, Sahil, et al.
Veröffentlicht: (2024)

TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster
von: Ning, Kanghui, et al.
Veröffentlicht: (2025)

Lag-Llama: Towards Foundation Models for Probabilistic Time Series Forecasting
von: Rasul, Kashif, et al.
Veröffentlicht: (2023)

Spectra 1.1: Scaling Laws and Efficient Inference for Ternary Language Models
von: Vaidhya, Tejas, et al.
Veröffentlicht: (2025)

AlphaLab: Autonomous Multi-Agent Research Across Optimization Domains with Frontier LLMs
von: Hogan, Brendan R., et al.
Veröffentlicht: (2026)

Grounded Token Initialization for New Vocabulary in LMs for Generative Recommendation
von: Chen, Daiwei, et al.
Veröffentlicht: (2026)

VocabTailor: Dynamic Vocabulary Selection for Downstream Tasks in Small Language Models
von: Zhang, Hanling, et al.
Veröffentlicht: (2025)

Simple and Scalable Strategies to Continually Pre-train Large Language Models
von: Ibrahim, Adam, et al.
Veröffentlicht: (2024)

Spectra: Surprising Effectiveness of Pretraining Ternary Language Models at Scale
von: Kaushal, Ayush, et al.
Veröffentlicht: (2024)

Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models
von: Abbes, Istabrak, et al.
Veröffentlicht: (2025)

MathPile: A Billion-Token-Scale Pretraining Corpus for Math
von: Wang, Zengzhi, et al.
Veröffentlicht: (2023)

Generating Pretraining Tokens from Organic Data for Data-Bound Scaling
von: Yu, Zichun, et al.
Veröffentlicht: (2026)

Luna-2: Scalable Single-Token Evaluation with Small Language Models
von: Goel, Vatsal, et al.
Veröffentlicht: (2026)

Winning Big with Small Models: Knowledge Distillation vs. Self-Training for Reducing Hallucination in Product QA Agents
von: Lewis, Ashley, et al.
Veröffentlicht: (2025)

Chart-RVR: Reinforcement Learning with Verifiable Rewards for Explainable Chart Reasoning
von: Sinha, Sanchit, et al.
Veröffentlicht: (2025)

Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset
von: Mahabadi, Rabeeh Karimi, et al.
Veröffentlicht: (2025)

Probing the Limits of Compressive Memory: A Study of Infini-Attention in Small-Scale Pretraining
von: Huang, Ruizhe, et al.
Veröffentlicht: (2025)

Pretraining Large Language Models with NVFP4
von: NVIDIA, et al.
Veröffentlicht: (2025)

Fast Vocabulary Transfer for Language Model Compression
von: Gee, Leonidas, et al.
Veröffentlicht: (2024)

Structural Knowledge Informed Continual Multivariate Time Series Forecasting
von: Pan, Zijie, et al.
Veröffentlicht: (2024)

Large Language Models for Time Series: A Survey
von: Zhang, Xiyuan, et al.
Veröffentlicht: (2024)

In-Context Fine-Tuning for Time-Series Foundation Models
von: Das, Abhimanyu, et al.
Veröffentlicht: (2024)

Lossless Vocabulary Reduction for Auto-Regressive Language Models
von: Chijiwa, Daiki, et al.
Veröffentlicht: (2025)

Latency and Token-Aware Test-Time Compute
von: Huang, Jenny Y., et al.
Veröffentlicht: (2025)

Continual Pre-training of MoEs: How robust is your router?
von: Thérien, Benjamin, et al.
Veröffentlicht: (2025)

Patent Language Model Pretraining with ModernBERT
von: Yousefiramandi, Amirhossein, et al.
Veröffentlicht: (2025)

Are More Tokens Rational? Inference-Time Scaling in Language Models as Adaptive Resource Rationality
von: Hu, Zhimin, et al.
Veröffentlicht: (2026)

Backward Lens: Projecting Language Model Gradients into the Vocabulary Space
von: Katz, Shahar, et al.
Veröffentlicht: (2024)

In-context Time Series Predictor
von: Lu, Jiecheng, et al.
Veröffentlicht: (2024)

In-context Pretraining: Language Modeling Beyond Document Boundaries
von: Shi, Weijia, et al.
Veröffentlicht: (2023)

Revisiting Multilingual Data Mixtures in Language Model Pretraining
von: Foroutan, Negar, et al.
Veröffentlicht: (2025)

Discovering Knowledge-Critical Subnetworks in Pretrained Language Models
von: Bayazit, Deniz, et al.
Veröffentlicht: (2023)

Fine-Tuning a Time Series Foundation Model with Wasserstein Loss
von: Chernov, Andrei
Veröffentlicht: (2024)

Text2TimeSeries: Enhancing Financial Forecasting through Time Series Prediction Updates with Event-Driven Insights from Large Language Models
von: Kurisinkel, Litton Jose, et al.
Veröffentlicht: (2024)

Crosscoding Through Time: Tracking Emergence & Consolidation Of Linguistic Representations Throughout LLM Pretraining
von: Bayazit, Deniz, et al.
Veröffentlicht: (2025)

Too Big to Fool: Resisting Deception in Language Models
von: Samsami, Mohammad Reza, et al.
Veröffentlicht: (2024)

TableTime: Reformulating Time Series Classification as Training-Free Table Understanding with Large Language Models
von: Wang, Jiahao, et al.
Veröffentlicht: (2024)