Copertina

Shaping capabilities with token-level data filtering

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Rathi, Neil, Radford, Alec
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Machine Learning Artificial Intelligence Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Learning a Generative Meta-Model of LLM Activations
di: Luo, Grace, et al.
Pubblicazione: (2026)

Looking beyond the next token
di: Thankaraj, Abitha, et al.
Pubblicazione: (2025)

The pitfalls of next-token prediction
di: Bachmann, Gregor, et al.
Pubblicazione: (2024)

Essential-Web v1.0: 24T tokens of organized web data
di: AI, Essential, et al.
Pubblicazione: (2025)

Scaling Transformer to 1M tokens and beyond with RMT
di: Bulatov, Aydar, et al.
Pubblicazione: (2023)

Interpretable Next-token Prediction via the Generalized Induction Head
di: Kim, Eunji, et al.
Pubblicazione: (2024)

Language models are better than humans at next-token prediction
di: Shlegeris, Buck, et al.
Pubblicazione: (2022)

COMPACT: Common-token Optimized Model Pruning Across Channels and Tokens
di: Kwek, Eugene, et al.
Pubblicazione: (2025)

All or None: Identifiable Linear Properties of Next-token Predictors in Language Modeling
di: Marconato, Emanuele, et al.
Pubblicazione: (2024)

You only need 4 extra tokens: Synergistic Test-time Adaptation for LLMs
di: Xu, Yijie, et al.
Pubblicazione: (2025)

Is Sanskrit the most token-efficient language? A quantitative study using GPT, Gemini, and SentencePiece
di: Kumar, Anshul
Pubblicazione: (2026)

Roll the dice & look before you leap: Going beyond the creative limits of next-token prediction
di: Nagarajan, Vaishnavh, et al.
Pubblicazione: (2025)

A non-ergodic framework for understanding emergent capabilities in Large Language Models
di: Marín, Javier
Pubblicazione: (2025)

Dimensionality Reduction in Sentence Transformer Vector Databases with Fast Fourier Transform
di: Bulgakov, Vitaly, et al.
Pubblicazione: (2024)

BoostStep: Boosting mathematical capability of Large Language Models via improved single-step reasoning
di: Zhang, Beichen, et al.
Pubblicazione: (2025)

No One Size Fits All: QueryBandits for Hallucination Mitigation
di: Cho, Nicole, et al.
Pubblicazione: (2026)

QueryBandits for Hallucination Mitigation: Exploiting Semantic Features for No-Regret Rewriting
di: Cho, Nicole, et al.
Pubblicazione: (2025)

Zero-shot data citation function classification using transformer-based large language models (LLMs)
di: Byers, Neil, et al.
Pubblicazione: (2025)

Parallax: Parameterized Local Linear Attention for Language Modeling
di: Zuo, Yifei, et al.
Pubblicazione: (2026)

Entertainment chatbot for the digital inclusion of elderly people without abstraction capabilities
di: García-Méndez, Silvia, et al.
Pubblicazione: (2024)

Revisiting the Shape Convention of Transformer Language Models
di: Liao, Feng-Ting, et al.
Pubblicazione: (2026)

The Shape of Wisdom: Decision Trajectories in Language Models
di: Rana, Shailesh
Pubblicazione: (2026)

Reward Shaping to Mitigate Reward Hacking in RLHF
di: Fu, Jiayi, et al.
Pubblicazione: (2025)

SAGE: Shaping Anchors for Guided Exploration in RLVR of LLMs
di: Lee, Chanuk, et al.
Pubblicazione: (2026)

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
di: Liu, Yang, et al.
Pubblicazione: (2026)

Learn to Reason Efficiently with Adaptive Length-based Reward Shaping
di: Liu, Wei, et al.
Pubblicazione: (2025)

SAIL: Self-Improving Efficient Online Alignment of Large Language Models
di: Ding, Mucong, et al.
Pubblicazione: (2024)

Linguistic Calibration of Long-Form Generations
di: Band, Neil, et al.
Pubblicazione: (2024)

PRISM: A Geometric Risk Bound that Decomposes Drift into Scale, Shape, and Head
di: Lin, Chieh-Yen, et al.
Pubblicazione: (2026)

TIPS: Turn-Level Information-Potential Reward Shaping for Search-Augmented LLMs
di: Xie, Yutao, et al.
Pubblicazione: (2026)

Stable Adaptive Thinking via Advantage Shaping and Length-Aware Gradient Regulation
di: Xu, Zihang, et al.
Pubblicazione: (2026)

Beyond Size: How Gradients Shape Pruning Decisions in Large Language Models
di: Das, Rocktim Jyoti, et al.
Pubblicazione: (2023)

Open Character Training: Shaping the Persona of AI Assistants through Constitutional AI
di: Maiya, Sharan, et al.
Pubblicazione: (2025)

Data filtering methods for training language models
di: Shevchenko, Egor, et al.
Pubblicazione: (2026)

Reasoning to Learn from Latent Thoughts
di: Ruan, Yangjun, et al.
Pubblicazione: (2025)

How Data Inter-connectivity Shapes LLMs Unlearning: A Structural Unlearning Perspective
di: Qiu, Xinchi, et al.
Pubblicazione: (2024)

Automatic detection of cognitive impairment in elderly people using an entertainment chatbot with Natural Language Processing capabilities
di: de Arriba-Pérez, Francisco, et al.
Pubblicazione: (2024)

Synthetic continued pretraining
di: Yang, Zitong, et al.
Pubblicazione: (2024)

LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models
di: Shi, Dachuan, et al.
Pubblicazione: (2025)

No Prompt Left Behind: Exploiting Zero-Variance Prompts in LLM Reinforcement Learning via Entropy-Guided Advantage Shaping
di: Le, Thanh-Long V., et al.
Pubblicazione: (2025)