Image de couverture de livre

Byte Latent Transformer: Patches Scale Better Than Tokens

Fuente: arXiv

Enregistré dans:

Détails bibliographiques
Auteurs principaux:	Pagnoni, Artidoro, Pasunuru, Ram, Rodriguez, Pedro, Nguyen, John, Muller, Benjamin, Li, Margaret, Zhou, Chunting, Yu, Lili, Weston, Jason, Zettlemoyer, Luke, Ghosh, Gargi, Lewis, Mike, Holtzman, Ari, Iyer, Srinivasan
Format:	Preprint
Publié:	2024
Sujets:	Computation and Language
Accès en ligne:	Acceder al recurso
Tags:	Ajouter un tag Pas de tags, Soyez le premier à ajouter un tag!

Documents similaires

Fast Byte Latent Transformer
par: Kallini, Julie, et autres
Publié: (2026)

Compute Optimal Tokenization
par: Limisiewicz, Tomasz, et autres
Publié: (2026)

Predicting vs. Acting: A Trade-off Between World Modeling & Agent Modeling
par: Li, Margaret, et autres
Publié: (2024)

Mixture-of-Transformers: A Sparse and Scalable Architecture for Multi-Modal Foundation Models
par: Liang, Weixin, et autres
Publié: (2024)

Latent Speech-Text Transformer
par: Lu, Yen-Ju, et autres
Publié: (2025)

MoMa: Efficient Early-Fusion Pre-training with Mixture of Modality-Aware Experts
par: Lin, Xi Victoria, et autres
Publié: (2024)

Self-Alignment with Instruction Backtranslation
par: Li, Xian, et autres
Publié: (2023)

CAT: Content-Adaptive Image Tokenization
par: Shen, Junhong, et autres
Publié: (2025)

ALMA: Alignment with Minimal Annotation
par: Yasunaga, Michihiro, et autres
Publié: (2024)

MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling
par: Limisiewicz, Tomasz, et autres
Publié: (2024)

Better Alignment with Instruction Back-and-Forth Translation
par: Nguyen, Thao, et autres
Publié: (2024)

Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model
par: Zhou, Chunting, et autres
Publié: (2024)

LMFusion: Adapting Pretrained Language Models for Multimodal Generation
par: Shi, Weijia, et autres
Publié: (2024)

Computational Tradeoffs in Image Synthesis: Diffusion, Masked-Token, and Next-Token Prediction
par: Kilian, Maciej, et autres
Publié: (2024)

Designing a Future-Proof Cryptography Strategy for Quantum Computing
par: Sreekanth Pasunuru
Publié: (2024)

Instruction-tuned Language Models are Better Knowledge Learners
par: Jiang, Zhengbao, et autres
Publié: (2024)

Memory Layers at Scale
par: Berges, Vincent-Pierre, et autres
Publié: (2024)

Can You Keep a Secret? Involuntary Information Leakage in Language Model Writing
par: Holtzman, Ari, et autres
Publié: (2026)

Linearly Decoding Refused Knowledge in Aligned Language Models
par: Shrivastava, Aryan, et autres
Publié: (2025)

AI as Entertainment
par: Kommers, Cody, et autres
Publié: (2026)

Prompting as Scientific Inquiry
par: Holtzman, Ari, et autres
Publié: (2025)

(Mis)Fitting: A Survey of Scaling Laws
par: Li, Margaret, et autres
Publié: (2025)

In-context Pretraining: Language Modeling Beyond Document Boundaries
par: Shi, Weijia, et autres
Publié: (2023)

The weighted Bergman spaces and complex reflection groups
par: Ghosh, Gargi
Publié: (2021)

Continual Learning via Sparse Memory Finetuning
par: Lin, Jessy, et autres
Publié: (2025)

Megalodon: Efficient LLM Pretraining and Inference with Unlimited Context Length
par: Ma, Xuezhe, et autres
Publié: (2024)

HoneyBee: Data Recipes for Vision-Language Reasoners
par: Bansal, Hritik, et autres
Publié: (2025)

When Worse is Better: Navigating the compression-generation tradeoff in visual tokenization
par: Ramanujan, Vivek, et autres
Publié: (2024)

Multi-Token Attention
par: Golovneva, Olga, et autres
Publié: (2025)

Improving Factuality with Explicit Working Memory
par: Chen, Mingda, et autres
Publié: (2024)

Entre el hábitat y la vivienda. Dos experiencias de organización comunitaria y cooperativa en la ciudad de Rosario (Argentina)
par: Anahí G. Pagnoni
Publié: (2021)

Slicing and Dicing: Configuring Optimal Mixtures of Experts
par: Li, Margaret, et autres
Publié: (2026)

LLM Probability Concentration: How Alignment Shrinks the Generative Horizon
par: Yang, Chenghao, et autres
Publié: (2025)

MUSE: Machine Unlearning Six-Way Evaluation for Language Models
par: Shi, Weijia, et autres
Publié: (2024)

Demystifying Prompts in Language Models via Perplexity Estimation
par: Gonen, Hila, et autres
Publié: (2022)

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens
par: Liu, Jiacheng, et autres
Publié: (2024)

Cancer Development in Sjögren's Syndrome: Prognostic Factors and Clinical Implications
par: Gianluca Pagnoni, et autres
Publié: (2025)

$2$-proper holomorphic images of classical Cartan domains
par: Ghosh, Gargi, et autres
Publié: (2023)

Holomorphic retracts in the Lie ball and the tetrablock
par: Ghosh, Gargi, et autres
Publié: (2024)

Micro Language Models Enable Instant Responses
par: Cheng, Wen, et autres
Publié: (2026)