Bolmo: Byteifying the Next Generation of Language Models
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Minixhofer, Benjamin, Murray, Tyler, Limisiewicz, Tomasz, Korhonen, Anna, Zettlemoyer, Luke, Smith, Noah A., Ponti, Edoardo M., Soldaini, Luca, Hofmann, Valentin |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models
par: Blevins, Terra, et autres
Publié: (2024)
par: Blevins, Terra, et autres
Publié: (2024)
MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling
par: Limisiewicz, Tomasz, et autres
Publié: (2024)
par: Limisiewicz, Tomasz, et autres
Publié: (2024)
Zero-Shot Tokenizer Transfer
par: Minixhofer, Benjamin, et autres
Publié: (2024)
par: Minixhofer, Benjamin, et autres
Publié: (2024)
Universal Cross-Tokenizer Distillation via Approximate Likelihood Matching
par: Minixhofer, Benjamin, et autres
Publié: (2025)
par: Minixhofer, Benjamin, et autres
Publié: (2025)
MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization
par: Ahia, Orevaoghene, et autres
Publié: (2024)
par: Ahia, Orevaoghene, et autres
Publié: (2024)
Scaling Sparse Fine-Tuning to Large Language Models
par: Ansell, Alan, et autres
Publié: (2024)
par: Ansell, Alan, et autres
Publié: (2024)
Dual Debiasing: Remove Stereotypes and Keep Factual Gender for Fair Language Modeling and Translation
par: Limisiewicz, Tomasz, et autres
Publié: (2025)
par: Limisiewicz, Tomasz, et autres
Publié: (2025)
Demystifying Prompts in Language Models via Perplexity Estimation
par: Gonen, Hila, et autres
Publié: (2022)
par: Gonen, Hila, et autres
Publié: (2022)
Bootstrapping Action-Grounded Visual Dynamics in Unified Vision-Language Models
par: Qiu, Yifu, et autres
Publié: (2025)
par: Qiu, Yifu, et autres
Publié: (2025)
Emergent Communication Pretraining for Few-Shot Machine Translation
par: Li, Yaoyiran, et autres
Publié: (2020)
par: Li, Yaoyiran, et autres
Publié: (2020)
Does Liking Yellow Imply Driving a School Bus? Semantic Leakage in Language Models
par: Gonen, Hila, et autres
Publié: (2024)
par: Gonen, Hila, et autres
Publié: (2024)
Spectral Editing of Activations for Large Language Model Alignment
par: Qiu, Yifu, et autres
Publié: (2024)
par: Qiu, Yifu, et autres
Publié: (2024)
Retrofitting Large Language Models with Dynamic Tokenization
par: Feher, Darius, et autres
Publié: (2024)
par: Feher, Darius, et autres
Publié: (2024)
Debiasing Algorithm through Model Adaptation
par: Limisiewicz, Tomasz, et autres
Publié: (2023)
par: Limisiewicz, Tomasz, et autres
Publié: (2023)
Fast Byte Latent Transformer
par: Kallini, Julie, et autres
Publié: (2026)
par: Kallini, Julie, et autres
Publié: (2026)
Compute Optimal Tokenization
par: Limisiewicz, Tomasz, et autres
Publié: (2026)
par: Limisiewicz, Tomasz, et autres
Publié: (2026)
Beyond Literal Token Overlap: Token Alignability for Multilinguality
par: Hämmerl, Katharina, et autres
Publié: (2025)
par: Hämmerl, Katharina, et autres
Publié: (2025)
SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore
par: Min, Sewon, et autres
Publié: (2023)
par: Min, Sewon, et autres
Publié: (2023)
Evaluating Copyright Takedown Methods for Language Models
par: Wei, Boyi, et autres
Publié: (2024)
par: Wei, Boyi, et autres
Publié: (2024)
Bigram Subnetworks: Mapping to Next Tokens in Transformer Language Models
par: Chang, Tyler A., et autres
Publié: (2025)
par: Chang, Tyler A., et autres
Publié: (2025)
Self-Improving World Modelling with Latent Actions
par: Qiu, Yifu, et autres
Publié: (2026)
par: Qiu, Yifu, et autres
Publié: (2026)
Navigating the Alignment-Calibration Trade-off: A Pareto-Superior Frontier via Model Merging
par: Hu, Tiancheng, et autres
Publié: (2025)
par: Hu, Tiancheng, et autres
Publié: (2025)
Quantifying Language Disparities in Multilingual Large Language Models
par: Hu, Songbo, et autres
Publié: (2025)
par: Hu, Songbo, et autres
Publié: (2025)
Fine-tuning Large Language Models with Sequential Instructions
par: Hu, Hanxu, et autres
Publié: (2024)
par: Hu, Hanxu, et autres
Publié: (2024)
Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation
par: Miranda, Lester James V., et autres
Publié: (2026)
par: Miranda, Lester James V., et autres
Publié: (2026)
Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models
par: Hu, Yushi, et autres
Publié: (2024)
par: Hu, Yushi, et autres
Publié: (2024)
Comparing Hallucination Detection Metrics for Multilingual Generation
par: Kang, Haoqiang, et autres
Publié: (2024)
par: Kang, Haoqiang, et autres
Publié: (2024)
Cross-Lingual and Cross-Cultural Variation in Image Descriptions
par: Berger, Uri, et autres
Publié: (2024)
par: Berger, Uri, et autres
Publié: (2024)
MUSE: Machine Unlearning Six-Way Evaluation for Language Models
par: Shi, Weijia, et autres
Publié: (2024)
par: Shi, Weijia, et autres
Publié: (2024)
Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet?
par: Razumovskaia, Evgeniia, et autres
Publié: (2024)
par: Razumovskaia, Evgeniia, et autres
Publié: (2024)
Cultural Learning-Based Culture Adaptation of Language Models
par: Liu, Chen Cecilia, et autres
Publié: (2025)
par: Liu, Chen Cecilia, et autres
Publié: (2025)
Teaching Models to Understand (but not Generate) High-risk Data
par: Wang, Ryan, et autres
Publié: (2025)
par: Wang, Ryan, et autres
Publié: (2025)
SuperBPE: Space Travel for Language Models
par: Liu, Alisa, et autres
Publié: (2025)
par: Liu, Alisa, et autres
Publié: (2025)
Micro Language Models Enable Instant Responses
par: Cheng, Wen, et autres
Publié: (2026)
par: Cheng, Wen, et autres
Publié: (2026)
Generative Adapter: Contextualizing Language Models in Parameters with A Single Forward Pass
par: Chen, Tong, et autres
Publié: (2024)
par: Chen, Tong, et autres
Publié: (2024)
On Bilingual Lexicon Induction with Large Language Models
par: Li, Yaoyiran, et autres
Publié: (2023)
par: Li, Yaoyiran, et autres
Publié: (2023)
Paloma: A Benchmark for Evaluating Language Model Fit
par: Magnusson, Ian, et autres
Publié: (2023)
par: Magnusson, Ian, et autres
Publié: (2023)
Mathfish: Evaluating Language Model Math Reasoning via Grounding in Educational Curricula
par: Lucy, Li, et autres
Publié: (2024)
par: Lucy, Li, et autres
Publié: (2024)
FlexOlmo: Open Language Models for Flexible Data Use
par: Shi, Weijia, et autres
Publié: (2025)
par: Shi, Weijia, et autres
Publié: (2025)
Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens
par: Liu, Jiacheng, et autres
Publié: (2024)
par: Liu, Jiacheng, et autres
Publié: (2024)
Documents similaires
-
Breaking the Curse of Multilinguality with Cross-lingual Expert Language Models
par: Blevins, Terra, et autres
Publié: (2024) -
MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling
par: Limisiewicz, Tomasz, et autres
Publié: (2024) -
Zero-Shot Tokenizer Transfer
par: Minixhofer, Benjamin, et autres
Publié: (2024) -
Universal Cross-Tokenizer Distillation via Approximate Likelihood Matching
par: Minixhofer, Benjamin, et autres
Publié: (2025) -
MAGNET: Improving the Multilingual Fairness of Language Models with Adaptive Gradient-Based Tokenization
par: Ahia, Orevaoghene, et autres
Publié: (2024)