Copertina

OLMoE: Open Mixture-of-Experts Language Models

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Muennighoff, Niklas, Soldaini, Luca, Groeneveld, Dirk, Lo, Kyle, Morrison, Jacob, Min, Sewon, Shi, Weijia, Walsh, Pete, Tafjord, Oyvind, Lambert, Nathan, Gu, Yuling, Arora, Shane, Bhagia, Akshita, Schwenk, Dustin, Wadden, David, Wettig, Alexander, Hui, Binyuan, Dettmers, Tim, Kiela, Douwe, Farhadi, Ali, Smith, Noah A., Koh, Pang Wei, Singh, Amanpreet, Hajishirzi, Hannaneh
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computation and Language Artificial Intelligence Machine Learning
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Establishing Task Scaling Laws via Compute-Efficient Model Ladders
di: Bhagia, Akshita, et al.
Pubblicazione: (2024)

2 OLMo 2 Furious
di: OLMo, Team, et al.
Pubblicazione: (2024)

Organize the Web: Constructing Domains Enhances Pre-Training Data Curation
di: Wettig, Alexander, et al.
Pubblicazione: (2025)

OLMo: Accelerating the Science of Language Models
di: Groeneveld, Dirk, et al.
Pubblicazione: (2024)

Paloma: A Benchmark for Evaluating Language Model Fit
di: Magnusson, Ian, et al.
Pubblicazione: (2023)

OLMES: A Standard for Language Model Evaluations
di: Gu, Yuling, et al.
Pubblicazione: (2024)

FlexOlmo: Open Language Models for Flexible Data Use
di: Shi, Weijia, et al.
Pubblicazione: (2025)

EMO: Pretraining Mixture of Experts for Emergent Modularity
di: Wang, Ryan, et al.
Pubblicazione: (2026)

Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions
di: Wiegreffe, Sarah, et al.
Pubblicazione: (2024)

What's In My Big Data?
di: Elazar, Yanai, et al.
Pubblicazione: (2023)

Digital Socrates: Evaluating LLMs through Explanation Critiques
di: Gu, Yuling, et al.
Pubblicazione: (2023)

Generative Representational Instruction Tuning
di: Muennighoff, Niklas, et al.
Pubblicazione: (2024)

KTO: Model Alignment as Prospect Theoretic Optimization
di: Ethayarajh, Kawin, et al.
Pubblicazione: (2024)

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens
di: Liu, Jiacheng, et al.
Pubblicazione: (2025)

BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models
di: Cao, Qingqing, et al.
Pubblicazione: (2023)

Single-Agent LLMs Outperform Multi-Agent Systems on Multi-Hop Reasoning Under Equal Thinking Token Budgets
di: Tran, Dat, et al.
Pubblicazione: (2026)

DataDecide: How to Predict Best Pretraining Data with Small Experiments
di: Magnusson, Ian, et al.
Pubblicazione: (2025)

Critical Batch Size Revisited: A Simple Empirical Approach to Large-Batch Language Model Training
di: Merrill, William, et al.
Pubblicazione: (2025)

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens
di: Liu, Jiacheng, et al.
Pubblicazione: (2024)

SILO Language Models: Isolating Legal Risk In a Nonparametric Datastore
di: Min, Sewon, et al.
Pubblicazione: (2023)

Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts
di: Morrison, Jacob, et al.
Pubblicazione: (2026)

Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research
di: Soldaini, Luca, et al.
Pubblicazione: (2024)

MatFormer: Nested Transformer for Elastic Inference
di: Devvrit, et al.
Pubblicazione: (2023)

Learning to Detect Language Model Training Data via Active Reconstruction
di: Yin, Junjie Oscar, et al.
Pubblicazione: (2026)

BlitzRank: Principled Zero-shot Ranking Agents with Tournament Graphs
di: Agrawal, Sheshansh, et al.
Pubblicazione: (2026)

Anchor Points: Benchmarking Models with Much Fewer Examples
di: Vivek, Rajan, et al.
Pubblicazione: (2023)

Document Optimization for Black-Box Retrieval via Reinforcement Learning
di: Uzan, Omri, et al.
Pubblicazione: (2026)

Anchored Preference Optimization and Contrastive Revisions: Addressing Underspecification in Alignment
di: D'Oosterlinck, Karel, et al.
Pubblicazione: (2024)

Do Membership Inference Attacks Work on Large Language Models?
di: Duan, Michael, et al.
Pubblicazione: (2024)

BaRDa: A Belief and Reasoning Dataset that Separates Factual Accuracy and Reasoning Ability
di: Clark, Peter, et al.
Pubblicazione: (2023)

APT: Adaptive Pruning and Tuning Pretrained Language Models for Efficient Training and Inference
di: Zhao, Bowen, et al.
Pubblicazione: (2024)

Scaling Retrieval-Based Language Models with a Trillion-Token Datastore
di: Shao, Rulin, et al.
Pubblicazione: (2024)

s1: Simple test-time scaling
di: Muennighoff, Niklas, et al.
Pubblicazione: (2025)

SERA: Soft-Verified Efficient Repository Agents
di: Shen, Ethan, et al.
Pubblicazione: (2026)

Neologism Learning for Controllability and Self-Verbalization
di: Hewitt, John, et al.
Pubblicazione: (2025)

I am a Strange Dataset: Metalinguistic Tests for Language Models
di: Thrush, Tristan, et al.
Pubblicazione: (2024)

Leveraging Diffusion Perturbations for Measuring Fairness in Computer Vision
di: Lui, Nicholas, et al.
Pubblicazione: (2023)

LMUnit: Fine-grained Evaluation with Natural Language Unit Tests
di: Saad-Falcon, Jon, et al.
Pubblicazione: (2024)

Olmix: A Framework for Data Mixing Throughout LM Development
di: Chen, Mayee F., et al.
Pubblicazione: (2026)

SimpleToM: Exposing the Gap between Explicit ToM Inference and Implicit ToM Application in LLMs
di: Gu, Yuling, et al.
Pubblicazione: (2024)