Buchumschlag

OLMo: Accelerating the Science of Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Groeneveld, Dirk, Beltagy, Iz, Walsh, Pete, Bhagia, Akshita, Kinney, Rodney, Tafjord, Oyvind, Jha, Ananya Harsh, Ivison, Hamish, Magnusson, Ian, Wang, Yizhong, Arora, Shane, Atkinson, David, Authur, Russell, Chandu, Khyathi Raghavi, Cohan, Arman, Dumas, Jennifer, Elazar, Yanai, Gu, Yuling, Hessel, Jack, Khot, Tushar, Merrill, William, Morrison, Jacob, Muennighoff, Niklas, Naik, Aakanksha, Nam, Crystal, Peters, Matthew E., Pyatkin, Valentina, Ravichander, Abhilasha, Schwenk, Dustin, Shah, Saurabh, Smith, Will, Strubell, Emma, Subramani, Nishant, Wortsman, Mitchell, Dasigi, Pradeep, Lambert, Nathan, Richardson, Kyle, Zettlemoyer, Luke, Dodge, Jesse, Lo, Kyle, Soldaini, Luca, Smith, Noah A., Hajishirzi, Hannaneh
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Dolma: an Open Corpus of Three Trillion Tokens for Language Model Pretraining Research
von: Soldaini, Luca, et al.
Veröffentlicht: (2024)

Paloma: A Benchmark for Evaluating Language Model Fit
von: Magnusson, Ian, et al.
Veröffentlicht: (2023)

OLMoE: Open Mixture-of-Experts Language Models
von: Muennighoff, Niklas, et al.
Veröffentlicht: (2024)

What's In My Big Data?
von: Elazar, Yanai, et al.
Veröffentlicht: (2023)

2 OLMo 2 Furious
von: OLMo, Team, et al.
Veröffentlicht: (2024)

The Art of Saying No: Contextual Noncompliance in Language Models
von: Brahman, Faeze, et al.
Veröffentlicht: (2024)

RESTOR: Knowledge Recovery in Machine Unlearning
von: Rezaei, Keivan, et al.
Veröffentlicht: (2024)

WildBench: Benchmarking LLMs with Challenging Tasks from Real Users in the Wild
von: Lin, Bill Yuchen, et al.
Veröffentlicht: (2024)

Generalizing Verifiable Instruction Following
von: Pyatkin, Valentina, et al.
Veröffentlicht: (2025)

Agent Lumos: Unified and Modular Training for Open-Source Language Agents
von: Yin, Da, et al.
Veröffentlicht: (2023)

Deal, or no deal (or who knows)? Forecasting Uncertainty in Conversations using Large Language Models
von: Sicilia, Anthony, et al.
Veröffentlicht: (2024)

Establishing Task Scaling Laws via Compute-Efficient Model Ladders
von: Bhagia, Akshita, et al.
Veröffentlicht: (2024)

Hybrid Preferences: Learning to Route Instances for Human vs. AI Feedback
von: Miranda, Lester James V., et al.
Veröffentlicht: (2024)

Measuring and Improving Attentiveness to Partial Inputs with Counterfactuals
von: Elazar, Yanai, et al.
Veröffentlicht: (2023)

Source-Aware Training Enables Knowledge Attribution in Language Models
von: Khalifa, Muhammad, et al.
Veröffentlicht: (2024)

Just CHOP: Embarrassingly Simple LLM Compression
von: Jha, Ananya Harsh, et al.
Veröffentlicht: (2023)

EMO: Pretraining Mixture of Experts for Emergent Modularity
von: Wang, Ryan, et al.
Veröffentlicht: (2026)

OLMoTrace: Tracing Language Model Outputs Back to Trillions of Training Tokens
von: Liu, Jiacheng, et al.
Veröffentlicht: (2025)

TESS: Text-to-Text Self-Conditioned Simplex Diffusion
von: Mahabadi, Rabeeh Karimi, et al.
Veröffentlicht: (2023)

RewardBench: Evaluating Reward Models for Language Modeling
von: Lambert, Nathan, et al.
Veröffentlicht: (2024)

Selective "Selective Prediction": Reducing Unnecessary Abstention in Vision-Language Reasoning
von: Srinivasan, Tejas, et al.
Veröffentlicht: (2024)

What Has Been Lost with Synthetic Evaluation?
von: Gill, Alexander, et al.
Veröffentlicht: (2025)

Artifacts or Abduction: How Do LLMs Answer Multiple-Choice Questions Without the Question?
von: Balepur, Nishant, et al.
Veröffentlicht: (2024)

Organize the Web: Constructing Domains Enhances Pre-Training Data Curation
von: Wettig, Alexander, et al.
Veröffentlicht: (2025)

Meta-Reinforcement Learning with Self-Reflection for Agentic Search
von: Xiao, Teng, et al.
Veröffentlicht: (2026)

DataDecide: How to Predict Best Pretraining Data with Small Experiments
von: Magnusson, Ian, et al.
Veröffentlicht: (2025)

Continual Dialogue State Tracking via Example-Guided Question Answering
von: Cho, Hyundong, et al.
Veröffentlicht: (2023)

Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback
von: Ivison, Hamish, et al.
Veröffentlicht: (2024)

WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries
von: Zhao, Wenting, et al.
Veröffentlicht: (2024)

Tulu 3: Pushing Frontiers in Open Language Model Post-Training
von: Lambert, N., et al.
Veröffentlicht: (2025)

Certainly Uncertain: A Benchmark and Metric for Multimodal Epistemic and Aleatoric Awareness
von: Chandu, Khyathi Raghavi, et al.
Veröffentlicht: (2024)

Train Separately, Merge Together: Modular Post-Training with Mixture-of-Experts
von: Morrison, Jacob, et al.
Veröffentlicht: (2026)

Tulu 3: Pushing Frontiers in Open Language Model Post-Training
von: Lambert, Nathan, et al.
Veröffentlicht: (2024)

olmOCR 2: Unit Test Rewards for Document OCR
von: Poznanski, Jake, et al.
Veröffentlicht: (2025)

HREF: Human Response-Guided Evaluation of Instruction Following in Language Models
von: Lyu, Xinxi, et al.
Veröffentlicht: (2024)

The Curious Case of Factuality Finetuning: Models' Internal Beliefs Can Improve Factuality
von: Newman, Benjamin, et al.
Veröffentlicht: (2025)

Revisiting the Past: Data Unlearning with Model State History
von: Rezaei, Keivan, et al.
Veröffentlicht: (2025)

HALoGEN: Fantastic LLM Hallucinations and Where to Find Them
von: Ravichander, Abhilasha, et al.
Veröffentlicht: (2025)

FlexOlmo: Open Language Models for Flexible Data Use
von: Shi, Weijia, et al.
Veröffentlicht: (2025)

Merge to Learn: Efficiently Adding Skills to Language Models with Model Merging
von: Morrison, Jacob, et al.
Veröffentlicht: (2024)