Buchumschlag

Zyda-2: a 5 Trillion Token High-Quality Dataset

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Tokpanov, Yury, Glorioso, Paolo, Anthony, Quentin, Millidge, Beren
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Zyda: A 1.3T Dataset for Open Language Modeling
von: Tokpanov, Yury, et al.
Veröffentlicht: (2024)

BlackMamba: Mixture of Experts for State-Space Models
von: Anthony, Quentin, et al.
Veröffentlicht: (2024)

Zamba: A Compact 7B SSM Hybrid Model
von: Glorioso, Paolo, et al.
Veröffentlicht: (2024)

The Zamba2 Suite: Technical Report
von: Glorioso, Paolo, et al.
Veröffentlicht: (2024)

Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space
von: Figliolia, Tomas, et al.
Veröffentlicht: (2025)

ZAYA1-8B Technical Report
von: Washbourne, Robert, et al.
Veröffentlicht: (2026)

Training Foundation Models on a Full-Stack AMD Platform: Compute, Networking, and System Design
von: Anthony, Quentin, et al.
Veröffentlicht: (2025)

Infini-gram: Scaling Unbounded n-gram Language Models to a Trillion Tokens
von: Liu, Jiacheng, et al.
Veröffentlicht: (2024)

Scaling Retrieval-Based Language Models with a Trillion-Token Datastore
von: Shao, Rulin, et al.
Veröffentlicht: (2024)

Tree Attention: Topology-aware Decoding for Long-Context Attention on GPU clusters
von: Shyam, Vasudev, et al.
Veröffentlicht: (2024)

1 Trillion Token (1TT) Platform: A Novel Framework for Efficient Data Sharing and Compensation in Large Language Models
von: Park, Chanjun, et al.
Veröffentlicht: (2024)

Trillion 7B Technical Report
von: Han, Sungjun, et al.
Veröffentlicht: (2025)

Toward Conversational Agents with Context and Time Sensitive Long-term Memory
von: Alonso, Nick, et al.
Veröffentlicht: (2024)

Blending Is All You Need: Cheaper, Better Alternative to Trillion-Parameters LLM
von: Lu, Xiaoding, et al.
Veröffentlicht: (2024)

Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model
von: Ling Team, et al.
Veröffentlicht: (2025)

Every Activation Boosted: Scaling General Reasoner to 1 Trillion Open Language Foundation
von: Ling Team, et al.
Veröffentlicht: (2025)

ZAYA1-VL-8B Technical Report
von: Shapourian, Hassan, et al.
Veröffentlicht: (2026)

Nemotron-CC-Math: A 133 Billion-Token-Scale High Quality Math Pretraining Dataset
von: Mahabadi, Rabeeh Karimi, et al.
Veröffentlicht: (2025)

Equivalence of Personalized PageRank and Successor Representations
von: Millidge, Beren
Veröffentlicht: (2025)

Generalising E-prop to Deep Networks
von: Millidge, Beren
Veröffentlicht: (2025)

ATHAR: A High-Quality and Diverse Dataset for Classical Arabic to English Translation
von: Khalil, Mohammed, et al.
Veröffentlicht: (2024)

COIG-Writer: A High-Quality Dataset for Chinese Creative Writing with Thought Processes
von: Li, Yunwen, et al.
Veröffentlicht: (2025)

VLQA: The First Comprehensive, Large, and High-Quality Vietnamese Dataset for Legal Question Answering
von: Nguyen, Tan-Minh, et al.
Veröffentlicht: (2025)

Pragyaan: Designing and Curating High-Quality Cultural Post-Training Datasets for Indian Languages
von: Rachamalla, Neel Prabhanjan, et al.
Veröffentlicht: (2025)

Yuan3.0 Ultra: A Trillion-Parameter Enterprise-Oriented MoE LLM
von: ai, YuanLab., et al.
Veröffentlicht: (2026)

Hybrid Associative Memories
von: Lufkin, Leon, et al.
Veröffentlicht: (2026)

Extended Japanese Commonsense Morality Dataset with Masked Token and Label Enhancement
von: Ohashi, Takumi, et al.
Veröffentlicht: (2024)

Explainable Token-level Noise Filtering for LLM Fine-tuning Datasets
von: Yang, Yuchen, et al.
Veröffentlicht: (2026)

Token-Level Uncertainty-Aware Objective for Language Model Post-Training
von: Liu, Tingkai, et al.
Veröffentlicht: (2025)

Hey, That's My Data! Token-Only Dataset Inference in Large Language Models
von: Xiong, Chen, et al.
Veröffentlicht: (2025)

Impossible Distillation: from Low-Quality Model to High-Quality Dataset & Model for Summarization and Paraphrasing
von: Jung, Jaehun, et al.
Veröffentlicht: (2023)

Real-world validation of a multimodal LLM-powered pipeline for High-Accuracy Clinical Trial Patient Matching leveraging EHR data
von: Callies, Anatole, et al.
Veröffentlicht: (2025)

Exploring Action-Centric Representations Through the Lens of Rate-Distortion Theory
von: Varona, Miguel de Llanza, et al.
Veröffentlicht: (2024)

LP-Eval: Rubric and Dataset for Measuring the Quality of Legal Proposition Generation
von: Xu, Shanshan, et al.
Veröffentlicht: (2026)

Systematic Evaluation of the Quality of Synthetic Clinical Notes Rephrased by LLMs at Million-Note Scale
von: Liu, Jinghui, et al.
Veröffentlicht: (2026)

The Token Tax: Systematic Bias in Multilingual Tokenization
von: Lundin, Jessica M., et al.
Veröffentlicht: (2025)

One Token Is Enough: Improving Diffusion Language Models with a Sink Token
von: Zhang, Zihou, et al.
Veröffentlicht: (2026)

State over Tokens: Characterizing the Role of Reasoning Tokens
von: Levy, Mosh, et al.
Veröffentlicht: (2025)

Evaluating the Quality of Benchmark Datasets for Low-Resource Languages: A Case Study on Turkish
von: Cengiz, Ayşe Aysu, et al.
Veröffentlicht: (2025)

MURI: High-Quality Instruction Tuning Datasets for Low-Resource Languages via Reverse Instructions
von: Köksal, Abdullatif, et al.
Veröffentlicht: (2024)