Copertina

Using Scaling Laws for Data Source Utility Estimation in Domain-Specific Pre-Training

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Ostapenko, Oleksiy, Guille-Escuret, Charles, Kumar, Luke, Tian, Max, Kocetkov, Denis, Subbaraj, Gopeshh, Li, Raymond, Lamy-Poirier, Joel, Paquet, Sebastien, Scholak, Torsten
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Machine Learning Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Apriel-H1: Towards Efficient Enterprise Reasoning Models
di: Ostapenko, Oleksiy, et al.
Pubblicazione: (2025)

Super Apriel: One Checkpoint, Many Speeds
di: Labs, SLAM, et al.
Pubblicazione: (2026)

DiffuMamba: High-Throughput Diffusion LMs with Mamba Backbone
di: Singh, Vaibhav, et al.
Pubblicazione: (2025)

GFlowNet Pretraining with Inexpensive Rewards
di: Pandey, Mohit, et al.
Pubblicazione: (2024)

From Conformal Predictions to Confidence Regions
di: Guille-Escuret, Charles, et al.
Pubblicazione: (2024)

Finite Sample Confidence Regions for Linear Regression Parameters Using Arbitrary Predictors
di: Guille-Escuret, Charles, et al.
Pubblicazione: (2024)

Enabling Realtime Reinforcement Learning at Scale with Staggered Asynchronous Inference
di: Riemer, Matthew, et al.
Pubblicazione: (2024)

Revisiting Replay and Gradient Alignment for Continual Pre-Training of Large Language Models
di: Abbes, Istabrak, et al.
Pubblicazione: (2025)

Pretraining Generative Flow Networks with Inexpensive Rewards for Molecular Graph Generation
di: Pandey, Mohit, et al.
Pubblicazione: (2025)

Gradient Descent Is Optimal Under Lower Restricted Secant Inequality And Upper Error Bound
di: Guille-Escuret, Charles, et al.
Pubblicazione: (2022)

A Study of Condition Numbers for First-Order Optimization
di: Guille-Escuret, Charles, et al.
Pubblicazione: (2020)

Perplexed: Understanding When Large Language Models are Confused
di: Cooper, Nathan, et al.
Pubblicazione: (2024)

CADet: Fully Self-Supervised Out-Of-Distribution Detection With Contrastive Learning
di: Guille-Escuret, Charles, et al.
Pubblicazione: (2022)

Expecting The Unexpected: Towards Broad Out-Of-Distribution Detection
di: Guille-Escuret, Charles, et al.
Pubblicazione: (2023)

Unifying Autoregressive and Diffusion-Based Sequence Generation
di: Fathi, Nima, et al.
Pubblicazione: (2025)

Seq-VCR: Preventing Collapse in Intermediate Transformer Representations for Enhanced Reasoning
di: Arefin, Md Rifat, et al.
Pubblicazione: (2024)

Triple negative breast cancer: 5-year results of combined treatment
di: Valerijus Ostapenko
Pubblicazione: (2013)

DSCLAP: Domain-Specific Contrastive Language-Audio Pre-Training
di: Liu, Shengqiang, et al.
Pubblicazione: (2024)

Guiding Language Model Reasoning with Planning Tokens
di: Wang, Xinyi, et al.
Pubblicazione: (2023)

D-CPT Law: Domain-specific Continual Pre-Training Scaling Law for Large Language Models
di: Que, Haoran, et al.
Pubblicazione: (2024)

Life Cycle Assessment of Alkali Activator Solutions With Different Silica Modulus by ATR‐FTIR and 2 9 Si NMR: Influence on the Geopolymerization of Fly Ash ‐ GGBS System
di: Siva Shankari Subbaraj Velmurugan, et al.
Pubblicazione: (2026)

A homotopical algebra approach to the computation of higher limits
di: Santiago, Guille Carrión
Pubblicazione: (2024)

Política del antagonismo, política de la hospitalidad. Derivas de la teoría del discurso en Laclau y Derrida
di: Gustavo Patricio Guille
Pubblicazione: (2019)

De la historia natural a la biología moderna: máquinas, robots y cabinas de vuelo en el Natural History Museum (NHM , Museo de Historia Natural), Londres, Reino Unido
di: Gustavo Corral Guillé
Pubblicazione: (2017)

ESCUDRIÑANDO LA RAZÓN: NATURALEZA Y PROPÓSITOS DE LA CIENCIA
di: Gustavo Corral-Guillé
Pubblicazione: (2021)

Democracia versus populismo. Entre el mito y el dogma
di: Gustavo P. Guille
Pubblicazione: (2019)

Laclau y lo político. Esteban Vergalito
di: Gustavo P. Guille
Pubblicazione: (2019)

La constitución de subjetividades políticas en tiempos "post- estatales": un contrapunto entre Agamben, Nergri y Laclau
di: Gustavo Patricio Guille
Pubblicazione: (2017)

Understanding Adam Requires Better Rotation Dependent Assumptions
di: Zhang, Tianyue H., et al.
Pubblicazione: (2024)

Source-Free Domain Adaptation Guided by Vision and Vision-Language Pre-Training
di: Zhang, Wenyu, et al.
Pubblicazione: (2024)

DALIP: Distribution Alignment-based Language-Image Pre-Training for Domain-Specific Data
di: Wu, Junjie, et al.
Pubblicazione: (2025)

ARCHITECTURAL MODERNIZATION OF RESIDENTIAL BUILDINGS AS A FACTOR IN IMPROVING THE QUALITY OF THE URBAN ENVIRONMENT: THEORETICAL ASPECTS AND REGIONAL PRACTICES
di: Ostapenko I., et al.
Pubblicazione: (2025)

NATURE IN THE CITY: THE ROLE OF ECOAGROARCHITECTURE IN SHAPING A COMFORTABLE URBAN ENVIRONMENT
di: Ostapenko I., et al.
Pubblicazione: (2025)

Minimax Extrapolation Problem For Harmonizable Stable Sequences With Noise Observations
di: Moklyachuk, Mikhail, et al.
Pubblicazione: (2016)

Novel Adaptive Schemes for Hyperbolic Conservation Laws
di: Chu, Shaoshuai, et al.
Pubblicazione: (2025)

HUKUKBERT: Domain-Specific Language Model for Turkish Law
di: Öztürk, Mehmet Utku, et al.
Pubblicazione: (2026)

PTPP-Aware Adaptation Scaling Laws: Predicting Domain-Adaptation Performance at Unseen Pre-Training Budgets
di: Goffinet, Etienne, et al.
Pubblicazione: (2025)

Tate-Shafarevich groups and algebras
di: Kunyavskii, Boris, et al.
Pubblicazione: (2022)

Partition regularity of Pythagorean pairs
di: Frantzikinakis, Nikos, et al.
Pubblicazione: (2023)

Partition regularity of generalized Pythagorean pairs
di: Frantzikinakis, Nikos, et al.
Pubblicazione: (2024)