Copertina

SmolLM2: When Smol Goes Big -- Data-Centric Training of a Small Language Model

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Allal, Loubna Ben, Lozhkov, Anton, Bakouch, Elie, Blázquez, Gabriel Martín, Penedo, Guilherme, Tunstall, Lewis, Marafioti, Andrés, Kydlíček, Hynek, Lajarín, Agustín Piqueres, Srivastav, Vaibhav, Lochner, Joshua, Fahlgren, Caleb, Nguyen, Xuan-Son, Fourrier, Clémentine, Burtenshaw, Ben, Larcher, Hugo, Zhao, Haojun, Zakka, Cyril, Morlon, Mathieu, Raffel, Colin, von Werra, Leandro, Wolf, Thomas
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

SmolVLM: Redefining small and efficient multimodal models
di: Marafioti, Andrés, et al.
Pubblicazione: (2025)

The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale
di: Penedo, Guilherme, et al.
Pubblicazione: (2024)

How Can We Synthesize High-Quality Pretraining Data? A Systematic Study of Prompt Design, Generator Model, and Source Data
di: Niklaus, Joel, et al.
Pubblicazione: (2026)

Scaling Laws and Compute-Optimal Training Beyond Fixed Training Durations
di: Hägele, Alexander, et al.
Pubblicazione: (2024)

SmolVLA: A Vision-Language-Action Model for Affordable and Efficient Robotics
di: Shukor, Mustafa, et al.
Pubblicazione: (2025)

FineWeb2: One Pipeline to Scale Them All -- Adapting Pre-Training Data Processing to Every Language
di: Penedo, Guilherme, et al.
Pubblicazione: (2025)

SmolDocling: An ultra-compact vision-language model for end-to-end multi-modal document conversion
di: Nassar, Ahmed, et al.
Pubblicazione: (2025)

Smol-GS: Compact Representations for Abstract 3D Gaussian Splatting
di: Wang, Haishan, et al.
Pubblicazione: (2025)

SmolRGPT: Efficient Spatial Reasoning for Warehouse Environments with 600M Parameters
di: Traore, Abdarahmane, et al.
Pubblicazione: (2025)

SmolKalam: Ensemble Quality-Filtered Translation at Scale for High Quality Arabic Post-Training Data
di: Alrashed, Sultan, et al.
Pubblicazione: (2025)

SmolTulu: Higher Learning Rate to Batch Size Ratios Can Lead to Better Reasoning in SLMs
di: Alrashed, Sultan
Pubblicazione: (2024)

Vision SmolMamba: Spike-Guided Token Pruning for Energy-Efficient Spiking State-Space Vision Models
di: Bai, Dewei, et al.
Pubblicazione: (2026)

Exploring Drivers of Extreme Housing Prices in Australia
di: Burtenshaw, Grace, et al.
Pubblicazione: (2026)

A Cartography of Open Collaboration in Open Source AI: Mapping Practices, Motivations, and Governance in 14 Open Large Language Model Projects
di: Linåker, Johan, et al.
Pubblicazione: (2025)

De la crisis a la confianza en las profesiones: Algunas orientaciones para el estudio de las profesiones ecuativas
di: Felipe Javier Ramírez Lajarín
Pubblicazione: (2005)

EL PROYECTO DE PLAZA DE TOROS DE PICASSO Y SU RELACIÓN CON LA ARQUITECTURA DE MASAS
di: Rosa Perales Piqueres
Pubblicazione: (2014)

The Common Pile v0.1: An 8TB Dataset of Public Domain and Openly Licensed Text
di: Kandpal, Nikhil, et al.
Pubblicazione: (2025)

YourBench: Easy Custom Evaluation Sets for Everyone
di: Shashidhar, Sumuk, et al.
Pubblicazione: (2025)

tt386/tuning-selection: Code release for "Tuning spatial distributions of selection pressure to suppress emergence of resistance"
di: Thomas Tunstall
Pubblicazione: (2026)

How Social Network Structure Impacts the Ability of Zealots to Promote Weak Opinions
di: Tunstall, Thomas
Pubblicazione: (2024)

Smol, J.P. 2023. Lakes in the Anthropocene: Reflections on tracking ecosystem change in the Arctic. Excellence in Ecology. Book 30. International Ecology Institute: Oldendorf/Luhe, Germany. ISBN 978‐3‐946729‐30‐3. 438 p. € 50
di: Jana Isanta‐Navarro
Pubblicazione: (2024)

FRASER, Ronald, La maldita Guerra de España. Historia social de la Guerra de la Independencia, 1808-1814, Barcelona, Crítica, 2006, 932 págs.
di: Antonio J. Piqueres Díez
Pubblicazione: (2008)

EL PERIPLO ANDALUZ DEL REY AMBULANTE
di: Antonio J. Piqueres Díez
Pubblicazione: (2009)

A novel statistical workflow for nonstationary modelling of successive Fréchet extremes
di: Burtenshaw, Grace, et al.
Pubblicazione: (2025)

Low‐molecular‐weight reduced sulfur substances: A major component of nonvolatile dissolved organic sulfur in the Pacific Ocean
di: Pierre Fourrier, et al.
Pubblicazione: (2024)

Obsidian : 3D documentation
di: Werra, Dagmara H.
Pubblicazione: (2026)

Obsidian : 3D documentation
di: Werra, Dagmara H.
Pubblicazione: (2026)

Obsidian : 3D documentation
di: Werra, Dagmara H.
Pubblicazione: (2026)

Świeciechów flint : 3D documentation
di: Werra, Dagmara H.
Pubblicazione: (2026)

Obsidian : 3D documentation
di: Werra, Dagmara H.
Pubblicazione: (2026)

Świeciechów flint : 3D documentation
di: Werra, Dagmara H.
Pubblicazione: (2026)

Obsidian : 3D documentation
di: Werra, Dagmara H.
Pubblicazione: (2026)

‘Le siècle s'est éclairé’: Philosophes , Phantoms, and Fanaticism
di: Kate E. Tunstall
Pubblicazione: (2026)

Cons-training Tensor Networks: Embedding and Optimization Over Discrete Linear Constraints
di: Lopez-Piqueres, Javier, et al.
Pubblicazione: (2024)

Tensor Network Estimation of Distribution Algorithms
di: Gardiner, John, et al.
Pubblicazione: (2024)

FIN DE AÑO SIN FIN
di: Roberto Marafioti
Pubblicazione: (2005)

Tasselyzer, a machine learning method to quantify maize anther exertion, based on PlantCV
di: Chong Teng, et al.
Pubblicazione: (2025)

Una red neuronal backpropagation aplicada a la microhistología
di: Ledda Larcher
Pubblicazione: (2004)

A Novel adaptive Discrete Cuckoo Search Algorithm for parameter optimization in computer vision
di: Benchikhi Loubna
Pubblicazione: (2017)

Evolution of a trait distributed over a large fragmented population: Propagation of chaos meets adaptive dynamics
di: Lambert, Amaury, et al.
Pubblicazione: (2025)