Buchumschlag

Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hu, Michael Y., Mueller, Aaron, Ross, Candace, Williams, Adina, Linzen, Tal, Zhuang, Chengxu, Cotterell, Ryan, Choshen, Leshem, Warstadt, Alex, Wilcox, Ethan Gotlieb
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Findings of the BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora
von: Warstadt, Alex, et al.
Veröffentlicht: (2025)

[Call for Papers] The 2nd BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus
von: Choshen, Leshem, et al.
Veröffentlicht: (2024)

BabyLM Turns 4 and Goes Multilingual: Call for Papers for the 2026 BabyLM Workshop
von: Choshen, Leshem, et al.
Veröffentlicht: (2026)

BabyLM Turns 3: Call for papers for the 2025 BabyLM workshop
von: Charpentier, Lucas, et al.
Veröffentlicht: (2025)

BabyBabelLM: A Multilingual Benchmark of Developmentally Plausible Training Data
von: Jumelet, Jaap, et al.
Veröffentlicht: (2025)

BAMBINO-LM: (Bilingual-)Human-Inspired Continual Pretraining of BabyLM
von: Shen, Zhewen, et al.
Veröffentlicht: (2024)

Dual Alignment Between Language Model Layers and Human Sentence Processing
von: Kuribayashi, Tatsuki, et al.
Veröffentlicht: (2026)

Dialogue Is Not Enough to Make a Communicative BabyLM (But Neither Is Developmentally Inspired Reinforcement Learning)
von: Padovani, Francesca, et al.
Veröffentlicht: (2025)

Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models
von: Stöpler, Lennart, et al.
Veröffentlicht: (2025)

Entailment Semantics Can Be Extracted from an Ideal Language Model
von: Merrill, William, et al.
Veröffentlicht: (2022)

Are BabyLMs Second Language Learners?
von: Edman, Lukas, et al.
Veröffentlicht: (2024)

Predicting the Emergence of Induction Heads in Language Model Pretraining
von: Aoyama, Tatsuya, et al.
Veröffentlicht: (2025)

On the Role of Context in Reading Time Prediction
von: Opedal, Andreas, et al.
Veröffentlicht: (2024)

BabyLM's First Constructions: Causal probing provides a signal of learning
von: Rozner, Joshua, et al.
Veröffentlicht: (2025)

BabyLM's First Words: Word Segmentation as a Phonological Probing Task
von: Goriely, Zébulon, et al.
Veröffentlicht: (2025)

BabyLM Challenge: Exploring the Effect of Variation Sets on Language Model Training Efficiency
von: Haga, Akari, et al.
Veröffentlicht: (2024)

The ShareLM Collection and Plugin: Contributing Human-Model Chats for the Benefit of the Community
von: Don-Yehiya, Shachar, et al.
Veröffentlicht: (2024)

Looking forward: Linguistic theory and methods
von: Mansfield, John, et al.
Veröffentlicht: (2025)

Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse
von: Tsipidi, Eleftheria, et al.
Veröffentlicht: (2024)

Teacher Demonstrations in a BabyLM's Zone of Proximal Development for Contingent Multi-Turn Interaction
von: Salhan, Suchir, et al.
Veröffentlicht: (2025)

Using Information Theory to Characterize Prosodic Typology: The Case of Tone, Pitch-Accent and Stress-Accent
von: Wilcox, Ethan Gotlieb, et al.
Veröffentlicht: (2025)

Testing the Predictions of Surprisal Theory in 11 Languages
von: Wilcox, Ethan Gotlieb, et al.
Veröffentlicht: (2023)

Reverse-Engineering the Reader
von: Kiegeland, Samuel, et al.
Veröffentlicht: (2024)

Mask and You Shall Receive: Optimizing Masked Language Modeling For Pretraining BabyLMs
von: Edman, Lukas, et al.
Veröffentlicht: (2025)

Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models
von: Zeng, Linda, et al.
Veröffentlicht: (2026)

What Goes Into a LM Acceptability Judgment? Rethinking the Impact of Frequency and Length
von: Tjuatja, Lindia, et al.
Veröffentlicht: (2024)

Information-Theoretic Storage Cost in Sentence Comprehension
von: Kajikawa, Kohei, et al.
Veröffentlicht: (2026)

Function Words as Statistical Cues for Language Learning
von: Yang, Xiulin, et al.
Veröffentlicht: (2026)

How Does Code Pretraining Affect Language Model Task Performance?
von: Petty, Jackson, et al.
Veröffentlicht: (2024)

Pretraining Language Models for Diachronic Linguistic Change Discovery
von: Fittschen, Elisabeth, et al.
Veröffentlicht: (2025)

Child-directed speech facilitates production, not comprehension, in BabyLMs
von: Bunzeck, Bastian, et al.
Veröffentlicht: (2026)

The Harmonic Structure of Information Contours
von: Tsipidi, Eleftheria, et al.
Veröffentlicht: (2025)

A Distributional Perspective on Word Learning in Neural Language Models
von: Ficarra, Filippo, et al.
Veröffentlicht: (2025)

In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax
von: Mueller, Aaron, et al.
Veröffentlicht: (2023)

What makes a good metric? Evaluating automatic metrics for text-to-image consistency
von: Ross, Candace, et al.
Veröffentlicht: (2024)

A Unified Assessment of the Poverty of the Stimulus Argument for Neural Language Models
von: Yang, Xiulin, et al.
Veröffentlicht: (2026)

Do Language Models' Words Refer?
von: Mandelkern, Matthew, et al.
Veröffentlicht: (2023)

SPAWNing Structural Priming Predictions from a Cognitively Motivated Parser
von: Prasad, Grusha, et al.
Veröffentlicht: (2024)

Can Gradient Descent Simulate Prompting?
von: Zhang, Eric, et al.
Veröffentlicht: (2025)

A Hitchhiker's Guide to Scaling Law Estimation
von: Choshen, Leshem, et al.
Veröffentlicht: (2024)