Buchumschlag

BabyLM Challenge: Exploring the Effect of Variation Sets on Language Model Training Efficiency

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Haga, Akari, Fukatsu, Akiyo, Oba, Miyu, Bisazza, Arianna, Oseki, Yohei
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Can Language Models Induce Grammatical Knowledge from Indirect Evidence?
von: Oba, Miyu, et al.
Veröffentlicht: (2024)

Dialogue Is Not Enough to Make a Communicative BabyLM (But Neither Is Developmentally Inspired Reinforcement Learning)
von: Padovani, Francesca, et al.
Veröffentlicht: (2025)

BabyLM Turns 3: Call for papers for the 2025 BabyLM workshop
von: Charpentier, Lucas, et al.
Veröffentlicht: (2025)

BabyLM Turns 4 and Goes Multilingual: Call for Papers for the 2026 BabyLM Workshop
von: Choshen, Leshem, et al.
Veröffentlicht: (2026)

BAMBINO-LM: (Bilingual-)Human-Inspired Continual Pretraining of BabyLM
von: Shen, Zhewen, et al.
Veröffentlicht: (2024)

Findings of the BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora
von: Warstadt, Alex, et al.
Veröffentlicht: (2025)

Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora
von: Hu, Michael Y., et al.
Veröffentlicht: (2024)

Are BabyLMs Second Language Learners?
von: Edman, Lukas, et al.
Veröffentlicht: (2024)

BabyBabelLM: A Multilingual Benchmark of Developmentally Plausible Training Data
von: Jumelet, Jaap, et al.
Veröffentlicht: (2025)

BabyLM's First Constructions: Causal probing provides a signal of learning
von: Rozner, Joshua, et al.
Veröffentlicht: (2025)

BabyLM's First Words: Word Segmentation as a Phonological Probing Task
von: Goriely, Zébulon, et al.
Veröffentlicht: (2025)

[Call for Papers] The 2nd BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus
von: Choshen, Leshem, et al.
Veröffentlicht: (2024)

Teacher Demonstrations in a BabyLM's Zone of Proximal Development for Contingent Multi-Turn Interaction
von: Salhan, Suchir, et al.
Veröffentlicht: (2025)

Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models
von: Zeng, Linda, et al.
Veröffentlicht: (2026)

CxMP: A Linguistic Minimal-Pair Benchmark for Evaluating Constructional Understanding in Language Models
von: Oba, Miyu, et al.
Veröffentlicht: (2026)

Mask and You Shall Receive: Optimizing Masked Language Modeling For Pretraining BabyLMs
von: Edman, Lukas, et al.
Veröffentlicht: (2025)

Do Construction Distributions Shape Formal Language Learning In German BabyLMs?
von: Bunzeck, Bastian, et al.
Veröffentlicht: (2025)

Tree-Planted Transformers: Unidirectional Transformer Language Models with Implicit Syntactic Supervision
von: Yoshida, Ryo, et al.
Veröffentlicht: (2024)

BabyLMs for isiXhosa: Data-Efficient Language Modelling in a Low-Resource Context
von: Matzopoulos, Alexis, et al.
Veröffentlicht: (2025)

Are BabyLMs Deaf to Gricean Maxims? A Pragmatic Evaluation of Sample-efficient Language Models
von: Askari, Raha, et al.
Veröffentlicht: (2025)

Child-directed speech facilitates production, not comprehension, in BabyLMs
von: Bunzeck, Bastian, et al.
Veröffentlicht: (2026)

Psychometric Predictive Power of Large Language Models
von: Kuribayashi, Tatsuki, et al.
Veröffentlicht: (2023)

Language Acquisition Device in Large Language Models
von: Mita, Masato, et al.
Veröffentlicht: (2026)

Composition, Attention, or Both?
von: Yoshida, Ryo, et al.
Veröffentlicht: (2022)

Assessing the Impact of Typological Features on Multilingual Machine Translation in the Age of Large Language Models
von: Hirak, Vitalii, et al.
Veröffentlicht: (2026)

Developmentally-plausible Working Memory Shapes a Critical Period for Language Acquisition
von: Mita, Masato, et al.
Veröffentlicht: (2025)

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs
von: Capone, Luca, et al.
Veröffentlicht: (2025)

An Existence Proof for Neural Language Models That Can Explain Garden-Path Effects via Surprisal
von: Yoshida, Ryo, et al.
Veröffentlicht: (2026)

Modeling Human Sentence Processing with Left-Corner Recurrent Neural Network Grammars
von: Yoshida, Ryo, et al.
Veröffentlicht: (2021)

Bias Dynamics in BabyLMs: Towards a Compute-Efficient Sandbox for Democratising Pre-Training Debiasing
von: Trhlik, Filip, et al.
Veröffentlicht: (2026)

Derivational Probing: Unveiling the Layer-wise Derivation of Syntactic Structures in Neural Language Models
von: Someya, Taiga, et al.
Veröffentlicht: (2025)

Child-Directed Language Does Not Consistently Boost Syntax Learning in Language Models
von: Padovani, Francesca, et al.
Veröffentlicht: (2025)

NeLLCom-X: A Comprehensive Neural-Agent Framework to Simulate Language Learning and Group Communication
von: Lian, Yuchen, et al.
Veröffentlicht: (2024)

Post-Training Language Models for Crosslingual Consistency
von: Liu, Tianyu, et al.
Veröffentlicht: (2026)

Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models
von: Qi, Jirui, et al.
Veröffentlicht: (2023)

Dual Alignment Between Language Model Layers and Human Sentence Processing
von: Kuribayashi, Tatsuki, et al.
Veröffentlicht: (2026)

Is Structure Dependence Shaped for Efficient Communication?: A Case Study on Coordination
von: Kajikawa, Kohei, et al.
Veröffentlicht: (2024)

Can Language Models Learn Typologically Implausible Languages?
von: Xu, Tianyang, et al.
Veröffentlicht: (2025)

Large Language Models Are Human-Like Internally
von: Kuribayashi, Tatsuki, et al.
Veröffentlicht: (2025)

BabyHGRN: Exploring RNNs for Sample-Efficient Training of Language Models
von: Haller, Patrick, et al.
Veröffentlicht: (2024)