Buchumschlag

From Babble to Words: Pre-Training Language Models on Continuous Streams of Phonemes

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Goriely, Zébulon, Martinez, Richard Diehl, Caines, Andrew, Beinborn, Lisa, Buttery, Paula
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mitigating Frequency Bias and Anisotropy in Language Model Pre-Training with Syntactic Smoothing
von: Martinez, Richard Diehl, et al.
Veröffentlicht: (2024)

IPA-CHILDES & G2P+: Feature-Rich Resources for Cross-Lingual Phonology and Phonemic Language Modeling
von: Goriely, Zébulon, et al.
Veröffentlicht: (2025)

BabyLM's First Words: Word Segmentation as a Phonological Probing Task
von: Goriely, Zébulon, et al.
Veröffentlicht: (2025)

Less is More: Pre-Training Cross-Lingual Small-Scale Language Models with Cognitively-Plausible Curriculum Learning Strategies
von: Salhan, Suchir, et al.
Veröffentlicht: (2024)

What is the Best Sequence Length for BABYLM?
von: Salhan, Suchir, et al.
Veröffentlicht: (2025)

Bias Dynamics in BabyLMs: Towards a Compute-Efficient Sandbox for Democratising Pre-Training Debiasing
von: Trhlik, Filip, et al.
Veröffentlicht: (2026)

ByteSpan: Information-Driven Subword Tokenisation
von: Goriely, Zébulon, et al.
Veröffentlicht: (2025)

Tending Towards Stability: Convergence Challenges in Small Language Models
von: Martinez, Richard Diehl, et al.
Veröffentlicht: (2024)

BLiSS 1.0: Evaluating Bilingual Learner Competence in Second Language Small Language Models
von: Gao, Yuan, et al.
Veröffentlicht: (2025)

Looking to Learn: Token-wise Dynamic Gating for Low-Resource Vision-Language Modelling
von: Ganescu, Bianca-Mihaela, et al.
Veröffentlicht: (2025)

Investigating ReLoRA: Effects on the Learning Dynamics of Small Language Models
von: Weiss, Yuval, et al.
Veröffentlicht: (2025)

Learning Dynamics of Meta-Learning in Small Model Pretraining
von: Africa, David Demitri, et al.
Veröffentlicht: (2025)

Meta-Pretraining for Zero-Shot Cross-Lingual Named Entity Recognition in Low-Resource Philippine Languages
von: Africa, David Demitri, et al.
Veröffentlicht: (2025)

Pico: A Modular Framework for Hypothesis-Driven Small Language Model Research
von: Martinez, Richard Diehl, et al.
Veröffentlicht: (2025)

From Babbling to Fluency: Evaluating the Evolution of Language Models in Terms of Human Language Acquisition
von: Yang, Qiyuan, et al.
Veröffentlicht: (2024)

DACTYL: Diverse Adversarial Corpus of Texts Yielded from Large Language Models
von: Thorat, Shantanu, et al.
Veröffentlicht: (2025)

Teacher Demonstrations in a BabyLM's Zone of Proximal Development for Contingent Multi-Turn Interaction
von: Salhan, Suchir, et al.
Veröffentlicht: (2025)

The Role of Syntactic Span Preferences in Post-Hoc Explanation Disagreement
von: Kamp, Jonathan, et al.
Veröffentlicht: (2024)

Learning from Sufficient Rationales: Analysing the Relationship Between Explanation Faithfulness and Token-level Regularisation Strategies
von: Kamp, Jonathan, et al.
Veröffentlicht: (2025)

Prompting open-source and commercial language models for grammatical error correction of English learner text
von: Davis, Christopher, et al.
Veröffentlicht: (2024)

Once Upon a Time: Interactive Learning for Storytelling with Small Language Models
von: Martins, Jonas Mayer, et al.
Veröffentlicht: (2025)

Handling Korean Out-of-Vocabulary Words with Phoneme Representation Learning
von: Kim, Nayeon, et al.
Veröffentlicht: (2025)

What makes a word hard to learn? Modeling L1 influence on English vocabulary difficulty
von: Martins, Jonas Mayer, et al.
Veröffentlicht: (2026)

From Phonemes to Meaning: Evaluating Large Language Models on Tamil
von: Varsha, Jeyarajalingam, et al.
Veröffentlicht: (2025)

Sorting the Babble in Babel: Assessing the Performance of Language Identification Algorithms on the OpenAlex Database
von: Sainte-Marie, Maxime Holmberg, et al.
Veröffentlicht: (2025)

OLaPh: Optimal Language Phonemizer
von: Wirth, Johannes
Veröffentlicht: (2025)

Web(er) of Hate: A Survey on How Hate Speech Is Typed
von: Wang, Luna, et al.
Veröffentlicht: (2025)

Improving Language Models Trained on Translated Data with Continual Pre-Training and Dictionary Learning Analysis
von: Boughorbel, Sabri, et al.
Veröffentlicht: (2024)

Domain-Adaptive Continued Pre-Training of Small Language Models
von: Faroz, Salman
Veröffentlicht: (2025)

Vocabulary shapes cross-lingual variation of word-order learnability in language models
von: Martins, Jonas Mayer, et al.
Veröffentlicht: (2026)

Synthetic Pre-Pre-Training Improves Language Model Robustness to Noisy Pre-Training Data
von: Guo, Xu, et al.
Veröffentlicht: (2026)

How Do Large Language Models Learn Concepts During Continual Pre-Training?
von: Yao, Barry Menglong, et al.
Veröffentlicht: (2026)

Learning Dynamics in Continual Pre-Training for Large Language Models
von: Wang, Xingjin, et al.
Veröffentlicht: (2025)

Breaking Language Barriers: Cross-Lingual Continual Pre-Training at Scale
von: Zheng, Wenzhen, et al.
Veröffentlicht: (2024)

Modelling the Diachronic Emergence of Phoneme Frequency Distributions
von: Martín, Fermín Moscoso del Prado, et al.
Veröffentlicht: (2026)

Enhancing Translation Accuracy of Large Language Models through Continual Pre-Training on Parallel Data
von: Kondo, Minato, et al.
Veröffentlicht: (2024)

How Well Do Large Language Models Disambiguate Swedish Words?
von: Johansson, Richard
Veröffentlicht: (2024)

Large Language Models Lack Understanding of Character Composition of Words
von: Shin, Andrew, et al.
Veröffentlicht: (2024)

The Distribution of Phoneme Frequencies across the World's Languages: Macroscopic and Microscopic Information-Theoretic Models
von: Martín, Fermín Moscoso del Prado, et al.
Veröffentlicht: (2026)

Probing Context Localization of Polysemous Words in Pre-trained Language Model Sub-Layers
von: Vijayakumar, Soniya, et al.
Veröffentlicht: (2024)