Buchumschlag

Small Language Models Also Work With Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Bunzeck, Bastian, Duran, Daniel, Schade, Leonie, Zarrieß, Sina
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Do Construction Distributions Shape Formal Language Learning In German BabyLMs?
von: Bunzeck, Bastian, et al.
Veröffentlicht: (2025)

Child-directed speech facilitates production, not comprehension, in BabyLMs
von: Bunzeck, Bastian, et al.
Veröffentlicht: (2026)

Subword models struggle with word learning, but surprisal hides it
von: Bunzeck, Bastian, et al.
Veröffentlicht: (2025)

Dialogue Is Not Enough to Make a Communicative BabyLM (But Neither Is Developmentally Inspired Reinforcement Learning)
von: Padovani, Francesca, et al.
Veröffentlicht: (2025)

PolyIPA -- Multilingual Phoneme-to-Grapheme Conversion Model
von: Lauc, Davor
Veröffentlicht: (2024)

Are BabyLMs Deaf to Gricean Maxims? A Pragmatic Evaluation of Sample-efficient Language Models
von: Askari, Raha, et al.
Veröffentlicht: (2025)

Grapheme-Coherent Phonemic and Prosodic Annotation of Speech by Implicit and Explicit Grapheme Conditioning
von: Ohnaka, Hien, et al.
Veröffentlicht: (2025)

LLM-Powered Grapheme-to-Phoneme Conversion: Benchmark and Case Study
von: Qharabagh, Mahta Fetrat, et al.
Veröffentlicht: (2024)

The Frequency Confound in Language-Model Surprisal and Metaphor Novelty
von: Momen, Omar, et al.
Veröffentlicht: (2026)

How Hypocritical Is Your LLM judge? Listener-Speaker Asymmetries in the Pragmatic Competence of Large Language Models
von: Sieker, Judith, et al.
Veröffentlicht: (2026)

Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector
von: Cheng, Xiaoxue, et al.
Veröffentlicht: (2024)

Multitask Learning for Grapheme-to-Phoneme Conversion of Anglicisms in German Speech Recognition
von: Pritzen, Julia, et al.
Veröffentlicht: (2021)

Phonikud: Hebrew Grapheme-to-Phoneme Conversion for Real-Time Text-to-Speech
von: Kolani, Yakov, et al.
Veröffentlicht: (2025)

TinyLlama: An Open-Source Small Language Model
von: Zhang, Peiyuan, et al.
Veröffentlicht: (2024)

Resilience through Scene Context in Visual Referring Expression Generation
von: Junker, Simeon, et al.
Veröffentlicht: (2024)

SceneGram: Conceptualizing and Describing Tangrams in Scene Context
von: Junker, Simeon, et al.
Veröffentlicht: (2025)

Model Interpretability and Rationale Extraction by Input Mask Optimization
von: Brinner, Marc, et al.
Veröffentlicht: (2025)

Bridging the Gap: An Intermediate Language for Enhanced and Cost-Effective Grapheme-to-Phoneme Conversion with Homographs with Multiple Pronunciations Disambiguation
von: Bertina, Abbas, et al.
Veröffentlicht: (2025)

Rationalizing Transformer Predictions via End-To-End Differentiable Self-Training
von: Brinner, Marc, et al.
Veröffentlicht: (2025)

Efficient Scientific Full Text Classification: The Case of EICAT Impact Assessments
von: Brinner, Marc Felix, et al.
Veröffentlicht: (2025)

Unicode Normalization and Grapheme Parsing of Indic Languages
von: Ansary, Nazmuddoha, et al.
Veröffentlicht: (2023)

Towards Reasoning Ability of Small Language Models
von: Srivastava, Gaurav, et al.
Veröffentlicht: (2025)

Symbolic Chain-of-Thought Distillation: Small Models Can Also "Think" Step-by-Step
von: Li, Liunian Harold, et al.
Veröffentlicht: (2023)

SemCSE: Semantic Contrastive Sentence Embeddings Using LLM-Generated Summaries For Scientific Abstracts
von: Brinner, Marc, et al.
Veröffentlicht: (2025)

Choosy Babies Need One Coach: Inducing Mode-Seeking Behavior in BabyLlama with Reverse KL Divergence
von: Shi, Shaozhen, et al.
Veröffentlicht: (2024)

LLMs Struggle to Reject False Presuppositions when Misinformation Stakes are High
von: Sieker, Judith, et al.
Veröffentlicht: (2025)

Are Multimodal Large Language Models Pragmatically Competent Listeners in Simple Reference Resolution Tasks?
von: Junker, Simeon, et al.
Veröffentlicht: (2025)

Handling Korean Out-of-Vocabulary Words with Phoneme Representation Learning
von: Kim, Nayeon, et al.
Veröffentlicht: (2025)

SemCSE-Multi: Multifaceted and Decodable Embeddings for Aspect-Specific and Interpretable Scientific Domain Mapping
von: Brinner, Marc, et al.
Veröffentlicht: (2025)

Reference Games as a Testbed for the Alignment of Model Uncertainty and Clarification Requests
von: Ali, Manar, et al.
Veröffentlicht: (2026)

Assessing the Emergent Symbolic Reasoning Abilities of Llama Large Language Models
von: Petruzzellis, Flavio, et al.
Veröffentlicht: (2024)

Enhancing Domain-Specific Encoder Models with LLM-Generated Data: How to Leverage Ontologies, and How to Do Without Them
von: Brinner, Marc, et al.
Veröffentlicht: (2025)

Talking to a Know-It-All GPT or a Second-Guesser Claude? How Repair reveals unreliable Multi-Turn Behavior in LLMs
von: Lachenmaier, Clara, et al.
Veröffentlicht: (2026)

Can LLMs Ground when they (Don't) Know: A Study on Direct and Loaded Political Questions
von: Lachenmaier, Clara, et al.
Veröffentlicht: (2025)

CLASS-IT: Conversational and Lecture-Aligned Small-Scale Instruction Tuning for BabyLMs
von: Capone, Luca, et al.
Veröffentlicht: (2025)

Do Llamas Work in English? On the Latent Language of Multilingual Transformers
von: Wendler, Chris, et al.
Veröffentlicht: (2024)

BabyLM's First Constructions: Causal probing provides a signal of learning
von: Rozner, Joshua, et al.
Veröffentlicht: (2025)

Evaluating Diversity in Automatic Poetry Generation
von: Chen, Yanran, et al.
Veröffentlicht: (2024)

Implicit Causality-biases in humans and LLMs as a tool for benchmarking LLM discourse capabilities
von: Kankowski, Florian, et al.
Veröffentlicht: (2025)

The InviTE Corpus: Annotating Invectives in Tudor English Texts for Computational Modeling
von: Spliethoff, Sophie, et al.
Veröffentlicht: (2025)