Buchumschlag

A Bit of a Problem: Measurement Disparities in Dataset Sizes Across Languages

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Arnett, Catherine, Chang, Tyler A., Bergen, Benjamin K.
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Goldfish: Monolingual Language Models for 350 Languages
von: Chang, Tyler A., et al.
Veröffentlicht: (2024)

On the Acquisition of Shared Grammatical Representations in Bilingual Language Models
von: Arnett, Catherine, et al.
Veröffentlicht: (2025)

Explaining and Mitigating Crosslingual Tokenizer Inequities
von: Arnett, Catherine, et al.
Veröffentlicht: (2025)

Why do language models perform worse for morphologically complex languages?
von: Arnett, Catherine, et al.
Veröffentlicht: (2024)

Revenge of the Fallen? Recurrent Models Match Transformers at Predicting Human Language Comprehension Metrics
von: Michaelov, James A., et al.
Veröffentlicht: (2024)

Bigram Subnetworks: Mapping to Next Tokens in Transformer Language Models
von: Chang, Tyler A., et al.
Veröffentlicht: (2025)

Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability
von: Chang, Tyler A., et al.
Veröffentlicht: (2023)

Language Model Behavioral Phases are Consistent Across Architecture, Training Data, and Scale
von: Michaelov, James A., et al.
Veröffentlicht: (2025)

Different Tokenization Schemes Lead to Comparable Performance in Spanish Number Agreement
von: Arnett, Catherine, et al.
Veröffentlicht: (2024)

How Open Must Language Models be to Enable Reliable Scientific Inference?
von: Michaelov, James A., et al.
Veröffentlicht: (2026)

Do Large Language Models Exhibit Spontaneous Rational Deception?
von: Taylor, Samuel M., et al.
Veröffentlicht: (2025)

Large Language Models Pass the Turing Test
von: Jones, Cameron R., et al.
Veröffentlicht: (2025)

Disaggregation Reveals Hidden Training Dynamics: The Case of Agreement Attraction
von: Michaelov, James A., et al.
Veröffentlicht: (2025)

BPE Stays on SCRIPT: Structured Encoding for Robust Multilingual Pretokenization
von: Land, Sander, et al.
Veröffentlicht: (2025)

Evaluating Morphological Alignment of Tokenizers in 70 Languages
von: Arnett, Catherine, et al.
Veröffentlicht: (2025)

Disparities In Negation Understanding Across Languages In Vision-Language Models
von: Moraitaki, Charikleia, et al.
Veröffentlicht: (2026)

Emergent inabilities? Inverse scaling over the course of pretraining
von: Michaelov, James A., et al.
Veröffentlicht: (2023)

Using Contextually Aligned Online Reviews to Measure LLMs' Performance Disparities Across Language Varieties
von: Tang, Zixin, et al.
Veröffentlicht: (2025)

EVOKE: Emotion Vocabulary Of Korean and English
von: Jung, Yoonwon, et al.
Veröffentlicht: (2026)

Lies, Damned Lies, and Distributional Language Statistics: Persuasion and Deception with Large Language Models
von: Jones, Cameron R., et al.
Veröffentlicht: (2024)

Does GPT-4 pass the Turing test?
von: Jones, Cameron R., et al.
Veröffentlicht: (2023)

Not quite Sherlock Holmes: Language model predictions do not reliably differentiate impossible from improbable events
von: Michaelov, James A., et al.
Veröffentlicht: (2025)

Weight Tying Biases Token Embeddings Towards the Output Space
von: Lopardo, Antonio, et al.
Veröffentlicht: (2026)

Diversity Over Size: On the Effect of Sample and Topic Sizes for Topic-Dependent Argument Mining Datasets
von: Schiller, Benjamin, et al.
Veröffentlicht: (2022)

Dissecting the Ullman Variations with a SCALPEL: Why do LLMs fail at Trivial Alterations to the False Belief Task?
von: Pi, Zhiqiang, et al.
Veröffentlicht: (2024)

BPE Gets Picky: Efficient Vocabulary Refinement During Tokenizer Training
von: Chizhov, Pavel, et al.
Veröffentlicht: (2024)

Toxicity of the Commons: Curating Open-Source Pre-Training Data
von: Arnett, Catherine, et al.
Veröffentlicht: (2024)

GPT-4 is judged more human than humans in displaced and inverted Turing tests
von: Rathi, Ishika, et al.
Veröffentlicht: (2024)

DIA-HARM: Dialectal Disparities in Harmful Content Detection Across 50 English Dialects
von: Lucas, Jason, et al.
Veröffentlicht: (2026)

Quantifying Language Disparities in Multilingual Large Language Models
von: Hu, Songbo, et al.
Veröffentlicht: (2025)

BitStack: Any-Size Compression of Large Language Models in Variable Memory Environments
von: Wang, Xinghao, et al.
Veröffentlicht: (2024)

RoCode: A Dataset for Measuring Code Intelligence from Problem Definitions in Romanian
von: Cosma, Adrian, et al.
Veröffentlicht: (2024)

The Script Tax: Measuring Tokenization-Driven Efficiency and Latency Disparities in Multilingual Language Models
von: Dixit, Aradhya, et al.
Veröffentlicht: (2026)

How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes
von: Vieira, Inacio, et al.
Veröffentlicht: (2024)

Explanation Fairness in Large Language Models: An Empirical Analysis of Disparities in How LLMs Justify Decisions Across Demographic Groups
von: Veldanda, Gautam
Veröffentlicht: (2026)

Re-defining Humor Data Objects for AI Humor Research
von: Arnett, Anna, et al.
Veröffentlicht: (2026)

With Privacy, Size Matters: On the Importance of Dataset Size in Differentially Private Text Rewriting
von: Meisenbacher, Stephen, et al.
Veröffentlicht: (2025)

Indian-BhED: A Dataset for Measuring India-Centric Biases in Large Language Models
von: Khandelwal, Khyati, et al.
Veröffentlicht: (2023)

Seeing is Not Understanding: A Benchmark on Perception-Cognition Disparities in Large Language Models
von: Li, Haokun, et al.
Veröffentlicht: (2025)

Scalable Influence and Fact Tracing for Large Language Model Pretraining
von: Chang, Tyler A., et al.
Veröffentlicht: (2024)