Gespeichert in:
| Hauptverfasser: | Alrashed, Sultan, Orabona, Francesco |
|---|---|
| Format: | Preprint |
| Veröffentlicht: |
2025
|
| Schlagworte: | |
| Online-Zugang: | https://arxiv.org/abs/2512.18834 |
| Tags: |
Tag hinzufügen
Keine Tags, Fügen Sie den ersten Tag hinzu!
|
Ähnliche Einträge
SmolKalam: Ensemble Quality-Filtered Translation at Scale for High Quality Arabic Post-Training Data
von: Alrashed, Sultan, et al.
Veröffentlicht: (2025)
von: Alrashed, Sultan, et al.
Veröffentlicht: (2025)
SmolTulu: Higher Learning Rate to Batch Size Ratios Can Lead to Better Reasoning in SLMs
von: Alrashed, Sultan
Veröffentlicht: (2024)
von: Alrashed, Sultan
Veröffentlicht: (2024)
PolyMinHash: Efficient Area-Based MinHashing of Polygons for Approximate Nearest Neighbor Search
von: Subedi, Alima, et al.
Veröffentlicht: (2025)
von: Subedi, Alima, et al.
Veröffentlicht: (2025)
Fineweb-Edu-Ar: Machine-translated Corpus to Support Arabic Small Language Models
von: Alrashed, Sultan, et al.
Veröffentlicht: (2024)
von: Alrashed, Sultan, et al.
Veröffentlicht: (2024)
Real-Time Device Reach Forecasting Using HLL and MinHash Data Sketches
von: Muniyappa, Chandrashekar, et al.
Veröffentlicht: (2025)
von: Muniyappa, Chandrashekar, et al.
Veröffentlicht: (2025)
Maintaining $k$-MinHash Signatures over Fully-Dynamic Data Streams with Recovery
von: Clementi, Andrea, et al.
Veröffentlicht: (2024)
von: Clementi, Andrea, et al.
Veröffentlicht: (2024)
The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining
von: Shao, Jiandong, et al.
Veröffentlicht: (2026)
von: Shao, Jiandong, et al.
Veröffentlicht: (2026)
Relationships are Complicated! An Analysis of Relationships Between Datasets on the Web
von: Lin, Kate, et al.
Veröffentlicht: (2024)
von: Lin, Kate, et al.
Veröffentlicht: (2024)
Rethinking Multilingual Continual Pretraining: Data Mixing for Adapting LLMs Across Languages and Resources
von: Li, Zihao, et al.
Veröffentlicht: (2025)
von: Li, Zihao, et al.
Veröffentlicht: (2025)
Can Machine Translation Bridge Multilingual Pretraining and Cross-lingual Transfer Learning?
von: Ji, Shaoxiong, et al.
Veröffentlicht: (2024)
von: Ji, Shaoxiong, et al.
Veröffentlicht: (2024)
Toward Cross-Lingual Quality Classifiers for Multilingual Pretraining Data Selection
von: Turki, Yassine, et al.
Veröffentlicht: (2026)
von: Turki, Yassine, et al.
Veröffentlicht: (2026)
Multilingual JobBERT for Cross-Lingual Job Title Matching
von: Decorte, Jens-Joris, et al.
Veröffentlicht: (2025)
von: Decorte, Jens-Joris, et al.
Veröffentlicht: (2025)
Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly
von: Gao, Changjiang, et al.
Veröffentlicht: (2024)
von: Gao, Changjiang, et al.
Veröffentlicht: (2024)
Multilingual Topic Classification in X: Dataset and Analysis
von: Antypas, Dimosthenis, et al.
Veröffentlicht: (2024)
von: Antypas, Dimosthenis, et al.
Veröffentlicht: (2024)
Multilingual Pretraining Using a Large Corpus Machine-Translated from a Single Source Language
von: Wang, Jiayi, et al.
Veröffentlicht: (2024)
von: Wang, Jiayi, et al.
Veröffentlicht: (2024)
mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models
von: Lin, Peiqin, et al.
Veröffentlicht: (2023)
von: Lin, Peiqin, et al.
Veröffentlicht: (2023)
Tracing Multilingual Factual Knowledge Acquisition in Pretraining
von: Liu, Yihong, et al.
Veröffentlicht: (2025)
von: Liu, Yihong, et al.
Veröffentlicht: (2025)
Multilingual Pretraining for Pixel Language Models
von: Kesen, Ilker, et al.
Veröffentlicht: (2025)
von: Kesen, Ilker, et al.
Veröffentlicht: (2025)
LangSAMP: Language-Script Aware Multilingual Pretraining
von: Liu, Yihong, et al.
Veröffentlicht: (2024)
von: Liu, Yihong, et al.
Veröffentlicht: (2024)
UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset
von: Wang, Haoyu, et al.
Veröffentlicht: (2024)
von: Wang, Haoyu, et al.
Veröffentlicht: (2024)
Factual Consistency of Multilingual Pretrained Language Models
von: Fierro, Constanza, et al.
Veröffentlicht: (2022)
von: Fierro, Constanza, et al.
Veröffentlicht: (2022)
NLNDE at SemEval-2023 Task 12: Adaptive Pretraining and Source Language Selection for Low-Resource Multilingual Sentiment Analysis
von: Wang, Mingyang, et al.
Veröffentlicht: (2023)
von: Wang, Mingyang, et al.
Veröffentlicht: (2023)
Multilingual Language Model Pretraining using Machine-translated Data
von: Wang, Jiayi, et al.
Veröffentlicht: (2025)
von: Wang, Jiayi, et al.
Veröffentlicht: (2025)
A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives
von: Li, Zihao, et al.
Veröffentlicht: (2024)
von: Li, Zihao, et al.
Veröffentlicht: (2024)
MVL-SIB: A Massively Multilingual Vision-Language Benchmark for Cross-Modal Topical Matching
von: Schmidt, Fabian David, et al.
Veröffentlicht: (2025)
von: Schmidt, Fabian David, et al.
Veröffentlicht: (2025)
ATLAS: Adaptive Transfer Scaling Laws for Multilingual Pretraining, Finetuning, and Decoding the Curse of Multilinguality
von: Longpre, Shayne, et al.
Veröffentlicht: (2025)
von: Longpre, Shayne, et al.
Veröffentlicht: (2025)
Neither Here Nor There: Cross-Lingual Representation Dynamics of Code-Mixed Text in Multilingual Encoders
von: Mazumder, Debajyoti, et al.
Veröffentlicht: (2026)
von: Mazumder, Debajyoti, et al.
Veröffentlicht: (2026)
DA-Cramming: Enhancing Cost-Effective Language Model Pretraining with Dependency Agreement Integration
von: Kuo, Martin, et al.
Veröffentlicht: (2023)
von: Kuo, Martin, et al.
Veröffentlicht: (2023)
Copy First, Translate Later: Interpreting Translation Dynamics in Multilingual Pretraining
von: Körner, Felicia, et al.
Veröffentlicht: (2026)
von: Körner, Felicia, et al.
Veröffentlicht: (2026)
ELO: Efficient Layer-Specific Optimization for Continual Pretraining of Multilingual LLMs
von: Yoo, HanGyeol, et al.
Veröffentlicht: (2026)
von: Yoo, HanGyeol, et al.
Veröffentlicht: (2026)
Mix-of-Language-Experts Architecture for Multilingual Programming
von: Zong, Yifan, et al.
Veröffentlicht: (2025)
von: Zong, Yifan, et al.
Veröffentlicht: (2025)
CUTE: A Multilingual Dataset for Enhancing Cross-Lingual Knowledge Transfer in Low-Resource Languages
von: Zhuang, Wenhao, et al.
Veröffentlicht: (2025)
von: Zhuang, Wenhao, et al.
Veröffentlicht: (2025)
Enhancing Multilingual LLM Pretraining with Model-Based Data Selection
von: Messmer, Bettina, et al.
Veröffentlicht: (2025)
von: Messmer, Bettina, et al.
Veröffentlicht: (2025)
How Transferable are Attribute Controllers on Pretrained Multilingual Translation Models?
von: Liu, Danni, et al.
Veröffentlicht: (2023)
von: Liu, Danni, et al.
Veröffentlicht: (2023)
PARIKSHA: A Large-Scale Investigation of Human-LLM Evaluator Agreement on Multilingual and Multi-Cultural Data
von: Watts, Ishaan, et al.
Veröffentlicht: (2024)
von: Watts, Ishaan, et al.
Veröffentlicht: (2024)
Multilingual Knowledge Graph Completion from Pretrained Language Models with Knowledge Constraints
von: Song, Ran, et al.
Veröffentlicht: (2024)
von: Song, Ran, et al.
Veröffentlicht: (2024)
Datasets for Multilingual Answer Sentence Selection
von: Gabburo, Matteo, et al.
Veröffentlicht: (2024)
von: Gabburo, Matteo, et al.
Veröffentlicht: (2024)
Revisiting Multilingual Data Mixtures in Language Model Pretraining
von: Foroutan, Negar, et al.
Veröffentlicht: (2025)
von: Foroutan, Negar, et al.
Veröffentlicht: (2025)
Pretrained Multilingual Transformers Reveal Quantitative Distance Between Human Languages
von: Zhao, Yue, et al.
Veröffentlicht: (2026)
von: Zhao, Yue, et al.
Veröffentlicht: (2026)
GlossLM: A Massively Multilingual Corpus and Pretrained Model for Interlinear Glossed Text
von: Ginn, Michael, et al.
Veröffentlicht: (2024)
von: Ginn, Michael, et al.
Veröffentlicht: (2024)
Ähnliche Einträge
-
SmolKalam: Ensemble Quality-Filtered Translation at Scale for High Quality Arabic Post-Training Data
von: Alrashed, Sultan, et al.
Veröffentlicht: (2025) -
SmolTulu: Higher Learning Rate to Batch Size Ratios Can Lead to Better Reasoning in SLMs
von: Alrashed, Sultan
Veröffentlicht: (2024) -
PolyMinHash: Efficient Area-Based MinHashing of Polygons for Approximate Nearest Neighbor Search
von: Subedi, Alima, et al.
Veröffentlicht: (2025) -
Fineweb-Edu-Ar: Machine-translated Corpus to Support Arabic Small Language Models
von: Alrashed, Sultan, et al.
Veröffentlicht: (2024) -
Real-Time Device Reach Forecasting Using HLL and MinHash Data Sketches
von: Muniyappa, Chandrashekar, et al.
Veröffentlicht: (2025)