Buchumschlag

LangSAMP: Language-Script Aware Multilingual Pretraining

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Yihong, Ye, Haotian, Ma, Chunlan, Wang, Mingyang, Schütze, Hinrich
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

TransliCo: A Contrastive Learning Framework to Address the Script Barrier in Multilingual Pretrained Language Models
von: Liu, Yihong, et al.
Veröffentlicht: (2024)

TransMI: A Framework to Create Strong Baselines from Multilingual Pretrained Language Models for Transliterated Data
von: Liu, Yihong, et al.
Veröffentlicht: (2024)

Exploring the Role of Transliteration in In-Context Learning for Low-resource Languages Written in Non-Latin Scripts
von: Ma, Chunlan, et al.
Veröffentlicht: (2024)

MoSECroT: Model Stitching with Static Word Embeddings for Crosslingual Zero-shot Transfer
von: Ye, Haotian, et al.
Veröffentlicht: (2024)

OFA: A Framework of Initializing Unseen Subword Embeddings for Efficient Large-scale Multilingual Continued Pretraining
von: Liu, Yihong, et al.
Veröffentlicht: (2023)

Breaking the Script Barrier in Multilingual Pre-Trained Language Models with Transliteration-Based Post-Training Alignment
von: Xhelili, Orgest, et al.
Veröffentlicht: (2024)

Taxi1500: A Multilingual Dataset for Text Classification in 1500 Languages
von: Ma, Chunlan, et al.
Veröffentlicht: (2023)

Evaluating Contextually Mediated Factual Recall in Multilingual Large Language Models
von: Liu, Yihong, et al.
Veröffentlicht: (2026)

Tracing Multilingual Factual Knowledge Acquisition in Pretraining
von: Liu, Yihong, et al.
Veröffentlicht: (2025)

How Transliterations Improve Crosslingual Alignment
von: Liu, Yihong, et al.
Veröffentlicht: (2024)

NLNDE at SemEval-2023 Task 12: Adaptive Pretraining and Source Language Selection for Low-Resource Multilingual Sentiment Analysis
von: Wang, Mingyang, et al.
Veröffentlicht: (2023)

Lost in Multilinguality: Dissecting Cross-lingual Factual Inconsistency in Transformer Language Models
von: Wang, Mingyang, et al.
Veröffentlicht: (2025)

On the Entity-Level Alignment in Crosslingual Consistency
von: Liu, Yihong, et al.
Veröffentlicht: (2025)

Refusal Direction is Universal Across Safety-Aligned Languages
von: Wang, Xinpeng, et al.
Veröffentlicht: (2025)

Your Pretrained Model Tells the Difficulty Itself: A Self-Adaptive Curriculum Learning Paradigm for Natural Language Understanding
von: Feng, Qi, et al.
Veröffentlicht: (2025)

A Comprehensive Evaluation of Multilingual Chain-of-Thought Reasoning: Performance, Consistency, and Faithfulness Across Languages
von: Zhao, Raoyuan, et al.
Veröffentlicht: (2025)

Crosslingual On-Policy Self-Distillation for Multilingual Reasoning
von: Liu, Yihong, et al.
Veröffentlicht: (2026)

Large Reasoning Models Are (Not Yet) Multilingual Latent Reasoners
von: Liu, Yihong, et al.
Veröffentlicht: (2026)

Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors
von: Zhao, Raoyuan, et al.
Veröffentlicht: (2025)

Why Better Cross-Lingual Alignment Fails for Better Cross-Lingual Transfer: Case of Encoders
von: Veitsman, Yana, et al.
Veröffentlicht: (2026)

HYPEROFA: Expanding LLM Vocabulary to New Languages via Hypernetwork-Based Embedding Initialization
von: Özeren, Enes, et al.
Veröffentlicht: (2025)

mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models
von: Lin, Peiqin, et al.
Veröffentlicht: (2023)

The Anatomy of an Edit: Mechanism-Guided Activation Steering for Knowledge Editing
von: Cao, Yuan, et al.
Veröffentlicht: (2026)

Relational Linearity is a Predictor of Hallucinations
von: Lu, Yuetian, et al.
Veröffentlicht: (2026)

How Programming Concepts and Neurons Are Shared in Code Language Models
von: Kargaran, Amir Hossein, et al.
Veröffentlicht: (2025)

A Recipe of Parallel Corpora Exploitation for Multilingual Large Language Models
von: Lin, Peiqin, et al.
Veröffentlicht: (2024)

GlotScript: A Resource and Tool for Low Resource Writing System Identification
von: Kargaran, Amir Hossein, et al.
Veröffentlicht: (2023)

DiM\textsuperscript{3}: Bridging Multilingual and Multimodal Models via Direction- and Magnitude-Aware Merging
von: Wang, Zijing, et al.
Veröffentlicht: (2026)

Left, Right, or Center? Evaluating LLM Framing in News Classification and Generation
von: Kennedy, Molly, et al.
Veröffentlicht: (2026)

Language Mixing in Reasoning Language Models: Patterns, Impact, and Internal Causes
von: Wang, Mingyang, et al.
Veröffentlicht: (2025)

Geographic Adaptation of Pretrained Language Models
von: Hofmann, Valentin, et al.
Veröffentlicht: (2022)

Understanding In-Context Machine Translation for Low-Resource Languages: A Case Study on Manchu
von: Pei, Renhao, et al.
Veröffentlicht: (2025)

Enhancing Robustness of Autoregressive Language Models against Orthographic Attacks via Pixel-based Approach
von: Yang, Han, et al.
Veröffentlicht: (2025)

Calibration Is Not Enough: Evaluating Confidence Estimation Under Language Variations
von: Xia, Yuxi, et al.
Veröffentlicht: (2026)

Rehearsal-Free Modular and Compositional Continual Learning for Language Models
von: Wang, Mingyang, et al.
Veröffentlicht: (2024)

Better Call SAUL: Fluent and Consistent Language Model Editing with Generation Regularization
von: Wang, Mingyang, et al.
Veröffentlicht: (2024)

On Relation-Specific Neurons in Large Language Models
von: Liu, Yihong, et al.
Veröffentlicht: (2025)

Parallel Universes, Parallel Languages: A Comprehensive Study on LLM-based Multilingual Counterfactual Example Generation
von: Wang, Qianli, et al.
Veröffentlicht: (2026)

Beyond Input Understanding: Diagnosing Multilingual Mathematical Reasoning with Directed Acyclic Trace Graphs
von: Zhang, Jiaqiao, et al.
Veröffentlicht: (2026)

GLUScope: A Tool for Analyzing GLU Neurons in Transformer Language Models
von: Gerstner, Sebastian, et al.
Veröffentlicht: (2026)