Buchumschlag

Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Gao, Changjiang, Hu, Hongda, Hu, Peng, Chen, Jiajun, Li, Jixing, Huang, Shujian
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models
von: Gao, Changjiang, et al.
Veröffentlicht: (2024)

PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment
von: Li, Jiahuan, et al.
Veröffentlicht: (2024)

ExpLang: Improved Exploration and Exploitation in LLM Reasoning with On-Policy Thinking Language Selection
von: Gao, Changjiang, et al.
Veröffentlicht: (2026)

Large Language Models Are Cross-Lingual Knowledge-Free Reasoners
von: Hu, Peng, et al.
Veröffentlicht: (2024)

Large Language Models are Limited in Out-of-Context Knowledge Reasoning
von: Hu, Peng, et al.
Veröffentlicht: (2024)

Understanding LLMs' Cross-Lingual Context Retrieval: How Good It Is And Where It Comes From
von: Gao, Changjiang, et al.
Veröffentlicht: (2025)

CrossIn: An Efficient Instruction Tuning Approach for Cross-Lingual Knowledge Alignment
von: Lin, Geyu, et al.
Veröffentlicht: (2024)

Implicit Cross-Lingual Rewarding for Efficient Multilingual Preference Alignment
von: Yang, Wen, et al.
Veröffentlicht: (2025)

Understanding New-Knowledge-Induced Factual Hallucinations in LLMs: Analysis and Interpretation
von: Dang, Renfei, et al.
Veröffentlicht: (2025)

Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions
von: Li, Jiahuan, et al.
Veröffentlicht: (2023)

Could Thinking Multilingually Empower LLM Reasoning?
von: Gao, Changjiang, et al.
Veröffentlicht: (2025)

MAPO: Advancing Multilingual Reasoning through Multilingual Alignment-as-Preference Optimization
von: She, Shuaijie, et al.
Veröffentlicht: (2024)

mPLM-Sim: Better Cross-Lingual Similarity and Transfer in Multilingual Pretrained Language Models
von: Lin, Peiqin, et al.
Veröffentlicht: (2023)

CC-Tuning: A Cross-Lingual Connection Mechanism for Improving Joint Multilingual Supervised Fine-Tuning
von: Ye, Yangfan, et al.
Veröffentlicht: (2025)

Getting More from Less: Large Language Models are Good Spontaneous Multilingual Learners
von: Zhang, Shimao, et al.
Veröffentlicht: (2024)

Generalizing From Short to Long: Effective Data Synthesis for Long-Context Instruction Tuning
von: Zhu, Wenhao, et al.
Veröffentlicht: (2025)

Benchmarking Cross-Lingual Semantic Alignment in Multilingual Embeddings
von: Gong, Wen G.
Veröffentlicht: (2025)

Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment
von: Li, Chong, et al.
Veröffentlicht: (2023)

TAPO: Translation Augmented Policy Optimization for Multilingual Mathematical Reasoning
von: Huang, Xu, et al.
Veröffentlicht: (2026)

Toward Cross-Lingual Quality Classifiers for Multilingual Pretraining Data Selection
von: Turki, Yassine, et al.
Veröffentlicht: (2026)

Cross-Lingual Pitfalls: Automatic Probing Cross-Lingual Weakness of Multilingual Large Language Models
von: Xu, Zixiang, et al.
Veröffentlicht: (2025)

Cross-Lingual Unlearning of Selective Knowledge in Multilingual Language Models
von: Choi, Minseok, et al.
Veröffentlicht: (2024)

Are Knowledge and Reference in Multilingual Language Models Cross-Lingually Consistent?
von: Ai, Xi, et al.
Veröffentlicht: (2025)

Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge
von: Li, Jiahuan, et al.
Veröffentlicht: (2024)

PLUG: Leveraging Pivot Language in Cross-Lingual Instruction Tuning
von: Zhang, Zhihan, et al.
Veröffentlicht: (2023)

MT-PATCHER: Selective and Extendable Knowledge Distillation from Large Language Models for Machine Translation
von: Li, Jiahuan, et al.
Veröffentlicht: (2024)

Cross-Lingual Consensus: Aligning Multilingual Cultural Knowledge via Multilingual Self-Consistency
von: Soegeng, Andrew Ivan, et al.
Veröffentlicht: (2026)

SeaEval for Multilingual Foundation Models: From Cross-Lingual Alignment to Cultural Reasoning
von: Wang, Bin, et al.
Veröffentlicht: (2023)

mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models?
von: Hua, Tianze, et al.
Veröffentlicht: (2024)

Deep Exploration of Cross-Lingual Zero-Shot Generalization in Instruction Tuning
von: Han, Janghoon, et al.
Veröffentlicht: (2024)

Implicit Word Reordering with Knowledge Distillation for Cross-Lingual Dependency Parsing
von: Li, Zhuoran, et al.
Veröffentlicht: (2025)

Question Translation Training for Better Multilingual Reasoning
von: Zhu, Wenhao, et al.
Veröffentlicht: (2024)

Cross-Lingual Representation Alignment Through Contrastive Image-Caption Tuning
von: Krasner, Nathaniel, et al.
Veröffentlicht: (2025)

How Does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective
von: Zhang, Shimao, et al.
Veröffentlicht: (2025)

LiveCLKTBench: Towards Reliable Evaluation of Cross-Lingual Knowledge Transfer in Multilingual LLMs
von: Guo, Pei-Fu, et al.
Veröffentlicht: (2025)

Can you map it to English? The Role of Cross-Lingual Alignment in Multilingual Performance of LLMs
von: Ravisankar, Kartik, et al.
Veröffentlicht: (2025)

MultiSlav: Using Cross-Lingual Knowledge Transfer to Combat the Curse of Multilinguality
von: Kot, Artur, et al.
Veröffentlicht: (2025)

The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights
von: Zhu, Wenhao, et al.
Veröffentlicht: (2024)

Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping
von: Zhu, Wenhao, et al.
Veröffentlicht: (2024)

MEXA: Multilingual Evaluation of English-Centric LLMs via Cross-Lingual Alignment
von: Kargaran, Amir Hossein, et al.
Veröffentlicht: (2024)