Buchumschlag

Focusing on Language: Revealing and Exploiting Language Attention Heads in Multilingual Large Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Liu, Xin, Song, Qiyang, Zhou, Qihang, Du, Haichao, Xu, Shaowen, Jiang, Wenbo, Zhang, Weijuan, Jia, Xiaoqi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Latent Knowledge Scalpel: Precise and Massive Knowledge Editing for Large Language Models
von: Liu, Xin, et al.
Veröffentlicht: (2025)

Revealing the Parallel Multilingual Learning within Large Language Models
von: Mu, Yongyu, et al.
Veröffentlicht: (2024)

Attention Heads of Large Language Models: A Survey
von: Zheng, Zifan, et al.
Veröffentlicht: (2024)

On the Role of Attention Heads in Large Language Model Safety
von: Zhou, Zhenhong, et al.
Veröffentlicht: (2024)

Head-wise Shareable Attention for Large Language Models
von: Cao, Zouying, et al.
Veröffentlicht: (2024)

SAC-KG: Exploiting Large Language Models as Skilled Automatic Constructors for Domain Knowledge Graphs
von: Chen, Hanzhu, et al.
Veröffentlicht: (2024)

Language Surgery in Multilingual Large Language Models
von: Lopo, Joanito Agili, et al.
Veröffentlicht: (2025)

Multilingual Large Language Models: A Systematic Survey
von: Zhu, Shaolin, et al.
Veröffentlicht: (2024)

Exploiting Domain-Specific Parallel Data on Multilingual Language Models for Low-resource Language Translation
von: Ranathungaa, Surangika, et al.
Veröffentlicht: (2024)

Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models
von: Tang, Tianyi, et al.
Veröffentlicht: (2024)

Quantifying Language Disparities in Multilingual Large Language Models
von: Hu, Songbo, et al.
Veröffentlicht: (2025)

Exploring a New Competency Modeling Process with Large Language Models
von: Du, Silin, et al.
Veröffentlicht: (2026)

SmartTrim: Adaptive Tokens and Attention Pruning for Efficient Vision-Language Models
von: Wang, Zekun, et al.
Veröffentlicht: (2023)

Exploring Multilingual Probing in Large Language Models: A Cross-Language Analysis
von: Li, Daoyang, et al.
Veröffentlicht: (2024)

Multilingual Large Language Models and Curse of Multilinguality
von: Gurgurov, Daniil, et al.
Veröffentlicht: (2024)

Attention, Please! PixelSHAP Reveals What Vision-Language Models Actually Focus On
von: Goldshmidt, Roni
Veröffentlicht: (2025)

Pruning Multilingual Large Language Models for Multilingual Inference
von: Kim, Hwichan, et al.
Veröffentlicht: (2024)

Recognizing Limits: Investigating Infeasibility in Large Language Models
von: Zhang, Wenbo, et al.
Veröffentlicht: (2024)

Disentangling Language and Culture for Evaluating Multilingual Large Language Models
von: Ying, Jiahao, et al.
Veröffentlicht: (2025)

Multilingual Collaborative Defense for Large Language Models
von: Li, Hongliang, et al.
Veröffentlicht: (2025)

SeaLLMs 3: Open Foundation and Chat Multilingual Large Language Models for Southeast Asian Languages
von: Zhang, Wenxuan, et al.
Veröffentlicht: (2024)

Orion-14B: Open-source Multilingual Large Language Models
von: Chen, Du, et al.
Veröffentlicht: (2024)

Multilingual Brain Surgeon: Large Language Models Can be Compressed Leaving No Language Behind
von: Zeng, Hongchuan, et al.
Veröffentlicht: (2024)

BayLing 2: A Multilingual Large Language Model with Efficient Language Alignment
von: Zhang, Shaolei, et al.
Veröffentlicht: (2024)

CM-Align: Consistency-based Multilingual Alignment for Large Language Models
von: Zhang, Xue, et al.
Veröffentlicht: (2025)

Large Language Models for Multilingual Code Intelligence: A Survey
von: Jiang, Chao, et al.
Veröffentlicht: (2026)

A Survey of Large Language Models on Generative Graph Analytics: Query, Learning, and Applications
von: Shang, Wenbo, et al.
Veröffentlicht: (2024)

MoE-LPR: Multilingual Extension of Large Language Models through Mixture-of-Experts with Language Priors Routing
von: Zhou, Hao, et al.
Veröffentlicht: (2024)

SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models
von: Moryossef, Amit, et al.
Veröffentlicht: (2023)

When Language Overrules: Revealing Text Dominance in Multimodal Large Language Models
von: Wu, Huyu, et al.
Veröffentlicht: (2025)

Visualization Literacy of Multimodal Large Language Models: A Comparative Study
von: Li, Zhimin, et al.
Veröffentlicht: (2024)

OMGEval: An Open Multilingual Generative Evaluation Benchmark for Large Language Models
von: Liu, Yang, et al.
Veröffentlicht: (2024)

Garbage Attention in Large Language Models: BOS Sink Heads and Sink-aware Pruning
von: Sok, Jaewon, et al.
Veröffentlicht: (2026)

Exploiting the Index Gradients for Optimization-Based Jailbreaking on Large Language Models
von: Li, Jiahui, et al.
Veröffentlicht: (2024)

A Comprehensive Survey of Large Language Models and Multimodal Large Language Models in Medicine
von: Xiao, Hanguang, et al.
Veröffentlicht: (2024)

The Role of Mixed-Language Documents for Multilingual Large Language Model Pretraining
von: Shao, Jiandong, et al.
Veröffentlicht: (2026)

All Languages Matter: On the Multilingual Safety of Large Language Models
von: Wang, Wenxuan, et al.
Veröffentlicht: (2023)

Benchmarking Next-Generation Reasoning-Focused Large Language Models in Ophthalmology: A Head-to-Head Evaluation on 5,888 Items
von: Zou, Minjie, et al.
Veröffentlicht: (2025)

Multilingual Hallucination Gaps in Large Language Models
von: Chataigner, Cléa, et al.
Veröffentlicht: (2024)

Multilingual Jailbreak Challenges in Large Language Models
von: Deng, Yue, et al.
Veröffentlicht: (2023)