Buchumschlag

How do Large Language Models Learn In-Context? Query and Key Matrices of In-Context Heads are Two Towers for Metric Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yu, Zeping, Ananiadou, Sophia
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Neuron-Level Knowledge Attribution in Large Language Models
von: Yu, Zeping, et al.
Veröffentlicht: (2023)

Interpreting Arithmetic Mechanism in Large Language Models through Comparative Neuron Analysis
von: Yu, Zeping, et al.
Veröffentlicht: (2024)

Back Attention: Understanding and Enhancing Multi-Hop Reasoning in Large Language Models
von: Yu, Zeping, et al.
Veröffentlicht: (2025)

The Atlas of In-Context Learning: How Attention Heads Shape In-Context Retrieval Augmentation
von: Kahardipraja, Patrick, et al.
Veröffentlicht: (2025)

Understanding Multimodal LLMs: the Mechanistic Interpretability of Llava in Visual Question Answering
von: Yu, Zeping, et al.
Veröffentlicht: (2024)

Understanding and Mitigating Gender Bias in LLMs via Interpretable Neuron Editing
von: Yu, Zeping, et al.
Veröffentlicht: (2025)

Locate-then-Merge: Neuron-Level Parameter Fusion for Mitigating Catastrophic Forgetting in Multimodal LLMs
von: Yu, Zeping, et al.
Veröffentlicht: (2025)

Uncertainty Quantification for In-Context Learning of Large Language Models
von: Ling, Chen, et al.
Veröffentlicht: (2024)

A Context-Aware Dual-Metric Framework for Confidence Estimation in Large Language Models
von: Yuan, Mingruo, et al.
Veröffentlicht: (2025)

The Role of Diversity in In-Context Learning for Large Language Models
von: Xiao, Wenyang, et al.
Veröffentlicht: (2025)

Unraveling Syntax: How Language Models Learn Context-Free Grammars
von: Schulz, Laura Ying, et al.
Veröffentlicht: (2025)

Revisiting In-Context Learning with Long Context Language Models
von: Baek, Jinheon, et al.
Veröffentlicht: (2024)

Which Attention Heads Matter for In-Context Learning?
von: Yin, Kayo, et al.
Veröffentlicht: (2025)

Beyond the Prompt in Large Language Models: Comprehension, In-Context Learning, and Chain-of-Thought
von: Jiao, Yuling, et al.
Veröffentlicht: (2026)

Hijacking Large Language Models via Adversarial In-Context Learning
von: Zhou, Xiangyu, et al.
Veröffentlicht: (2023)

Privacy Preserving In-Context-Learning Framework for Large Language Models
von: Bhusal, Bishnu, et al.
Veröffentlicht: (2025)

How do Language Models Bind Entities in Context?
von: Feng, Jiahai, et al.
Veröffentlicht: (2023)

How to Train Long-Context Language Models (Effectively)
von: Gao, Tianyu, et al.
Veröffentlicht: (2024)

In-Context Language Learning: Architectures and Algorithms
von: Akyürek, Ekin, et al.
Veröffentlicht: (2024)

Out-of-Context Reasoning in Large Language Models
von: Shaki, Jonathan, et al.
Veröffentlicht: (2025)

Uncovering Emergent Physics Representations Learned In-Context by Large Language Models
von: Song, Yeongwoo, et al.
Veröffentlicht: (2025)

Long Context RAG Performance of Large Language Models
von: Leng, Quinn, et al.
Veröffentlicht: (2024)

Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
von: Huang, Yanwen, et al.
Veröffentlicht: (2025)

What Do Language Models Learn in Context? The Structured Task Hypothesis
von: Li, Jiaoda, et al.
Veröffentlicht: (2024)

Brewing Knowledge in Context: Distillation Perspectives on In-Context Learning
von: Li, Chengye, et al.
Veröffentlicht: (2025)

Core Context Aware Transformers for Long Context Language Modeling
von: Chen, Yaofo, et al.
Veröffentlicht: (2024)

Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning
von: Wang, Xinyi, et al.
Veröffentlicht: (2023)

Large Language Models are Miscalibrated In-Context Learners
von: Li, Chengzu, et al.
Veröffentlicht: (2023)

In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery
von: Merler, Matteo, et al.
Veröffentlicht: (2024)

Is In-Context Learning Learning?
von: de Wynter, Adrian
Veröffentlicht: (2025)

ScoNe: Benchmarking Negation Reasoning in Language Models With Fine-Tuning and In-Context Learning
von: She, Jingyuan Selena, et al.
Veröffentlicht: (2023)

Learning Task Representations from In-Context Learning
von: Saglam, Baturay, et al.
Veröffentlicht: (2025)

COLD-Steer: Steering Large Language Models via In-Context One-step Learning Dynamics
von: Sharma, Kartik, et al.
Veröffentlicht: (2026)

Unlocking In-Context Learning for Natural Datasets Beyond Language Modelling
von: Bratulić, Jelena, et al.
Veröffentlicht: (2025)

Unveiling Simplicities of Attention: Adaptive Long-Context Head Identification
von: Donhauser, Konstantin, et al.
Veröffentlicht: (2025)

Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification
von: Liu, Shang, et al.
Veröffentlicht: (2024)

Leveraging Large Language Models for Wireless Symbol Detection via In-Context Learning
von: Abbas, Momin, et al.
Veröffentlicht: (2024)

LongAlign: A Recipe for Long Context Alignment of Large Language Models
von: Bai, Yushi, et al.
Veröffentlicht: (2024)

Exploring Context Window of Large Language Models via Decomposed Positional Vectors
von: Dong, Zican, et al.
Veröffentlicht: (2024)

Stronger Random Baselines for In-Context Learning
von: Yauney, Gregory, et al.
Veröffentlicht: (2024)