Buchumschlag

MateICL: Mitigating Attention Dispersion in Large-Scale In-Context Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ahmed, Murtadha, Wenbo, yunfeng, Liu
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Naive Bayes-based Context Extension for Large Language Models
von: Su, Jianlin, et al.
Veröffentlicht: (2024)

Supervised Gradual Machine Learning for Aspect Category Detection
von: Ahmed, Murtadha, et al.
Veröffentlicht: (2024)

ParaICL: Towards Parallel In-Context Learning
von: Li, Xingxuan, et al.
Veröffentlicht: (2024)

ICL CIPHERS: Quantifying "Learning" in In-Context Learning via Substitution Ciphers
von: Fang, Zhouxiang, et al.
Veröffentlicht: (2025)

P-ICL: Point In-Context Learning for Named Entity Recognition with Large Language Models
von: Jiang, Guochao, et al.
Veröffentlicht: (2024)

CrossICL: Cross-Task In-Context Learning via Unsupervised Demonstration Transfer
von: Gao, Jinglong, et al.
Veröffentlicht: (2025)

Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning
von: Zhang, Kaiyi, et al.
Veröffentlicht: (2024)

Auto-ICL: In-Context Learning without Human Supervision
von: Yang, Jinghan, et al.
Veröffentlicht: (2023)

DAWN-ICL: Strategic Planning of Problem-solving Trajectories for Zero-Shot In-Context Learning
von: Tang, Xinyu, et al.
Veröffentlicht: (2024)

RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning
von: Scarlatos, Alexander, et al.
Veröffentlicht: (2023)

C-ICL: Contrastive In-context Learning for Information Extraction
von: Mo, Ying, et al.
Veröffentlicht: (2024)

AlcLaM: Arabic Dialectal Language Model
von: Ahmed, Murtadha, et al.
Veröffentlicht: (2024)

Vector-ICL: In-context Learning with Continuous Vector Representations
von: Zhuang, Yufan, et al.
Veröffentlicht: (2024)

Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
von: Huang, Yanwen, et al.
Veröffentlicht: (2025)

HICD: Hallucination-Inducing via Attention Dispersion for Contrastive Decoding to Mitigate Hallucinations in Large Language Models
von: Jiang, Xinyan, et al.
Veröffentlicht: (2025)

BERT-ASC: Auxiliary-Sentence Construction for Implicit Aspect Learning in Sentiment Analysis
von: Ahmed, Murtadha, et al.
Veröffentlicht: (2022)

Opt-ICL at LeWiDi-2025: Maximizing In-Context Signal from Rater Examples via Meta-Learning
von: Sorensen, Taylor, et al.
Veröffentlicht: (2025)

CoT-ICL Lab: A Synthetic Framework for Studying Chain-of-Thought Learning from In-Context Demonstrations
von: Kothapalli, Vignesh, et al.
Veröffentlicht: (2025)

Stress-Testing Long-Context Language Models with Lifelong ICL and Task Haystack
von: Xu, Xiaoyue, et al.
Veröffentlicht: (2024)

COMPASS: Context-Modulated PID Attention Steering System for Hallucination Mitigation
von: Sahay, Kenji, et al.
Veröffentlicht: (2025)

Paying More Attention to Source Context: Mitigating Unfaithful Translations from Large Language Model
von: Zhang, Hongbin, et al.
Veröffentlicht: (2024)

Task Diversity Shortens the ICL Plateau
von: Kim, Jaeyeon, et al.
Veröffentlicht: (2024)

Document-Level Event Extraction with Definition-Driven ICL
von: Liu, Zhuoyuan, et al.
Veröffentlicht: (2024)

InfiniteICL: Breaking the Limit of Context Window Size via Long Short-term Memory Transformation
von: Cao, Bowen, et al.
Veröffentlicht: (2025)

Soft Head Selection for Injecting ICL-Derived Task Embeddings
von: Park, Jungwon, et al.
Veröffentlicht: (2025)

STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment
von: Li, Jiaqian, et al.
Veröffentlicht: (2025)

NoisyICL: A Little Noise in Model Parameters Calibrates In-context Learning
von: Zhao, Yufeng, et al.
Veröffentlicht: (2024)

UniICL: An Efficient Unified Framework Unifying Compression, Selection, and Generation
von: Gao, Jun, et al.
Veröffentlicht: (2024)

Cross-Lingual SynthDocs: A Large-Scale Synthetic Corpus for Any to Arabic OCR and Document Understanding
von: Al-Homoud, Haneen, et al.
Veröffentlicht: (2025)

MBIAS: Mitigating Bias in Large Language Models While Retaining Context
von: Raza, Shaina, et al.
Veröffentlicht: (2024)

One Task Vector is not Enough: A Large-Scale Study for In-Context Learning
von: Tikhonov, Pavel, et al.
Veröffentlicht: (2025)

Efficient Context Scaling with LongCat ZigZag Attention
von: Zhang, Chen, et al.
Veröffentlicht: (2025)

Flexibly Scaling Large Language Models Contexts Through Extensible Tokenization
von: Shao, Ninglu, et al.
Veröffentlicht: (2024)

Truth-Aware Context Selection: Mitigating Hallucinations of Large Language Models Being Misled by Untruthful Contexts
von: Yu, Tian, et al.
Veröffentlicht: (2024)

MuDAF: Long-Context Multi-Document Attention Focusing through Contrastive Learning on Attention Heads
von: Liu, Weihao, et al.
Veröffentlicht: (2025)

DySCO: Dynamic Attention-Scaling Decoding for Long-Context Language Models
von: Ye, Xi, et al.
Veröffentlicht: (2026)

Towards Generalizable Implicit In-Context Learning with Attention Routing
von: Li, Jiaqian, et al.
Veröffentlicht: (2025)

IA2: Alignment with ICL Activations Improves Supervised Fine-Tuning
von: Mishra, Aayush, et al.
Veröffentlicht: (2025)

Mitigating Attention Localization in Small Scale: Self-Attention Refinement via One-step Belief Propagation
von: Lee, Nakyung, et al.
Veröffentlicht: (2025)

ColMate: Contrastive Late Interaction and Masked Text for Multimodal Document Retrieval
von: Masry, Ahmed, et al.
Veröffentlicht: (2025)