Buchumschlag

Towards Generalizable Implicit In-Context Learning with Attention Routing

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Jiaqian, Li, Yanshu, Han, Ligong, Tang, Ruixiang, Wang, Wenya
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Make LVLMs Focus: Context-Aware Attention Modulation for Better Multimodal In-Context Learning
von: Li, Yanshu, et al.
Veröffentlicht: (2025)

TRACES: Proactive Safety Auditing for Multi-Turn LLM Agents via Trajectory-State Modeling
von: Li, Jiaqian, et al.
Veröffentlicht: (2026)

Steering Vector Fields for Context-Aware Inference-Time Control in Large Language Models
von: Li, Jiaqian, et al.
Veröffentlicht: (2026)

CATP: Contextually Adaptive Token Pruning for Efficient and Enhanced Multimodal In-Context Learning
von: Li, Yanshu, et al.
Veröffentlicht: (2025)

Advancing Multimodal In-Context Learning in Large Vision-Language Models with Task-aware Demonstrations
von: Li, Yanshu
Veröffentlicht: (2025)

STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment
von: Li, Jiaqian, et al.
Veröffentlicht: (2025)

TACO: Enhancing Multimodal In-context Learning via Task Mapping-Guided Sequence Configuration
von: Li, Yanshu, et al.
Veröffentlicht: (2025)

Can Large Vision-Language Models Detect Images Copyright Infringement from GenAI?
von: Xu, Qipan, et al.
Veröffentlicht: (2025)

Read the Scene, Not the Script: Outcome-Aware Safety for LLMs
von: Wu, Rui, et al.
Veröffentlicht: (2025)

TELLER: A Trustworthy Framework for Explainable, Generalizable and Controllable Fake News Detection
von: Liu, Hui, et al.
Veröffentlicht: (2024)

Implicit In-context Learning
von: Li, Zhuowei, et al.
Veröffentlicht: (2024)

Does In-Context Learning Really Learn? Rethinking How Large Language Models Respond and Solve Tasks via In-Context Learning
von: Long, Quanyu, et al.
Veröffentlicht: (2024)

Concentrate Attention: Towards Domain-Generalizable Prompt Optimization for Language Models
von: Li, Chengzhengxu, et al.
Veröffentlicht: (2024)

Task-Aware LLM Routing with Multi-Level Task-Profile-Guided Data Synthesis for Cold-Start Scenarios
von: Liu, Hui, et al.
Veröffentlicht: (2026)

M$^2$IV: Towards Efficient and Fine-grained Multimodal In-Context Learning via Representation Engineering
von: Li, Yanshu, et al.
Veröffentlicht: (2025)

Decoding Knowledge in Large Language Models: A Framework for Categorization and Comprehension
von: Fang, Yanbo, et al.
Veröffentlicht: (2025)

Large Language Models Know What Makes Exemplary Contexts
von: Long, Quanyu, et al.
Veröffentlicht: (2024)

Unraveling the Mechanics of Learning-Based Demonstration Selection for In-Context Learning
von: Liu, Hui, et al.
Veröffentlicht: (2024)

Decoding the Multimodal Mind: Generalizable Brain-to-Text Translation via Multimodal Alignment and Adaptive Routing
von: Ye, Chunyu, et al.
Veröffentlicht: (2025)

QET: Enhancing Quantized LLM Parameters and KV cache Compression through Element Substitution and Residual Clustering
von: Wang, Yanshu, et al.
Veröffentlicht: (2024)

When Reward Hacking Rebounds: Understanding and Mitigating It with Representation-Level Signals
von: Wu, Rui, et al.
Veröffentlicht: (2026)

Towards Generalizable Generic Harmful Speech Datasets for Implicit Hate Speech Detection
von: Almohaimeed, Saad, et al.
Veröffentlicht: (2025)

Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection
von: Chen, Yiwen, et al.
Veröffentlicht: (2026)

S2D2: Fast Decoding for Diffusion LLMs via Training-Free Self-Speculation
von: Han, Ligong, et al.
Veröffentlicht: (2026)

Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling
von: Hu, Xiang, et al.
Veröffentlicht: (2024)

A Survey to Recent Progress Towards Understanding In-Context Learning
von: Mao, Haitao, et al.
Veröffentlicht: (2024)

DEER: Disentangled Mixture of Experts with Instance-Adaptive Routing for Generalizable Machine-Generated Text Detection
von: Ma, Guoxin, et al.
Veröffentlicht: (2025)

ParaICL: Towards Parallel In-Context Learning
von: Li, Xingxuan, et al.
Veröffentlicht: (2024)

DuoAttention: Efficient Long-Context LLM Inference with Retrieval and Streaming Heads
von: Xiao, Guangxuan, et al.
Veröffentlicht: (2024)

Look Before You Leap: Towards Decision-Aware and Generalizable Tool-Usage for Large Language Models
von: Gui, Anchun, et al.
Veröffentlicht: (2024)

Implicit In-Context Learning: Evidence from Artificial Language Experiments
von: Ma, Xiaomeng, et al.
Veröffentlicht: (2025)

Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory
von: Zhang, Haozhen, et al.
Veröffentlicht: (2026)

Efficient Many-Shot In-Context Learning with Dynamic Block-Sparse Attention
von: Xiao, Emily, et al.
Veröffentlicht: (2025)

Training-free Context-adaptive Attention for Efficient Long Context Modeling
von: You, Zeng, et al.
Veröffentlicht: (2025)

Lag-Relative Sparse Attention In Long Context Training
von: Liang, Manlai, et al.
Veröffentlicht: (2025)

Interpretable Multimodal Misinformation Detection with Logic Reasoning
von: Liu, Hui, et al.
Veröffentlicht: (2023)

Mitigating Context-Memory Conflicts in LLMs through Dynamic Cognitive Reconciliation Decoding
von: Zhou, Yigeng, et al.
Veröffentlicht: (2026)

Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding
von: Jin, Mingyu, et al.
Veröffentlicht: (2025)

Legal Rule Induction: Towards Generalizable Principle Discovery from Analogous Judicial Precedents
von: Fan, Wei, et al.
Veröffentlicht: (2025)

MM-StanceDet: Retrieval-Augmented Multi-modal Multi-agent Stance Detection
von: Lu, Weihai, et al.
Veröffentlicht: (2026)