Buchumschlag

Efficient Many-Shot In-Context Learning with Dynamic Block-Sparse Attention

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xiao, Emily, Li, Chin-Jou, Zhang, Yilin, Neubig, Graham, Bertsch, Amanda
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Prompt-MII: Meta-Learning Instruction Induction for LLMs
von: Xiao, Emily, et al.
Veröffentlicht: (2025)

In-Context Learning with Long-Context Models: An In-Depth Exploration
von: Bertsch, Amanda, et al.
Veröffentlicht: (2024)

Oolong: Evaluating Long Context Reasoning and Aggregation Capabilities
von: Bertsch, Amanda, et al.
Veröffentlicht: (2025)

Better Instruction-Following Through Minimum Bayes Risk
von: Wu, Ian, et al.
Veröffentlicht: (2024)

Many-Shot In-Context Learning
von: Agarwal, Rishabh, et al.
Veröffentlicht: (2024)

On Many-Shot In-Context Learning for Long-Context Evaluation
von: Zou, Kaijian, et al.
Veröffentlicht: (2024)

Selecting Demonstrations for Many-Shot In-Context Learning via Gradient Matching
von: Zhang, Jianfei, et al.
Veröffentlicht: (2025)

Distilling Many-Shot In-Context Learning into a Cheat Sheet
von: Honda, Ukyo, et al.
Veröffentlicht: (2025)

SPLA: Block Sparse Plus Linear Attention for Long Context Modeling
von: Wang, Bailin, et al.
Veröffentlicht: (2026)

MTraining: Distributed Dynamic Sparse Attention for Efficient Ultra-Long Context Training
von: Li, Wenxuan, et al.
Veröffentlicht: (2025)

From Decoding to Meta-Generation: Inference-time Algorithms for Large Language Models
von: Welleck, Sean, et al.
Veröffentlicht: (2024)

Many-Shot In-Context Learning for Molecular Inverse Design
von: Moayedpour, Saeed, et al.
Veröffentlicht: (2024)

RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference
von: Liu, Siran, et al.
Veröffentlicht: (2026)

XAttention: Block Sparse Attention with Antidiagonal Scoring
von: Xu, Ruyi, et al.
Veröffentlicht: (2025)

Adamas: Hadamard Sparse Attention for Efficient Long-Context Inference
von: Yan, Siyuan, et al.
Veröffentlicht: (2025)

Go-Browse: Training Web Agents with Structured Exploration
von: Gandhi, Apurva, et al.
Veröffentlicht: (2025)

BehaviorBox: Automated Discovery of Fine-Grained Performance Differences Between Language Models
von: Tjuatja, Lindia, et al.
Veröffentlicht: (2025)

An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages
von: Lu, Yinhan, et al.
Veröffentlicht: (2026)

FlashBlock: Attention Caching for Efficient Long-Context Block Diffusion
von: Chen, Zhuokun, et al.
Veröffentlicht: (2026)

An Incomplete Loop: Instruction Inference, Instruction Following, and In-context Learning in Language Models
von: Liu, Emmy, et al.
Veröffentlicht: (2024)

MInference 1.0: Accelerating Pre-filling for Long-Context LLMs via Dynamic Sparse Attention
von: Jiang, Huiqiang, et al.
Veröffentlicht: (2024)

Towards Compute-Optimal Many-Shot In-Context Learning
von: Golchin, Shahriar, et al.
Veröffentlicht: (2025)

Block Sparse Flash Attention
von: Ohayon, Daniel, et al.
Veröffentlicht: (2025)

On the Interplay of Pre-Training, Mid-Training, and RL on Reasoning Language Models
von: Zhang, Charlie, et al.
Veröffentlicht: (2025)

Many-Shot In-Context Learning in Multimodal Foundation Models
von: Jiang, Yixing, et al.
Veröffentlicht: (2024)

Multi-Dimensional Evaluation of Text Summarization with In-Context Learning
von: Jain, Sameer, et al.
Veröffentlicht: (2023)

Effective Strategies for Asynchronous Software Engineering Agents
von: Geng, Jiayi, et al.
Veröffentlicht: (2026)

Lag-Relative Sparse Attention In Long Context Training
von: Liang, Manlai, et al.
Veröffentlicht: (2025)

In-Context Learning Distillation for Efficient Few-Shot Fine-Tuning
von: Duan, Yifei, et al.
Veröffentlicht: (2024)

Can Many-Shot In-Context Learning Help LLMs as Evaluators? A Preliminary Empirical Study
von: Song, Mingyang, et al.
Veröffentlicht: (2024)

A Taxonomy for Data Contamination in Large Language Models
von: Palavalli, Medha, et al.
Veröffentlicht: (2024)

Scaling Laws for Many-Shot In-Context Learning with Self-Generated Annotations
von: Gu, Zhengyao, et al.
Veröffentlicht: (2025)

Efficient Sparse Attention needs Adaptive Token Release
von: Zhang, Chaoran, et al.
Veröffentlicht: (2024)

Midtraining Bridges Pretraining and Posttraining Distributions
von: Liu, Emmy, et al.
Veröffentlicht: (2025)

What Is Missing in Multilingual Visual Reasoning and How to Fix It
von: Song, Yueqi, et al.
Veröffentlicht: (2024)

Solving NLP Problems through Human-System Collaboration: A Discussion-based Approach
von: Kaneko, Masahiro, et al.
Veröffentlicht: (2023)

MiniCPM-SALA: Hybridizing Sparse and Linear Attention for Efficient Long-Context Modeling
von: MiniCPM Team, et al.
Veröffentlicht: (2026)

$π$-Attention: Periodic Sparse Transformers for Efficient Long-Context Modeling
von: Liu, Dong, et al.
Veröffentlicht: (2025)

Prism: Spectral-Aware Block-Sparse Attention
von: Wang, Xinghao, et al.
Veröffentlicht: (2026)

Sparser Block-Sparse Attention via Token Permutation
von: Wang, Xinghao, et al.
Veröffentlicht: (2025)