Buchumschlag

PowerAttention: Exponentially Scaling of Receptive Fields for Effective Sparse Attention

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Chen, Lida, Xu, Dong, An, Chenxin, Wang, Xintao, Zhang, Yikai, Chen, Jiangjie, Liang, Zujie, Wei, Feng, Liang, Jiaqing, Xiao, Yanghua, Wang, Wei
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Teaching Large Language Models to Express Knowledge Boundary from Their Own Signals
von: Chen, Lida, et al.
Veröffentlicht: (2024)

Past Meets Present: Creating Historical Analogy with Large Language Models
von: Li, Nianqi, et al.
Veröffentlicht: (2024)

Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs
von: Zhang, Yifei, et al.
Veröffentlicht: (2024)

MultiLingPoT: Enhancing Mathematical Reasoning with Multilingual Program Fine-tuning
von: Li, Nianqi, et al.
Veröffentlicht: (2024)

Light Up the Shadows: Enhance Long-Tailed Entity Grounding with Concept-Guided Vision-Language Models
von: Zhang, Yikai, et al.
Veröffentlicht: (2024)

Character is Destiny: Can Role-Playing Language Agents Make Persona-Driven Decisions?
von: Xu, Rui, et al.
Veröffentlicht: (2024)

SEGMENT+: Long Text Processing with Short-Context Language Models
von: Shi, Wei, et al.
Veröffentlicht: (2024)

Can LLMs Learn to Map the World from Local Descriptions?
von: Xia, Sirui, et al.
Veröffentlicht: (2025)

SurveyAgent: A Conversational System for Personalized and Efficient Research Survey
von: Wang, Xintao, et al.
Veröffentlicht: (2024)

ConcEPT: Concept-Enhanced Pre-Training for Language Models
von: Wang, Xintao, et al.
Veröffentlicht: (2024)

QUILL: Quotation Generation Enhancement of Large Language Models
von: Xiao, Jin, et al.
Veröffentlicht: (2024)

ARIA: Training Language Agents with Intention-Driven Reward Aggregation
von: Yang, Ruihan, et al.
Veröffentlicht: (2025)

ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base
von: Yuan, Siyu, et al.
Veröffentlicht: (2023)

BookWorld: From Novels to Interactive Agent Societies for Creative Story Generation
von: Ran, Yiting, et al.
Veröffentlicht: (2025)

Capturing Minds, Not Just Words: Enhancing Role-Playing Language Models with Personality-Indicative Data
von: Ran, Yiting, et al.
Veröffentlicht: (2024)

Curse of Knowledge: When Complex Evaluation Context Benefits yet Biases LLM Judges
von: Li, Weiyuan, et al.
Veröffentlicht: (2025)

Enhancing Language Agent Strategic Reasoning through Self-Play in Adversarial Games
von: Zhang, Yikai, et al.
Veröffentlicht: (2025)

TimeArena: Shaping Efficient Multitasking Language Agents in a Time-Aware Simulation
von: Zhang, Yikai, et al.
Veröffentlicht: (2024)

Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention
von: Yuan, Jingyang, et al.
Veröffentlicht: (2025)

Rectified Sparse Attention
von: Sun, Yutao, et al.
Veröffentlicht: (2025)

Can Large Language Models Understand Real-World Complex Instructions?
von: He, Qianyu, et al.
Veröffentlicht: (2023)

Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation
von: Xia, Sirui, et al.
Veröffentlicht: (2024)

DEEPER Insight into Your User: Directed Persona Refinement for Dynamic Persona Modeling
von: Chen, Aili, et al.
Veröffentlicht: (2025)

From Persona to Personalization: A Survey on Role-Playing Language Agents
von: Chen, Jiangjie, et al.
Veröffentlicht: (2024)

SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals
von: Yang, Ruihan, et al.
Veröffentlicht: (2024)

UniConvNet: Expanding Effective Receptive Field while Maintaining Asymptotically Gaussian Distribution for ConvNets of Any Scale
von: Wang, Yuhao, et al.
Veröffentlicht: (2025)

RFAConv: Receptive-Field Attention Convolution for Improving Convolutional Neural Networks
von: Zhang, Xin, et al.
Veröffentlicht: (2023)

Laying the Foundation First? Investigating the Generalization from Atomic Skills to Complex Reasoning Tasks
von: Huang, Yuncheng, et al.
Veröffentlicht: (2024)

Sparse-vDiT: Unleashing the Power of Sparse Attention to Accelerate Video Diffusion Transformers
von: Chen, Pengtao, et al.
Veröffentlicht: (2025)

Can Pre-trained Language Models Understand Chinese Humor?
von: Chen, Yuyan, et al.
Veröffentlicht: (2024)

TravelAgent: An AI Assistant for Personalized Travel Planning
von: Chen, Aili, et al.
Veröffentlicht: (2024)

CDS: Knowledge Component-Driven Data Synthesis Guided by Cognitive Diagnosis Theory
von: Zhao, Haokun, et al.
Veröffentlicht: (2025)

HSR-Enhanced Sparse Attention Acceleration
von: Chen, Bo, et al.
Veröffentlicht: (2024)

Revealing the Barriers of Language Agents in Planning
von: Xie, Jian, et al.
Veröffentlicht: (2024)

ReGLA: Efficient Receptive-Field Modeling with Gated Linear Attention Network
von: Li, Junzhou, et al.
Veröffentlicht: (2026)

HieraSparse: Hierarchical Semi-Structured Sparse KV Attention
von: Wang, Haoxuan, et al.
Veröffentlicht: (2026)

Exponential Family Attention
von: Wibisono, Kevin Christian, et al.
Veröffentlicht: (2025)

I-MCTS: Enhancing Agentic AutoML via Introspective Monte Carlo Tree Search
von: Liang, Zujie, et al.
Veröffentlicht: (2025)

CoSER: A Comprehensive Literary Dataset and Framework for Training and Evaluating LLM Role-Playing and Persona Simulation
von: Wang, Xintao, et al.
Veröffentlicht: (2025)

Enhancing Quantitative Reasoning Skills of Large Language Models through Dimension Perception
von: Huang, Yuncheng, et al.
Veröffentlicht: (2023)