Copertina

SoLA-Vision: Fine-grained Layer-wise Linear Softmax Hybrid Attention

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Li, Ruibang, Luo, Guan, Zhang, Yiwei, Gao, Jin, Li, Bing, Hu, Weiming
Natura:	Preprint
Pubblicazione:	2026
Soggetti:	Computer Vision and Pattern Recognition
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Agent Attention: On the Integration of Softmax and Linear Attention
di: Han, Dongchen, et al.
Pubblicazione: (2023)

Bridging the Divide: Reconsidering Softmax and Linear Attention
di: Han, Dongchen, et al.
Pubblicazione: (2024)

Concept-wise Attention for Fine-grained Concept Bottleneck Models
di: Zhong, Minghong, et al.
Pubblicazione: (2026)

VQ-Map: Bird's-Eye-View Map Layout Estimation in Tokenized Discrete Space via Vector Quantization
di: Zhang, Yiwei, et al.
Pubblicazione: (2024)

Integrating Diverse Assignment Strategies into DETRs
di: Zhang, Yiwei, et al.
Pubblicazione: (2026)

SimA: Simple Softmax-free Attention for Vision Transformers
di: Koohpayegani, Soroush Abbasi, et al.
Pubblicazione: (2022)

DFSAttn: Dynamic Fine-grained Sparse Attention for Efficient Video Generation
di: Hu, Jie, et al.
Pubblicazione: (2026)

SARE: Sample-wise Adaptive Reasoning for Training-free Fine-grained Visual Recognition
di: Yang, Jingxiao, et al.
Pubblicazione: (2026)

BiggerGait: Unlocking Gait Recognition with Layer-wise Representations from Large Vision Models
di: Ye, Dingqiang, et al.
Pubblicazione: (2025)

OneDrive: Unified Multi-Paradigm Driving with Vision-Language-Action Models
di: Zhang, Yiwei, et al.
Pubblicazione: (2026)

Softmax-free Linear Transformers
di: Lu, Jiachen, et al.
Pubblicazione: (2022)

FashionFAE: Fine-grained Attributes Enhanced Fashion Vision-Language Pre-training
di: Huang, Jiale, et al.
Pubblicazione: (2024)

Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators
di: Pu, Yifan, et al.
Pubblicazione: (2024)

BEV$^2$PR: BEV-Enhanced Visual Place Recognition with Structural Cues
di: Ge, Fudong, et al.
Pubblicazione: (2024)

ViT-AdaLA: Adapting Vision Transformers with Linear Attention
di: Li, Yifan, et al.
Pubblicazione: (2026)

PestVL-Net: Enabling Multimodal Pest Learning via Fine-grained Vision-Language Interaction
di: Li, Xueheng, et al.
Pubblicazione: (2026)

Vision Mamba Distillation for Low-resolution Fine-grained Image Classification
di: Chen, Yao, et al.
Pubblicazione: (2024)

PolaFormer: Polarity-aware Linear Attention for Vision Transformers
di: Meng, Weikang, et al.
Pubblicazione: (2025)

Trajectory Attention for Fine-grained Video Motion Control
di: Xiao, Zeqi, et al.
Pubblicazione: (2024)

SynCL: A Synergistic Training Strategy with Instance-Aware Contrastive Learning for End-to-End Multi-Camera 3D Tracking
di: Lin, Shubo, et al.
Pubblicazione: (2024)

FaithScore: Fine-grained Evaluations of Hallucinations in Large Vision-Language Models
di: Jing, Liqiang, et al.
Pubblicazione: (2023)

GRA: Detecting Oriented Objects through Group-wise Rotating and Attention
di: Wang, Jiangshan, et al.
Pubblicazione: (2024)

Fine-grained Image Retrieval via Dual-Vision Adaptation
di: Jiang, Xin, et al.
Pubblicazione: (2025)

Online Segment Any 3D Thing as Instance Tracking
di: Wang, Hanshi, et al.
Pubblicazione: (2025)

Adapting Vision-Language Model with Fine-grained Semantics for Open-Vocabulary Segmentation
di: Chng, Yong Xien, et al.
Pubblicazione: (2024)

Rethinking Attention: Polynomial Alternatives to Softmax in Transformers
di: Saratchandran, Hemanth, et al.
Pubblicazione: (2024)

Demystify Mamba in Vision: A Linear Attention Perspective
di: Han, Dongchen, et al.
Pubblicazione: (2024)

DeepIcon: A Hierarchical Network for Layer-wise Icon Vectorization
di: Bing, Qi, et al.
Pubblicazione: (2024)

Why Fine-grained Labels in Pretraining Benefit Generalization?
di: Hong, Guan Zhe, et al.
Pubblicazione: (2024)

DVHGNN: Multi-Scale Dilated Vision HGNN for Efficient Vision Recognition
di: Li, Caoshuo, et al.
Pubblicazione: (2025)

LampQ: Towards Accurate Layer-wise Mixed Precision Quantization for Vision Transformers
di: Kim, Minjun, et al.
Pubblicazione: (2025)

Mitigating Hallucinations in Large Vision-Language Models by Self-Injecting Hallucinations
di: Lu, Yifan, et al.
Pubblicazione: (2025)

Hybrid-Tower: Fine-grained Pseudo-query Interaction and Generation for Text-to-Video Retrieval
di: Lan, Bangxiang, et al.
Pubblicazione: (2025)

VecAttention: Vector-wise Sparse Attention for Accelerating Long Context Inference
di: Liu, Anmin, et al.
Pubblicazione: (2026)

Block-wise LoRA: Revisiting Fine-grained LoRA for Effective Personalization and Stylization in Text-to-Image Generation
di: Li, Likun, et al.
Pubblicazione: (2024)

Vision Transformers are Circulant Attention Learners
di: Han, Dongchen, et al.
Pubblicazione: (2025)

Head-wise Adaptive Rotary Positional Encoding for Fine-Grained Image Generation
di: Li, Jiaye, et al.
Pubblicazione: (2025)

Balanced 3DGS: Gaussian-wise Parallelism Rendering with Fine-Grained Tiling
di: Gui, Hao, et al.
Pubblicazione: (2024)

Optimizing Vision-Language Consistency via Cross-Layer Regional Attention Alignment
di: Wang, Yifan, et al.
Pubblicazione: (2025)

LayerCache: Exploiting Layer-wise Velocity Heterogeneity for Efficient Flow Matching Inference
di: Li, Guandong
Pubblicazione: (2026)