Buchumschlag

SCOUT: Toward Sub-Quadratic Attention via Segment Compression for Optimized Utility in Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Jafari, Aref, Fan, Yuhe, Jamialahmadi, Benyamin, Farinneya, Parsa, Chen, Boxing, Tahaei, Marzieh S.
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Balcony: A Lightweight Approach to Dynamic Inference of Generative Language Models
von: Jamialahmadi, Benyamin, et al.
Veröffentlicht: (2025)

DTRNet: Dynamic Token Routing Network to Reduce Quadratic Costs in Transformers
von: Sharma, Aman, et al.
Veröffentlicht: (2025)

Sorted LLaMA: Unlocking the Potential of Intermediate Layers of Large Language Models for Dynamic Inference
von: Kavehzadeh, Parsa, et al.
Veröffentlicht: (2023)

Adaptive-lambda Subtracted Importance Sampled Scores in Machine Unlearning for DDPMs and VAEs
von: Dini, MohammadParsa, et al.
Veröffentlicht: (2025)

SCOUT: Teaching Pre-trained Language Models to Enhance Reasoning via Flow Chain-of-Thought
von: Li, Guanghao, et al.
Veröffentlicht: (2025)

InvertiTune: High-Quality Data Synthesis for Cost-Effective Single-Shot Text-to-Knowledge Graph Generation
von: Faez, Faezeh, et al.
Veröffentlicht: (2025)

SortedNet: A Scalable and Generalized Framework for Training Modular Deep Neural Networks
von: Valipour, Mojtaba, et al.
Veröffentlicht: (2023)

Toward PDDL Planning Copilot
von: Benyamin, Yarin, et al.
Veröffentlicht: (2025)

SEA: State-Exchange Attention for High-Fidelity Physics Based Transformers
von: Esmati, Parsa, et al.
Veröffentlicht: (2024)

Transformer-Based Bearing Fault Detection using Temporal Decomposition Attention Mechanism
von: Mirzaeibonehkhater, Marzieh, et al.
Veröffentlicht: (2024)

Transformer Interpretability from Perspective of Attention and Gradient
von: Cui, Yongjin, et al.
Veröffentlicht: (2026)

Taming Text-to-Image Synthesis for Novices: User-centric Prompt Generation via Multi-turn Guidance
von: Liu, Yilun, et al.
Veröffentlicht: (2024)

SCOUT-RAG: Scalable and Cost-Efficient Unifying Traversal for Agentic Graph-RAG over Distributed Domains
von: Li, Longkun, et al.
Veröffentlicht: (2026)

VAEneu: A New Avenue for VAE Application on Probabilistic Forecasting
von: Koochali, Alireza, et al.
Veröffentlicht: (2024)

Towards Generalization of Block Attention via Automatic Segmentation and Block Distillation
von: Li, Shuaiyi, et al.
Veröffentlicht: (2026)

Towards Mechanistic Interpretability of Graph Transformers via Attention Graphs
von: El, Batu, et al.
Veröffentlicht: (2025)

From Unstable to Playable: Stabilizing Angry Birds Levels via Object Segmentation
von: Farrokhimaleki, Mahdi, et al.
Veröffentlicht: (2025)

ZETA: Leveraging Z-order Curves for Efficient Top-k Attention
von: Zeng, Qiuhao, et al.
Veröffentlicht: (2025)

HarmonyGuard: Toward Safety and Utility in Web Agents via Adaptive Policy Enhancement and Dual-Objective Optimization
von: Chen, Yurun, et al.
Veröffentlicht: (2025)

Towards Visually Grounded Multimodal Summarization via Cross-Modal Transformer and Gated Attention
von: Ali, Abid, et al.
Veröffentlicht: (2026)

Accelerating Transformer-Based Monocular SLAM via Geometric Utility Scoring
von: Xiong, Xinmiao, et al.
Veröffentlicht: (2026)

Semantic Context-aware mOdality fUsion Transformer (SCOUT): A Context-Aware Multimodal Transformer for Concept-Grounded Pathology Report Generation
von: Singh, Suryakant, et al.
Veröffentlicht: (2026)

Wittgenstein's Family Resemblance Clustering Algorithm
von: Amanpour, Golbahar, et al.
Veröffentlicht: (2026)

Affine-Scaled Attention: Towards Flexible and Stable Transformer Attention
von: Bae, Jeongin, et al.
Veröffentlicht: (2026)

Discrete Optimization of Min-Max Violation and its Applications Across Computational Sciences
von: Ahmed, Cheikh, et al.
Veröffentlicht: (2025)

DiTFastAttnV2: Head-wise Attention Compression for Multi-Modality Diffusion Transformers
von: Zhang, Hanling, et al.
Veröffentlicht: (2025)

SCOUT: A Lightweight Framework for Scenario Coverage Assessment in Autonomous Driving
von: Yildiz, Anil, et al.
Veröffentlicht: (2025)

Strategic Fusion Optimizes Transformer Compression
von: Rahman, Md Shoaibur
Veröffentlicht: (2025)

Compressed Convolutional Attention: Efficient Attention in a Compressed Latent Space
von: Figliolia, Tomas, et al.
Veröffentlicht: (2025)

Towards Robust Spacecraft Trajectory Optimization via Transformers
von: Takubo, Yuji, et al.
Veröffentlicht: (2024)

CQD-SHAP: Explainable Complex Query Answering via Shapley Values
von: Abbasi, Parsa, et al.
Veröffentlicht: (2025)

Compress Any Segment Anything Model (SAM)
von: Fan, Juntong, et al.
Veröffentlicht: (2025)

PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting
von: Wang, Yanlong, et al.
Veröffentlicht: (2024)

EvoCut: Strengthening Integer Programs via Evolution-Guided Language Models
von: Yazdani, Milad, et al.
Veröffentlicht: (2025)

Toward Robust Early Detection of Alzheimer's Disease via an Integrated Multimodal Learning Approach
von: Chen, Yifei, et al.
Veröffentlicht: (2024)

Efficient Data Selection for Multimodal Models via Incremental Optimization Utility
von: Jing, Jinhao, et al.
Veröffentlicht: (2026)

LoRAP: Transformer Sub-Layers Deserve Differentiated Structured Compression for Large Language Models
von: Li, Guangyan, et al.
Veröffentlicht: (2024)

Nested-ReFT: Efficient Reinforcement Learning for Large Language Model Fine-Tuning via Off-Policy Rollouts
von: Heuillet, Maxime, et al.
Veröffentlicht: (2025)

RAMP: Hybrid DRL for Online Learning of Numeric Action Models
von: Benyamin, Yarin, et al.
Veröffentlicht: (2026)

Integrating Reinforcement Learning, Action Model Learning, and Numeric Planning for Tackling Complex Tasks
von: Benyamin, Yarin, et al.
Veröffentlicht: (2025)