Buchumschlag

Towards Better Multi-head Attention via Channel-wise Sample Permutation

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Yuan, Shen, Xu, Hongteng
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Bridging The Gap between Low-rank and Orthogonal Adaptation via Householder Reflection Adaptation
von: Yuan, Shen, et al.
Veröffentlicht: (2024)

Multi-Task Model Merging via Adaptive Weight Disentanglement
von: Xiong, Feng, et al.
Veröffentlicht: (2024)

Importance Sampling for Multi-Negative Multimodal Direct Preference Optimization
von: Li, Xintong, et al.
Veröffentlicht: (2025)

Reducing Hallucination in Vision-Language Models via Stage-wise Preference Optimization under Distribution Shift
von: Xu, Qinwu
Veröffentlicht: (2026)

CSA-Net: Channel-wise Spatially Autocorrelated Attention Networks
von: Nikzad, Nick, et al.
Veröffentlicht: (2024)

Exploring Attention Mechanisms in Integration of Multi-Modal Information for Sign Language Recognition and Translation
von: Hakim, Zaber Ibn Abdul, et al.
Veröffentlicht: (2023)

Reinforced Attention Learning
von: Li, Bangzheng, et al.
Veröffentlicht: (2026)

Adaptive Data Augmentation with Multi-armed Bandit: Sample-Efficient Embedding Calibration for Implicit Pattern Recognition
von: Tang, Minxue, et al.
Veröffentlicht: (2026)

Efficient Multi-bit Quantization Network Training via Weight Bias Correction and Bit-wise Coreset Sampling
von: Kim, Jinhee, et al.
Veröffentlicht: (2025)

Towards Grounded Visual Spatial Reasoning in Multi-Modal Vision Language Models
von: Rajabi, Navid, et al.
Veröffentlicht: (2023)

TechING: Towards Real World Technical Image Understanding via VLMs
von: Nadeem, Tafazzul, et al.
Veröffentlicht: (2026)

Rethinking Training Dynamics in Scale-wise Autoregressive Generation
von: Zhou, Gengze, et al.
Veröffentlicht: (2025)

RadZero: Similarity-Based Cross-Attention for Explainable Vision-Language Alignment in Chest X-ray with Zero-Shot Multi-Task Capability
von: Park, Jonggwon, et al.
Veröffentlicht: (2025)

Interleaving Reasoning for Better Text-to-Image Generation
von: Huang, Wenxuan, et al.
Veröffentlicht: (2025)

Listen Then See: Video Alignment with Speaker Attention
von: Agrawal, Aviral, et al.
Veröffentlicht: (2024)

Transformer with Controlled Attention for Synchronous Motion Captioning
von: Radouane, Karim, et al.
Veröffentlicht: (2024)

MHA2MLA-VLM: Enabling DeepSeek's Economical Multi-Head Latent Attention across Vision-Language Models
von: Fan, Xiaoran, et al.
Veröffentlicht: (2026)

Towards Class-wise Robustness Analysis
von: Medi, Tejaswini, et al.
Veröffentlicht: (2024)

Head Pursuit: Probing Attention Specialization in Multimodal Transformers
von: Basile, Lorenzo, et al.
Veröffentlicht: (2025)

CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
von: Yamada, Yoshihiro
Veröffentlicht: (2025)

MMInference: Accelerating Pre-filling for Long-Context VLMs via Modality-Aware Permutation Sparse Attention
von: Li, Yucheng, et al.
Veröffentlicht: (2025)

VONet: Unsupervised Video Object Learning With Parallel U-Net Attention and Object-wise Sequential VAE
von: Yu, Haonan, et al.
Veröffentlicht: (2024)

URRL-IMVC: Unified and Robust Representation Learning for Incomplete Multi-View Clustering
von: Teng, Ge, et al.
Veröffentlicht: (2024)

The ART of Composition: Attention-Regularized Training for Compositional Visual Grounding
von: Luo, Jiayun, et al.
Veröffentlicht: (2024)

R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization
von: Zhang, Jingyi, et al.
Veröffentlicht: (2025)

LaMI: Augmenting Large Language Models via Late Multi-Image Fusion
von: Yariv, Guy, et al.
Veröffentlicht: (2024)

Enhancing Multi-view Open-set Learning via Ambiguity Uncertainty Calibration and View-wise Debiasing
von: Fang, Zihan, et al.
Veröffentlicht: (2025)

ChartGaze: Enhancing Chart Understanding in LVLMs with Eye-Tracking Guided Attention Refinement
von: Salamatian, Ali, et al.
Veröffentlicht: (2025)

Exploring Multi-Grained Concept Annotations for Multimodal Large Language Models
von: Xu, Xiao, et al.
Veröffentlicht: (2024)

A Survey on Data Augmentation in Large Model Era
von: Zhou, Yue, et al.
Veröffentlicht: (2024)

Multi-modal Data Spectrum: Multi-modal Datasets are Multi-dimensional
von: Madaan, Divyam, et al.
Veröffentlicht: (2025)

ONEBench to Test Them All: Sample-Level Benchmarking Over Open-Ended Capabilities
von: Ghosh, Adhiraj, et al.
Veröffentlicht: (2024)

Is Pre-training Truly Better Than Meta-Learning?
von: Miranda, Brando, et al.
Veröffentlicht: (2023)

Language-Pretraining-Induced Bias: A Strong Foundation for General Vision Tasks
von: Luo, Yaxin, et al.
Veröffentlicht: (2026)

MoDoMoDo: Multi-Domain Data Mixtures for Multimodal LLM Reinforcement Learning
von: Liang, Yiqing, et al.
Veröffentlicht: (2025)

Towards Statistical Factuality Guarantee for Large Vision-Language Models
von: Li, Zhuohang, et al.
Veröffentlicht: (2025)

Sparser Block-Sparse Attention via Token Permutation
von: Wang, Xinghao, et al.
Veröffentlicht: (2025)

VisionZip: Longer is Better but Not Necessary in Vision Language Models
von: Yang, Senqiao, et al.
Veröffentlicht: (2024)

Towards Better Understanding Attribution Methods
von: Rao, Sukrut, et al.
Veröffentlicht: (2022)

GenSim: Generating Robotic Simulation Tasks via Large Language Models
von: Wang, Lirui, et al.
Veröffentlicht: (2023)