Buchumschlag

First Attentions Last: Better Exploiting First Attentions for Efficient Transformer Training

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Kim, Gyudong, Na, Hyukju, Kim, Jin Hyeon, Jang, Hyunsung, Park, Jaemin, Hwang, Jaegi, Ha, Namkoo, Kim, Seungryong, Kim, Young Geun
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CorGi: Contribution-Guided Block-Wise Interval Caching for Training-Free Acceleration of Diffusion Transformers
von: Son, Yonglak, et al.
Veröffentlicht: (2025)

HeteroSwitch: Characterizing and Taming System-Induced Data Heterogeneity in Federated Learning
von: Kim, Gyudong, et al.
Veröffentlicht: (2024)

Improving Cone-Beam CT Image Quality with Knowledge Distillation-Enhanced Diffusion Model in Imbalanced Data Settings
von: Hwang, Joonil, et al.
Veröffentlicht: (2024)

Self-Rectifying Diffusion Sampling with Perturbed-Attention Guidance
von: Ahn, Donghoon, et al.
Veröffentlicht: (2024)

When Sinks Help or Hurt: Unified Framework for Attention Sink in Large Vision-Language Models
von: Choi, Jiho, et al.
Veröffentlicht: (2026)

CAMEO: Correspondence-Attention Alignment for Multi-View Diffusion Models
von: Kwon, Minkyung, et al.
Veröffentlicht: (2025)

Aligned Novel View Image and Geometry Synthesis via Cross-modal Attention Instillation
von: Kwak, Min-Seop, et al.
Veröffentlicht: (2025)

First Report of Fig Leaf Rust Caused by Cerotolium fici in South Korea
von: Hyo‐Jeong Kim, et al.
Veröffentlicht: (2025)

Unified Diffusion Transformer for High-fidelity Text-Aware Image Restoration
von: Kim, Jin Hyeon, et al.
Veröffentlicht: (2025)

PAtt: A Pattern Attention Network for ETA Prediction Using Historical Speed Profiles
von: Kim, ByeoungDo, et al.
Veröffentlicht: (2026)

Entropy Meets Importance: A Unified Head Importance-Entropy Score for Stable and Efficient Transformer Pruning
von: Choi, Minsik, et al.
Veröffentlicht: (2025)

Magnetic Field Control Using an Electromagnetic Actuation System with Combined Air‐Core and Metal‐Core Coils
von: Nader Latifi Gharamaleki, et al.
Veröffentlicht: (2024)

DreamMatcher: Appearance Matching Self-Attention for Semantically-Consistent Text-to-Image Personalization
von: Nam, Jisu, et al.
Veröffentlicht: (2024)

Gated Linear Attention Transformers with Hardware-Efficient Training
von: Yang, Songlin, et al.
Veröffentlicht: (2023)

Electrolyte‐Controlled Stripping Behavior of Electroplated Lithium Toward Efficient Lithium Metal Anodes
von: Jaemin Hwang, et al.
Veröffentlicht: (2026)

First record of the family Maxillipiidae (Crustacea: Malacostraca: Amphipoda) from Korea, including a new species and a new record species of the genus Maxillipius
von: Lee, Jeong-Hyeon, et al.
Veröffentlicht: (2025)

KoACD: The First Korean Adolescent Dataset for Cognitive Distortion Analysis via Role-Switching Multi-LLM Negotiation
von: Kim, JunSeo, et al.
Veröffentlicht: (2025)

Attention-Aided MMSE for OFDM Channel Estimation: Learning Linear Filters with Attention
von: Ha, TaeJun, et al.
Veröffentlicht: (2025)

Self Attention with Temporal Prior: Can We Learn More from Arrow of Time?
von: Kim, Kyung Geun, et al.
Veröffentlicht: (2023)

FEAST: Fully Connected Expressive Attention for Spatial Transcriptomics
von: Jeong, Taejin, et al.
Veröffentlicht: (2026)

MVFormer: Diversifying Feature Normalization and Token Mixing for Efficient Vision Transformers
von: Bae, Jongseong, et al.
Veröffentlicht: (2024)

Adaptive Graph Rewiring to Mitigate Over-Squashing in Mesh-Based GNNs for Fluid Dynamics Simulations
von: Seo, Sangwoo, et al.
Veröffentlicht: (2025)

On a lower bound of Hausdorff dimension of weighted singular vectors
von: Kim, Taehyeong, et al.
Veröffentlicht: (2022)

DiffuseSlide: Training-Free High Frame Rate Video Generation Diffusion
von: Hwang, Geunmin, et al.
Veröffentlicht: (2025)

A Training-free Sub-quadratic Cost Transformer Model Serving Framework With Hierarchically Pruned Attention
von: Lee, Heejun, et al.
Veröffentlicht: (2024)

Rice E3 ligase OsRFPH2‐16 acts as a negative regulator to mediate the degradation of OsPIP1;1 under salt stress
von: Jong Ho Kim, et al.
Veröffentlicht: (2025)

Learning Video Temporal Dynamics with Cross-Modal Attention for Robust Audio-Visual Speech Recognition
von: Kim, Sungnyun, et al.
Veröffentlicht: (2024)

Interpreting Attention Heads for Image-to-Text Information Flow in Large Vision-Language Models
von: Kim, Jinyeong, et al.
Veröffentlicht: (2025)

Thermodynamic Isomorphism of Transformers: A Lagrangian Approach to Attention Dynamics
von: Kim, Gunn
Veröffentlicht: (2026)

Text-Aware Image Restoration with Diffusion Models
von: Min, Jaewon, et al.
Veröffentlicht: (2025)

Not All Adapters Matter: Selective Adapter Freezing for Memory-Efficient Fine-Tuning of Language Models
von: Son, Hyegang, et al.
Veröffentlicht: (2024)

Spatial Transport Optimization by Repositioning Attention Map for Training-Free Text-to-Image Synthesis
von: Han, Woojung, et al.
Veröffentlicht: (2025)

MoDiTalker: Motion-Disentangled Diffusion Model for High-Fidelity Talking Head Generation
von: Kim, Seyeon, et al.
Veröffentlicht: (2024)

Are Self-Attentions Effective for Time Series Forecasting?
von: Kim, Dongbin, et al.
Veröffentlicht: (2024)

Far‐infrared irradiation attenuates platelet‐derived growth factor‐stimulated vascular smooth muscle cell migration through protein phosphatase 2A‐mediated Akt inhibition
von: Na‐Young Lee, et al.
Veröffentlicht: (2025)

Recent Advances in Nanotechnology‐Mediated Noninvasive Transdermal and Topical Delivery of Proteins
von: Junghyeon Ko, et al.
Veröffentlicht: (2024)

Rethinking the Use of Vision Transformers for AI-Generated Image Detection
von: Park, NaHyeon, et al.
Veröffentlicht: (2025)

SPARTA: Advancing Sparse Attention in Spiking Neural Networks via Spike-Timing-Based Prioritization
von: Jang, Minsuk, et al.
Veröffentlicht: (2025)

Atomic-Scale Mechanisms of SiO$_2$ Plasma-Enhanced Chemical Vapor Deposition Revealed by Molecular Dynamics with a Machine-Learning Interatomic Potential
von: Kim, Jaehoon, et al.
Veröffentlicht: (2026)

SEA: Sparse Linear Attention with Estimated Attention Mask
von: Lee, Heejun, et al.
Veröffentlicht: (2023)