Copertina

Transformer-VQ: Linear-Time Transformers via Vector Quantization

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autore principale:	Lingle, Lucas D.
Natura:	Preprint
Pubblicazione:	2023
Soggetti:	Machine Learning Computation and Language Computer Vision and Pattern Recognition
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

VQ-NeRF: Neural Reflectance Decomposition and Editing with Vector Quantization
di: Zhong, Hongliang, et al.
Pubblicazione: (2023)

Words in Motion: Extracting Interpretable Control Vectors for Motion Transformers
di: Tas, Omer Sahin, et al.
Pubblicazione: (2024)

TWEO: Transformers Without Extreme Outliers Enables FP8 Training And Quantization For Dummies
di: Liang, Guang, et al.
Pubblicazione: (2025)

Quantize-then-Rectify: Efficient VQ-VAE Training
di: Zhang, Borui, et al.
Pubblicazione: (2025)

White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?
di: Yu, Yaodong, et al.
Pubblicazione: (2023)

DeepCoT: Deep Continual Transformers for Real-Time Inference on Data Streams
di: Picón, Ginés Carreto, et al.
Pubblicazione: (2025)

ArcVQ-VAE: A Spherical Vector Quantization Framework with ArcCosine Additive Margin
di: Kim, Jaeyung, et al.
Pubblicazione: (2026)

General Transform: A Unified Framework for Adaptive Transform to Enhance Representations
di: Budiutama, Gekko, et al.
Pubblicazione: (2025)

No Training Wheels: Steering Vectors for Bias Correction at Inference Time
di: Gupta, Aviral, et al.
Pubblicazione: (2025)

A Survey on Transformer Compression
di: Tang, Yehui, et al.
Pubblicazione: (2024)

Masked Vector Quantization
di: Nguyen, David D., et al.
Pubblicazione: (2023)

Enhancing Post-Training Quantization via Future Activation Awareness
di: Lv, Zheqi, et al.
Pubblicazione: (2026)

MatFormer: Nested Transformer for Elastic Inference
di: Devvrit, et al.
Pubblicazione: (2023)

Transformer with Controlled Attention for Synchronous Motion Captioning
di: Radouane, Karim, et al.
Pubblicazione: (2024)

Breaking through the learning plateaus of in-context learning in Transformer
di: Fu, Jingwen, et al.
Pubblicazione: (2023)

Head Pursuit: Probing Attention Specialization in Multimodal Transformers
di: Basile, Lorenzo, et al.
Pubblicazione: (2025)

HATFormer: Historic Handwritten Arabic Text Recognition with Transformers
di: Chan, Adrian, et al.
Pubblicazione: (2024)

Matryoshka Query Transformer for Large Vision-Language Models
di: Hu, Wenbo, et al.
Pubblicazione: (2024)

CAT: Circular-Convolutional Attention for Sub-Quadratic Transformers
di: Yamada, Yoshihiro
Pubblicazione: (2025)

Efficient Scaling of Diffusion Transformers for Text-to-Image Generation
di: Li, Hao, et al.
Pubblicazione: (2024)

Technical Report: Activation Residual Hessian Quantization (ARHQ) for Low-Bit LLM Quantization
di: Wang, YiFeng, et al.
Pubblicazione: (2026)

SOLO: A Single Transformer for Scalable Vision-Language Modeling
di: Chen, Yangyi, et al.
Pubblicazione: (2024)

A U-Net and Transformer Pipeline for Multilingual Image Translation
di: Sahay, Siddharth, et al.
Pubblicazione: (2025)

Text Role Classification in Scientific Charts Using Multimodal Transformers
di: Kim, Hye Jin, et al.
Pubblicazione: (2024)

Sparse-IFT: Sparse Iso-FLOP Transformations for Maximizing Training Efficiency
di: Thangarasa, Vithursan, et al.
Pubblicazione: (2023)

DNT: a Deeply Normalized Transformer that can be trained by Momentum SGD
di: Qi, Xianbiao, et al.
Pubblicazione: (2025)

GIT-CXR: End-to-End Transformer for Chest X-Ray Report Generation
di: Sîrbu, Iustin, et al.
Pubblicazione: (2025)

Training-Free Vector Quantization via Gaussian VAEs
di: Xu, Tongda, et al.
Pubblicazione: (2025)

BayesQ: Uncertainty-Guided Bayesian Quantization
di: Lamaakal, Ismail, et al.
Pubblicazione: (2025)

Instance-Aware Group Quantization for Vision Transformers
di: Moon, Jaehyeon, et al.
Pubblicazione: (2024)

Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset
di: Bromonschenkel, Gabriel, et al.
Pubblicazione: (2026)

BiCLIP: Domain Canonicalization via Structured Geometric Transformation
di: Mantini, Pranav, et al.
Pubblicazione: (2026)

A General and Efficient Training for Transformer via Token Expansion
di: Huang, Wenxuan, et al.
Pubblicazione: (2024)

VQ-Style: Disentangling Style and Content in Motion with Residual Quantized Representations
di: Zargarbashi, Fatemeh, et al.
Pubblicazione: (2026)

Transformers without Normalization
di: Zhu, Jiachen, et al.
Pubblicazione: (2025)

Preventing Local Pitfalls in Vector Quantization via Optimal Transport
di: Zhang, Borui, et al.
Pubblicazione: (2024)

Fine-tuning Quantized Neural Networks with Zeroth-order Optimization
di: Shang, Sifeng, et al.
Pubblicazione: (2025)

QeRL: Beyond Efficiency -- Quantization-enhanced Reinforcement Learning for LLMs
di: Huang, Wei, et al.
Pubblicazione: (2025)

Dual Precision Quantization for Efficient and Accurate Deep Neural Networks Inference
di: Gafni, Tomer, et al.
Pubblicazione: (2025)

Stronger Normalization-Free Transformers
di: Chen, Mingzhi, et al.
Pubblicazione: (2025)