Buchumschlag

A General and Efficient Training for Transformer via Token Expansion

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Wenxuan, Shen, Yunhang, Xie, Jiao, Zhang, Baochang, He, Gaoqi, Li, Ke, Sun, Xing, Lin, Shaohui
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Artificial Intelligence Computation and Language Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

GroupGPT: A Token-efficient and Privacy-preserving Agentic Framework for Multi-User Chat Assistant
von: Shen, Zhuokang, et al.
Veröffentlicht: (2026)

Dynamic-LLaVA: Efficient Multimodal Large Language Models via Dynamic Vision-language Context Sparsification
von: Huang, Wenxuan, et al.
Veröffentlicht: (2024)

Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization
von: Li, Mengtian, et al.
Veröffentlicht: (2024)

TimeSoccer: An End-to-End Multimodal Large Language Model for Soccer Commentary Generation
von: You, Ling, et al.
Veröffentlicht: (2025)

Dynamic Contrastive Knowledge Distillation for Efficient Image Restoration
von: Zhou, Yunshuai, et al.
Veröffentlicht: (2024)

Video-MME: The First-Ever Comprehensive Evaluation Benchmark of Multi-modal LLMs in Video Analysis
von: Fu, Chaoyou, et al.
Veröffentlicht: (2024)

Rethinking Centered Kernel Alignment in Knowledge Distillation
von: Zhou, Zikai, et al.
Veröffentlicht: (2024)

Efficient Whole Slide Pathology VQA via Token Compression
von: Lyu, Weimin, et al.
Veröffentlicht: (2025)

LLaVA-RadZ: Can Multimodal Large Language Models Effectively Tackle Zero-shot Radiology Recognition?
von: Li, Bangyan, et al.
Veröffentlicht: (2025)

VEGA: Learning Interleaved Image-Text Comprehension in Vision-Language Large Models
von: Zhou, Chenyu, et al.
Veröffentlicht: (2024)

Efficient Document Parsing via Parallel Token Prediction
von: Li, Lei, et al.
Veröffentlicht: (2026)

Fusion-Mamba for Cross-modality Object Detection
von: Dong, Wenhao, et al.
Veröffentlicht: (2024)

Cantor: Inspiring Multimodal Chain-of-Thought of MLLM
von: Gao, Timin, et al.
Veröffentlicht: (2024)

VimRAG: Navigating Massive Visual Context in Retrieval-Augmented Generation via Multimodal Memory Graph
von: Wang, Qiuchen, et al.
Veröffentlicht: (2026)

CLIP-Map: Structured Matrix Mapping for Parameter-Efficient CLIP Compression
von: Zhang, Kangjie, et al.
Veröffentlicht: (2026)

On the Limits of Token Reduction for Efficient Unified Vision Language Training
von: Chen, Siyi, et al.
Veröffentlicht: (2026)

FlashVID: Efficient Video Large Language Models via Training-free Tree-based Spatiotemporal Token Merging
von: Fan, Ziyang, et al.
Veröffentlicht: (2026)

ShortV: Efficient Multimodal Large Language Models by Freezing Visual Tokens in Ineffective Layers
von: Yuan, Qianhao, et al.
Veröffentlicht: (2025)

Actial: Activate Spatial Reasoning Ability of Multimodal Large Language Models
von: Zhan, Xiaoyu, et al.
Veröffentlicht: (2025)

InfoMerge: Information-aware Token Compression for Efficient Video Large Language Models
von: Liu, Xinxin, et al.
Veröffentlicht: (2026)

Woodpecker: Hallucination Correction for Multimodal Large Language Models
von: Yin, Shukang, et al.
Veröffentlicht: (2023)

Long-VITA: Scaling Large Multi-modal Models to 1 Million Tokens with Leading Short-Context Accuracy
von: Shen, Yunhang, et al.
Veröffentlicht: (2025)

HUWSOD: Holistic Self-training for Unified Weakly Supervised Object Detection
von: Cao, Liujuan, et al.
Veröffentlicht: (2024)

Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs
von: Huang, Jen-Tse, et al.
Veröffentlicht: (2025)

Learning Compact Vision Tokens for Efficient Large Multimodal Models
von: Tang, Hao, et al.
Veröffentlicht: (2025)

Multi-Step Visual Reasoning with Visual Tokens Scaling and Verification
von: Bai, Tianyi, et al.
Veröffentlicht: (2025)

Training-Free Efficient Video Generation via Dynamic Token Carving
von: Zhang, Yuechen, et al.
Veröffentlicht: (2025)

Scalable Vision Language Model Training via High Quality Data Curation
von: Dong, Hongyuan, et al.
Veröffentlicht: (2025)

See the Text: From Tokenization to Visual Reading
von: Xing, Ling, et al.
Veröffentlicht: (2025)

UTPTrack: Towards Simple and Unified Token Pruning for Visual Tracking
von: Wu, Hao, et al.
Veröffentlicht: (2026)

Fit and Prune: Fast and Training-free Visual Token Pruning for Multi-modal Large Language Models
von: Ye, Weihao, et al.
Veröffentlicht: (2024)

Vision-centric Token Compression in Large Language Model
von: Xing, Ling, et al.
Veröffentlicht: (2025)

Are We on the Right Way for Assessing Document Retrieval-Augmented Generation?
von: Shen, Wenxuan, et al.
Veröffentlicht: (2025)

ROAP: A Reading-Order and Attention-Prior Pipeline for Optimizing Layout Transformers in Key Information Extraction
von: Xie, Tingwei, et al.
Veröffentlicht: (2026)

Efficient Vision-Language Reasoning via Adaptive Token Pruning
von: Li, Xue, et al.
Veröffentlicht: (2025)

Efficient Scaling of Diffusion Transformers for Text-to-Image Generation
von: Li, Hao, et al.
Veröffentlicht: (2024)

MASA: Rethinking the Representational Bottleneck in LoRA with Multi-A Shared Adaptation
von: Dong, Qin, et al.
Veröffentlicht: (2025)

SAISA: Towards Multimodal Large Language Models with Both Training and Inference Efficiency
von: Yuan, Qianhao, et al.
Veröffentlicht: (2025)

CrossGET: Cross-Guided Ensemble of Tokens for Accelerating Vision-Language Transformers
von: Shi, Dachuan, et al.
Veröffentlicht: (2023)

FastOCR: Dynamic Visual Fixation via KV Cache Pruning for Efficient Document Parsing
von: Tang, Zihan, et al.
Veröffentlicht: (2026)