Buchumschlag

Autoregressive Pretraining with Mamba in Vision

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ren, Sucheng, Li, Xianhang, Tu, Haoqin, Wang, Feng, Shu, Fangxun, Zhang, Lei, Mei, Jieru, Yang, Linjie, Wang, Peng, Wang, Heng, Yuille, Alan, Xie, Cihang
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Mamba-R: Vision Mamba ALSO Needs Registers
von: Wang, Feng, et al.
Veröffentlicht: (2024)

ARVideo: Autoregressive Pretraining for Self-Supervised Video Representation Learning
von: Ren, Sucheng, et al.
Veröffentlicht: (2024)

M-VAR: Decoupled Scale-wise Autoregressive Modeling for High-Quality Image Generation
von: Ren, Sucheng, et al.
Veröffentlicht: (2024)

Medical Vision Generalist: Unifying Medical Imaging Tasks in Context
von: Ren, Sucheng, et al.
Veröffentlicht: (2024)

SPFormer: Enhancing Vision Transformer with Superpixel Representation
von: Mei, Jieru, et al.
Veröffentlicht: (2024)

Adventurer: Optimizing Vision Mamba Architecture Designs for Efficiency
von: Wang, Feng, et al.
Veröffentlicht: (2024)

From Pixels to Objects: A Hierarchical Approach for Part and Object Segmentation Using Local and Global Aggregation
von: Xie, Yunfei, et al.
Veröffentlicht: (2024)

SCLIP: Rethinking Self-Attention for Dense Vision-Language Inference
von: Wang, Feng, et al.
Veröffentlicht: (2023)

OpenVision: A Fully-Open, Cost-Effective Family of Advanced Vision Encoders for Multimodal Learning
von: Li, Xianhang, et al.
Veröffentlicht: (2025)

ViT-5: Vision Transformers for The Mid-2020s
von: Wang, Feng, et al.
Veröffentlicht: (2026)

Filter & Align: Leveraging Human Knowledge to Curate Image-Text Data
von: Zhang, Lei, et al.
Veröffentlicht: (2023)

What If We Recaption Billions of Web Images with LLaMA-3?
von: Li, Xianhang, et al.
Veröffentlicht: (2024)

Rejuvenating image-GPT as Strong Visual Representation Learners
von: Ren, Sucheng, et al.
Veröffentlicht: (2023)

Spiral RoPE: Rotate Your Rotary Positional Embeddings in the 2D Plane
von: Liu, Haoyu, et al.
Veröffentlicht: (2026)

ViMix-14M: A Curated Multi-Source Video-Text Dataset with Long-Form, High-Quality Captions and Crawl-Free Access
von: Yang, Timing, et al.
Veröffentlicht: (2025)

3D-TransUNet for Brain Metastases Segmentation in the BraTS2023 Challenge
von: Yang, Siwei, et al.
Veröffentlicht: (2024)

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning
von: Liu, Yanqing, et al.
Veröffentlicht: (2025)

Autoregressive Video Generation beyond Next Frames Prediction
von: Ren, Sucheng, et al.
Veröffentlicht: (2025)

AttnGCG: Enhancing Jailbreaking Attacks on LLMs with Attention Manipulation
von: Wang, Zijun, et al.
Veröffentlicht: (2024)

Separators in Enhancing Autoregressive Pretraining for Vision Mamba
von: Liu, Hanpeng, et al.
Veröffentlicht: (2026)

Beyond Next-Token: Next-X Prediction for Autoregressive Visual Generation
von: Ren, Sucheng, et al.
Veröffentlicht: (2025)

FlowAR: Scale-wise Autoregressive Image Generation Meets Flow Matching
von: Ren, Sucheng, et al.
Veröffentlicht: (2024)

Revisiting Adversarial Training at Scale
von: Wang, Zeyu, et al.
Veröffentlicht: (2024)

ViLBench: A Suite for Vision-Language Process Reward Modeling
von: Tu, Haoqin, et al.
Veröffentlicht: (2025)

RNN as Linear Transformer: A Closer Investigation into Representational Potentials of Visual Mamba Models
von: Yang, Timing, et al.
Veröffentlicht: (2025)

CoPE: Clipped RoPE as A Scalable Free Lunch for Long Context LLMs
von: Li, Haoran, et al.
Veröffentlicht: (2026)

CLIPS: An Enhanced CLIP Framework for Learning with Synthetic Captions
von: Liu, Yanqing, et al.
Veröffentlicht: (2024)

A Semantic Space is Worth 256 Language Descriptions: Make Stronger Segmentation Models with Descriptive Properties
von: Xiao, Junfei, et al.
Veröffentlicht: (2023)

Scaling White-Box Transformers for Vision
von: Yang, Jinrui, et al.
Veröffentlicht: (2024)

Grouping First, Attending Smartly: Training-Free Acceleration for Diffusion Transformers
von: Ren, Sucheng, et al.
Veröffentlicht: (2025)

Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models
von: Li, Zhuowan, et al.
Veröffentlicht: (2022)

Scaling Laws in Patchification: An Image Is Worth 50,176 Tokens And More
von: Wang, Feng, et al.
Veröffentlicht: (2025)

VideoMAP: Toward Scalable Mamba-based Video Autoregressive Pretraining
von: Liu, Yunze, et al.
Veröffentlicht: (2025)

Frequency-Aware Flow Matching for High-Quality Image Generation
von: Ren, Sucheng, et al.
Veröffentlicht: (2026)

Large Language Models are Universal Reasoners for Visual Generation
von: Ren, Sucheng, et al.
Veröffentlicht: (2026)

MAP: Unleashing Hybrid Mamba-Transformer Vision Backbone's Potential with Masked Autoregressive Pretraining
von: Liu, Yunze, et al.
Veröffentlicht: (2024)

WorldEdit: Towards Open-World Image Editing with a Knowledge-Informed Benchmark
von: Lin, Wang, et al.
Veröffentlicht: (2026)

SpatialThinker: Reinforcing 3D Reasoning in Multimodal LLMs via Spatial Rewards
von: Batra, Hunar, et al.
Veröffentlicht: (2025)

Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales
von: Qian, Zhaofang, et al.
Veröffentlicht: (2025)

STAR-1: Safer Alignment of Reasoning LLMs with 1K Data
von: Wang, Zijun, et al.
Veröffentlicht: (2025)