Buchumschlag

Masked Modeling for Self-supervised Representation Learning on Vision and Beyond

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Li, Siyuan, Zhang, Luyuan, Wang, Zedong, Wu, Di, Wu, Lirong, Liu, Zicheng, Xia, Jun, Tan, Cheng, Liu, Yang, Sun, Baigui, Li, Stan Z.
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computer Vision and Pattern Recognition Artificial Intelligence
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Unveiling the Backbone-Optimizer Coupling Bias in Visual Representation Learning
von: Li, Siyuan, et al.
Veröffentlicht: (2024)

SemiReward: A General Reward Model for Semi-supervised Learning
von: Li, Siyuan, et al.
Veröffentlicht: (2023)

OpenMixup: Open Mixup Toolbox and Benchmark for Visual Representation Learning
von: Li, Siyuan, et al.
Veröffentlicht: (2022)

Switch EMA: A Free Lunch for Better Flatness and Sharpness
von: Li, Siyuan, et al.
Veröffentlicht: (2024)

VQDNA: Unleashing the Power of Vector Quantization for Multi-Species Genomic Sequence Modeling
von: Li, Siyuan, et al.
Veröffentlicht: (2024)

GenURL: A General Framework for Unsupervised Representation Learning
von: Li, Siyuan, et al.
Veröffentlicht: (2021)

MogaNet: Multi-order Gated Aggregation Network
von: Li, Siyuan, et al.
Veröffentlicht: (2022)

Short-Long Convolutions Help Hardware-Efficient Linear Attention to Focus on Long Sequences
von: Liu, Zicheng, et al.
Veröffentlicht: (2024)

An Empirical Study: Extensive Deep Temporal Point Process
von: Lin, Haitao, et al.
Veröffentlicht: (2021)

LongVQ: Long Sequence Modeling with Vector Quantization on Structured Memory
von: Liu, Zicheng, et al.
Veröffentlicht: (2024)

Neuro-BERT: Rethinking Masked Autoencoding for Self-supervised Neurological Pretraining
von: Wu, Di, et al.
Veröffentlicht: (2022)

Learning to Model Graph Structural Information on MLPs via Graph Structure Self-Contrasting
von: Wu, Lirong, et al.
Veröffentlicht: (2024)

RDesign: Hierarchical Data-efficient Representation Learning for Tertiary Structure-based RNA Design
von: Tan, Cheng, et al.
Veröffentlicht: (2023)

Advances of Deep Learning in Protein Science: A Comprehensive Survey
von: Hu, Bozhen, et al.
Veröffentlicht: (2024)

FoldToken: Learning Protein Language via Vector Quantization and Beyond
von: Gao, Zhangyang, et al.
Veröffentlicht: (2024)

A Survey on Mixup Augmentations and Beyond
von: Jin, Xin, et al.
Veröffentlicht: (2024)

Discovering the Representation Bottleneck of Graph Neural Networks
von: Wu, Fang, et al.
Veröffentlicht: (2022)

Deep Manifold Graph Auto-Encoder for Attributed Graph Embedding
von: Hu, Bozhen, et al.
Veröffentlicht: (2024)

MergeVQ: A Unified Framework for Visual Generation and Representation with Disentangled Token Merging and Quantization
von: Li, Siyuan, et al.
Veröffentlicht: (2025)

CBGBench: Fill in the Blank of Protein-Molecule Complex Binding Graph
von: Lin, Haitao, et al.
Veröffentlicht: (2024)

PSC-CPI: Multi-Scale Protein Sequence-Structure Contrasting for Efficient and Generalizable Compound-Protein Interaction Prediction
von: Wu, Lirong, et al.
Veröffentlicht: (2024)

MeToken: Uniform Micro-environment Token Boosts Post-Translational Modification Prediction
von: Tan, Cheng, et al.
Veröffentlicht: (2024)

SimVPv2: Towards Simple yet Powerful Spatiotemporal Predictive Learning
von: Tan, Cheng, et al.
Veröffentlicht: (2022)

Cross-Gate MLP with Protein Complex Invariant Embedding is A One-Shot Antibody Designer
von: Tan, Cheng, et al.
Veröffentlicht: (2023)

Teach Harder, Learn Poorer: Rethinking Hard Sample Distillation for GNN-to-MLP Knowledge Distillation
von: Wu, Lirong, et al.
Veröffentlicht: (2024)

Re-Dock: Towards Flexible and Realistic Molecular Docking with Diffusion Bridge
von: Huang, Yufei, et al.
Veröffentlicht: (2024)

UniIF: Unified Molecule Inverse Folding
von: Gao, Zhangyang, et al.
Veröffentlicht: (2024)

Efficient Self-supervised Vision Pretraining with Local Masked Reconstruction
von: Chen, Jun, et al.
Veröffentlicht: (2022)

Rep-MTL: Unleashing the Power of Representation-level Task Saliency for Multi-Task Learning
von: Wang, Zedong, et al.
Veröffentlicht: (2025)

A Teacher-Free Graph Knowledge Distillation Framework with Dual Self-Distillation
von: Wu, Lirong, et al.
Veröffentlicht: (2024)

Deep Manifold Transformation for Protein Representation Learning
von: Hu, Bozhen, et al.
Veröffentlicht: (2024)

Learning to Predict Mutation Effects of Protein-Protein Interactions by Microenvironment-aware Hierarchical Prompt Learning
von: Wu, Lirong, et al.
Veröffentlicht: (2024)

RankE: End-to-End Post-Training for Discrete Text-to-Image Generation with Decoder Co-Evolution
von: Jian, Siyong, et al.
Veröffentlicht: (2026)

GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models
von: Liu, Zicheng, et al.
Veröffentlicht: (2024)

Instructor-inspired Machine Learning for Robust Molecular Property Prediction
von: Wu, Fang, et al.
Veröffentlicht: (2023)

Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions
von: Tan, Cheng, et al.
Veröffentlicht: (2024)

USTEP: Spatio-Temporal Predictive Learning under A Unified View
von: Tan, Cheng, et al.
Veröffentlicht: (2023)

Relation-Aware Equivariant Graph Networks for Epitope-Unknown Antibody Design and Specificity Optimization
von: Wu, Lirong, et al.
Veröffentlicht: (2024)

Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning
von: Li, Tingyu, et al.
Veröffentlicht: (2025)

PPFlow: Target-aware Peptide Design with Torsional Flow Matching
von: Lin, Haitao, et al.
Veröffentlicht: (2024)