Copertina

Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Tong, Shengbang, Liu, Zhuang, Zhai, Yuexiang, Ma, Yi, LeCun, Yann, Xie, Saining
Natura:	Preprint
Pubblicazione:	2024
Soggetti:	Computer Vision and Pattern Recognition
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

MetaMorph: Multimodal Understanding and Generation via Instruction Tuning
di: Tong, Shengbang, et al.
Pubblicazione: (2024)

Scaling Language-Free Visual Representation Learning
di: Fan, David, et al.
Pubblicazione: (2025)

Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning
di: Zhai, Yuexiang, et al.
Pubblicazione: (2024)

Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders
di: Tong, Shengbang, et al.
Pubblicazione: (2026)

Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs
di: Tong, Shengbang, et al.
Pubblicazione: (2024)

Are They the Same? Exploring Visual Correspondence Shortcomings of Multimodal LLMs
di: Zhou, Yikang, et al.
Pubblicazione: (2025)

SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training
di: Chu, Tianzhe, et al.
Pubblicazione: (2025)

Diffusion Transformers with Representation Autoencoders
di: Zheng, Boyang, et al.
Pubblicazione: (2025)

LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics
di: Balestriero, Randall, et al.
Pubblicazione: (2025)

Learning by Reconstruction Produces Uninformative Features For Perception
di: Balestriero, Randall, et al.
Pubblicazione: (2024)

A hierarchical loss and its problems when classifying non-hierarchically
di: Wu, Cinna, et al.
Pubblicazione: (2017)

Video Representation Learning with Joint-Embedding Predictive Architectures
di: Drozdov, Katrina, et al.
Pubblicazione: (2024)

Cambrian-S: Towards Spatial Supersensing in Video
di: Yang, Shusheng, et al.
Pubblicazione: (2025)

The Entropy Enigma: Success and Failure of Entropy Minimization
di: Press, Ori, et al.
Pubblicazione: (2024)

Beyond Language Modeling: An Exploration of Multimodal Pretraining
di: Tong, Shengbang, et al.
Pubblicazione: (2026)

URLOST: Unsupervised Representation Learning without Stationarity or Topology
di: Yun, Zeyu, et al.
Pubblicazione: (2023)

Transformers without Normalization
di: Zhu, Jiachen, et al.
Pubblicazione: (2025)

RoboPEPP: Vision-Based Robot Pose and Joint Angle Estimation through Embedding Predictive Pre-Training
di: Goswami, Raktim Gautam, et al.
Pubblicazione: (2024)

Hierarchical World Models as Visual Whole-Body Humanoid Controllers
di: Hansen, Nicklas, et al.
Pubblicazione: (2024)

Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density
di: Balestriero, Randall, et al.
Pubblicazione: (2025)

Learning and Leveraging World Models in Visual Representation Learning
di: Garrido, Quentin, et al.
Pubblicazione: (2024)

Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation
di: Denton, Remi, et al.
Pubblicazione: (2014)

Blockwise Self-Supervised Learning at Scale
di: Siddiqui, Shoaib Ahmed, et al.
Pubblicazione: (2023)

Asymmetric Idiosyncrasies in Multimodal Models
di: Tao, Muzi, et al.
Pubblicazione: (2026)

PooDLe: Pooled and dense self-supervised learning from naturalistic videos
di: Wang, Alex N., et al.
Pubblicazione: (2024)

Forgotten Polygons: Multimodal Large Language Models are Shape-Blind
di: Rudman, William, et al.
Pubblicazione: (2025)

Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities
di: Chandhok, Shivam, et al.
Pubblicazione: (2024)

Learning Latent Action World Models In The Wild
di: Garrido, Quentin, et al.
Pubblicazione: (2026)

Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations
di: Kuang, Yilun, et al.
Pubblicazione: (2026)

Navigation World Models
di: Bar, Amir, et al.
Pubblicazione: (2024)

Variance-Covariance Regularization Improves Representation Learning
di: Zhu, Jiachen, et al.
Pubblicazione: (2023)

Rate-In: Information-Driven Adaptive Dropout Rates for Improved Inference-Time Uncertainty Estimation
di: Zeevi, Tal, et al.
Pubblicazione: (2024)

Revisiting Feature Prediction for Learning Visual Representations from Video
di: Bardes, Adrien, et al.
Pubblicazione: (2024)

Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs
di: Yeh, Chun-Hsiao, et al.
Pubblicazione: (2025)

Improving Pre-trained Self-Supervised Embeddings Through Effective Entropy Maximization
di: Chakraborty, Deep, et al.
Pubblicazione: (2024)

Eyes Tell the Truth: GazeVal Highlights Shortcomings of Generative AI in Medical Imaging
di: Wong, David, et al.
Pubblicazione: (2025)

VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images
di: Zhou, Guanyu, et al.
Pubblicazione: (2026)

Eyes Will Shut: A Vision-Based Next GPS Location Prediction Model by Reinforcement Learning from Visual Map Feed Back
di: Zhang, Ruixing, et al.
Pubblicazione: (2025)

White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?
di: Yu, Yaodong, et al.
Pubblicazione: (2023)

Flow Map Distillation Without Data
di: Tong, Shangyuan, et al.
Pubblicazione: (2025)