Eyes Wide Shut? Exploring the Visual Shortcomings of Multimodal LLMs
Fuente:
arXiv
Salvato in:
| Autori principali: | Tong, Shengbang, Liu, Zhuang, Zhai, Yuexiang, Ma, Yi, LeCun, Yann, Xie, Saining |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
MetaMorph: Multimodal Understanding and Generation via Instruction Tuning
di: Tong, Shengbang, et al.
Pubblicazione: (2024)
di: Tong, Shengbang, et al.
Pubblicazione: (2024)
Scaling Language-Free Visual Representation Learning
di: Fan, David, et al.
Pubblicazione: (2025)
di: Fan, David, et al.
Pubblicazione: (2025)
Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning
di: Zhai, Yuexiang, et al.
Pubblicazione: (2024)
di: Zhai, Yuexiang, et al.
Pubblicazione: (2024)
Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders
di: Tong, Shengbang, et al.
Pubblicazione: (2026)
di: Tong, Shengbang, et al.
Pubblicazione: (2026)
Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs
di: Tong, Shengbang, et al.
Pubblicazione: (2024)
di: Tong, Shengbang, et al.
Pubblicazione: (2024)
Are They the Same? Exploring Visual Correspondence Shortcomings of Multimodal LLMs
di: Zhou, Yikang, et al.
Pubblicazione: (2025)
di: Zhou, Yikang, et al.
Pubblicazione: (2025)
SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training
di: Chu, Tianzhe, et al.
Pubblicazione: (2025)
di: Chu, Tianzhe, et al.
Pubblicazione: (2025)
Diffusion Transformers with Representation Autoencoders
di: Zheng, Boyang, et al.
Pubblicazione: (2025)
di: Zheng, Boyang, et al.
Pubblicazione: (2025)
LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics
di: Balestriero, Randall, et al.
Pubblicazione: (2025)
di: Balestriero, Randall, et al.
Pubblicazione: (2025)
Learning by Reconstruction Produces Uninformative Features For Perception
di: Balestriero, Randall, et al.
Pubblicazione: (2024)
di: Balestriero, Randall, et al.
Pubblicazione: (2024)
A hierarchical loss and its problems when classifying non-hierarchically
di: Wu, Cinna, et al.
Pubblicazione: (2017)
di: Wu, Cinna, et al.
Pubblicazione: (2017)
Video Representation Learning with Joint-Embedding Predictive Architectures
di: Drozdov, Katrina, et al.
Pubblicazione: (2024)
di: Drozdov, Katrina, et al.
Pubblicazione: (2024)
Cambrian-S: Towards Spatial Supersensing in Video
di: Yang, Shusheng, et al.
Pubblicazione: (2025)
di: Yang, Shusheng, et al.
Pubblicazione: (2025)
The Entropy Enigma: Success and Failure of Entropy Minimization
di: Press, Ori, et al.
Pubblicazione: (2024)
di: Press, Ori, et al.
Pubblicazione: (2024)
Beyond Language Modeling: An Exploration of Multimodal Pretraining
di: Tong, Shengbang, et al.
Pubblicazione: (2026)
di: Tong, Shengbang, et al.
Pubblicazione: (2026)
URLOST: Unsupervised Representation Learning without Stationarity or Topology
di: Yun, Zeyu, et al.
Pubblicazione: (2023)
di: Yun, Zeyu, et al.
Pubblicazione: (2023)
Transformers without Normalization
di: Zhu, Jiachen, et al.
Pubblicazione: (2025)
di: Zhu, Jiachen, et al.
Pubblicazione: (2025)
RoboPEPP: Vision-Based Robot Pose and Joint Angle Estimation through Embedding Predictive Pre-Training
di: Goswami, Raktim Gautam, et al.
Pubblicazione: (2024)
di: Goswami, Raktim Gautam, et al.
Pubblicazione: (2024)
Hierarchical World Models as Visual Whole-Body Humanoid Controllers
di: Hansen, Nicklas, et al.
Pubblicazione: (2024)
di: Hansen, Nicklas, et al.
Pubblicazione: (2024)
Gaussian Embeddings: How JEPAs Secretly Learn Your Data Density
di: Balestriero, Randall, et al.
Pubblicazione: (2025)
di: Balestriero, Randall, et al.
Pubblicazione: (2025)
Learning and Leveraging World Models in Visual Representation Learning
di: Garrido, Quentin, et al.
Pubblicazione: (2024)
di: Garrido, Quentin, et al.
Pubblicazione: (2024)
Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation
di: Denton, Remi, et al.
Pubblicazione: (2014)
di: Denton, Remi, et al.
Pubblicazione: (2014)
Blockwise Self-Supervised Learning at Scale
di: Siddiqui, Shoaib Ahmed, et al.
Pubblicazione: (2023)
di: Siddiqui, Shoaib Ahmed, et al.
Pubblicazione: (2023)
Asymmetric Idiosyncrasies in Multimodal Models
di: Tao, Muzi, et al.
Pubblicazione: (2026)
di: Tao, Muzi, et al.
Pubblicazione: (2026)
PooDLe: Pooled and dense self-supervised learning from naturalistic videos
di: Wang, Alex N., et al.
Pubblicazione: (2024)
di: Wang, Alex N., et al.
Pubblicazione: (2024)
Forgotten Polygons: Multimodal Large Language Models are Shape-Blind
di: Rudman, William, et al.
Pubblicazione: (2025)
di: Rudman, William, et al.
Pubblicazione: (2025)
Response Wide Shut: Surprising Observations in Basic Vision Language Model Capabilities
di: Chandhok, Shivam, et al.
Pubblicazione: (2024)
di: Chandhok, Shivam, et al.
Pubblicazione: (2024)
Learning Latent Action World Models In The Wild
di: Garrido, Quentin, et al.
Pubblicazione: (2026)
di: Garrido, Quentin, et al.
Pubblicazione: (2026)
Rectified LpJEPA: Joint-Embedding Predictive Architectures with Sparse and Maximum-Entropy Representations
di: Kuang, Yilun, et al.
Pubblicazione: (2026)
di: Kuang, Yilun, et al.
Pubblicazione: (2026)
Navigation World Models
di: Bar, Amir, et al.
Pubblicazione: (2024)
di: Bar, Amir, et al.
Pubblicazione: (2024)
Variance-Covariance Regularization Improves Representation Learning
di: Zhu, Jiachen, et al.
Pubblicazione: (2023)
di: Zhu, Jiachen, et al.
Pubblicazione: (2023)
Rate-In: Information-Driven Adaptive Dropout Rates for Improved Inference-Time Uncertainty Estimation
di: Zeevi, Tal, et al.
Pubblicazione: (2024)
di: Zeevi, Tal, et al.
Pubblicazione: (2024)
Revisiting Feature Prediction for Learning Visual Representations from Video
di: Bardes, Adrien, et al.
Pubblicazione: (2024)
di: Bardes, Adrien, et al.
Pubblicazione: (2024)
Seeing from Another Perspective: Evaluating Multi-View Understanding in MLLMs
di: Yeh, Chun-Hsiao, et al.
Pubblicazione: (2025)
di: Yeh, Chun-Hsiao, et al.
Pubblicazione: (2025)
Improving Pre-trained Self-Supervised Embeddings Through Effective Entropy Maximization
di: Chakraborty, Deep, et al.
Pubblicazione: (2024)
di: Chakraborty, Deep, et al.
Pubblicazione: (2024)
Eyes Tell the Truth: GazeVal Highlights Shortcomings of Generative AI in Medical Imaging
di: Wong, David, et al.
Pubblicazione: (2025)
di: Wong, David, et al.
Pubblicazione: (2025)
VisionFoundry: Teaching VLMs Visual Perception with Synthetic Images
di: Zhou, Guanyu, et al.
Pubblicazione: (2026)
di: Zhou, Guanyu, et al.
Pubblicazione: (2026)
Eyes Will Shut: A Vision-Based Next GPS Location Prediction Model by Reinforcement Learning from Visual Map Feed Back
di: Zhang, Ruixing, et al.
Pubblicazione: (2025)
di: Zhang, Ruixing, et al.
Pubblicazione: (2025)
White-Box Transformers via Sparse Rate Reduction: Compression Is All There Is?
di: Yu, Yaodong, et al.
Pubblicazione: (2023)
di: Yu, Yaodong, et al.
Pubblicazione: (2023)
Flow Map Distillation Without Data
di: Tong, Shangyuan, et al.
Pubblicazione: (2025)
di: Tong, Shangyuan, et al.
Pubblicazione: (2025)
Documenti analoghi
-
MetaMorph: Multimodal Understanding and Generation via Instruction Tuning
di: Tong, Shengbang, et al.
Pubblicazione: (2024) -
Scaling Language-Free Visual Representation Learning
di: Fan, David, et al.
Pubblicazione: (2025) -
Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning
di: Zhai, Yuexiang, et al.
Pubblicazione: (2024) -
Scaling Text-to-Image Diffusion Transformers with Representation Autoencoders
di: Tong, Shengbang, et al.
Pubblicazione: (2026) -
Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs
di: Tong, Shengbang, et al.
Pubblicazione: (2024)