Buchumschlag

It's Not a Modality Gap: Characterizing and Addressing the Contrastive Gap

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fahim, Abrar, Murphy, Alex, Fyshe, Alona
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computer Vision and Pattern Recognition Computation and Language Information Retrieval Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploring Curriculum Learning for Vision-Language Tasks: A Study on Small-Scale Multimodal Training
von: Saha, Rohan, et al.
Veröffentlicht: (2024)

Closing the Modality Gap for Mixed Modality Search
von: Li, Binxu, et al.
Veröffentlicht: (2025)

Finding Shared Decodable Concepts and their Negations in the Brain
von: Efird, Cory, et al.
Veröffentlicht: (2024)

Multimedia-Aware Question Answering: A Review of Retrieval and Cross-Modal Reasoning Architectures
von: Raja, Rahul, et al.
Veröffentlicht: (2025)

Generalized Contrastive Learning for Multi-Modal Retrieval and Ranking
von: Zhu, Tianyu, et al.
Veröffentlicht: (2024)

Benchmarking Robustness of Contrastive Learning Models for Medical Image-Report Retrieval
von: Deanda, Demetrio, et al.
Veröffentlicht: (2025)

UniversalRAG: Retrieval-Augmented Generation over Corpora of Diverse Modalities and Granularities
von: Yeo, Woongyeong, et al.
Veröffentlicht: (2025)

Modality-Aware Integration with Large Language Models for Knowledge-based Visual Question Answering
von: Dong, Junnan, et al.
Veröffentlicht: (2024)

Reversed in Time: A Novel Temporal-Emphasized Benchmark for Cross-Modal Video-Text Retrieval
von: Du, Yang, et al.
Veröffentlicht: (2024)

FlowVQA: Mapping Multimodal Logic in Visual Question Answering with Flowcharts
von: Singh, Shubhankar, et al.
Veröffentlicht: (2024)

DREAM: Improving Video-Text Retrieval Through Relevance-Based Augmentation Using Large Foundation Models
von: Wang, Yimu, et al.
Veröffentlicht: (2024)

VLM-KG: Multimodal Radiology Knowledge Graph Generation
von: Abdullah, Abdullah, et al.
Veröffentlicht: (2025)

FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA
von: Sarwar, Nobin
Veröffentlicht: (2025)

Using Knowledge Graphs to harvest datasets for efficient CLIP model training
von: Ging, Simon, et al.
Veröffentlicht: (2025)

PAPERCLIP: Associating Astronomical Observations and Natural Language with Multi-Modal Models
von: Mishra-Sharma, Siddharth, et al.
Veröffentlicht: (2024)

Bridging the Modality Gap: Dimension Information Alignment and Sparse Spatial Constraint for Image-Text Matching
von: Ma, Xiang, et al.
Veröffentlicht: (2024)

Object-Aware Query Perturbation for Cross-Modal Image-Text Retrieval
von: Sogi, Naoya, et al.
Veröffentlicht: (2024)

Maximal Matching Matters: Preventing Representation Collapse for Robust Cross-Modal Retrieval
von: Alomari, Hani, et al.
Veröffentlicht: (2025)

TelcoAI: Advancing 3GPP Technical Specification Search through Agentic Multi-Modal Retrieval-Augmented Generation
von: Ghosh, Rahul, et al.
Veröffentlicht: (2025)

Multimodal Inverse Attention Network with Intrinsic Discriminant Feature Exploitation for Fake News Detection
von: Zhang, Tianlin, et al.
Veröffentlicht: (2025)

Multi-Vector Index Compression in Any Modality
von: Qin, Hanxiang, et al.
Veröffentlicht: (2026)

Efficient and High-Fidelity Omni Modality Retrieval
von: Huynh, Chuong, et al.
Veröffentlicht: (2026)

CoopHash: Cooperative Learning of Multipurpose Descriptor and Contrastive Pair Generator via Variational MCMC Teaching for Supervised Image Hashing
von: Doan, Khoa D., et al.
Veröffentlicht: (2022)

VISTA: Visualized Text Embedding For Universal Multi-Modal Retrieval
von: Zhou, Junjie, et al.
Veröffentlicht: (2024)

Correcting Biased Centered Kernel Alignment Measures in Biological and Artificial Neural Networks
von: Murphy, Alex, et al.
Veröffentlicht: (2024)

Supervised Fine-Tuning or Contrastive Learning? Towards Better Multimodal LLM Reranking
von: Dai, Ziqi, et al.
Veröffentlicht: (2025)

Why Steering Works: Toward a Unified View of Language Model Parameter Dynamics
von: Xu, Ziwen, et al.
Veröffentlicht: (2026)

FM2DS: Few-Shot Multimodal Multihop Data Synthesis with Knowledge Distillation for Question Answering
von: Abaskohi, Amirhossein, et al.
Veröffentlicht: (2024)

EIVEN: Efficient Implicit Attribute Value Extraction using Multimodal LLM
von: Zou, Henry Peng, et al.
Veröffentlicht: (2024)

MM-Embed: Universal Multimodal Retrieval with Multimodal LLMs
von: Lin, Sheng-Chieh, et al.
Veröffentlicht: (2024)

ImplicitAVE: An Open-Source Dataset and Multimodal LLMs Benchmark for Implicit Attribute Value Extraction
von: Zou, Henry Peng, et al.
Veröffentlicht: (2024)

Knowledge Circuits in Pretrained Transformers
von: Yao, Yunzhi, et al.
Veröffentlicht: (2024)

WISE: Rethinking the Knowledge Memory for Lifelong Model Editing of Large Language Models
von: Wang, Peng, et al.
Veröffentlicht: (2024)

Retrieval-augmented Prompt Learning for Pre-trained Foundation Models
von: Chen, Xiang, et al.
Veröffentlicht: (2025)

Evaluation of Embedding-Based and Generative Methods for LLM-Driven Document Classification: Opportunities and Challenges
von: Lu, Rong, et al.
Veröffentlicht: (2026)

FactCHD: Benchmarking Fact-Conflicting Hallucination Detection
von: Chen, Xiang, et al.
Veröffentlicht: (2023)

CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners
von: Yao, Yunzhi, et al.
Veröffentlicht: (2025)

Utility-Oriented Visual Evidence Selection for Multimodal Retrieval-Augmented Generation
von: Luo, Weiqing, et al.
Veröffentlicht: (2026)

ADAM: A Diverse Archive of Mankind for Evaluating and Enhancing LLMs in Biographical Reasoning
von: Cekinmez, Jasin, et al.
Veröffentlicht: (2025)

EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models
von: Wang, Peng, et al.
Veröffentlicht: (2023)