PixCLIP: Achieving Fine-grained Visual Language Understanding via Any-granularity Pixel-Text Alignment Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Xiao, Yicheng, Chen, Yu, Ma, Haoxuan, Hong, Jiale, Li, Caorui, Wu, Lingxiang, Guo, Haiyun, Wang, Jinqiao
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computer Vision and Pattern Recognition Multimedia
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

MaLoRA: Gated Modality LoRA for Key-Space Alignment in Multimodal LLM Fine-Tuning
von: Zheng, Xinhan, et al.
Veröffentlicht: (2025)

PixelatedScatter: Arbitrary-level Visual Abstraction for Large-scale Multiclass Scatterplots
von: Guo, Ziheng, et al.
Veröffentlicht: (2025)

FineBadminton: A Multi-Level Dataset for Fine-Grained Badminton Video Understanding
von: He, Xusheng, et al.
Veröffentlicht: (2025)

Not Just What's There: Enabling CLIP to Comprehend Negated Visual Descriptions Without Fine-tuning
von: Xiao, Junhao, et al.
Veröffentlicht: (2026)

High-level Codes and Fine-grained Weights for Online Multi-modal Hashing Retrieval
von: Zhan, Yu-Wei, et al.
Veröffentlicht: (2024)

Towards Alleviating Text-to-Image Retrieval Hallucination for CLIP in Zero-shot Learning
von: Wang, Hanyao, et al.
Veröffentlicht: (2024)

Cross Modal Fine-Grained Alignment via Granularity-Aware and Region-Uncertain Modeling
von: Liu, Jiale, et al.
Veröffentlicht: (2025)

On the Brittleness of CLIP Text Encoders
von: Tran, Allie, et al.
Veröffentlicht: (2025)

Fine-grained Knowledge Graph-driven Video-Language Learning for Action Recognition
von: Zhang, Rui, et al.
Veröffentlicht: (2024)

TUNA: Comprehensive Fine-grained Temporal Understanding Evaluation on Dense Dynamic Videos
von: Kong, Fanheng, et al.
Veröffentlicht: (2025)

TeMTG: Text-Enhanced Multi-Hop Temporal Graph Modeling for Audio-Visual Video Parsing
von: Chen, Yaru, et al.
Veröffentlicht: (2025)

VSpeechLM: A Visual Speech Language Model for Visual Text-to-Speech Task
von: Wang, Yuyue, et al.
Veröffentlicht: (2025)

AVID: A Benchmark for Omni-Modal Audio-Visual Inconsistency Understanding via Agent-Driven Construction
von: Chen, Zixuan, et al.
Veröffentlicht: (2026)

A CLIP-based siamese approach for meme classification
von: Huertas-Tato, Javier, et al.
Veröffentlicht: (2024)

Audio-Visual Separation with Hierarchical Fusion and Representation Alignment
von: Hu, Han, et al.
Veröffentlicht: (2025)

CLIP Brings Better Features to Visual Aesthetics Learners
von: Xu, Liwu, et al.
Veröffentlicht: (2023)

COPA: Efficient Vision-Language Pre-training Through Collaborative Object- and Patch-Text Alignment
von: Jiang, Chaoya, et al.
Veröffentlicht: (2023)

VideoCLIP-XL: Advancing Long Description Understanding for Video CLIP Models
von: Wang, Jiapeng, et al.
Veröffentlicht: (2024)

G4G:A Generic Framework for High Fidelity Talking Face Generation with Fine-grained Intra-modal Alignment
von: Zhang, Juan, et al.
Veröffentlicht: (2024)

ASAP: Advancing Semantic Alignment Promotes Multi-Modal Manipulation Detecting and Grounding
von: Zhang, Zhenxing, et al.
Veröffentlicht: (2024)

Pre-training CLIP against Data Poisoning with Optimal Transport-based Matching and Alignment
von: Zhang, Tong, et al.
Veröffentlicht: (2025)

SpeechCraft: A Fine-grained Expressive Speech Dataset with Natural Language Description
von: Jin, Zeyu, et al.
Veröffentlicht: (2024)

Rebalancing Contrastive Alignment with Bottlenecked Semantic Increments in Text-Video Retrieval
von: Xiao, Jian, et al.
Veröffentlicht: (2025)

Relationship Analysis of Image-Text Pair in SNS Posts
von: Nabeoka, Takuto, et al.
Veröffentlicht: (2025)

AniME: Adaptive Multi-Agent Planning for Long Animation Generation
von: Zhang, Lisai, et al.
Veröffentlicht: (2025)

UniF$^2$ace: A Unified Fine-grained Face Understanding and Generation Model
von: Li, Junzhe, et al.
Veröffentlicht: (2025)

Harmonizing Pixels and Melodies: Maestro-Guided Film Score Generation and Composition Style Transfer
von: Qi, F., et al.
Veröffentlicht: (2024)

Towards Better Text-to-Image Generation Alignment via Attention Modulation
von: Wu, Yihang, et al.
Veröffentlicht: (2024)

Is One-Shot In-Context Learning Helpful for Data Selection in Task-Specific Fine-Tuning of Multimodal LLMs?
von: An, Xiao, et al.
Veröffentlicht: (2026)

SeeingSounds: Learning Audio-to-Visual Alignment via Text
von: Carnemolla, Simone, et al.
Veröffentlicht: (2025)

Modeling Layout Reading Order as Ordering Relations for Visually-rich Document Understanding
von: Zhang, Chong, et al.
Veröffentlicht: (2024)

Fine-grained Image Retrieval via Dual-Vision Adaptation
von: Jiang, Xin, et al.
Veröffentlicht: (2025)

Can Multimodal Large Language Models Understand Spatial Relations?
von: Liu, Jingping, et al.
Veröffentlicht: (2025)

Voices, Faces, and Feelings: Multi-modal Emotion-Cognition Captioning for Mental Health Understanding
von: Zhou, Zhiyuan, et al.
Veröffentlicht: (2026)

DiffCL: A Diffusion-Based Contrastive Learning Framework with Semantic Alignment for Multimodal Recommendations
von: Song, Qiya, et al.
Veröffentlicht: (2025)

MemeCLIP: Leveraging CLIP Representations for Multimodal Meme Classification
von: Shah, Siddhant Bikram, et al.
Veröffentlicht: (2024)

PixelThink: Towards Efficient Chain-of-Pixel Reasoning
von: Wang, Song, et al.
Veröffentlicht: (2025)

QMAVIS: Long Video-Audio Understanding using Fusion of Large Multimodal Models
von: Lin, Zixing, et al.
Veröffentlicht: (2026)

Light Future: Multimodal Action Frame Prediction via InstructPix2Pix
von: Zhong, Zesen, et al.
Veröffentlicht: (2025)

XGC-AVis: Towards Audio-Visual Content Understanding with a Multi-Agent Collaborative System
von: Cao, Yuqin, et al.
Veröffentlicht: (2025)