Buchumschlag

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Huang, Yiran, Roth, Karsten, Bouniot, Quentin, Xu, Wenjia, Akata, Zeynep
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Context-Aware Multimodal Pretraining
von: Roth, Karsten, et al.
Veröffentlicht: (2024)

ETHER: Efficient Finetuning of Large-Scale Models with Hyperplane Reflections
von: Bini, Massimo, et al.
Veröffentlicht: (2024)

WikiBigEdit: Understanding the Limits of Lifelong Knowledge Editing in LLMs
von: Thede, Lukas, et al.
Veröffentlicht: (2025)

Time Series Representations for Classification Lie Hidden in Pretrained Vision Transformers
von: Roschmann, Simon, et al.
Veröffentlicht: (2025)

How to Merge Your Multimodal Models Over Time?
von: Dziadzio, Sebastian, et al.
Veröffentlicht: (2024)

Sparse Autoencoders Learn Monosemantic Features in Vision-Language Models
von: Pach, Mateusz, et al.
Veröffentlicht: (2025)

The Latent Color Subspace: Emergent Order in High-Dimensional Chaos
von: Pach, Mateusz, et al.
Veröffentlicht: (2026)

Investigating Structural Pruning and Recovery Techniques for Compressing Multimodal Large Language Models: An Empirical Study
von: Huang, Yiran, et al.
Veröffentlicht: (2025)

Structural Pruning of Large Vision Language Models: A Comprehensive Study on Pruning Dynamics, Recovery, and Data Efficiency
von: Huang, Yiran, et al.
Veröffentlicht: (2026)

TimeSAE: Sparse Decoding for Faithful Explanations of Black-Box Time Series Models
von: Oublal, Khalid, et al.
Veröffentlicht: (2026)

A Practitioner's Guide to Continual Multimodal Pretraining
von: Roth, Karsten, et al.
Veröffentlicht: (2024)

SOTAlign: Semi-Supervised Alignment of Unimodal Vision and Language Models via Optimal Transport
von: Roschmann, Simon, et al.
Veröffentlicht: (2026)

A Systematic Study of In-the-Wild Model Merging for Large Language Models
von: Hitit, Oğuz Kağan, et al.
Veröffentlicht: (2025)

Align-then-Unlearn: Embedding Alignment for LLM Unlearning
von: Spohn, Philipp, et al.
Veröffentlicht: (2025)

DeLoRA: Decoupling Angles and Strength in Low-rank Adaptation
von: Bini, Massimo, et al.
Veröffentlicht: (2025)

Reflecting on the State of Rehearsal-free Continual Learning with Pretrained Models
von: Thede, Lukas, et al.
Veröffentlicht: (2024)

COSMOS: Cross-Modality Self-Distillation for Vision Language Pre-training
von: Kim, Sanghwan, et al.
Veröffentlicht: (2024)

Improving Intervention Efficacy via Concept Realignment in Concept Bottleneck Models
von: Singhi, Nishad, et al.
Veröffentlicht: (2024)

Disentangled Representation Learning with the Gromov-Monge Gap
von: Uscidda, Théo, et al.
Veröffentlicht: (2024)

Building, Reusing, and Generalizing Abstract Representations from Concrete Sequences
von: Wu, Shuchen, et al.
Veröffentlicht: (2024)

Contextualize-then-Aggregate: Circuits for In-Context Learning in Gemma-2 2B
von: Bakalova, Aleksandra, et al.
Veröffentlicht: (2025)

Person-Centric Annotations of LAION-400M: Auditing Bias and Its Transfer to Models
von: Girrbach, Leander, et al.
Veröffentlicht: (2025)

Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model
von: Roth, Karsten, et al.
Veröffentlicht: (2023)

MemLoRA: Distilling Expert Adapters for On-Device Memory Systems
von: Bini, Massimo, et al.
Veröffentlicht: (2025)

Reference-Free Rating of LLM Responses via Latent Information
von: Girrbach, Leander, et al.
Veröffentlicht: (2025)

Prompt Optimization via Adversarial In-Context Learning
von: Do, Xuan Long, et al.
Veröffentlicht: (2023)

Dissecting Outlier Dynamics in LLM NVFP4 Pretraining
von: Dong, Peijie, et al.
Veröffentlicht: (2026)

Theoretical Understanding of In-Context Learning in Shallow Transformers with Unstructured Data
von: Xing, Yue, et al.
Veröffentlicht: (2024)

Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers
von: Anagnostidis, Sotiris, et al.
Veröffentlicht: (2023)

Sparse Autoencoders are Topic Models
von: Girrbach, Leander, et al.
Veröffentlicht: (2025)

Inducing anxiety in large language models can induce bias
von: Coda-Forno, Julian, et al.
Veröffentlicht: (2023)

Dynamic Multimodal Sentiment Analysis: Leveraging Cross-Modal Attention for Enabled Classification
von: Lee, Hui, et al.
Veröffentlicht: (2025)

Stitch: Training-Free Position Control in Multimodal Diffusion Transformers
von: Bader, Jessica, et al.
Veröffentlicht: (2025)

COMET: Concept Space Dissection of the Modality Gap in Audio-Text Multimodal Contrastive Embeddings
von: Zhu, Yonggang, et al.
Veröffentlicht: (2026)

Revealing and Reducing Gender Biases in Vision and Language Assistants (VLAs)
von: Girrbach, Leander, et al.
Veröffentlicht: (2024)

Unlocking Multi-Modal Potentials for Link Prediction on Dynamic Text-Attributed Graphs
von: Xu, Yuanyuan, et al.
Veröffentlicht: (2025)

Competition Dynamics Shape Algorithmic Phases of In-Context Learning
von: Park, Core Francisco, et al.
Veröffentlicht: (2024)

Rethinking Concept Bottleneck Models: From Pitfalls to Solutions
von: Tapli, Merve, et al.
Veröffentlicht: (2026)

Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers
von: Huang, Yixiao, et al.
Veröffentlicht: (2025)

Entropy Polarity in Reinforcement Fine-Tuning: Direction, Asymmetry, and Control
von: Zhang, Jiazheng, et al.
Veröffentlicht: (2026)