Buchumschlag

From Images to Words: Efficient Cross-Modal Knowledge Distillation to Language Models from Black-box Teachers

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sengupta, Ayan, Dixit, Shantanu, Akhtar, Md Shad, Chakraborty, Tanmoy
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Persona-aware Generative Model for Code-mixed Language
von: Sengupta, Ayan, et al.
Veröffentlicht: (2023)

Knowledge Planning in Large Language Models for Domain-Aligned Counseling Summarization
von: Srivastava, Aseem, et al.
Veröffentlicht: (2024)

On the Generalization vs Fidelity Paradox in Knowledge Distillation
von: Ramesh, Suhas Kamasetty, et al.
Veröffentlicht: (2025)

First Finish Search: Efficient Test-Time Scaling in Large Language Models
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2025)

Compression Laws for Large Language Models
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

The Art of Scaling Test-Time Compute for Large Language Models
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2025)

Trust Modeling in Counseling Conversations: A Benchmark Study
von: Srivastava, Aseem, et al.
Veröffentlicht: (2025)

Crowd Intelligence for Early Misinformation Prediction on Social Media
von: Sundriyal, Megha, et al.
Veröffentlicht: (2024)

Step-by-Step Unmasking for Parameter-Efficient Fine-tuning of Large Language Models
von: Agarwal, Aradhye, et al.
Veröffentlicht: (2024)

You Only Prune Once: Designing Calibration-Free Model Compression With Policy Learning
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

SemEval 2024 -- Task 10: Emotion Discovery and Reasoning its Flip in Conversation (EDiReF)
von: Kumar, Shivani, et al.
Veröffentlicht: (2024)

Understanding the Physics of Key-Value Cache Compression for LLMs through Attention Dynamics
von: Ananthanarayanan, Samhruth, et al.
Veröffentlicht: (2026)

Position: Enough of Scaling LLMs! Lets Focus on Downscaling
von: Goel, Yash, et al.
Veröffentlicht: (2025)

Value-Guided KV Compression for LLMs via Approximated CUR Decomposition
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

Sentiment-guided Commonsense-aware Response Generation for Mental Health Counseling
von: Srivastava, Aseem, et al.
Veröffentlicht: (2025)

How to Upscale Neural Networks with Scaling Law? A Survey and Practical Guidelines
von: Sengupta, Ayan, et al.
Veröffentlicht: (2025)

Synthetic Data Generation and Joint Learning for Robust Code-Mixed Translation
von: Kartik, Kartik, et al.
Veröffentlicht: (2024)

Probing Critical Learning Dynamics of PLMs for Hate Speech Detection
von: Masud, Sarah, et al.
Veröffentlicht: (2024)

Tox-BART: Leveraging Toxicity Attributes for Explanation Generation of Implicit Hate Speech
von: Yadav, Neemesh, et al.
Veröffentlicht: (2024)

Emotion-Aware Multimodal Fusion for Meme Emotion Detection
von: Sharma, Shivam, et al.
Veröffentlicht: (2024)

Redefining Experts: Interpretable Decomposition of Language Models for Toxicity Mitigation
von: Shaik, Zuhair Hasan, et al.
Veröffentlicht: (2025)

Incongruence Identification in Eyewitness Testimony
von: Nair, Akshara, et al.
Veröffentlicht: (2025)

Intent-conditioned and Non-toxic Counterspeech Generation using Multi-Task Instruction Tuning with RLAIF
von: Hengle, Amey, et al.
Veröffentlicht: (2024)

Target-Augmented Shared Fusion-based Multimodal Sarcasm Explanation Generation
von: Goel, Palaash, et al.
Veröffentlicht: (2025)

Cross-Modal Knowledge Distillation for Speech Large Language Models
von: Wang, Enzhi, et al.
Veröffentlicht: (2025)

Efficient Knowledge Distillation: Empowering Small Language Models with Teacher Model Insights
von: Ballout, Mohamad, et al.
Veröffentlicht: (2024)

Multilingual LLMs Struggle to Link Orthography and Semantics in Bilingual Word Processing
von: Tanwar, Eshaan, et al.
Veröffentlicht: (2025)

No perspective, no perception!! Perspective-aware Healthcare Answer Summarization
von: Naik, Gauri, et al.
Veröffentlicht: (2024)

Latent Performance Profiling of Large Language Models
von: Chakraborty, Tanmoy, et al.
Veröffentlicht: (2026)

Exposing Long-Tail Safety Failures in Large Language Models through Efficient Diverse Response Sampling
von: Hajra, Suvadeep, et al.
Veröffentlicht: (2026)

Robust and Efficient Fine-tuning of LLMs with Bayesian Reparameterization of Low-Rank Adaptation
von: Sengupta, Ayan, et al.
Veröffentlicht: (2024)

Language Models can Exploit Cross-Task In-context Learning for Data-Scarce Novel Tasks
von: Chatterjee, Anwoy, et al.
Veröffentlicht: (2024)

QUENCH: Measuring the gap between Indic and Non-Indic Contextual General Reasoning in LLMs
von: Khan, Mohammad Aflah, et al.
Veröffentlicht: (2024)

EROS: Entity-Driven Controlled Policy Document Summarization
von: Singh, Joykirat, et al.
Veröffentlicht: (2024)

Information Anxiety in Large Language Models
von: Bajpai, Prasoon, et al.
Veröffentlicht: (2024)

SWITCH: Studying with Teacher for Knowledge Distillation of Large Language Models
von: Koo, Jahyun, et al.
Veröffentlicht: (2024)

Enhancing Knowledge Distillation of Large Language Models through Efficient Multi-Modal Distribution Alignment
von: Peng, Tianyu, et al.
Veröffentlicht: (2024)

Knowledge Editing on Black-box Large Language Models
von: Song, Xiaoshuai, et al.
Veröffentlicht: (2024)

Knowledge Distillation of Black-Box Large Language Models
von: Chen, Hongzhan, et al.
Veröffentlicht: (2024)

Assess and Prompt: A Generative RL Framework for Improving Engagement in Online Mental Health Communities
von: Gaur, Bhagesh, et al.
Veröffentlicht: (2025)