Buchumschlag

Training In-Context and In-Weights Mixtures Via Contrastive Context Sampling

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Malu, Deeptanshu, Malu, Deevyanshu, Nemiwal, Aditya, Sarawagi, Sunita
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Efficient Training of Language Models with Compact and Consistent Next Token Distributions
von: Sathe, Ashutosh, et al.
Veröffentlicht: (2024)

From Search To Sampling: Generative Models For Robust Algorithmic Recourse
von: Garg, Prateek, et al.
Veröffentlicht: (2025)

TFMAdapter: Lightweight Instance-Level Adaptation of Foundation Models for Forecasting with Covariates
von: Dange, Afrin, et al.
Veröffentlicht: (2025)

PairNet: Training with Observed Pairs to Estimate Individual Treatment Effect
von: Nagalapatti, Lokesh, et al.
Veröffentlicht: (2024)

Masked Diffusion Models are Secretly Learned-Order Autoregressive Models
von: Garg, Prateek, et al.
Veröffentlicht: (2025)

Synthetic Tabular Data Generation for Imbalanced Classification: The Surprising Effectiveness of an Overlap Class
von: D'souza, Annie, et al.
Veröffentlicht: (2024)

Robust Root Cause Diagnosis using In-Distribution Interventions
von: Nagalapatti, Lokesh, et al.
Veröffentlicht: (2025)

Leveraging a Simulator for Learning Causal Representations from Post-Treatment Covariates for CATE
von: Nagalapatti, Lokesh, et al.
Veröffentlicht: (2025)

Continuous Treatment Effect Estimation Using Gradient Interpolation and Kernel Smoothing
von: Nagalapatti, Lokesh, et al.
Veröffentlicht: (2024)

Heterogeneous Graph Contrastive Learning with Meta-path Contexts and Adaptively Weighted Negative Samples
von: Yu, Jianxiang, et al.
Veröffentlicht: (2022)

Simplifying Bayesian Optimization Via In-Context Direct Optimum Sampling
von: de Carvalho, Gustavo Sutter Pessurno, et al.
Veröffentlicht: (2025)

Building Context-Based Library Instruction
von: Roldan, Malu, et al.
Veröffentlicht: (2004)

SALSA: Speedy ASR-LLM Synchronous Aggregation
von: Mittal, Ashish, et al.
Veröffentlicht: (2024)

On the Training Convergence of Transformers for In-Context Classification of Gaussian Mixtures
von: Shen, Wei, et al.
Veröffentlicht: (2024)

Mixture of In-Context Prompters for Tabular PFNs
von: Xu, Derek, et al.
Veröffentlicht: (2024)

Mixtures of In-Context Learners
von: Hong, Giwon, et al.
Veröffentlicht: (2024)

ContextWIN: Whittle Index Based Mixture-of-Experts Neural Model For Restless Bandits Via Deep RL
von: Guo, Zhanqiu, et al.
Veröffentlicht: (2024)

DPGNN: Dual-Perception Graph Neural Network for Representation Learning
von: Zhou, Li, et al.
Veröffentlicht: (2021)

Exilios de Medusa de Naín Nómez, o lanzar una piedra al fondo del corazón
von: Malú Urriola
Veröffentlicht: (2015)

Training-Free ANN-to-SNN Conversion for High-Performance Spiking Transformer
von: Wang, Jingya, et al.
Veröffentlicht: (2025)

Delayed Memory Unit: Modelling Temporal Dependency Through Delay Gate
von: Sun, Pengfei, et al.
Veröffentlicht: (2023)

Tensor Decomposition Based Attention Module for Spiking Neural Networks
von: Deng, Haoyu, et al.
Veröffentlicht: (2023)

Mixture-of-Experts Meets In-Context Reinforcement Learning
von: Wu, Wenhao, et al.
Veröffentlicht: (2025)

Enhancing Context Through Contrast
von: Ambilduke, Kshitij, et al.
Veröffentlicht: (2024)

CLAD-Net: Continual Activity Recognition in Multi-Sensor Wearable Systems
von: Azghan, Reza Rahimi, et al.
Veröffentlicht: (2025)

AutoSP: Unlocking Long-Context LLM Training Via Compiler-Based Sequence Parallelism
von: Gupta, Ahan, et al.
Veröffentlicht: (2026)

Sample Efficient Demonstration Selection for In-Context Learning
von: Purohit, Kiran, et al.
Veröffentlicht: (2025)

In-Context Algorithm Emulation in Fixed-Weight Transformers
von: Hu, Jerry Yao-Chieh, et al.
Veröffentlicht: (2025)

Transformers Learn Latent Mixture Models In-Context via Mirror Descent
von: D'Angelo, Francesco, et al.
Veröffentlicht: (2026)

Can Transformers Break Encryption Schemes via In-Context Learning?
von: Korrapati, Jathin, et al.
Veröffentlicht: (2025)

Training Dynamics of In-Context Learning in Linear Attention
von: Zhang, Yedi, et al.
Veröffentlicht: (2025)

BSO: Binary Spiking Online Optimization Algorithm
von: Liang, Yu, et al.
Veröffentlicht: (2025)

In-Context Multi-Operator Learning with DeepOSets
von: Chiu, Shao-Ting, et al.
Veröffentlicht: (2025)

Gated Adaptation for Continual Learning in Human Activity Recognition
von: Azghan, Reza Rahimi, et al.
Veröffentlicht: (2026)

A Context-Contrastive Inference Approach To Partial Diacritization
von: ElNokrashy, Muhammad, et al.
Veröffentlicht: (2024)

A Framework for Quantifying How Pre-Training and Context Benefit In-Context Learning
von: Song, Bingqing, et al.
Veröffentlicht: (2025)

Exact Conversion of In-Context Learning to Model Weights in Linearized-Attention Transformers
von: Chen, Brian K, et al.
Veröffentlicht: (2024)

A Millimeter-wave Technique for correlation and beam combination for cosmology
von: Malu, Siddharth Savyasachi
Veröffentlicht: (2024)

Presencia y abundancia relativa de carnívoros en una selva dañada por el huracán Dean (2007)
von: Malú Hernández-Díaz
Veröffentlicht: (2012)

End-to-End Test-Time Training for Long Context
von: Tandon, Arnuv, et al.
Veröffentlicht: (2025)