Buchumschlag

From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wibisono, Kevin Christian, Wang, Yixin
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Theoretical Understanding of In-Context Learning in Shallow Transformers with Unstructured Data
von: Xing, Yue, et al.
Veröffentlicht: (2024)

What Do Language Models Learn in Context? The Structured Task Hypothesis
von: Li, Jiaoda, et al.
Veröffentlicht: (2024)

Exponential Family Attention
von: Wibisono, Kevin Christian, et al.
Veröffentlicht: (2025)

Learning Task Representations from In-Context Learning
von: Saglam, Baturay, et al.
Veröffentlicht: (2025)

Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning
von: Wang, Xiaolei, et al.
Veröffentlicht: (2024)

Mining Unstructured Medical Texts With Conformal Active Learning
von: Genari, Juliano, et al.
Veröffentlicht: (2025)

Can MLLMs Perform Text-to-Image In-Context Learning?
von: Zeng, Yuchen, et al.
Veröffentlicht: (2024)

Exploring Imbalanced Annotations for Effective In-Context Learning
von: Gao, Hongfu, et al.
Veröffentlicht: (2025)

In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks
von: Wang, Dingzirui, et al.
Veröffentlicht: (2024)

Can LLMs Separate Instructions From Data? And What Do We Even Mean By That?
von: Zverev, Egor, et al.
Veröffentlicht: (2024)

What Happens When Small Is Made Smaller? Exploring the Impact of Compression on Small Data Pretrained Language Models
von: Awobade, Busayo, et al.
Veröffentlicht: (2024)

Learning When to Attend: Conditional Memory Access for Long-Context LLMs
von: Choudhary, Sakshi, et al.
Veröffentlicht: (2026)

Can we Soft Prompt LLMs for Graph Learning Tasks?
von: Liu, Zheyuan, et al.
Veröffentlicht: (2024)

LegalLens Shared Task 2024: Legal Violation Identification in Unstructured Text
von: Hagag, Ben, et al.
Veröffentlicht: (2024)

When and How Unlabeled Data Provably Improve In-Context Learning
von: Li, Yingcong, et al.
Veröffentlicht: (2025)

Task Schema and Binding: A Double Dissociation Study of In-Context Learning
von: Kim, Chaeha
Veröffentlicht: (2025)

LLMForecaster: Improving Seasonal Event Forecasts with Unstructured Textual Data
von: Zhang, Hanyu, et al.
Veröffentlicht: (2024)

When Inverse Data Outperforms: Exploring the Pitfalls of Mixed Data in Multi-Stage Fine-Tuning
von: Deng, Mengyi, et al.
Veröffentlicht: (2025)

AdaptThink: Reasoning Models Can Learn When to Think
von: Zhang, Jiajie, et al.
Veröffentlicht: (2025)

Language Models Improve When Pretraining Data Matches Target Tasks
von: Mizrahi, David, et al.
Veröffentlicht: (2025)

Towards Understanding Multi-Task Learning (Generalization) of LLMs via Detecting and Exploring Task-Specific Neurons
von: Leng, Yongqi, et al.
Veröffentlicht: (2024)

Exploring Explanations Improves the Robustness of In-Context Learning
von: Honda, Ukyo, et al.
Veröffentlicht: (2025)

Value Alignment from Unstructured Text
von: Padhi, Inkit, et al.
Veröffentlicht: (2024)

In-Context Language Learning: Architectures and Algorithms
von: Akyürek, Ekin, et al.
Veröffentlicht: (2024)

Quiet Feature Learning in Algorithmic Tasks
von: Naidu, Prudhviraj, et al.
Veröffentlicht: (2025)

Mix Data or Merge Models? Optimizing for Diverse Multi-Task Learning
von: Aakanksha, et al.
Veröffentlicht: (2024)

Learning When to Quit in Sales Conversations
von: Manzoor, Emaad, et al.
Veröffentlicht: (2025)

Spoken Language Understanding on Unseen Tasks With In-Context Learning
von: Agrawal, Neeraj, et al.
Veröffentlicht: (2025)

Emergence and Effectiveness of Task Vectors in In-Context Learning: An Encoder Decoder Perspective
von: Han, Seungwook, et al.
Veröffentlicht: (2024)

End-To-End Causal Effect Estimation from Unstructured Natural Language Data
von: Dhawan, Nikita, et al.
Veröffentlicht: (2024)

Brewing Knowledge in Context: Distillation Perspectives on In-Context Learning
von: Li, Chengye, et al.
Veröffentlicht: (2025)

When Do "More Contexts" Help with Sarcasm Recognition?
von: Nimase, Ojas, et al.
Veröffentlicht: (2024)

Can Language Models Compose Skills In-Context?
von: Liu, Zidong, et al.
Veröffentlicht: (2025)

Does RLHF Scale? Exploring the Impacts From Data, Model, and Method
von: Hou, Zhenyu, et al.
Veröffentlicht: (2024)

Context-Parametric Inversion: Why Instruction Finetuning Can Worsen Context Reliance
von: Goyal, Sachin, et al.
Veröffentlicht: (2024)

Can Generative AI Solve Your In-Context Learning Problem? A Martingale Perspective
von: Jesson, Andrew, et al.
Veröffentlicht: (2024)

Is In-Context Learning Learning?
von: de Wynter, Adrian
Veröffentlicht: (2025)

When Does Divide and Conquer Work for Long Context LLM? A Noise Decomposition Framework
von: Xu, Zhen, et al.
Veröffentlicht: (2025)

Stronger Random Baselines for In-Context Learning
von: Yauney, Gregory, et al.
Veröffentlicht: (2024)

In-Context Learning through the Bayesian Prism
von: Panwar, Madhur, et al.
Veröffentlicht: (2023)