Buchumschlag

Towards the Effect of Examples on In-Context Learning: A Theoretical Case Study

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	He, Pengfei, Cui, Yingqian, Xu, Han, Liu, Hui, Yamada, Makoto, Tang, Jiliang, Xing, Yue
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Superiority of Multi-Head Attention in In-Context Linear Regression
von: Cui, Yingqian, et al.
Veröffentlicht: (2024)

A Theoretical Understanding of Chain-of-Thought: Coherent Reasoning and Error-Aware Demonstration
von: Cui, Yingqian, et al.
Veröffentlicht: (2024)

DiffusionShield: A Watermark for Copyright Protection against Generative Diffusion Models
von: Cui, Yingqian, et al.
Veröffentlicht: (2023)

Multi-Faceted Studies on Data Poisoning can Advance LLM Development
von: He, Pengfei, et al.
Veröffentlicht: (2025)

Data Poisoning for In-context Learning
von: He, Pengfei, et al.
Veröffentlicht: (2024)

Adaptive Test-Time Reasoning via Reward-Guided Dual-Phase Search
von: Cui, Yingqian, et al.
Veröffentlicht: (2025)

Towards Understanding Jailbreak Attacks in LLMs: A Representation Space Analysis
von: Lin, Yuping, et al.
Veröffentlicht: (2024)

Crafting Reversible SFT Behaviors in Large Language Models
von: Lin, Yuping, et al.
Veröffentlicht: (2026)

A Simple Plug-in for Improving Eviction-Based KV Cache Compression
von: Lin, Yuping, et al.
Veröffentlicht: (2026)

How Do Latent Reasoning Methods Perform Under Weak and Strong Supervision?
von: Cui, Yingqian, et al.
Veröffentlicht: (2026)

Stepwise Perplexity-Guided Refinement for Efficient Chain-of-Thought Reasoning in Large Language Models
von: Cui, Yingqian, et al.
Veröffentlicht: (2025)

Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning
von: He, Pengfei, et al.
Veröffentlicht: (2024)

SoK: Machine Unlearning for Large Language Models
von: Ren, Jie, et al.
Veröffentlicht: (2025)

Stealthy Backdoor Attack via Confidence-driven Sampling
von: He, Pengfei, et al.
Veröffentlicht: (2023)

Copyright Protection in Generative AI: A Technical Perspective
von: Ren, Jie, et al.
Veröffentlicht: (2024)

Memory Injection Attacks on LLM Agents via Query-Only Interaction
von: Dong, Shen, et al.
Veröffentlicht: (2025)

Theoretical Understanding of In-Context Learning in Shallow Transformers with Unstructured Data
von: Xing, Yue, et al.
Veröffentlicht: (2024)

Difficult Examples Hurt Unsupervised Contrastive Learning: A Theoretical Perspective
von: Zhang, Yi-Ge, et al.
Veröffentlicht: (2025)

Towards a Theoretical Understanding to the Generalization of RLHF
von: Li, Zhaochun, et al.
Veröffentlicht: (2026)

Exploring Memorization in Fine-tuned Language Models
von: Zeng, Shenglai, et al.
Veröffentlicht: (2023)

Learning Structured Representations by Embedding Class Hierarchy with Fast Optimal Transport
von: Zeng, Siqi, et al.
Veröffentlicht: (2024)

Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective
von: Zeng, Shenglai, et al.
Veröffentlicht: (2024)

PhiNets: Brain-inspired Non-contrastive Learning Based on Temporal Prediction Hypothesis
von: Ishikawa, Satoki, et al.
Veröffentlicht: (2024)

Impact of Positional Encoding: Clean and Adversarial Rademacher Complexity for Transformers under In-Context Regression
von: He, Weiyi, et al.
Veröffentlicht: (2025)

Many-to-Many Matching via Sparsity Controlled Optimal Transport
von: Liu, Weijie, et al.
Veröffentlicht: (2025)

Can Mamba Learn In Context with Outliers? A Theoretical Generalization Analysis
von: Li, Hongkang, et al.
Veröffentlicht: (2025)

Towards Understanding Link Predictor Generalizability Under Distribution Shifts
von: Revolinsky, Jay, et al.
Veröffentlicht: (2024)

Towards Better Benchmark Datasets for Inductive Knowledge Graph Completion
von: Shomer, Harry, et al.
Veröffentlicht: (2024)

Game-Theoretic Unlearnable Example Generator
von: Liu, Shuang, et al.
Veröffentlicht: (2024)

Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
von: Zhang, Xingxuan, et al.
Veröffentlicht: (2025)

Node-wise Filtering in Graph Neural Networks: A Mixture of Experts Approach
von: Han, Haoyu, et al.
Veröffentlicht: (2024)

Learning Structured Representations with Hyperbolic Embeddings
von: Sinha, Aditya, et al.
Veröffentlicht: (2024)

MMICT: Boosting Multi-Modal Fine-Tuning with In-Context Examples
von: Chen, Tao, et al.
Veröffentlicht: (2023)

Towards an Information Theoretic Framework of Context-Based Offline Meta-Reinforcement Learning
von: Li, Lanqing, et al.
Veröffentlicht: (2024)

An Empirical Study of Self-supervised Learning with Wasserstein Distance
von: Yamada, Makoto, et al.
Veröffentlicht: (2023)

PEAR: Planner-Executor Agent Robustness Benchmark
von: Dong, Shen, et al.
Veröffentlicht: (2025)

Sharpness-Aware Data Poisoning Attack
von: He, Pengfei, et al.
Veröffentlicht: (2023)

Theoretically Guaranteed Distribution Adaptable Learning
von: Xu, Chao, et al.
Veröffentlicht: (2024)

Frame Theoretical Derivation of Three Factor Learning Rule for Oja's Subspace Rule
von: Yamada, Taiki
Veröffentlicht: (2026)

FT-Shield: A Watermark Against Unauthorized Fine-tuning in Text-to-Image Diffusion Models
von: Cui, Yingqian, et al.
Veröffentlicht: (2023)