Buchumschlag

Competition Dynamics Shape Algorithmic Phases of In-Context Learning

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Park, Core Francisco, Lubana, Ekdeep Singh, Pres, Itamar, Tanaka, Hidenori
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

ICLR: In-Context Learning of Representations
von: Park, Core Francisco, et al.
Veröffentlicht: (2024)

In-Context Learning Dynamics with Random Binary Sequences
von: Bigelow, Eric J., et al.
Veröffentlicht: (2023)

Emergence of Hidden Capabilities: Exploring Learning Dynamics in Concept Space
von: Park, Core Francisco, et al.
Veröffentlicht: (2024)

Swing-by Dynamics in Concept Learning and Compositional Generalization
von: Yang, Yongyi, et al.
Veröffentlicht: (2024)

Belief Dynamics Reveal the Dual Nature of In-Context Learning and Activation Steering
von: Bigelow, Eric, et al.
Veröffentlicht: (2025)

In-Context Learning Strategies Emerge Rationally
von: Wurgaft, Daniel, et al.
Veröffentlicht: (2025)

Towards Reliable Evaluation of Behavior Steering Interventions in LLMs
von: Pres, Itamar, et al.
Veröffentlicht: (2024)

$\textit{New News}$: System-2 Fine-tuning for Robust Integration of New Knowledge
von: Park, Core Francisco, et al.
Veröffentlicht: (2025)

How Do LLMs Persuade? Linear Probes Can Uncover Persuasion Dynamics in Multi-Turn Conversations
von: Jaipersaud, Brandon, et al.
Veröffentlicht: (2025)

Emergence of Hierarchical Emotion Organization in Large Language Models
von: Zhao, Bo, et al.
Veröffentlicht: (2025)

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
von: Bigelow, Eric, et al.
Veröffentlicht: (2026)

Compositional Abilities Emerge Multiplicatively: Exploring Diffusion Models on a Synthetic Task
von: Okawa, Maya, et al.
Veröffentlicht: (2023)

A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
von: Lubana, Ekdeep Singh, et al.
Veröffentlicht: (2024)

From Isolation to Entanglement: When Do Interpretability Methods Identify and Disentangle Known Concepts?
von: Mueller, Aaron, et al.
Veröffentlicht: (2025)

Compositional Capabilities of Autoregressive Transformers: A Study on Synthetic, Interpretable Tasks
von: Ramesh, Rahul, et al.
Veröffentlicht: (2023)

What Makes and Breaks Safety Fine-tuning? A Mechanistic Study
von: Jain, Samyak, et al.
Veröffentlicht: (2024)

Decomposing Elements of Problem Solving: What "Math" Does RL Teach?
von: Qin, Tian, et al.
Veröffentlicht: (2025)

Representation Shattering in Transformers: A Synthetic Study with Knowledge Editing
von: Nishi, Kento, et al.
Veröffentlicht: (2024)

Abrupt Learning in Transformers: A Case Study on Matrix Completion
von: Gopalani, Pulkit, et al.
Veröffentlicht: (2024)

In-Context Language Learning: Architectures and Algorithms
von: Akyürek, Ekin, et al.
Veröffentlicht: (2024)

Analyzing (In)Abilities of SAEs via Formal Languages
von: Menon, Abhinav, et al.
Veröffentlicht: (2024)

Towards an Understanding of Stepwise Inference in Transformers: A Synthetic Graph Navigation Model
von: Khona, Mikail, et al.
Veröffentlicht: (2024)

Are language models aware of the road not taken? Token-level uncertainty and hidden state dynamics
von: Zur, Amir, et al.
Veröffentlicht: (2025)

Mechanistically analyzing the effects of fine-tuning on procedurally defined tasks
von: Jain, Samyak, et al.
Veröffentlicht: (2023)

Forking Paths in Neural Text Generation
von: Bigelow, Eric, et al.
Veröffentlicht: (2024)

The Shape of Beliefs: Geometry, Dynamics, and Interventions along Representation Manifolds of Language Models' Posteriors
von: Sarfati, Raphaël, et al.
Veröffentlicht: (2026)

The Atlas of In-Context Learning: How Attention Heads Shape In-Context Retrieval Augmentation
von: Kahardipraja, Patrick, et al.
Veröffentlicht: (2025)

From Flat to Hierarchical: Extracting Sparse Representations with Matching Pursuit
von: Costa, Valérie, et al.
Veröffentlicht: (2025)

Evaluating Sparse Autoencoders: From Shallow Design to Matching Pursuit
von: Costa, Valérie, et al.
Veröffentlicht: (2025)

Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning
von: Wang, Xiaolei, et al.
Veröffentlicht: (2024)

Convergent World Representations and Divergent Tasks
von: Park, Core Francisco
Veröffentlicht: (2026)

Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers
von: Huang, Yiran, et al.
Veröffentlicht: (2026)

Clinical Context-aware Radiology Report Generation from Medical Images using Transformers
von: Singh, Sonit
Veröffentlicht: (2024)

Comparative Analysis of Demonstration Selection Algorithms for LLM In-Context Learning
von: Shu, Dong, et al.
Veröffentlicht: (2024)

Projecting Assumptions: The Duality Between Sparse Autoencoders and Concept Geometry
von: Hindupur, Sai Sumedh R., et al.
Veröffentlicht: (2025)

Simplify-This: A Comparative Analysis of Prompt-Based and Fine-Tuned LLMs
von: Cohen, Eilam, et al.
Veröffentlicht: (2026)

Brewing Knowledge in Context: Distillation Perspectives on In-Context Learning
von: Li, Chengye, et al.
Veröffentlicht: (2025)

A Mechanistic Understanding of Alignment Algorithms: A Case Study on DPO and Toxicity
von: Lee, Andrew, et al.
Veröffentlicht: (2024)

Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models
von: Huang, Yanwen, et al.
Veröffentlicht: (2025)

Dynamic Context Pruning for Efficient and Interpretable Autoregressive Transformers
von: Anagnostidis, Sotiris, et al.
Veröffentlicht: (2023)