Copertina

MachineLearningLM: Scaling Many-shot In-context Learning via Continued Pretraining

Fuente: arXiv

Salvato in:

Dettagli Bibliografici
Autori principali:	Dong, Haoyu, Zhang, Pengkun, Lu, Mingzhe, Shen, Yanzhen, Ke, Guolin
Natura:	Preprint
Pubblicazione:	2025
Soggetti:	Computation and Language Artificial Intelligence
Accesso online:	Acceder al recurso
Tags:	Aggiungi Tag Nessun Tag, puoi essere il primo ad aggiungerne!!

Documenti analoghi

Anti-LM Decoding for Zero-shot In-context Machine Translation
di: Sia, Suzanna, et al.
Pubblicazione: (2023)

PonderLM: Pretraining Language Models to Ponder in Continuous Space
di: Zeng, Boyi, et al.
Pubblicazione: (2025)

Intent-driven In-context Learning for Few-shot Dialogue State Tracking
di: Yi, Zihao, et al.
Pubblicazione: (2024)

In-context Continual Learning Assisted by an External Continual Learner
di: Momeni, Saleh, et al.
Pubblicazione: (2024)

Masked-and-Reordered Self-Supervision for Reinforcement Learning from Verifiable Rewards
di: Wang, Zhen, et al.
Pubblicazione: (2025)

Many-to-English Machine Translation Tools, Data, and Pretrained Models
di: Gowda, Thamme, et al.
Pubblicazione: (2021)

PulseLM: A Foundation Dataset and Benchmark for PPG-Text Learning
di: Pham, Hung Manh, et al.
Pubblicazione: (2026)

Vector-ICL: In-context Learning with Continuous Vector Representations
di: Zhuang, Yufan, et al.
Pubblicazione: (2024)

Foundation CAN LM: A Pretrained Language Model For Automotive CAN Data
di: Esashi, Akiharu, et al.
Pubblicazione: (2026)

REFINE-LM: Mitigating Language Model Stereotypes via Reinforcement Learning
di: Qureshi, Rameez, et al.
Pubblicazione: (2024)

Demonstration Selection for In-Context Learning via Reinforcement Learning
di: Wang, Xubin, et al.
Pubblicazione: (2024)

Scaling, Simplification, and Adaptation: Lessons from Pretraining on Machine-Translated Text
di: Velasco, Dan John, et al.
Pubblicazione: (2025)

Long-context LLMs Struggle with Long In-context Learning
di: Li, Tianle, et al.
Pubblicazione: (2024)

A Survey on In-context Learning
di: Dong, Qingxiu, et al.
Pubblicazione: (2022)

Beyond Random Sampling: Efficient Language Model Pretraining via Curriculum Learning
di: Zhang, Yang, et al.
Pubblicazione: (2025)

Learning Dynamics of Meta-Learning in Small Model Pretraining
di: Africa, David Demitri, et al.
Pubblicazione: (2025)

LM-Searcher: Cross-domain Neural Architecture Search with LLMs via Unified Numerical Encoding
di: Hu, Yuxuan, et al.
Pubblicazione: (2025)

SudoLM: Learning Access Control of Parametric Knowledge with Authorization Alignment
di: Liu, Qin, et al.
Pubblicazione: (2024)

SensorLM: Learning the Language of Wearable Sensors
di: Zhang, Yuwei, et al.
Pubblicazione: (2025)

Agent-Pro: Learning to Evolve via Policy-Level Reflection and Optimization
di: Zhang, Wenqi, et al.
Pubblicazione: (2024)

Continual Learning Using Only Large Language Model Prompting
di: Qiu, Jiabao, et al.
Pubblicazione: (2024)

A Continued Pretrained LLM Approach for Automatic Medical Note Generation
di: Yuan, Dong, et al.
Pubblicazione: (2024)

Rethinking Invariance in In-context Learning
di: Fang, Lizhe, et al.
Pubblicazione: (2025)

KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning
di: Yu, Peng, et al.
Pubblicazione: (2024)

Pretrained LLMs Learn Multiple Types of Uncertainty
di: Cohen, Roi, et al.
Pubblicazione: (2025)

TeachLM: Post-Training LLMs for Education Using Authentic Learning Data
di: Perczel, Janos, et al.
Pubblicazione: (2025)

Many-Shot In-Context Learning
di: Agarwal, Rishabh, et al.
Pubblicazione: (2024)

Sample-Efficient Online Learning in LM Agents via Hindsight Trajectory Rewriting
di: Hu, Michael Y., et al.
Pubblicazione: (2025)

Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review
di: Prakriya, Neha, et al.
Pubblicazione: (2024)

FlowLM: Few-Step Language Modeling via Diffusion-to-Flow Adaptation
di: Zhang, Runzhe, et al.
Pubblicazione: (2026)

IKnow: Instruction-Knowledge-Aware Continual Pretraining for Effective Domain Adaptation
di: Zhang, Tianyi, et al.
Pubblicazione: (2025)

In-context Pretraining: Language Modeling Beyond Document Boundaries
di: Shi, Weijia, et al.
Pubblicazione: (2023)

Identifying the Risks of LM Agents with an LM-Emulated Sandbox
di: Ruan, Yangjun, et al.
Pubblicazione: (2023)

LitVISTA: A Benchmark for Narrative Orchestration in Literary Text
di: Lu, Mingzhe, et al.
Pubblicazione: (2026)

Many-Shot In-Context Learning for Molecular Inverse Design
di: Moayedpour, Saeed, et al.
Pubblicazione: (2024)

MASS: Mathematical Data Selection via Skill Graphs for Pretraining Large Language Models
di: Li, Jiazheng, et al.
Pubblicazione: (2025)

Train Once, Answer All: Many Pretraining Experiments for the Cost of One
di: Bordt, Sebastian, et al.
Pubblicazione: (2025)

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training
di: Dorkin, Aleksei, et al.
Pubblicazione: (2026)

Irony Detection, Reasoning and Understanding in Zero-shot Learning
di: Yi, Peiling, et al.
Pubblicazione: (2025)

ZeroDL: Zero-shot Distribution Learning for Text Clustering via Large Language Models
di: Jo, Hwiyeol, et al.
Pubblicazione: (2024)