Buchumschlag

Training Language Models on Synthetic Edit Sequences Improves Code Synthesis

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Piterbarg, Ulyana, Pinto, Lerrel, Fergus, Rob
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

diff History for Neural Language Agents
von: Piterbarg, Ulyana, et al.
Veröffentlicht: (2023)

UltraEdit: Training-, Subject-, and Memory-Free Lifelong Editing in Language Models
von: Gu, Xiaojie, et al.
Veröffentlicht: (2025)

Suggesting Code Edits in Interactive Machine Learning Notebooks Using Large Language Models
von: Jin, Bihui, et al.
Veröffentlicht: (2025)

Sequence-Level Leakage Risk of Training Data in Large Language Models
von: Tiwari, Trishita, et al.
Veröffentlicht: (2024)

Extending Input Contexts of Language Models through Training on Segmented Sequences
von: Karypis, Petros, et al.
Veröffentlicht: (2023)

Synthetic Text Generation for Training Large Language Models via Gradient Matching
von: Nguyen, Dang, et al.
Veröffentlicht: (2025)

Emergent World Representations: Exploring a Sequence Model Trained on a Synthetic Task
von: Li, Kenneth, et al.
Veröffentlicht: (2022)

Let the Code LLM Edit Itself When You Edit the Code
von: He, Zhenyu, et al.
Veröffentlicht: (2024)

Improving Summarization with Human Edits
von: Yao, Zonghai, et al.
Veröffentlicht: (2023)

CEV-LM: Controlled Edit Vector Language Model for Shaping Natural Language Generations
von: Moorjani, Samraj, et al.
Veröffentlicht: (2024)

Improving Code Generation by Training with Natural Language Feedback
von: Chen, Angelica, et al.
Veröffentlicht: (2023)

Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization
von: Amin, Hasan, et al.
Veröffentlicht: (2026)

Sequence-level Large Language Model Training with Contrastive Preference Optimization
von: Feng, Zhili, et al.
Veröffentlicht: (2025)

Genetic Instruct: Scaling up Synthetic Generation of Coding Instructions for Large Language Models
von: Majumdar, Somshubra, et al.
Veröffentlicht: (2024)

Self-Execution Simulation Improves Coding Models
von: Maimon, Gallil, et al.
Veröffentlicht: (2026)

Comparative Study of Pre-Trained BERT and Large Language Models for Code-Mixed Named Entity Recognition
von: Shirke, Mayur, et al.
Veröffentlicht: (2025)

CodeIt: Self-Improving Language Models with Prioritized Hindsight Replay
von: Butt, Natasha, et al.
Veröffentlicht: (2024)

BiasEdit: Debiasing Stereotyped Language Models via Model Editing
von: Xu, Xin, et al.
Veröffentlicht: (2025)

Min-K%++: Improved Baseline for Detecting Pre-Training Data from Large Language Models
von: Zhang, Jingyang, et al.
Veröffentlicht: (2024)

From Construction to Injection: Edit-Based Fingerprints for Large Language Models
von: Li, Yue, et al.
Veröffentlicht: (2025)

How Bad is Training on Synthetic Data? A Statistical Analysis of Language Model Collapse
von: Seddik, Mohamed El Amine, et al.
Veröffentlicht: (2024)

Resolving UnderEdit & OverEdit with Iterative & Neighbor-Assisted Model Editing
von: Baghel, Bhiman Kumar, et al.
Veröffentlicht: (2025)

Temporal Tokenization Strategies for Event Sequence Modeling with Large Language Models
von: Liu, Zefang, et al.
Veröffentlicht: (2025)

Towards Active Synthetic Data Generation for Finetuning Language Models
von: Kessler, Samuel, et al.
Veröffentlicht: (2025)

Synthetic Sandbox for Training Machine Learning Engineering Agents
von: Zhou, Yuhang, et al.
Veröffentlicht: (2026)

Sequence-to-Sequence Spanish Pre-trained Language Models
von: Araujo, Vladimir, et al.
Veröffentlicht: (2023)

How to Train Private Clinical Language Models: A Comparative Study of Privacy-Preserving Pipelines for ICD-9 Coding
von: Dufour, Mathieu, et al.
Veröffentlicht: (2025)

Improving Sequence-to-Sequence Models for Abstractive Text Summarization Using Meta Heuristic Approaches
von: Saxena, Aditya, et al.
Veröffentlicht: (2024)

Insertion Language Models: Sequence Generation with Arbitrary-Position Insertions
von: Patel, Dhruvesh, et al.
Veröffentlicht: (2025)

CodeMixBench: Evaluating Large Language Models on Code Generation with Code-Mixed Prompts
von: Sheokand, Manik, et al.
Veröffentlicht: (2025)

To Each (Textual Sequence) Its Own: Improving Memorized-Data Unlearning in Large Language Models
von: Barbulescu, George-Octavian, et al.
Veröffentlicht: (2024)

More Edits, More Stable: Understanding the Lifelong Normalization in Sequential Model Editing
von: Ma, Xin, et al.
Veröffentlicht: (2026)

Cascade-Aware Training of Language Models
von: Wang, Congchao, et al.
Veröffentlicht: (2024)

Training Language Models to Reason Efficiently
von: Arora, Daman, et al.
Veröffentlicht: (2025)

FineInstructions: Scaling Synthetic Instructions to Pre-Training Scale
von: Patel, Ajay, et al.
Veröffentlicht: (2026)

Synthetic Data Generation and Joint Learning for Robust Code-Mixed Translation
von: Kartik, Kartik, et al.
Veröffentlicht: (2024)

Robust Detection of Watermarks for Large Language Models Under Human Edits
von: Li, Xiang, et al.
Veröffentlicht: (2024)

DLM-One: Diffusion Language Models for One-Step Sequence Generation
von: Chen, Tianqi, et al.
Veröffentlicht: (2025)

Annotation Sensitivity: Training Data Collection Methods Affect Model Performance
von: Kern, Christoph, et al.
Veröffentlicht: (2023)

Repetition Improves Language Model Embeddings
von: Springer, Jacob Mitchell, et al.
Veröffentlicht: (2024)