Buchumschlag

Distilled Self-Critique of LLMs with Synthetic Data: a Bayesian Perspective

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Gallego, Victor
Format:	Preprint
Veröffentlicht:	2023
Schlagworte:	Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Refined Direct Preference Optimization with Synthetic Data for Behavioral Alignment of LLMs
von: Gallego, Víctor
Veröffentlicht: (2024)

Critique-Guided Distillation for Robust Reasoning via Refinement
von: Kapusuzoglu, Berkcan, et al.
Veröffentlicht: (2025)

Self-Verified Distillation: Your Language Model Is Secretly Its Own Synthetic Data Pipeline
von: Lee, Tony, et al.
Veröffentlicht: (2026)

Efficient Knowledge Injection in LLMs via Self-Distillation
von: Kujanpää, Kalle, et al.
Veröffentlicht: (2024)

Beyond Autoregression: Fast LLMs via Self-Distillation Through Time
von: Deschenaux, Justin, et al.
Veröffentlicht: (2024)

Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?
von: Kim, Jeonghye, et al.
Veröffentlicht: (2026)

Enhancing Low-Resource LLMs Classification with PEFT and Synthetic Data
von: Patwa, Parth, et al.
Veröffentlicht: (2024)

Balancing Cost and Effectiveness of Synthetic Data Generation Strategies for LLMs
von: Chan, Yung-Chieh, et al.
Veröffentlicht: (2024)

CriticBench: Benchmarking LLMs for Critique-Correct Reasoning
von: Lin, Zicheng, et al.
Veröffentlicht: (2024)

Data Kernel Perspective Space Performance Guarantees for Synthetic Data from Transformer Models
von: Browder, Michael, et al.
Veröffentlicht: (2026)

Unleashing the Reasoning Potential of Pre-trained LLMs by Critique Fine-Tuning on One Problem
von: Wang, Yubo, et al.
Veröffentlicht: (2025)

Advancing Semantic Caching for LLMs with Domain-Specific Embeddings and Synthetic Data
von: Gill, Waris, et al.
Veröffentlicht: (2025)

Self-Distilled Reasoner: On-Policy Self-Distillation for Large Language Models
von: Zhao, Siyan, et al.
Veröffentlicht: (2026)

SynLexLM: Scaling Legal LLMs with Synthetic Data and Curriculum Learning
von: Upadhyay, Ojasw, et al.
Veröffentlicht: (2025)

Self-Distilled RLVR
von: Yang, Chenxu, et al.
Veröffentlicht: (2026)

Merging Improves Self-Critique Against Jailbreak Attacks
von: Gallego, Victor
Veröffentlicht: (2024)

Self-Data Distillation for Recovering Quality in Pruned Large Language Models
von: Thangarasa, Vithursan, et al.
Veröffentlicht: (2024)

Self-Evolving Critique Abilities in Large Language Models
von: Tang, Zhengyang, et al.
Veröffentlicht: (2025)

$π$-Play: Multi-Agent Self-Play via Privileged Self-Distillation without External Data
von: Zhang, Yaocheng, et al.
Veröffentlicht: (2026)

Scalable Oversight for Superhuman AI via Recursive Self-Critiquing
von: Wen, Xueru, et al.
Veröffentlicht: (2025)

Self-Generated Critiques Boost Reward Modeling for Language Models
von: Yu, Yue, et al.
Veröffentlicht: (2024)

Self-Distillation as a Performance Recovery Mechanism for LLMs: Counteracting Compression and Catastrophic Forgetting
von: Liu, Chi, et al.
Veröffentlicht: (2026)

Quality Matters: Evaluating Synthetic Data for Tool-Using LLMs
von: Iskander, Shadi, et al.
Veröffentlicht: (2024)

Summarize-Exemplify-Reflect: Data-driven Insight Distillation Empowers LLMs for Few-shot Tabular Classification
von: Yuan, Yifei, et al.
Veröffentlicht: (2025)

Efficacy of Synthetic Data as a Benchmark
von: Maheshwari, Gaurav, et al.
Veröffentlicht: (2024)

Towards Active Synthetic Data Generation for Finetuning Language Models
von: Kessler, Samuel, et al.
Veröffentlicht: (2025)

Brewing Knowledge in Context: Distillation Perspectives on In-Context Learning
von: Li, Chengye, et al.
Veröffentlicht: (2025)

Multi-Token Prediction via Self-Distillation
von: Kirchenbauer, John, et al.
Veröffentlicht: (2026)

RouteNator: A Router-Based Multi-Modal Architecture for Generating Synthetic Training Data for Function Calling LLMs
von: Belavadi, Vibha, et al.
Veröffentlicht: (2025)

Self-Directed Synthetic Dialogues and Revisions Technical Report
von: Lambert, Nathan, et al.
Veröffentlicht: (2024)

LLMs for Bayesian Optimization in Scientific Domains: Are We There Yet?
von: Gupta, Rushil, et al.
Veröffentlicht: (2025)

LLMLingua-2: Data Distillation for Efficient and Faithful Task-Agnostic Prompt Compression
von: Pan, Zhuoshi, et al.
Veröffentlicht: (2024)

Distillation Contrastive Decoding: Improving LLMs Reasoning with Contrastive Decoding and Distillation
von: Phan, Phuc, et al.
Veröffentlicht: (2024)

Efficiently Distilling LLMs for Edge Applications
von: Kundu, Achintya, et al.
Veröffentlicht: (2024)

Self-Refining Language Model Anonymizers via Adversarial Distillation
von: Kim, Kyuyoung, et al.
Veröffentlicht: (2025)

GATES: Self-Distillation under Privileged Context with Consensus Gating
von: Stein, Alex, et al.
Veröffentlicht: (2026)

Personalised Distillation: Empowering Open-Sourced LLMs with Adaptive Learning for Code Generation
von: Chen, Hailin, et al.
Veröffentlicht: (2023)

Differentially Private Knowledge Distillation via Synthetic Text Generation
von: Flemings, James, et al.
Veröffentlicht: (2024)

Towards a Theoretical Understanding of Synthetic Data in LLM Post-Training: A Reverse-Bottleneck Perspective
von: Gan, Zeyu, et al.
Veröffentlicht: (2024)

Internalize the Temperature: On-Policy Self-Distillation as Policy Reheater for Reinforcement Learning
von: Yang, Xuewei, et al.
Veröffentlicht: (2026)