Buchumschlag

Understanding by Reconstruction: Reversing the Software Development Process for LLM Pretraining

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Zeng, Zhiyuan, Zhang, Yichi, Shan, Yong, Hua, Kai, Fang, Siyuan, Liu, Zhaiyu, Liu, Jiaheng, Wang, Haozhe, Zheng, Yining, Ding, Ming, Shen, Ke, Zhang, Ge, Huang, Wenhao, Qiu, Xipeng
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Software Engineering
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

RLoop: An Self-Improving Framework for Reinforcement Learning with Iterative Policy Initialization
von: Zhiyuan, Zeng, et al.
Veröffentlicht: (2025)

Balanced Aggregation: Understanding and Fixing Aggregation Bias in GRPO
von: Zeng, Zhiyuan, et al.
Veröffentlicht: (2026)

AttentionInfluence: Adopting Attention Head Influence for Weak-to-Strong Pretraining Data Selection
von: Hua, Kai, et al.
Veröffentlicht: (2025)

The Past Is Not Past: Memory-Enhanced Dynamic Reward Shaping
von: Liu, Yang, et al.
Veröffentlicht: (2026)

Dynamic and Generalizable Process Reward Modeling
von: Yin, Zhangyue, et al.
Veröffentlicht: (2025)

MISTY: High-Throughput Motion Planning via Mixer-based Single-step Drifting
von: Xing, Yining, et al.
Veröffentlicht: (2026)

Understanding and Detecting Flaky Builds in GitHub Actions
von: Ge, Wenhao, et al.
Veröffentlicht: (2026)

AdaTIR: Adaptive Tool-Integrated Reasoning via Difficulty-Aware Policy Optimization
von: Fang, Zhaiyu, et al.
Veröffentlicht: (2026)

Parametric Point Cloud Completion for Polygonal Surface Reconstruction
von: Chen, Zhaiyu, et al.
Veröffentlicht: (2025)

Revisiting the Test-Time Scaling of o1-like Models: Do they Truly Possess Test-Time Scaling Capabilities?
von: Zeng, Zhiyuan, et al.
Veröffentlicht: (2025)

Reverse-Engineered Reasoning for Open-Ended Generation
von: Wang, Haozhe, et al.
Veröffentlicht: (2025)

Multilingual Multimodal Software Developer for Code Generation
von: Chai, Linzheng, et al.
Veröffentlicht: (2025)

Cleaner Pretraining Corpus Curation with Neural Web Scraping
von: Xu, Zhipeng, et al.
Veröffentlicht: (2024)

ING-VP: MLLMs cannot Play Easy Vision-based Games Yet
von: Zhang, Haoran, et al.
Veröffentlicht: (2024)

Cloud-based Semi-Quantum Money
von: Zhang, Yichi, et al.
Veröffentlicht: (2024)

Reconstructing Building Height from Spaceborne TomoSAR Point Clouds Using a Dual-Topology Network
von: Chen, Zhaiyu, et al.
Veröffentlicht: (2026)

ReactXT: Understanding Molecular "Reaction-ship" via Reaction-Contextualized Molecule-Text Pretraining
von: Liu, Zhiyuan, et al.
Veröffentlicht: (2024)

Identifying Semantic Induction Heads to Understand In-Context Learning
von: Ren, Jie, et al.
Veröffentlicht: (2024)

ARISE: An Adaptive Resolution-Aware Metric for Test-Time Scaling Evaluation in Large Reasoning Models
von: Yin, Zhangyue, et al.
Veröffentlicht: (2025)

Reformulation for Pretraining Data Augmentation
von: Hao, Xintong, et al.
Veröffentlicht: (2025)

A Conditional Generative Framework for Synthetic Data Augmentation in Segmenting Thin and Elongated Structures in Biological Images
von: Liu, Yi, et al.
Veröffentlicht: (2025)

Beyond Atoms: Enhancing Molecular Pretrained Representations with 3D Space Modeling
von: Lu, Shuqi, et al.
Veröffentlicht: (2025)

Exploring the Generalizability of Factual Hallucination Mitigation via Enhancing Precise Knowledge Utilization
von: Zhang, Siyuan, et al.
Veröffentlicht: (2025)

Pretrained Reversible Generation as Unsupervised Visual Representation Learning
von: Xue, Rongkun, et al.
Veröffentlicht: (2024)

Weighted Reverse Convolution for Feature Upsampling
von: Li, Wentong, et al.
Veröffentlicht: (2026)

VideoRouter: Query-Adaptive Dual Routing for Efficient Long-Video Understanding
von: Lin, Kuanwei, et al.
Veröffentlicht: (2026)

Towards Understanding the Nature of Attention with Low-Rank Sparse Decomposition
von: He, Zhengfu, et al.
Veröffentlicht: (2025)

PretrainZero: Reinforcement Active Pretraining
von: Xing, Xingrun, et al.
Veröffentlicht: (2025)

Diurnal Patterns of Accelerometer‐Measured Physical Activity and Sleep in Relation to Cancer Risk: Findings From a Nationally Representative Study
von: Bowen Chen, et al.
Veröffentlicht: (2026)

Spectral Analysis and Long‐Time Asymptotics for the Reverse Space‐Time Nonlocal Complex Nonlinear Transverse Oscillation Equation
von: Wenhao Liu, et al.
Veröffentlicht: (2025)

Making Large Language Models Better Reasoners with Orchestrated Streaming Experiences
von: Liu, Xiangyang, et al.
Veröffentlicht: (2025)

HERMES: KV Cache as Hierarchical Memory for Efficient Streaming Video Understanding
von: Zhang, Haowei, et al.
Veröffentlicht: (2026)

Visual Instruction Pretraining for Domain-Specific Foundation Models
von: Li, Yuxuan, et al.
Veröffentlicht: (2025)

OpenSN: An Open Source Library for Emulating LEO Satellite Networks
von: Lu, Wenhao, et al.
Veröffentlicht: (2025)

PolyGNN: Polyhedron-based Graph Neural Network for 3D Building Reconstruction from Point Clouds
von: Chen, Zhaiyu, et al.
Veröffentlicht: (2023)

Multi-Channel Currency: A Secure Method Using Semi-Quantum Tokens
von: Zhang, Yichi, et al.
Veröffentlicht: (2025)

MAKE: Multi-Aspect Knowledge-Enhanced Vision-Language Pretraining for Zero-shot Dermatological Assessment
von: Yan, Siyuan, et al.
Veröffentlicht: (2025)

Zhang, Charlie Yi.Dreadful desires: the uses of love in neoliberal China. 280 pp., bibliogr. Durham, N.C.: Duke University Press, 2022. $27.95 (paper)
von: Yichi Zhang
Veröffentlicht: (2026)

GSTM-HMU: Generative Spatio-Temporal Modeling for Human Mobility Understanding
von: Luo, Wenying, et al.
Veröffentlicht: (2025)

Reverse Convolution and Its Applications to Image Restoration
von: Huang, Xuhong, et al.
Veröffentlicht: (2025)