Model-Generated Pretraining Signals Improves Zero-Shot Generalization of Text-to-Text Transformers

Documenti analoghi

• AST-T5: Structure-Aware Pretraining for Code Generation and Understanding
  di: Gong, Linyuan, et al.
  Pubblicazione: (2024)
• Structure-Aware Fill-in-the-Middle Pretraining for Code
  di: Gong, Linyuan, et al.
  Pubblicazione: (2025)
• ADELT: Transpilation Between Deep Learning Frameworks
  di: Gong, Linyuan, et al.
  Pubblicazione: (2023)
• Generating Pretraining Tokens from Organic Data for Data-Bound Scaling
  di: Yu, Zichun, et al.
  Pubblicazione: (2026)
• Evaluation of LLMs on Syntax-Aware Code Fill-in-the-Middle Tasks
  di: Gong, Linyuan, et al.
  Pubblicazione: (2024)