Automating Code Adaptation for MLOps -- A Benchmarking Study on LLMs
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Patel, Harsh, Ramanan, Buvaneswari A., Khan, Manzoor A., Williams, Thomas, Friedman, Brian, Drabeck, Lawrence |
|---|---|
| Format: | Preprint |
| Publié: |
2024
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
SmartMLOps Studio: Design of an LLM-Integrated IDE with Automated MLOps Pipelines for Model Development and Monitoring
par: Jin, Jiawei, et autres
Publié: (2025)
par: Jin, Jiawei, et autres
Publié: (2025)
Drawing Pandas: A Benchmark for LLMs in Generating Plotting Code
par: Galimzyanov, Timur, et autres
Publié: (2024)
par: Galimzyanov, Timur, et autres
Publié: (2024)
On the Impact of Code Comments for Automated Bug-Fixing: An Empirical Study
par: Vitale, Antonio, et autres
Publié: (2026)
par: Vitale, Antonio, et autres
Publié: (2026)
Prism: Dynamic and Flexible Benchmarking of LLMs Code Generation with Monte Carlo Tree Search
par: Majdinasab, Vahid, et autres
Publié: (2025)
par: Majdinasab, Vahid, et autres
Publié: (2025)
Coding in a Bubble? Evaluating LLMs in Resolving Context Adaptation Bugs During Code Adaptation
par: Zhang, Tanghaoran, et autres
Publié: (2026)
par: Zhang, Tanghaoran, et autres
Publié: (2026)
Engineering AI Agents for Clinical Workflows: A Case Study in Architecture,MLOps, and Governance
par: Lopes, Cláudio Lúcio do Val, et autres
Publié: (2026)
par: Lopes, Cláudio Lúcio do Val, et autres
Publié: (2026)
Detecting Concept Drift in Neural Networks Using Chi-squared Goodness of Fit Testing
par: Ayers, Jacob Glenn, et autres
Publié: (2025)
par: Ayers, Jacob Glenn, et autres
Publié: (2025)
Automated Benchmark Generation for Repository-Level Coding Tasks
par: Vergopoulos, Konstantinos, et autres
Publié: (2025)
par: Vergopoulos, Konstantinos, et autres
Publié: (2025)
On LLMs' Internal Representation of Code Correctness
par: Ribeiro, Francisco, et autres
Publié: (2025)
par: Ribeiro, Francisco, et autres
Publié: (2025)
Operational Robustness of LLMs on Code Generation
par: Paul, Debalina Ghosh, et autres
Publié: (2026)
par: Paul, Debalina Ghosh, et autres
Publié: (2026)
CodeTaste: Can LLMs Generate Human-Level Code Refactorings?
par: Thillen, Alex, et autres
Publié: (2026)
par: Thillen, Alex, et autres
Publié: (2026)
miniCodeProps: a Minimal Benchmark for Proving Code Properties
par: Lohn, Evan, et autres
Publié: (2024)
par: Lohn, Evan, et autres
Publié: (2024)
Automated Cloud Infrastructure-as-Code Reconciliation with AI Agents
par: Yang, Zhenning, et autres
Publié: (2025)
par: Yang, Zhenning, et autres
Publié: (2025)
Evaluating the Use of LLMs for Documentation to Code Traceability
par: Alor, Ebube, et autres
Publié: (2025)
par: Alor, Ebube, et autres
Publié: (2025)
Addressing Quality Challenges in Deep Learning: The Role of MLOps and Domain Knowledge
par: del Rey, Santiago, et autres
Publié: (2025)
par: del Rey, Santiago, et autres
Publié: (2025)
MergeRepair: An Exploratory Study on Merging Task-Specific Adapters in Code LLMs for Automated Program Repair
par: Dehghan, Meghdad, et autres
Publié: (2024)
par: Dehghan, Meghdad, et autres
Publié: (2024)
AppWorld: A Controllable World of Apps and People for Benchmarking Interactive Coding Agents
par: Trivedi, Harsh, et autres
Publié: (2024)
par: Trivedi, Harsh, et autres
Publié: (2024)
Benchmarking Multimodal LLMs on Code Generation for Complex Interactive Webpages
par: Wu, Fan, et autres
Publié: (2026)
par: Wu, Fan, et autres
Publié: (2026)
Hallucination by Code Generation LLMs: Taxonomy, Benchmarks, Mitigation, and Challenges
par: Lee, Yunseo, et autres
Publié: (2025)
par: Lee, Yunseo, et autres
Publié: (2025)
LLMs in Coding and their Impact on the Commercial Software Engineering Landscape
par: Belozerov, Vladislav, et autres
Publié: (2025)
par: Belozerov, Vladislav, et autres
Publié: (2025)
Protocode: Prototype-Driven Interpretability for Code Generation in LLMs
par: Bodla, Krishna Vamshi, et autres
Publié: (2025)
par: Bodla, Krishna Vamshi, et autres
Publié: (2025)
The Struggles of LLMs in Cross-lingual Code Clone Detection
par: Moumoula, Micheline Bénédicte, et autres
Publié: (2024)
par: Moumoula, Micheline Bénédicte, et autres
Publié: (2024)
Fine-grained Approaches for Confidence Calibration of LLMs in Automated Code Revision
par: Lin, Hong Yi, et autres
Publié: (2026)
par: Lin, Hong Yi, et autres
Publié: (2026)
Automated Customization of LLMs for Enterprise Code Repositories Using Semantic Scopes
par: Finkler, Ulrich, et autres
Publié: (2026)
par: Finkler, Ulrich, et autres
Publié: (2026)
RedCoder: Automated Multi-Turn Red Teaming for Code LLMs
par: Mo, Wenjie Jacky, et autres
Publié: (2025)
par: Mo, Wenjie Jacky, et autres
Publié: (2025)
CRUXEval: A Benchmark for Code Reasoning, Understanding and Execution
par: Gu, Alex, et autres
Publié: (2024)
par: Gu, Alex, et autres
Publié: (2024)
Deep-Bench: Deep Learning Benchmark Dataset for Code Generation
par: Daghighfarsoodeh, Alireza, et autres
Publié: (2025)
par: Daghighfarsoodeh, Alireza, et autres
Publié: (2025)
Benchmarking LLMs for Fine-Grained Code Review with Enriched Context in Practice
par: Hu, Ruida, et autres
Publié: (2025)
par: Hu, Ruida, et autres
Publié: (2025)
Beyond Code Snippets: Benchmarking LLMs on Repository-Level Question Answering
par: Alebachew, Yoseph Berhanu, et autres
Publié: (2026)
par: Alebachew, Yoseph Berhanu, et autres
Publié: (2026)
AdaptEval: A Benchmark for Evaluating Large Language Models on Code Snippet Adaptation
par: Zhang, Tanghaoran, et autres
Publié: (2026)
par: Zhang, Tanghaoran, et autres
Publié: (2026)
CodeGeeX: A Pre-Trained Model for Code Generation with Multilingual Benchmarking on HumanEval-X
par: Zheng, Qinkai, et autres
Publié: (2023)
par: Zheng, Qinkai, et autres
Publié: (2023)
An Empirical Evaluation of Locally Deployed LLMs for Bug Detection in Python Code
par: Vulićević, Jelena Ilić
Publié: (2026)
par: Vulićević, Jelena Ilić
Publié: (2026)
SnipGen: A Mining Repository Framework for Evaluating LLMs for Code
par: Rodriguez-Cardenas, Daniel, et autres
Publié: (2025)
par: Rodriguez-Cardenas, Daniel, et autres
Publié: (2025)
LiCoEval: Evaluating LLMs on License Compliance in Code Generation
par: Xu, Weiwei, et autres
Publié: (2024)
par: Xu, Weiwei, et autres
Publié: (2024)
Free and Customizable Code Documentation with LLMs: A Fine-Tuning Approach
par: Chakrabarty, Sayak, et autres
Publié: (2024)
par: Chakrabarty, Sayak, et autres
Publié: (2024)
Benchmarking Reward Hack Detection in Code Environments via Contrastive Analysis
par: Deshpande, Darshan, et autres
Publié: (2026)
par: Deshpande, Darshan, et autres
Publié: (2026)
VeriContest: A Competitive-Programming Benchmark for Verifiable Code Generation
par: Xie, Zichen, et autres
Publié: (2026)
par: Xie, Zichen, et autres
Publié: (2026)
Automated File-Level Logging Generation for Machine Learning Applications using LLMs: A Case Study using GPT-4o Mini
par: Rodriguez, Mayra Sofia Ruiz, et autres
Publié: (2025)
par: Rodriguez, Mayra Sofia Ruiz, et autres
Publié: (2025)
Towards More Trustworthy and Interpretable LLMs for Code through Syntax-Grounded Explanations
par: Palacio, David N., et autres
Publié: (2024)
par: Palacio, David N., et autres
Publié: (2024)
DevBench: A Realistic, Developer-Informed Benchmark for Code Generation Models
par: Kumarappan, Adarsh, et autres
Publié: (2026)
par: Kumarappan, Adarsh, et autres
Publié: (2026)
Documents similaires
-
SmartMLOps Studio: Design of an LLM-Integrated IDE with Automated MLOps Pipelines for Model Development and Monitoring
par: Jin, Jiawei, et autres
Publié: (2025) -
Drawing Pandas: A Benchmark for LLMs in Generating Plotting Code
par: Galimzyanov, Timur, et autres
Publié: (2024) -
On the Impact of Code Comments for Automated Bug-Fixing: An Empirical Study
par: Vitale, Antonio, et autres
Publié: (2026) -
Prism: Dynamic and Flexible Benchmarking of LLMs Code Generation with Monte Carlo Tree Search
par: Majdinasab, Vahid, et autres
Publié: (2025) -
Coding in a Bubble? Evaluating LLMs in Resolving Context Adaptation Bugs During Code Adaptation
par: Zhang, Tanghaoran, et autres
Publié: (2026)