Evaluating Software Development Agents: Patch Patterns, Code Quality, and Issue Complexity in Real-World GitHub Scenarios
Fuente:
arXiv
Salvato in:
| Autori principali: | Chen, Zhi, Jiang, Lingxiao |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2024
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Beyond Final Code: A Process-Oriented Error Analysis of Software Development Agents in Real-World GitHub Scenarios
di: Chen, Zhi, et al.
Pubblicazione: (2025)
di: Chen, Zhi, et al.
Pubblicazione: (2025)
Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects
di: Pandey, Ruchika, et al.
Pubblicazione: (2024)
di: Pandey, Ruchika, et al.
Pubblicazione: (2024)
AIDev: Studying AI Coding Agents on GitHub
di: Li, Hao, et al.
Pubblicazione: (2026)
di: Li, Hao, et al.
Pubblicazione: (2026)
GitHub Copilot: the perfect Code compLeeter?
di: Siroš, Ilja, et al.
Pubblicazione: (2024)
di: Siroš, Ilja, et al.
Pubblicazione: (2024)
MAGIS: LLM-Based Multi-Agent Framework for GitHub Issue Resolution
di: Tao, Wei, et al.
Pubblicazione: (2024)
di: Tao, Wei, et al.
Pubblicazione: (2024)
SWE-bench: Can Language Models Resolve Real-World GitHub Issues?
di: Jimenez, Carlos E., et al.
Pubblicazione: (2023)
di: Jimenez, Carlos E., et al.
Pubblicazione: (2023)
Uncovering Code Insights: Leveraging GitHub Artifacts for Deeper Code Understanding
di: Nevo, Ziv, et al.
Pubblicazione: (2025)
di: Nevo, Ziv, et al.
Pubblicazione: (2025)
RepoMaster: Autonomous Exploration and Understanding of GitHub Repositories for Complex Task Solving
di: Wang, Huacan, et al.
Pubblicazione: (2025)
di: Wang, Huacan, et al.
Pubblicazione: (2025)
Programming with AI: Evaluating ChatGPT, Gemini, AlphaCode, and GitHub Copilot for Programmers
di: Siam, Md Kamrul, et al.
Pubblicazione: (2024)
di: Siam, Md Kamrul, et al.
Pubblicazione: (2024)
Using LLMs in Software Design: An Empirical Study of GitHub and A Practitioner Survey
di: Wang, Yifei, et al.
Pubblicazione: (2026)
di: Wang, Yifei, et al.
Pubblicazione: (2026)
The Role of GitHub Copilot on Software Development: A Perspective on Productivity, Security, Best Practices and Future Directions
di: Nettur, Suresh Babu, et al.
Pubblicazione: (2025)
di: Nettur, Suresh Babu, et al.
Pubblicazione: (2025)
Where Do AI Coding Agents Fail? An Empirical Study of Failed Agentic Pull Requests in GitHub
di: Ehsani, Ramtin, et al.
Pubblicazione: (2026)
di: Ehsani, Ramtin, et al.
Pubblicazione: (2026)
GitHub's Copilot Code Review: Can AI Spot Security Flaws Before You Commit?
di: Amro, Amena, et al.
Pubblicazione: (2025)
di: Amro, Amena, et al.
Pubblicazione: (2025)
SWE-bench-java: A GitHub Issue Resolving Benchmark for Java
di: Zan, Daoguang, et al.
Pubblicazione: (2024)
di: Zan, Daoguang, et al.
Pubblicazione: (2024)
Characterizing the Failure Modes of LLMs in Resolving Real-World GitHub Issues
di: Jiang, Yanjie, et al.
Pubblicazione: (2026)
di: Jiang, Yanjie, et al.
Pubblicazione: (2026)
Fingerprinting AI Coding Agents on GitHub
di: Ghaleb, Taher A.
Pubblicazione: (2026)
di: Ghaleb, Taher A.
Pubblicazione: (2026)
Understanding Prompt Management in GitHub Repositories: A Call for Best Practices
di: Li, Hao, et al.
Pubblicazione: (2025)
di: Li, Hao, et al.
Pubblicazione: (2025)
Introducing Traceability in GitHub for Medical Software Development
di: Stirbu, Vlad, et al.
Pubblicazione: (2021)
di: Stirbu, Vlad, et al.
Pubblicazione: (2021)
Automating the Detection of Code Vulnerabilities by Analyzing GitHub Issues
di: Cipollone, Daniele, et al.
Pubblicazione: (2025)
di: Cipollone, Daniele, et al.
Pubblicazione: (2025)
Agentic Much? Adoption of Coding Agents on GitHub
di: Robbes, Romain, et al.
Pubblicazione: (2026)
di: Robbes, Romain, et al.
Pubblicazione: (2026)
Immersion in the GitHub Universe: Scaling Coding Agents to Mastery
di: Zhao, Jiale, et al.
Pubblicazione: (2026)
di: Zhao, Jiale, et al.
Pubblicazione: (2026)
From Hugging Face to GitHub: Tracing License Drift in the Open-Source AI Ecosystem
di: Jewitt, James, et al.
Pubblicazione: (2025)
di: Jewitt, James, et al.
Pubblicazione: (2025)
Guidelines for Developing Bots for GitHub
di: Wessel, Mairieli, et al.
Pubblicazione: (2022)
di: Wessel, Mairieli, et al.
Pubblicazione: (2022)
LLM-based Content Classification Approach for GitHub Repositories by the README Files
di: Mehmood, Malik Uzair, et al.
Pubblicazione: (2025)
di: Mehmood, Malik Uzair, et al.
Pubblicazione: (2025)
The Impact of AI Tool on Engineering at ANZ Bank An Empirical Study on GitHub Copilot within Corporate Environment
di: Chatterjee, Sayan, et al.
Pubblicazione: (2024)
di: Chatterjee, Sayan, et al.
Pubblicazione: (2024)
GitTaskBench: A Benchmark for Code Agents Solving Real-World Tasks Through Code Repository Leveraging
di: Ni, Ziyi, et al.
Pubblicazione: (2025)
di: Ni, Ziyi, et al.
Pubblicazione: (2025)
GitHub Marketplace: Driving Automation and Fostering Innovation in Software Development
di: Saroar, SK. Golam, et al.
Pubblicazione: (2025)
di: Saroar, SK. Golam, et al.
Pubblicazione: (2025)
The Impact of Generative AI on Collaborative Open-Source Software Development: Evidence from GitHub Copilot
di: Song, Fangchen, et al.
Pubblicazione: (2024)
di: Song, Fangchen, et al.
Pubblicazione: (2024)
How AI Coding Agents Modify Code: A Large-Scale Study of GitHub Pull Requests
di: Ogenrwot, Daniel, et al.
Pubblicazione: (2026)
di: Ogenrwot, Daniel, et al.
Pubblicazione: (2026)
GitHub Marketplace for Automation and Innovation in Software Production
di: Saroar, SK Golam, et al.
Pubblicazione: (2024)
di: Saroar, SK Golam, et al.
Pubblicazione: (2024)
RAG4Tickets: AI-Powered Ticket Resolution via Retrieval-Augmented Generation on JIRA and GitHub Data
di: Baqar, Mohammad
Pubblicazione: (2025)
di: Baqar, Mohammad
Pubblicazione: (2025)
Experience with GitHub Copilot for Developer Productivity at Zoominfo
di: Bakal, Gal, et al.
Pubblicazione: (2025)
di: Bakal, Gal, et al.
Pubblicazione: (2025)
The Impact of Sanctions on GitHub Developers and Activities
di: Fan, Youmei, et al.
Pubblicazione: (2024)
di: Fan, Youmei, et al.
Pubblicazione: (2024)
How Do Software Developers Use GitHub Actions to Automate Their Workflows?
di: Kinsman, Timothy, et al.
Pubblicazione: (2021)
di: Kinsman, Timothy, et al.
Pubblicazione: (2021)
GitHub Proxy Server: A tool for supporting massive data collection on GitHub
di: Borges, Hudson Silva, et al.
Pubblicazione: (2025)
di: Borges, Hudson Silva, et al.
Pubblicazione: (2025)
Classifying Issues in Open-source GitHub Repositories
di: Raaj, Amir Hossain, et al.
Pubblicazione: (2025)
di: Raaj, Amir Hossain, et al.
Pubblicazione: (2025)
Rethinking the Value of Agent-Generated Tests for LLM-Based Software Engineering Agents
di: Chen, Zhi, et al.
Pubblicazione: (2026)
di: Chen, Zhi, et al.
Pubblicazione: (2026)
Enhancing Open-Domain Task-Solving Capability of LLMs via Autonomous Tool Integration from GitHub
di: Lyu, Bohan, et al.
Pubblicazione: (2023)
di: Lyu, Bohan, et al.
Pubblicazione: (2023)
Promise and Peril of Collaborative Code Generation Models: Balancing Effectiveness and Memorization
di: Chen, Zhi, et al.
Pubblicazione: (2024)
di: Chen, Zhi, et al.
Pubblicazione: (2024)
Prioritising GitHub Priority Labels
di: Caddy, James, et al.
Pubblicazione: (2024)
di: Caddy, James, et al.
Pubblicazione: (2024)
Documenti analoghi
-
Beyond Final Code: A Process-Oriented Error Analysis of Software Development Agents in Real-World GitHub Scenarios
di: Chen, Zhi, et al.
Pubblicazione: (2025) -
Transforming Software Development: Evaluating the Efficiency and Challenges of GitHub Copilot in Real-World Projects
di: Pandey, Ruchika, et al.
Pubblicazione: (2024) -
AIDev: Studying AI Coding Agents on GitHub
di: Li, Hao, et al.
Pubblicazione: (2026) -
GitHub Copilot: the perfect Code compLeeter?
di: Siroš, Ilja, et al.
Pubblicazione: (2024) -
MAGIS: LLM-Based Multi-Agent Framework for GitHub Issue Resolution
di: Tao, Wei, et al.
Pubblicazione: (2024)