Position: AI Competitions Provide the Gold Standard for Empirical Rigor in GenAI Evaluation
Fuente:
arXiv
Enregistré dans:
| Auteurs principaux: | Sculley, D., Cukierski, Will, Culliton, Phil, Dane, Sohier, Demkin, Maggie, Holbrook, Ryan, Howard, Addison, Mooney, Paul, Reade, Walter, Risdal, Megan, Keating, Nate |
|---|---|
| Format: | Preprint |
| Publié: |
2025
|
| Sujets: | |
| Accès en ligne: | |
| Tags: |
Ajouter un tag
Pas de tags, Soyez le premier à ajouter un tag!
|
Documents similaires
Human to Document, AI to Code: Comparing GenAI for Notebook Competitions
par: Settewong, Tasha, et autres
Publié: (2025)
par: Settewong, Tasha, et autres
Publié: (2025)
Putting GenAI on Notice: GenAI Exceptionalism and Contract Law
par: Atkinson, David
Publié: (2025)
par: Atkinson, David
Publié: (2025)
GenAI Distortion: The Effect of GenAI Fluency and Positive Affect
par: Yang, Xiantong, et autres
Publié: (2024)
par: Yang, Xiantong, et autres
Publié: (2024)
OSS GenAI Governance
par: Anonymous
Publié: (2026)
par: Anonymous
Publié: (2026)
Haptic Repurposing with GenAI
par: Wang, Haoyu
Publié: (2024)
par: Wang, Haoyu
Publié: (2024)
GenAI-Powered Inference
par: Imai, Kosuke, et autres
Publié: (2025)
par: Imai, Kosuke, et autres
Publié: (2025)
Duplicate Detection with GenAI
par: Ormesher, Ian
Publié: (2024)
par: Ormesher, Ian
Publié: (2024)
GenAI in Higher Education
par: Illingworth, Sam, et autres
Publié: (2026)
par: Illingworth, Sam, et autres
Publié: (2026)
GenAIOps for GenAI Model-Agility
par: Ueno, Ken, et autres
Publié: (2024)
par: Ueno, Ken, et autres
Publié: (2024)
AI as "Co-founder": GenAI for Entrepreneurship
par: Cai, Junhui Jeff, et autres
Publié: (2025)
par: Cai, Junhui Jeff, et autres
Publié: (2025)
Lessons for GenAI Literacy From a Field Study of Human-GenAI Augmentation in the Workplace
par: Johri, Aditya, et autres
Publié: (2025)
par: Johri, Aditya, et autres
Publié: (2025)
GenAI-Enabled Backlog Grooming in Agile Software Projects: An Empirical Study
par: Oftebro, Kasper Lien, et autres
Publié: (2025)
par: Oftebro, Kasper Lien, et autres
Publié: (2025)
Collaborating with GenAI: Incentives and Replacements
par: Taitler, Boaz, et autres
Publié: (2025)
par: Taitler, Boaz, et autres
Publié: (2025)
Selective Response Strategies for GenAI
par: Taitler, Boaz, et autres
Publié: (2025)
par: Taitler, Boaz, et autres
Publié: (2025)
Role of Databases in GenAI Applications
par: Bhupathi, Santosh
Publié: (2025)
par: Bhupathi, Santosh
Publié: (2025)
Troubling Taxonomies in GenAI Evaluation
par: Berman, Glen, et autres
Publié: (2024)
par: Berman, Glen, et autres
Publié: (2024)
GenAI Assisting Medical Training
par: Fritsch, Stefan, et autres
Publié: (2024)
par: Fritsch, Stefan, et autres
Publié: (2024)
Trustworthy Image Semantic Communication with GenAI: Explainablity, Controllability, and Efficiency
par: Wang, Xijun, et autres
Publié: (2024)
par: Wang, Xijun, et autres
Publié: (2024)
AI-Assisted Systematization for Evaluating GenAI Systems
par: Agarwal, Dhruv, et autres
Publié: (2026)
par: Agarwal, Dhruv, et autres
Publié: (2026)
From Prompts to Reflection: Designing Reflective Play for GenAI Literacy
par: Ma, Qianou, et autres
Publié: (2025)
par: Ma, Qianou, et autres
Publié: (2025)
"So what if I used GenAI?" -- Implications of Using Cloud-based GenAI in Software Engineering Research
par: Ginde, Gouri
Publié: (2024)
par: Ginde, Gouri
Publié: (2024)
SynthAI Suite - A GenAI SaaS Platform
par: Sandeep Raskar, et autres
Publié: (2025)
par: Sandeep Raskar, et autres
Publié: (2025)
Coping with generative AI's (GenAI) perpetuation of epistemic uncertainties
par: Olivia Ng, et autres
Publié: (2025)
par: Olivia Ng, et autres
Publié: (2025)
The Fast and Spurious: Developer Productivity with GenAI
par: Afroz, Sadia, et autres
Publié: (2025)
par: Afroz, Sadia, et autres
Publié: (2025)
GenAI Voice Mode in Programming Education
par: Jacobs, Sven, et autres
Publié: (2025)
par: Jacobs, Sven, et autres
Publié: (2025)
Securing the Future of GenAI: Policy and Technology
par: Christodorescu, Mihai, et autres
Publié: (2024)
par: Christodorescu, Mihai, et autres
Publié: (2024)
Why it is worth making an effort with GenAI
par: Rogers, Yvonne
Publié: (2025)
par: Rogers, Yvonne
Publié: (2025)
Face Consistency Benchmark for GenAI Video
par: Podstawski, Michal, et autres
Publié: (2025)
par: Podstawski, Michal, et autres
Publié: (2025)
The Evolving Usage of GenAI by Computing Students
par: Hou, Irene, et autres
Publié: (2024)
par: Hou, Irene, et autres
Publié: (2024)
Approaches to Responsible Governance of GenAI in Organizations
par: Gandhi, Dhari, et autres
Publié: (2025)
par: Gandhi, Dhari, et autres
Publié: (2025)
A Jailbroken GenAI Model Can Cause Substantial Harm: GenAI-powered Applications are Vulnerable to PromptWares
par: Cohen, Stav, et autres
Publié: (2024)
par: Cohen, Stav, et autres
Publié: (2024)
"We need to avail ourselves of GenAI to enhance knowledge distribution": Empowering Older Adults through GenAI Literacy
par: Ko, Eunhye Grace, et autres
Publié: (2025)
par: Ko, Eunhye Grace, et autres
Publié: (2025)
Navigating Uncertainties: How GenAI Developers Document Their Models on Open-Source Platforms
par: Tang, Ningjing, et autres
Publié: (2025)
par: Tang, Ningjing, et autres
Publié: (2025)
Does GenAI Rewrite How We Write? An Empirical Study on Two-Million Preprints
par: Qi, Minfeng, et autres
Publié: (2025)
par: Qi, Minfeng, et autres
Publié: (2025)
Can GenAI Move from Individual Use to Collaborative Work? Experiences, Challenges, and Opportunities of Coordinating GenAI into Collaborative Newswork
par: Xiao, Qing, et autres
Publié: (2025)
par: Xiao, Qing, et autres
Publié: (2025)
Understanding User Privacy Perceptions of GenAI Smartphones
par: Jin, Ran, et autres
Publié: (2026)
par: Jin, Ran, et autres
Publié: (2026)
Intentionally Unintentional: GenAI Exceptionalism and the First Amendment
par: Atkinson, David, et autres
Publié: (2025)
par: Atkinson, David, et autres
Publié: (2025)
Paradigm shift on Coding Productivity Using GenAI
par: Yu, Liang
Publié: (2025)
par: Yu, Liang
Publié: (2025)
Challenges in GenAI and Authentication: a scoping review
par: Bezerra, Wesley dos Reis, et autres
Publié: (2025)
par: Bezerra, Wesley dos Reis, et autres
Publié: (2025)
Unfair Learning: GenAI Exceptionalism and Copyright Law
par: Atkinson, David
Publié: (2025)
par: Atkinson, David
Publié: (2025)
Documents similaires
-
Human to Document, AI to Code: Comparing GenAI for Notebook Competitions
par: Settewong, Tasha, et autres
Publié: (2025) -
Putting GenAI on Notice: GenAI Exceptionalism and Contract Law
par: Atkinson, David
Publié: (2025) -
GenAI Distortion: The Effect of GenAI Fluency and Positive Affect
par: Yang, Xiantong, et autres
Publié: (2024) -
OSS GenAI Governance
par: Anonymous
Publié: (2026) -
Haptic Repurposing with GenAI
par: Wang, Haoyu
Publié: (2024)