What Prompts Don't Say: Understanding and Managing Underspecification in LLM Prompts
Fuente:
arXiv
Salvato in:
| Autori principali: | Yang, Chenyang, Shi, Yike, Ma, Qianou, Liu, Michael Xieyang, Kästner, Christian, Wu, Tongshuang |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2025
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
(Why) Is My Prompt Getting Worse? Rethinking Regression Testing for Evolving LLM APIs
di: Ma, Wanqin, et al.
Pubblicazione: (2023)
di: Ma, Wanqin, et al.
Pubblicazione: (2023)
What Is Wrong with My Model? Identifying Systematic Problems with Semantic Data Slicing
di: Yang, Chenyang, et al.
Pubblicazione: (2024)
di: Yang, Chenyang, et al.
Pubblicazione: (2024)
RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions
di: He, Keyu, et al.
Pubblicazione: (2026)
di: He, Keyu, et al.
Pubblicazione: (2026)
How to Teach Programming in the AI Era? Using LLMs as a Teachable Agent for Debugging
di: Ma, Qianou, et al.
Pubblicazione: (2023)
di: Ma, Qianou, et al.
Pubblicazione: (2023)
Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation
di: Moon, Jiwon, et al.
Pubblicazione: (2025)
di: Moon, Jiwon, et al.
Pubblicazione: (2025)
A Taxonomy of Prompt Defects in LLM Systems
di: Tian, Haoye, et al.
Pubblicazione: (2025)
di: Tian, Haoye, et al.
Pubblicazione: (2025)
The Prompt Alchemist: Automated LLM-Tailored Prompt Optimization for Test Case Generation
di: Gao, Shuzheng, et al.
Pubblicazione: (2025)
di: Gao, Shuzheng, et al.
Pubblicazione: (2025)
FASTRIC: Prompt Specification Language for Verifiable LLM Interactions
di: Jin, Wen-Long
Pubblicazione: (2025)
di: Jin, Wen-Long
Pubblicazione: (2025)
Comparing Developer and LLM Biases in Code Evaluation
di: Mittal, Aditya, et al.
Pubblicazione: (2026)
di: Mittal, Aditya, et al.
Pubblicazione: (2026)
Interpretable Online Log Analysis Using Large Language Models with Prompt Strategies
di: Liu, Yilun, et al.
Pubblicazione: (2023)
di: Liu, Yilun, et al.
Pubblicazione: (2023)
Show and Tell: Prompt Strategies for Style Control in Multi-Turn LLM Code Generation
di: Bohr, Jeremiah
Pubblicazione: (2025)
di: Bohr, Jeremiah
Pubblicazione: (2025)
Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study
di: Li, Bowen, et al.
Pubblicazione: (2024)
di: Li, Bowen, et al.
Pubblicazione: (2024)
cAST: Enhancing Code Retrieval-Augmented Generation with Structural Chunking via Abstract Syntax Tree
di: Zhang, Yilin, et al.
Pubblicazione: (2025)
di: Zhang, Yilin, et al.
Pubblicazione: (2025)
Prompt Injection attack against LLM-integrated Applications
di: Liu, Yi, et al.
Pubblicazione: (2023)
di: Liu, Yi, et al.
Pubblicazione: (2023)
Detecting Underspecification in Software Requirements via k-NN Coverage Geometry
di: Yang, Wenyan, et al.
Pubblicazione: (2026)
di: Yang, Wenyan, et al.
Pubblicazione: (2026)
Efficient Detection of Toxic Prompts in Large Language Models
di: Liu, Yi, et al.
Pubblicazione: (2024)
di: Liu, Yi, et al.
Pubblicazione: (2024)
From Solitary Directives to Interactive Encouragement! LLM Secure Code Generation by Natural Language Prompting
di: Liu, Shigang, et al.
Pubblicazione: (2024)
di: Liu, Shigang, et al.
Pubblicazione: (2024)
Evaluating LLM-Based Goal Extraction in Requirements Engineering: Prompting Strategies and Their Limitations
di: Arnaudo, Anna, et al.
Pubblicazione: (2026)
di: Arnaudo, Anna, et al.
Pubblicazione: (2026)
Understanding Prompt Programming Tasks and Questions
di: Liang, Jenny T., et al.
Pubblicazione: (2025)
di: Liang, Jenny T., et al.
Pubblicazione: (2025)
PACE: Improving Prompt with Actor-Critic Editing for Large Language Model
di: Dong, Yihong, et al.
Pubblicazione: (2023)
di: Dong, Yihong, et al.
Pubblicazione: (2023)
Jailbreaking ChatGPT via Prompt Engineering: An Empirical Study
di: Liu, Yi, et al.
Pubblicazione: (2023)
di: Liu, Yi, et al.
Pubblicazione: (2023)
LecPrompt: A Prompt-based Approach for Logical Error Correction with CodeBERT
di: Xu, Zhenyu, et al.
Pubblicazione: (2024)
di: Xu, Zhenyu, et al.
Pubblicazione: (2024)
Coding Agents Don't Know When to Act
di: Gloaguen, Thibaud, et al.
Pubblicazione: (2026)
di: Gloaguen, Thibaud, et al.
Pubblicazione: (2026)
Arbiter: Detecting Interference in LLM Agent System Prompts
di: Mason, Tony
Pubblicazione: (2026)
di: Mason, Tony
Pubblicazione: (2026)
Can Language Models Replace Programmers for Coding? REPOCOD Says 'Not Yet'
di: Liang, Shanchao, et al.
Pubblicazione: (2024)
di: Liang, Shanchao, et al.
Pubblicazione: (2024)
Automating Computational Reproducibility in Social Science: Comparing Prompt-Based and Agent-Based Approaches
di: Shah, Syed Mehtab Hussain, et al.
Pubblicazione: (2026)
di: Shah, Syed Mehtab Hussain, et al.
Pubblicazione: (2026)
Minimal Prompt Perturbations Lead to Code Vulnerabilities: Prompt Fragility and Hidden-State Signals in Coding LLMs
di: Sternfeld, Alexander, et al.
Pubblicazione: (2026)
di: Sternfeld, Alexander, et al.
Pubblicazione: (2026)
Chain of Grounded Objectives: Bridging Process and Goal-oriented Prompting for Code Generation
di: Yeo, Sangyeop, et al.
Pubblicazione: (2025)
di: Yeo, Sangyeop, et al.
Pubblicazione: (2025)
Think Harder and Don't Overlook Your Options: Revisiting Issue-Commit Linking with LLM-Assisted Retrieval
di: Morgan, Cole, et al.
Pubblicazione: (2026)
di: Morgan, Cole, et al.
Pubblicazione: (2026)
When Names Disappear: Revealing What LLMs Actually Understand About Code
di: Le, Cuong Chi, et al.
Pubblicazione: (2025)
di: Le, Cuong Chi, et al.
Pubblicazione: (2025)
Generating and Evaluating Sustainable Procurement Criteria for the Swiss Public Sector using In-Context Prompting with Large Language Models
di: Gao, Yingqiang, et al.
Pubblicazione: (2026)
di: Gao, Yingqiang, et al.
Pubblicazione: (2026)
When "Better" Prompts Hurt: Evaluation-Driven Iteration for LLM Applications
di: Commey, Daniel
Pubblicazione: (2026)
di: Commey, Daniel
Pubblicazione: (2026)
Dont Stop Early: Scalable Enterprise Deep Research with Controlled Information Flow and Evidence-Aware Termination
di: Choubey, Prafulla Kumar, et al.
Pubblicazione: (2026)
di: Choubey, Prafulla Kumar, et al.
Pubblicazione: (2026)
REprompt: Prompt Generation for Intelligent Software Development Guided by Requirements Engineering
di: Shi, Junjie, et al.
Pubblicazione: (2026)
di: Shi, Junjie, et al.
Pubblicazione: (2026)
Privacy Policy Analysis through Prompt Engineering for LLMs
di: Goknil, Arda, et al.
Pubblicazione: (2024)
di: Goknil, Arda, et al.
Pubblicazione: (2024)
LangGPT: Rethinking Structured Reusable Prompt Design Framework for LLMs from the Programming Language
di: Wang, Ming, et al.
Pubblicazione: (2024)
di: Wang, Ming, et al.
Pubblicazione: (2024)
Can LLM Prompting Serve as a Proxy for Static Analysis in Vulnerability Detection
di: Ceka, Ira, et al.
Pubblicazione: (2024)
di: Ceka, Ira, et al.
Pubblicazione: (2024)
Don't Confuse! Redrawing GUI Navigation Flow in Mobile Apps for Visually Impaired Users
di: Zhang, Mengxi, et al.
Pubblicazione: (2025)
di: Zhang, Mengxi, et al.
Pubblicazione: (2025)
What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use
di: Ma, Qianou, et al.
Pubblicazione: (2024)
di: Ma, Qianou, et al.
Pubblicazione: (2024)
Zero-Shot Prompting Approaches for LLM-based Graphical User Interface Generation
di: Kolthoff, Kristian, et al.
Pubblicazione: (2024)
di: Kolthoff, Kristian, et al.
Pubblicazione: (2024)
Documenti analoghi
-
(Why) Is My Prompt Getting Worse? Rethinking Regression Testing for Evolving LLM APIs
di: Ma, Wanqin, et al.
Pubblicazione: (2023) -
What Is Wrong with My Model? Identifying Systematic Problems with Semantic Data Slicing
di: Yang, Chenyang, et al.
Pubblicazione: (2024) -
RECAP: An End-to-End Platform for Capturing, Replaying, and Analyzing AI-Assisted Programming Interactions
di: He, Keyu, et al.
Pubblicazione: (2026) -
How to Teach Programming in the AI Era? Using LLMs as a Teachable Agent for Debugging
di: Ma, Qianou, et al.
Pubblicazione: (2023) -
Don't Judge Code by Its Cover: Exploring Biases in LLM Judges for Code Evaluation
di: Moon, Jiwon, et al.
Pubblicazione: (2025)