Buchumschlag

Prompting in the Dark: Assessing Human Performance in Prompt Engineering for Data Labeling When Gold Labels Are Absent

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	He, Zeyu, Naphade, Saniya, Huang, Ting-Hao 'Kenneth'
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Human-Computer Interaction Artificial Intelligence Computation and Language Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?
von: Shen, Guobin, et al.
Veröffentlicht: (2024)

Autonomous Prompt Engineering in Large Language Models
von: Kepel, Daan, et al.
Veröffentlicht: (2024)

Prompt Engineering for Scale Development in Generative Psychometrics
von: Russell-Lasalandra, Lara Lee, et al.
Veröffentlicht: (2026)

Prompt Engineering a Schizophrenia Chatbot: Utilizing a Multi-Agent Approach for Enhanced Compliance with Prompt Instructions
von: Waaler, Per Niklas, et al.
Veröffentlicht: (2024)

If in a Crowdsourced Data Annotation Pipeline, a GPT-4
von: He, Zeyu, et al.
Veröffentlicht: (2024)

Label Over Logic? How Source Cues Bias Human Fallacy Judgments More Than LLMs
von: Nahar, Mahjabin, et al.
Veröffentlicht: (2026)

From Prompt Engineering to Prompt Science With Human in the Loop
von: Shah, Chirag
Veröffentlicht: (2024)

Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated
von: Zhu, Tiffany, et al.
Veröffentlicht: (2024)

A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications
von: Sahoo, Pranab, et al.
Veröffentlicht: (2024)

Cognitive Bias Detection Using Advanced Prompt Engineering
von: Lemieux, Frederic, et al.
Veröffentlicht: (2025)

Cases of EFL Secondary Students' Prompt Engineering Pathways to Complete a Writing Task with ChatGPT
von: Woo, David James, et al.
Veröffentlicht: (2023)

What Should We Engineer in Prompts? Training Humans in Requirement-Driven LLM Use
von: Ma, Qianou, et al.
Veröffentlicht: (2024)

Prompt4Vis: Prompting Large Language Models with Example Mining and Schema Filtering for Tabular Data Visualization
von: Li, Shuaimin, et al.
Veröffentlicht: (2024)

PromptPilot: Improving Human-AI Collaboration Through LLM-Enhanced Prompt Engineering
von: Gutheil, Niklas, et al.
Veröffentlicht: (2025)

SouLLMate: An Application Enhancing Diverse Mental Health Support with Adaptive LLMs, Prompt Engineering, and RAG Techniques
von: Guo, Qiming, et al.
Veröffentlicht: (2024)

Talk Less, Call Right: Enhancing Role-Play LLM Agents with Automatic Prompt Optimization and Role Prompting
von: Ruangtanusak, Saksorn, et al.
Veröffentlicht: (2025)

Role-Play Zero-Shot Prompting with Large Language Models for Open-Domain Human-Machine Conversation
von: Njifenjou, Ahmed, et al.
Veröffentlicht: (2024)

Wordflow: Social Prompt Engineering for Large Language Models
von: Wang, Zijie J., et al.
Veröffentlicht: (2024)

Effects of Different Prompts on the Quality of GPT-4 Responses to Dementia Care Questions
von: Li, Zhuochun, et al.
Veröffentlicht: (2024)

Embracing Diversity: A Multi-Perspective Approach with Soft Labels
von: Muscato, Benedetta, et al.
Veröffentlicht: (2025)

Can LLMs Generate Visualizations with Dataless Prompts?
von: Coelho, Darius, et al.
Veröffentlicht: (2024)

Evaluating the Prompt Steerability of Large Language Models
von: Miehling, Erik, et al.
Veröffentlicht: (2024)

The Persuasion Paradox: When LLM Explanations Fail to Improve Human-AI Team Performance
von: Cohen, Ruth, et al.
Veröffentlicht: (2026)

Prompt Orchestration Markup Language
von: Zhang, Yuge, et al.
Veröffentlicht: (2025)

Understanding Learner-LLM Chatbot Interactions and the Impact of Prompting Guidelines
von: Koyuturk, Cansu, et al.
Veröffentlicht: (2025)

Meta-Prompting: Enhancing Language Models with Task-Agnostic Scaffolding
von: Suzgun, Mirac, et al.
Veröffentlicht: (2024)

Less Back-and-Forth: A Comparative Study of Structured Prompting
von: Ghosh, Saurav, et al.
Veröffentlicht: (2026)

Exploring ReAct Prompting for Task-Oriented Dialogue: Insights and Shortcomings
von: Elizabeth, Michelle, et al.
Veröffentlicht: (2024)

Empathic Prompting: Non-Verbal Context Integration for Multimodal LLM Conversations
von: Stacchio, Lorenzo, et al.
Veröffentlicht: (2025)

Prompt2DeModel: Declarative Neuro-Symbolic Modeling with Natural Language
von: Faghihi, Hossein Rajaby, et al.
Veröffentlicht: (2024)

SPRIG: Improving Large Language Model Performance by System Prompt Optimization
von: Zhang, Lechen, et al.
Veröffentlicht: (2024)

Prompts Matter: Comparing ML/GAI Approaches for Generating Inductive Qualitative Coding Results
von: Chen, John, et al.
Veröffentlicht: (2024)

EvalLM: Interactive Evaluation of Large Language Model Prompts on User-Defined Criteria
von: Kim, Tae Soo, et al.
Veröffentlicht: (2023)

DreamGarden: A Designer Assistant for Growing Games from a Single Prompt
von: Earle, Sam, et al.
Veröffentlicht: (2024)

When "A Helpful Assistant" Is Not Really Helpful: Personas in System Prompts Do Not Improve Performances of Large Language Models
von: Zheng, Mingqian, et al.
Veröffentlicht: (2023)

Conversation Routines: A Prompt Engineering Framework for Task-Oriented Dialog Systems
von: Robino, Giorgio
Veröffentlicht: (2025)

ConsistencyAI: A Benchmark to Assess LLMs' Factual Consistency When Responding to Different Demographic Groups
von: Banyas, Peter, et al.
Veröffentlicht: (2025)

Tree-of-Text: A Tree-based Prompting Framework for Table-to-Text Generation in the Sports Domain
von: Chiang, Shang-Hsuan, et al.
Veröffentlicht: (2026)

Interaction Techniques that Encourage Longer Prompts Can Improve Psychological Ownership when Writing with AI
von: Joshi, Nikhita, et al.
Veröffentlicht: (2025)

Prompt Engineering Techniques for Mitigating Cultural Bias Against Arabs and Muslims in Large Language Models: A Systematic Review
von: Asseri, Bushra, et al.
Veröffentlicht: (2025)