Buchumschlag

Assessing the Reliability and Validity of GPT-4 in Annotating Emotion Appraisal Ratings

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Ruder, Deniss, Uusberg, Andero, Sirts, Kairit
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Exploratory Study into Relations between Cognitive Distortions and Emotional Appraisals
von: Agarwal, Navneet, et al.
Veröffentlicht: (2025)

TartuNLP at EvaLatin 2024: Emotion Polarity Detection
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2024)

TartuNLP at SemEval-2025 Task 5: Subject Tagging as Two-Stage Information Retrieval
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2025)

Context is Important in Depressive Language: A Study of the Interaction Between the Sentiments and Linguistic Markers in Reddit Discussions
von: Sharma, Neha, et al.
Veröffentlicht: (2024)

Sõnajaht: Definition Embeddings and Semantic Search for Reverse Dictionary Creation
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2024)

TartuNLP @ SIGTYP 2024 Shared Task: Adapting XLM-RoBERTa for Ancient and Historical Languages
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2024)

Exploring Profiles of Cognitive Distortions Associated with Mental Health Disorders
von: Anikejeva, Alina, et al.
Veröffentlicht: (2026)

TartuNLP @ AXOLOTL-24: Leveraging Classifier Output for New Sense Detection in Lexical Semantics
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2024)

Comparison of Current Approaches to Lemmatization: A Case Study in Estonian
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2024)

GliLem: Leveraging GliNER for Contextualized Lemmatization in Estonian
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2024)

Creation of the Estonian Subjectivity Dataset: Assessing the Degree of Subjectivity on a Scale
von: Gailit, Karl Gustav, et al.
Veröffentlicht: (2025)

Prune or Retrain: Optimizing the Vocabulary of Multilingual Models for Estonian
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2025)

Your Model Is Not Predicting Depression Well And That Is Why: A Case Study of PRIMATE Dataset
von: Milintsevich, Kirill, et al.
Veröffentlicht: (2024)

CAREBench: Evaluating LLMs' Emotion Understanding by Assessing Cognitive Appraisal Reasoning
von: Sun, Zhaoyue, et al.
Veröffentlicht: (2026)

Evaluating Lexicon Incorporation for Depression Symptom Estimation
von: Milintsevich, Kirill, et al.
Veröffentlicht: (2024)

Estonian WinoGrande Dataset: Comparative Analysis of LLM Performance on Human and Machine Translation
von: Ojastu, Marii, et al.
Veröffentlicht: (2025)

Haptically Experienced Animacy Facilitates Emotion Regulation: A Theory-Driven Investigation
von: Vyas, Preeti, et al.
Veröffentlicht: (2026)

Assessing the Reliability of LLMs Annotations in the Context of Demographic Bias and Model Explanation
von: Mohammadi, Hadi, et al.
Veröffentlicht: (2025)

Categorical Emotions or Appraisals - Which Emotion Model Explains Argument Convincingness Better?
von: Greschner, Lynn, et al.
Veröffentlicht: (2025)

EstLLM: Enhancing Estonian Capabilities in Multilingual LLMs via Continued Pretraining and Post-Training
von: Dorkin, Aleksei, et al.
Veröffentlicht: (2026)

Towards Automating Text Annotation: A Case Study on Semantic Proximity Annotation using GPT-4
von: Yadav, Sachin, et al.
Veröffentlicht: (2024)

Is GPT-4 a reliable rater? Evaluating Consistency in GPT-4 Text Ratings
von: Hackl, Veronika, et al.
Veröffentlicht: (2023)

From Text to Emotion: Unveiling the Emotion Annotation Capabilities of LLMs
von: Niu, Minxue, et al.
Veröffentlicht: (2024)

CAPE: A Chinese Dataset for Appraisal-based Emotional Generation using Large Language Models
von: Liu, June M., et al.
Veröffentlicht: (2024)

Can GPT-4 Identify Propaganda? Annotation and Detection of Propaganda Spans in News Articles
von: Hasanain, Maram, et al.
Veröffentlicht: (2024)

Assessing the Reliability of Large Language Models for Deductive Qualitative Coding: A Comparative Study of ChatGPT Interventions
von: Hila, Angjelin, et al.
Veröffentlicht: (2025)

APTNESS: Incorporating Appraisal Theory and Emotion Support Strategies for Empathetic Response Generation
von: Hu, Yuxuan, et al.
Veröffentlicht: (2024)

Beyond Context to Cognitive Appraisal: Emotion Reasoning as a Theory of Mind Benchmark for Large Language Models
von: Yeo, Gerard Christopher, et al.
Veröffentlicht: (2025)

EmoLLM: Appraisal-Grounded Cognitive-Emotional Co-Reasoning in Large Language Models
von: Zhang, Yifei, et al.
Veröffentlicht: (2026)

If in a Crowdsourced Data Annotation Pipeline, a GPT-4
von: He, Zeyu, et al.
Veröffentlicht: (2024)

Are Chatbots Reliable Text Annotators? Sometimes
von: Kristensen-McLachlan, Ross Deans, et al.
Veröffentlicht: (2023)

Rethinking Emotion Annotations in the Era of Large Language Models
von: Niu, Minxue, et al.
Veröffentlicht: (2024)

AI on AI: Exploring the Utility of GPT as an Expert Annotator of AI Publications
von: Toney-Wails, Autumn, et al.
Veröffentlicht: (2024)

Assessing Semantic Annotation Activities with Formal Concept Analysis
von: Cigarrán-Recuero, Juan, et al.
Veröffentlicht: (2025)

AFaCTA: Assisting the Annotation of Factual Claim Detection with Reliable LLM Annotators
von: Ni, Jingwei, et al.
Veröffentlicht: (2024)

AL-QASIDA: Analyzing LLM Quality and Accuracy Systematically in Dialectal Arabic
von: Robinson, Nathaniel R., et al.
Veröffentlicht: (2024)

Efficient Annotator Reliability Assessment with EffiARA
von: Cook, Owen, et al.
Veröffentlicht: (2025)

ARTICLE: Annotator Reliability Through In-Context Learning
von: Dutta, Sujan, et al.
Veröffentlicht: (2024)

GPT is Not an Annotator: The Necessity of Human Annotation in Fairness Benchmark Construction
von: Felkner, Virginia K., et al.
Veröffentlicht: (2024)

A Post-trainer's Guide to Multilingual Training Data: Uncovering Cross-lingual Transfer Dynamics
von: Shimabucoro, Luisa, et al.
Veröffentlicht: (2025)