Buchumschlag

Gaming the Answer Matcher: Examining the Impact of Text Manipulation on Automated Judgment

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Khatore, Manas, Sridharan, Sumana, Sulahian, Kevork, Smith, Benjamin J., Feng, Shi
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

CFMatch: Aligning Automated Answer Equivalence Evaluation with Expert Judgments For Open-Domain Question Answering
von: Li, Zongxia, et al.
Veröffentlicht: (2024)

Automated Answer Validation using Text Similarity
von: Ganesan, Balaji, et al.
Veröffentlicht: (2024)

How Long Reasoning Chains Influence LLMs' Judgment of Answer Factuality
von: Tu, Minzhu, et al.
Veröffentlicht: (2026)

Human Bias in the Face of AI: Examining Human Judgment Against Text Labeled as AI Generated
von: Zhu, Tiffany, et al.
Veröffentlicht: (2024)

The Veln(ia)s is in the Details: Evaluating LLM Judgment on Latvian and Lithuanian Short Answer Matching
von: Kostiuk, Yevhen, et al.
Veröffentlicht: (2025)

LexMatcher: Dictionary-centric Data Collection for LLM-based Machine Translation
von: Yin, Yongjing, et al.
Veröffentlicht: (2024)

Automated Long Answer Grading with RiceChem Dataset
von: Sonkar, Shashank, et al.
Veröffentlicht: (2024)

Full Triple Matcher: Integrating all triple elements between heterogeneous Knowledge Graphs
von: Yamamoto, Victor Eiti, et al.
Veröffentlicht: (2025)

SoftMatcha: A Soft and Fast Pattern Matcher for Billion-Scale Corpus Searches
von: Deguchi, Hiroyuki, et al.
Veröffentlicht: (2025)

BioACE: An Automated Framework for Biomedical Answer and Citation Evaluations
von: Gupta, Deepak, et al.
Veröffentlicht: (2026)

"My Answer is C": First-Token Probabilities Do Not Match Text Answers in Instruction-Tuned Language Models
von: Wang, Xinpeng, et al.
Veröffentlicht: (2024)

REPA: Russian Error Types Annotation for Evaluating Text Generation and Judgment Capabilities
von: Pugachev, Alexander, et al.
Veröffentlicht: (2025)

Reasons to Reject? Aligning Language Models with Judgments
von: Xu, Weiwen, et al.
Veröffentlicht: (2023)

Focusing on Students, not Machines: Grounded Question Generation and Automated Answer Grading
von: Meyer, Gérôme, et al.
Veröffentlicht: (2025)

AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment
von: Li, Jiazheng, et al.
Veröffentlicht: (2024)

LLMs Provide Unstable Answers to Legal Questions
von: Blair-Stanek, Andrew, et al.
Veröffentlicht: (2025)

JSTR: Judgment Improves Scene Text Recognition
von: Fujitake, Masato
Veröffentlicht: (2024)

Quality-Conditioned Agreement in Automated Short Answer Scoring: Mid-Range Degradation and the Impact of Task-Specific Adaptation
von: Schleifer, Abigail Victoria Gurin, et al.
Veröffentlicht: (2026)

A Hybrid Approach to Information Retrieval and Answer Generation for Regulatory Texts
von: Rayo, Jhon, et al.
Veröffentlicht: (2025)

JUSTICE: Judicial Unified Synthesis Through Intermediate Conclusion Emulation for Automated Judgment Document Generation
von: Wu, Binglin, et al.
Veröffentlicht: (2026)

SoftMatcha 2: A Fast and Soft Pattern Matcher for Trillion-Scale Corpora
von: Yoneda, Masataka, et al.
Veröffentlicht: (2026)

Monte Carlo Planning with Large Language Model for Text-Based Game Agents
von: Shi, Zijing, et al.
Veröffentlicht: (2025)

Reverse Question Answering: Can an LLM Write a Question so Hard (or Bad) that it Can't Answer?
von: Balepur, Nishant, et al.
Veröffentlicht: (2024)

Deontological Keyword Bias: The Impact of Modal Expressions on Normative Judgments of Language Models
von: Park, Bumjin, et al.
Veröffentlicht: (2025)

What Goes Into a LM Acceptability Judgment? Rethinking the Impact of Frequency and Length
von: Tjuatja, Lindia, et al.
Veröffentlicht: (2024)

Is this Idea Novel? An Automated Benchmark for Judgment of Research Ideas
von: Schopf, Tim, et al.
Veröffentlicht: (2026)

From Fact to Judgment: Investigating the Impact of Task Framing on LLM Conviction in Dialogue Systems
von: Rabbani, Parisa, et al.
Veröffentlicht: (2025)

Real Images, Worse Judgments: Evaluating Vision-Language Models on Concreteness and Imagery
von: Jiang, Yifan, et al.
Veröffentlicht: (2026)

Enhancing Security and Strengthening Defenses in Automated Short-Answer Grading Systems
von: Yarmohammadtoosky, Sahar, et al.
Veröffentlicht: (2025)

Employing Label Models on ChatGPT Answers Improves Legal Text Entailment Performance
von: Nguyen, Chau, et al.
Veröffentlicht: (2024)

Answer is All You Need: Instruction-following Text Embedding via Answering the Question
von: Peng, Letian, et al.
Veröffentlicht: (2024)

Is GPT-4 Alone Sufficient for Automated Essay Scoring?: A Comparative Judgment Approach Based on Rater Cognition
von: Kim, Seungju, et al.
Veröffentlicht: (2024)

Depression Detection at the Point of Care: Automated Analysis of Linguistic Signals from Routine Primary Care Encounters
von: Chen, Feng, et al.
Veröffentlicht: (2026)

Human-LLM Hybrid Text Answer Aggregation for Crowd Annotations
von: Li, Jiyi
Veröffentlicht: (2024)

Persona Dynamics: Unveiling the Impact of Personality Traits on Agents in Text-Based Games
von: Lim, Seungwon, et al.
Veröffentlicht: (2025)

Judge Like Human Examiners: A Weighted Importance Multi-Point Evaluation Framework for Generative Tasks with Long-form Answers
von: Yu, Guoxin, et al.
Veröffentlicht: (2026)

Is That Your Final Answer? Test-Time Scaling Improves Selective Question Answering
von: Jurayj, William, et al.
Veröffentlicht: (2025)

Enhancing Answer Attribution for Faithful Text Generation with Large Language Models
von: Vladika, Juraj, et al.
Veröffentlicht: (2024)

Improving LLM-as-a-Judge Inference with the Judgment Distribution
von: Wang, Victor, et al.
Veröffentlicht: (2025)

Vulnerability of LLMs to Vertically Aligned Text Manipulations
von: Li, Zhecheng, et al.
Veröffentlicht: (2024)