Buchumschlag

What do the metrics mean? A critical analysis of the use of Automated Evaluation Metrics in Interpreting

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Downie, Jonathan, Moorkens, Joss
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Training in translation tools and technologies: Findings of the EMT survey 2023
von: Rothwell, Andrew, et al.
Veröffentlicht: (2025)

Sociotechnical Effects of Machine Translation
von: Moorkens, Joss, et al.
Veröffentlicht: (2025)

Extending CREAMT: Leveraging Large Language Models for Literary Translation Post-Editing
von: Castaldo, Antonio, et al.
Veröffentlicht: (2025)

An Automatic Quality Metric for Evaluating Simultaneous Interpretation
von: Makinae, Mana, et al.
Veröffentlicht: (2024)

CASPR: Automated Evaluation Metric for Contrastive Summarization
von: Ananthamurugan, Nirupan, et al.
Veröffentlicht: (2024)

What makes a good metric? Evaluating automatic metrics for text-to-image consistency
von: Ross, Candace, et al.
Veröffentlicht: (2024)

PEEM: Prompt Engineering Evaluation Metrics for Interpretable Joint Evaluation of Prompts and Responses
von: Hong, Minki, et al.
Veröffentlicht: (2026)

Beyond Correlation: Interpretable Evaluation of Machine Translation Metrics
von: Perrella, Stefano, et al.
Veröffentlicht: (2024)

NovAScore: A New Automated Metric for Evaluating Document Level Novelty
von: Ai, Lin, et al.
Veröffentlicht: (2024)

PIER: A Novel Metric for Evaluating What Matters in Code-Switching
von: Ugan, Enes Yavuz, et al.
Veröffentlicht: (2025)

Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric
von: Cao, Yixin, et al.
Veröffentlicht: (2025)

An Analysis on Automated Metrics for Evaluating Japanese-English Chat Translation
von: Rusli, Andre, et al.
Veröffentlicht: (2024)

*-PLUIE: Personalisable metric with Llm Used for Improved Evaluation
von: Lemesle, Quentin, et al.
Veröffentlicht: (2026)

Automating Legal Interpretation with LLMs: Retrieval, Generation, and Evaluation
von: Luo, Kangcheng, et al.
Veröffentlicht: (2025)

An Automated Length-Aware Quality Metric for Summarization
von: Foland, Andrew D.
Veröffentlicht: (2025)

Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why
von: Rao, Delip, et al.
Veröffentlicht: (2026)

What does it mean to understand language?
von: Casto, Colton, et al.
Veröffentlicht: (2025)

A Measure of the System Dependence of Automated Metrics
von: von Däniken, Pius, et al.
Veröffentlicht: (2024)

A Paradigm for Interpreting Metrics and Identifying Critical Errors in Automatic Speech Recognition
von: Bañeras-Roux, Thibault, et al.
Veröffentlicht: (2026)

Metric Learning Encoding Models: A Multivariate Framework for Interpreting Neural Representations
von: Jalouzot, Louis, et al.
Veröffentlicht: (2024)

Contextual Metric Meta-Evaluation by Measuring Local Metric Accuracy
von: Deviyani, Athiya, et al.
Veröffentlicht: (2025)

Evaluating the Evaluators: Are readability metrics good measures of readability?
von: Cachola, Isabel, et al.
Veröffentlicht: (2025)

What Do VLMs NOTICE? A Mechanistic Interpretability Pipeline for Gaussian-Noise-free Text-Image Corruption and Evaluation
von: Golovanevsky, Michal, et al.
Veröffentlicht: (2024)

Claim Extraction for Fact-Checking: Data, Models, and Automated Metrics
von: Ullrich, Herbert, et al.
Veröffentlicht: (2025)

Do they mean 'us'? Interpreting Referring Expressions in Intergroup Bias
von: Govindarajan, Venkata S, et al.
Veröffentlicht: (2024)

Compared to What? Baselines and Metrics for Counterfactual Prompting
von: Yang, Zihao, et al.
Veröffentlicht: (2026)

Enhancing Automated Interpretability with Output-Centric Feature Descriptions
von: Gur-Arieh, Yoav, et al.
Veröffentlicht: (2025)

A Multimodal Automated Interpretability Agent
von: Shaham, Tamar Rott, et al.
Veröffentlicht: (2024)

APPLS: Evaluating Evaluation Metrics for Plain Language Summarization
von: Guo, Yue, et al.
Veröffentlicht: (2023)

Clinically Grounded Agent-based Report Evaluation: An Interpretable Metric for Radiology Report Generation
von: Dua, Radhika, et al.
Veröffentlicht: (2025)

Evaluating Metrics for Bias in Word Embeddings
von: Schröder, Sarah, et al.
Veröffentlicht: (2021)

Evaluating Text Style Transfer Evaluation: Are There Any Reliable Metrics?
von: Mukherjee, Sourabrata, et al.
Veröffentlicht: (2025)

Automated Semantic Rules Detection (ASRD) for Emergent Communication Interpretation
von: Vanderplaetse, Bastien, et al.
Veröffentlicht: (2026)

Comparative Experimentation of Accuracy Metrics in Automated Medical Reporting: The Case of Otitis Consultations
von: Faber, Wouter, et al.
Veröffentlicht: (2023)

gec-metrics: A Unified Library for Grammatical Error Correction Evaluation
von: Goto, Takumi, et al.
Veröffentlicht: (2025)

Reference-free Evaluation Metrics for Text Generation: A Survey
von: Ito, Takumi, et al.
Veröffentlicht: (2025)

A Critical Look at Meta-evaluating Summarisation Evaluation Metrics
von: Dai, Xiang, et al.
Veröffentlicht: (2024)

A Third Paradigm for LLM Evaluation: Dialogue Game-Based Evaluation using clembench
von: Schlangen, David, et al.
Veröffentlicht: (2025)

Calibrating Model-Based Evaluation Metrics for Summarization
von: Liu, Hongye, et al.
Veröffentlicht: (2026)

Faithful Model Evaluation for Model-Based Metrics
von: Goyal, Palash, et al.
Veröffentlicht: (2023)