Buchumschlag

A Closer Look at Classification Evaluation Metrics and a Critical Reflection of Common Evaluation Practice

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Opitz, Juri
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Machine Learning Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

SMATCH++: Standardized and Extended Evaluation of Semantic Graphs
von: Opitz, Juri
Veröffentlicht: (2023)

A Closer Look into Mixture-of-Experts in Large Language Models
von: Lo, Ka Man, et al.
Veröffentlicht: (2024)

A Closer Look at Machine Unlearning for Large Language Models
von: Yuan, Xiaojian, et al.
Veröffentlicht: (2024)

We Need to Talk About Classification Evaluation Metrics in NLP
von: Vickers, Peter, et al.
Veröffentlicht: (2024)

Closer Look at Efficient Inference Methods: A Survey of Speculative Decoding
von: Ryu, Hyun, et al.
Veröffentlicht: (2024)

Schroedinger's Threshold: When the AUC doesn't predict Accuracy
von: Opitz, Juri
Veröffentlicht: (2024)

What Makes an Evaluation Useful? Common Pitfalls and Best Practices
von: Gekker, Gil, et al.
Veröffentlicht: (2025)

Evaluating Evaluation Metrics -- The Mirage of Hallucination Detection
von: Kulkarni, Atharva, et al.
Veröffentlicht: (2025)

A Critical Look At Tokenwise Reward-Guided Text Generation
von: Rashid, Ahmad, et al.
Veröffentlicht: (2024)

A Closer Look at Neural Codec Resynthesis: Bridging the Gap between Codec and Waveform Generation
von: Liu, Alexander H., et al.
Veröffentlicht: (2024)

PIER: A Novel Metric for Evaluating What Matters in Code-Switching
von: Ugan, Enes Yavuz, et al.
Veröffentlicht: (2025)

Towards Explainable Evaluation Metrics for Machine Translation
von: Leiter, Christoph, et al.
Veröffentlicht: (2023)

PARAPHRASUS : A Comprehensive Benchmark for Evaluating Paraphrase Detection Models
von: Michail, Andrianos, et al.
Veröffentlicht: (2024)

Toward More Accurate and Generalizable Evaluation Metrics for Task-Oriented Dialogs
von: Komma, Abishek, et al.
Veröffentlicht: (2023)

Revisiting Hierarchical Text Classification: Inference and Metrics
von: Plaud, Roman, et al.
Veröffentlicht: (2024)

Objective Metrics for Evaluating Large Language Models Using External Data Sources
von: Du, Haoze, et al.
Veröffentlicht: (2025)

A Critical Look at Meta-evaluating Summarisation Evaluation Metrics
von: Dai, Xiang, et al.
Veröffentlicht: (2024)

ReLook: Vision-Grounded RL with a Multimodal LLM Critic for Agentic Web Coding
von: Li, Yuhang, et al.
Veröffentlicht: (2025)

Zero-Shot Hierarchical Classification on the Common Procurement Vocabulary Taxonomy
von: Moiraghi, Federico, et al.
Veröffentlicht: (2024)

A Causal Lens for Evaluating Faithfulness Metrics
von: Zaman, Kerem, et al.
Veröffentlicht: (2025)

Evaluating Knowledge Graph Complexity via Semantic, Spectral, and Structural Metrics for Link Prediction
von: Gul, Haji, et al.
Veröffentlicht: (2025)

Evaluating Text Classification Robustness to Part-of-Speech Adversarial Examples
von: Samadi, Anahita, et al.
Veröffentlicht: (2024)

Scalable Parameter-Light Spectral Method for Clustering Short Text Embeddings with a Cohesion-Based Evaluation Metric
von: Neveditsin, Nikita, et al.
Veröffentlicht: (2025)

Beyond Fertility: Analyzing STRR as a Metric for Multilingual Tokenization Evaluation
von: Nayeem, Mir Tafseer, et al.
Veröffentlicht: (2025)

Evaluating the Robustness of Adverse Drug Event Classification Models Using Templates
von: MacPhail, Dorothea, et al.
Veröffentlicht: (2024)

TIDE: Textual Identity Detection for Evaluating and Augmenting Classification and Language Models
von: Klu, Emmanuel, et al.
Veröffentlicht: (2023)

Beyond LLM-as-a-Judge: Deterministic Metrics for Multilingual Generative Text Evaluation
von: Alam, Firoj, et al.
Veröffentlicht: (2026)

A Unified Framework with Novel Metrics for Evaluating the Effectiveness of XAI Techniques in LLMs
von: Mersha, Melkamu Abay, et al.
Veröffentlicht: (2025)

Reliable Decision Support with LLMs: A Framework for Evaluating Consistency in Binary Text Classification Applications
von: Megahed, Fadel M., et al.
Veröffentlicht: (2025)

Sentence Smith: Controllable Edits for Evaluating Text Embeddings
von: Li, Hongji, et al.
Veröffentlicht: (2025)

Visualizing Uncertainty in Translation Tasks: An Evaluation of LLM Performance and Confidence Metrics
von: Park, Jin Hyun, et al.
Veröffentlicht: (2025)

Is This a Bad Table? A Closer Look at the Evaluation of Table Generation from Text
von: Ramu, Pritika, et al.
Veröffentlicht: (2024)

A Critical Evaluation of AI Feedback for Aligning Large Language Models
von: Sharma, Archit, et al.
Veröffentlicht: (2024)

How to Choose a Threshold for an Evaluation Metric for Large Language Models
von: Sarmah, Bhaskarjit, et al.
Veröffentlicht: (2024)

Look Ahead or Look Around? A Theoretical Comparison Between Autoregressive and Masked Pretraining
von: Zhang, Qi, et al.
Veröffentlicht: (2024)

A Fuzzy Evaluation of Sentence Encoders on Grooming Risk Classification
von: Bihani, Geetanjali, et al.
Veröffentlicht: (2025)

SBERT studies Meaning Representations: Decomposing Sentence Embeddings into Explainable Semantic Features
von: Opitz, Juri, et al.
Veröffentlicht: (2022)

Deploying Tiny LVLM Judges for Real-World Evaluation of Chart Models: Lessons Learned and Best Practices
von: Laskar, Md Tahmid Rahman, et al.
Veröffentlicht: (2025)

TIAM -- A Metric for Evaluating Alignment in Text-to-Image Generation
von: Grimal, Paul, et al.
Veröffentlicht: (2023)

Clinically Grounded Agent-based Report Evaluation: An Interpretable Metric for Radiology Report Generation
von: Dua, Radhika, et al.
Veröffentlicht: (2025)