Buchumschlag

A Critical Look at Meta-evaluating Summarisation Evaluation Metrics

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Dai, Xiang, Karimi, Sarvnaz, Fang, Biaoyan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Identifying Health Risks from Family History: A Survey of Natural Language Processing Techniques
von: Dai, Xiang, et al.
Veröffentlicht: (2024)

MultiADE: A Multi-domain Benchmark for Adverse Drug Event Extraction
von: Dai, Xiang, et al.
Veröffentlicht: (2024)

CAIRNS: Balancing Readability and Scientific Accuracy in Climate Adaptation Question Answering
von: Kong, Liangji, et al.
Veröffentlicht: (2025)

Can AI Extract Antecedent Factors of Human Trust in AI? An Application of Information Extraction for Scientific Literature in Behavioural and Computer Sciences
von: McGrath, Melanie, et al.
Veröffentlicht: (2024)

CSIRO-LT at SemEval-2025 Task 11: Adapting LLMs for Emotion Recognition for Multiple Languages
von: Chen, Jiyu, et al.
Veröffentlicht: (2025)

A Closer Look at Classification Evaluation Metrics and a Critical Reflection of Common Evaluation Practice
von: Opitz, Juri
Veröffentlicht: (2024)

Summarisation of German Judgments in conjunction with a Class-based Evaluation
von: Steffes, Bianca, et al.
Veröffentlicht: (2025)

Evaluating LLM-Driven Summarisation of Parliamentary Debates with Computational Argumentation
von: Cunningham, Eoghan, et al.
Veröffentlicht: (2026)

Contextual Metric Meta-Evaluation by Measuring Local Metric Accuracy
von: Deviyani, Athiya, et al.
Veröffentlicht: (2025)

MARS: Multilingual Aspect-centric Review Summarisation
von: Mukku, Sandeep Sricharan, et al.
Veröffentlicht: (2024)

Leveraging Entailment Judgements in Cross-Lingual Summarisation
von: Zhang, Huajian, et al.
Veröffentlicht: (2024)

Fine-Grained Natural Language Inference Based Faithfulness Evaluation for Diverse Summarisation Tasks
von: Zhang, Huajian, et al.
Veröffentlicht: (2024)

When Bigger Isn't Better: A Comprehensive Fairness Evaluation of Political Bias in Multi-News Summarisation
von: Huang, Nannan, et al.
Veröffentlicht: (2026)

Log Summarisation for Defect Evolution Analysis
von: Dolga, Rares, et al.
Veröffentlicht: (2024)

ATLAS: Improving Lay Summarisation with Attribute-based Control
von: Zhang, Zhihao, et al.
Veröffentlicht: (2024)

Simple and Effective Baselines for Code Summarisation Evaluation
von: Robinson, Jade, et al.
Veröffentlicht: (2025)

Which Side Are You On? A Multi-task Dataset for End-to-End Argument Summarisation and Evaluation
von: Li, Hao, et al.
Veröffentlicht: (2024)

Controlling Distributional Bias in Multi-Round LLM Generation via KL-Optimized Fine-Tuning
von: Jiang, Yanbei, et al.
Veröffentlicht: (2026)

Textual Summarisation of Large Sets: Towards a General Approach
von: Kuptavanich, Kittipitch, et al.
Veröffentlicht: (2024)

M2DS: Multilingual Dataset for Multi-document Summarisation
von: Hewapathirana, Kushan, et al.
Veröffentlicht: (2024)

Faithful Summarisation under Disagreement via Belief-Level Aggregation
von: Aghaebe, Favour Yahdii, et al.
Veröffentlicht: (2026)

Enhancing Long Document Long Form Summarisation with Self-Planning
von: Du, Xiaotang, et al.
Veröffentlicht: (2025)

AraFinNews: Arabic Financial Summarisation with Domain-Adapted LLMs
von: El-Haj, Mo, et al.
Veröffentlicht: (2025)

REFER: Mitigating Bias in Opinion Summarisation via Frequency Framed Prompting
von: Huang, Nannan, et al.
Veröffentlicht: (2025)

Faithfulness Metrics Don't Measure Faithfulness: A Meta-Evaluation with Ground Truth
von: Gur-Arieh, Yoav, et al.
Veröffentlicht: (2026)

Dynamic Meta-Metrics: Source-Sentence Conditioned Weighting for MT Evaluation
von: Zhang, Luke, et al.
Veröffentlicht: (2026)

Mind the Style Gap: Meta-Evaluation of Style and Attribute Transfer Metrics
von: Pauli, Amalie Brogaard, et al.
Veröffentlicht: (2025)

FreeTxt-Vi: A Benchmarked Vietnamese-English Toolkit for Segmentation, Sentiment, and Summarisation
von: Huy, Hung Nguyen, et al.
Veröffentlicht: (2026)

Benchmarking Abstractive Summarisation: A Dataset of Human-authored Summaries of Norwegian News Articles
von: Touileb, Samia, et al.
Veröffentlicht: (2025)

Leveraging Large Language Models for Zero-shot Lay Summarisation in Biomedicine and Beyond
von: Goldsack, Tomas, et al.
Veröffentlicht: (2025)

Discrimination by LLMs: Cross-lingual Bias Assessment and Mitigation in Decision-Making and Summarisation
von: Huijzer, Willem, et al.
Veröffentlicht: (2025)

Less Is More? Examining Fairness in Pruned Large Language Models for Summarising Opinions
von: Huang, Nannan, et al.
Veröffentlicht: (2025)

Do Automatic Factuality Metrics Measure Factuality? A Critical Evaluation
von: Ramprasad, Sanjana, et al.
Veröffentlicht: (2024)

LongDocFACTScore: Evaluating the Factuality of Long Document Abstractive Summarisation
von: Bishop, Jennifer A, et al.
Veröffentlicht: (2023)

Bias in Opinion Summarisation from Pre-training to Adaptation: A Case Study in Political Bias
von: Huang, Nannan, et al.
Veröffentlicht: (2024)

LLM as a Meta-Judge: Synthetic Data for NLP Evaluation Metric Validation
von: Eigler, Lukáš, et al.
Veröffentlicht: (2026)

Machine Learning Information Retrieval and Summarisation to Support Systematic Review on Outcomes Based Contracting
von: Bilal, Iman Munire, et al.
Veröffentlicht: (2024)

Guardians of the Machine Translation Meta-Evaluation: Sentinel Metrics Fall In!
von: Perrella, Stefano, et al.
Veröffentlicht: (2024)

KG-EDAS: A Meta-Metric Framework for Evaluating Knowledge Graph Completion Models
von: Gul, Haji, et al.
Veröffentlicht: (2025)

Beyond Extraction: Contextualising Tabular Data for Efficient Summarisation by Language Models
von: Allu, Uday, et al.
Veröffentlicht: (2024)