Buchumschlag

Evaluating Large Language Models Using Contrast Sets: An Experimental Approach

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
1. Verfasser:	Sanwal, Manish
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Layered Chain-of-Thought Prompting for Multi-Agent LLM Systems: A Comprehensive Approach to Explainable Large Language Models
von: Sanwal, Manish
Veröffentlicht: (2025)

CELL your Model: Contrastive Explanations for Large Language Models
von: Luss, Ronny, et al.
Veröffentlicht: (2024)

Improving Large Language Model Safety with Contrastive Representation Learning
von: Simko, Samuel, et al.
Veröffentlicht: (2025)

Sequence-level Large Language Model Training with Contrastive Preference Optimization
von: Feng, Zhili, et al.
Veröffentlicht: (2025)

Evaluating Text Summaries Generated by Large Language Models Using OpenAI's GPT
von: Shakil, Hassan, et al.
Veröffentlicht: (2024)

CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation
von: Hsu, I-Hung, et al.
Veröffentlicht: (2024)

DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
von: Chuang, Yung-Sung, et al.
Veröffentlicht: (2023)

Active Layer-Contrastive Decoding Reduces Hallucination in Large Language Model Generation
von: Zhang, Hongxiang, et al.
Veröffentlicht: (2025)

Evaluating the Goal-Directedness of Large Language Models
von: Everitt, Tom, et al.
Veröffentlicht: (2025)

Multilingual Hate Speech Detection in Social Media Using Translation-Based Approaches with Large Language Models
von: Usman, Muhammad, et al.
Veröffentlicht: (2025)

RouterDC: Query-Based Router by Dual Contrastive Learning for Assembling Large Language Models
von: Chen, Shuhao, et al.
Veröffentlicht: (2024)

Evaluating the Robustness of Analogical Reasoning in Large Language Models
von: Lewis, Martha, et al.
Veröffentlicht: (2024)

Evaluating the Performance of Large Language Models via Debates
von: Moniri, Behrad, et al.
Veröffentlicht: (2024)

Existing Large Language Model Unlearning Evaluations Are Inconclusive
von: Feng, Zhili, et al.
Veröffentlicht: (2025)

An Evaluation on Large Language Model Outputs: Discourse and Memorization
von: de Wynter, Adrian, et al.
Veröffentlicht: (2023)

Generative Evaluation of Complex Reasoning in Large Language Models
von: Lin, Haowei, et al.
Veröffentlicht: (2025)

An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models
von: Bhatt, Gantavya, et al.
Veröffentlicht: (2024)

Evolutionary Contrastive Distillation for Language Model Alignment
von: Katz-Samuels, Julian, et al.
Veröffentlicht: (2024)

Calibrating Large Language Models Using Their Generations Only
von: Ulmer, Dennis, et al.
Veröffentlicht: (2024)

A Simple and Effective Pruning Approach for Large Language Models
von: Sun, Mingjie, et al.
Veröffentlicht: (2023)

Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs
von: Liu, Xiaoze, et al.
Veröffentlicht: (2024)

Cancer Diagnosis Categorization in Electronic Health Records Using Large Language Models and BioBERT: Model Performance Evaluation Study
von: Hashtarkhani, Soheil, et al.
Veröffentlicht: (2025)

Dynamic Evaluation of Large Language Models by Meta Probing Agents
von: Zhu, Kaijie, et al.
Veröffentlicht: (2024)

Evaluating the Limits of Large Language Models in Multilingual Legal Reasoning
von: Ioannou, Antreas, et al.
Veröffentlicht: (2025)

StyleBench: Evaluating thinking styles in Large Language Models
von: Guo, Junyu, et al.
Veröffentlicht: (2025)

Episodic Memories Generation and Evaluation Benchmark for Large Language Models
von: Huet, Alexis, et al.
Veröffentlicht: (2025)

CORE: Comprehensive Ontological Relation Evaluation for Large Language Models
von: Dwivedi, Satyam, et al.
Veröffentlicht: (2026)

Evaluation of Large Language Models via Coupled Token Generation
von: Benz, Nina Corvelo, et al.
Veröffentlicht: (2025)

Soft-prompt Tuning for Large Language Models to Evaluate Bias
von: Tian, Jacob-Junqi, et al.
Veröffentlicht: (2023)

Report Cards: Qualitative Evaluation of Language Models Using Natural Language Summaries
von: Yang, Blair, et al.
Veröffentlicht: (2024)

Data-Driven Calibration of Prediction Sets in Large Vision-Language Models Based on Inductive Conformal Prediction
von: Ye, Yuanchang, et al.
Veröffentlicht: (2025)

Explaining Large Language Models Decisions Using Shapley Values
von: Mohammadi, Behnam
Veröffentlicht: (2024)

Enhancing NLP Robustness and Generalization through LLM-Generated Contrast Sets: A Scalable Framework for Systematic Evaluation and Adversarial Training
von: Lin, Hender
Veröffentlicht: (2025)

Random-Set Large Language Models
von: Mubashar, Muhammad, et al.
Veröffentlicht: (2025)

Multi-Preference Optimization: Generalizing DPO via Set-Level Contrasts
von: Gupta, Taneesh, et al.
Veröffentlicht: (2024)

CityBench: Evaluating the Capabilities of Large Language Models for Urban Tasks
von: Feng, Jie, et al.
Veröffentlicht: (2024)

A Critical Evaluation of AI Feedback for Aligning Large Language Models
von: Sharma, Archit, et al.
Veröffentlicht: (2024)

Foundational Autoraters: Taming Large Language Models for Better Automatic Evaluation
von: Vu, Tu, et al.
Veröffentlicht: (2024)

PromptBench: A Unified Library for Evaluation of Large Language Models
von: Zhu, Kaijie, et al.
Veröffentlicht: (2023)

Self-contradictory Hallucinations of Large Language Models: Evaluation, Detection and Mitigation
von: Mündler, Niels, et al.
Veröffentlicht: (2023)