Buchumschlag

Toward the Evaluation of Large Language Models Considering Score Variance across Instruction Templates

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Sakai, Yusuke, Nohejl, Adam, Hang, Jiangnan, Kamigaito, Hidetaka, Watanabe, Taro
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language Artificial Intelligence Machine Learning
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Revisiting Compositional Generalization Capability of Large Language Models Considering Instruction Following Ability
von: Sakai, Yusuke, et al.
Veröffentlicht: (2025)

mCSQA: Multilingual Commonsense Reasoning Dataset with Unified Creation Strategy by Language Models and Humans
von: Sakai, Yusuke, et al.
Veröffentlicht: (2024)

Multilinguality of Large Language Models From a Structural Perspective
von: Sakajo, Haruki, et al.
Veröffentlicht: (2026)

Simultaneous Interpretation Corpus Construction by Large Language Models in Distant Language Pair
von: Sakai, Yusuke, et al.
Veröffentlicht: (2024)

Does Pre-trained Language Model Actually Infer Unseen Links in Knowledge Graph Completion?
von: Sakai, Yusuke, et al.
Veröffentlicht: (2023)

Tonguescape: Exploring Language Models Understanding of Vowel Articulation
von: Sakajo, Haruki, et al.
Veröffentlicht: (2025)

HalluCitation Matters: Revealing the Impact of Hallucinated References with 300 Hallucinated Papers in ACL Conferences
von: Sakai, Yusuke, et al.
Veröffentlicht: (2026)

HalluCiteChecker: A Lightweight Toolkit for Hallucinated Citation Detection and Verification in the Era of AI Scientists
von: Sakai, Yusuke, et al.
Veröffentlicht: (2026)

Agreement-Constrained Probabilistic Minimum Bayes Risk Decoding
von: Natsumi, Koki, et al.
Veröffentlicht: (2025)

StructLens: A Structural Lens for Language Models via Maximum Spanning Trees
von: Sakajo, Haruki, et al.
Veröffentlicht: (2026)

Efficient Nearest Neighbor based Uncertainty Estimation for Natural Language Processing Tasks
von: Hashimoto, Wataru, et al.
Veröffentlicht: (2024)

Dependency-Aware Semi-Structured Sparsity of GLU Variants in Large Language Models
von: Guo, Zhiyu, et al.
Veröffentlicht: (2024)

Are Data Augmentation Methods in Named Entity Recognition Applicable for Uncertainty Estimation?
von: Hashimoto, Wataru, et al.
Veröffentlicht: (2024)

Model-based Subsampling for Knowledge Graph Completion
von: Feng, Xincan, et al.
Veröffentlicht: (2023)

Dictionaries to the Rescue: Cross-Lingual Vocabulary Transfer for Low-Resource Languages Using Bilingual Dictionaries
von: Sakajo, Haruki, et al.
Veröffentlicht: (2025)

Toward Automatic Safe Driving Instruction: A Large-Scale Vision Language Model Approach
von: Sakajo, Haruki, et al.
Veröffentlicht: (2025)

How to Make the Most of LLMs' Grammatical Knowledge for Acceptability Judgments
von: Ide, Yusuke, et al.
Veröffentlicht: (2024)

Decoding Uncertainty: The Impact of Decoding Strategies for Uncertainty Estimation in Large Language Models
von: Hashimoto, Wataru, et al.
Veröffentlicht: (2025)

IRR: Image Review Ranking Framework for Evaluating Vision-Language Models
von: Hayashi, Kazuki, et al.
Veröffentlicht: (2024)

Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters
von: Guo, Zhiyu, et al.
Veröffentlicht: (2024)

Diversity of Transformer Layers: One Aspect of Parameter Scaling Laws
von: Kamigaito, Hidetaka, et al.
Veröffentlicht: (2025)

Towards Cross-Lingual Explanation of Artwork in Large-scale Vision Language Models
von: Ozaki, Shintaro, et al.
Veröffentlicht: (2024)

InstructCMP: Length Control in Sentence Compression through Instruction-based Large Language Models
von: Juseon-Do, et al.
Veröffentlicht: (2024)

BQA: Body Language Question Answering Dataset for Video Large Language Models
von: Ozaki, Shintaro, et al.
Veröffentlicht: (2024)

mbrs: A Library for Minimum Bayes Risk Decoding
von: Deguchi, Hiroyuki, et al.
Veröffentlicht: (2024)

CoAM: Corpus of All-Type Multiword Expressions
von: Ide, Yusuke, et al.
Veröffentlicht: (2024)

Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies
von: Hayashi, Kazuki, et al.
Veröffentlicht: (2025)

Who Laughs with Whom? Disentangling Influential Factors in Humor Preferences across User Clusters and LLMs
von: Murakami, Soichiro, et al.
Veröffentlicht: (2026)

IMPARA-GED: Grammatical Error Detection is Boosting Reference-free Grammatical Error Quality Estimator
von: Sakai, Yusuke, et al.
Veröffentlicht: (2025)

Considering Length Diversity in Retrieval-Augmented Summarization
von: Juseon-Do, et al.
Veröffentlicht: (2025)

Towards Artwork Explanation in Large-scale Vision Language Models
von: Hayashi, Kazuki, et al.
Veröffentlicht: (2024)

Diversity Explains Inference Scaling Laws: Through a Case Study of Minimum Bayes Risk Decoding
von: Kamigaito, Hidetaka, et al.
Veröffentlicht: (2024)

Towards Temporal Change Explanations from Bi-Temporal Satellite Images
von: Tsujimoto, Ryo, et al.
Veröffentlicht: (2024)

Unified Interpretation of Smoothing Methods for Negative Sampling Loss Functions in Knowledge Graph Embedding
von: Feng, Xincan, et al.
Veröffentlicht: (2024)

Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation
von: Lyu, Boxuan, et al.
Veröffentlicht: (2025)

Dispersion Measures as Predictors of Lexical Decision Time, Word Familiarity, and Lexical Complexity
von: Nohejl, Adam, et al.
Veröffentlicht: (2025)

Instruction Following by Principled Boosting Attention of Large Language Models
von: Guardieiro, Vitoria, et al.
Veröffentlicht: (2025)

Training and Evaluating Language Models with Template-based Data Generation
von: Zhang, Yifan
Veröffentlicht: (2024)

From Formal Language Theory to Statistical Learning: Finite Observability of Subregular Languages
von: Hayashi, Katsuhiko, et al.
Veröffentlicht: (2025)

CArtBench: Evaluating Vision-Language Models on Chinese Art Understanding, Interpretation, and Authenticity
von: Wei, Xuefeng, et al.
Veröffentlicht: (2026)