Buchumschlag

BEAR: A Unified Framework for Evaluating Relational Knowledge in Causal and Masked Language Models

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Wiland, Jacek, Ploner, Max, Akbik, Alan
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

LM-PUB-QUIZ: A Comprehensive Framework for Zero-Shot Evaluation of Relational Knowledge in Language Models
von: Ploner, Max, et al.
Veröffentlicht: (2024)

Towards a Principled Evaluation of Knowledge Editors
von: Pohl, Sebastian, et al.
Veröffentlicht: (2025)

From Data to Knowledge: Evaluating How Efficiently Language Models Learn Facts
von: Christoph, Daniel, et al.
Veröffentlicht: (2025)

TransformerRanker: A Tool for Efficiently Finding the Best-Suited Language Models for Downstream Classification Tasks
von: Garbas, Lukas, et al.
Veröffentlicht: (2024)

Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration
von: Kissling, Christopher, et al.
Veröffentlicht: (2026)

Familiarity: Better Evaluation of Zero-Shot Named Entity Recognition by Quantifying Label Shifts in Synthetic Training Data
von: Golde, Jonas, et al.
Veröffentlicht: (2024)

Pre-Training Curriculum for Multi-Token Prediction in Language Models
von: Aynetdinov, Ansar, et al.
Veröffentlicht: (2025)

Evaluating Design Decisions for Dual Encoder-based Entity Disambiguation
von: Rücker, Susanna, et al.
Veröffentlicht: (2025)

SemScore: Automated Evaluation of Instruction-Tuned LLMs based on Semantic Textual Similarity
von: Aynetdinov, Ansar, et al.
Veröffentlicht: (2024)

Beyond Marginal Distributions: A Framework to Evaluate the Representativeness of Demographic-Aligned LLMs
von: Williams, Tristan, et al.
Veröffentlicht: (2026)

BabyHGRN: Exploring RNNs for Sample-Efficient Training of Language Models
von: Haller, Patrick, et al.
Veröffentlicht: (2024)

What Matters in Linearizing Language Models? A Comparative Study of Architecture, Scale, and Task Adaptation
von: Haller, Patrick, et al.
Veröffentlicht: (2025)

Sample-Efficient Language Modeling with Linear Attention and Lightweight Enhancements
von: Haller, Patrick, et al.
Veröffentlicht: (2025)

Repetition over Diversity: High-Signal Data Filtering for Sample-Efficient German Language Modeling
von: Aynetdinov, Ansar, et al.
Veröffentlicht: (2026)

Lemma Dilemma: On Lemma Generation Without Domain- or Language-Specific Training Data
von: Toporkov, Olia, et al.
Veröffentlicht: (2025)

Fundus: A Simple-to-Use News Scraper Optimized for High Quality Extractions
von: Dallabetta, Max, et al.
Veröffentlicht: (2024)

What Matters When Building Universal Multilingual Named Entity Recognition Models?
von: Golde, Jonas, et al.
Veröffentlicht: (2026)

Large-Scale Label Interpretation Learning for Few-Shot Named Entity Recognition
von: Golde, Jonas, et al.
Veröffentlicht: (2024)

FiNERweb: Datasets and Artifacts for Scalable Multilingual Named Entity Recognition
von: Golde, Jonas, et al.
Veröffentlicht: (2025)

MastermindEval: A Simple But Scalable Reasoning Benchmark
von: Golde, Jonas, et al.
Veröffentlicht: (2025)

Less is More: Parameter-Efficient Selection of Intermediate Tasks for Transfer Learning
von: Schulte, David, et al.
Veröffentlicht: (2024)

Question Decomposition for Retrieval-Augmented Generation
von: Ammann, Paul J. L., et al.
Veröffentlicht: (2025)

AntLM: Bridging Causal and Masked Language Models
von: Yu, Xinru, et al.
Veröffentlicht: (2024)

NoiseBench: Benchmarking the Impact of Real Label Noise on Named Entity Recognition
von: Merdjanovska, Elena, et al.
Veröffentlicht: (2024)

OpenLearnLM Benchmark: A Unified Framework for Evaluating Knowledge, Skill, and Attitude in Educational Large Language Models
von: Lee, Unggi, et al.
Veröffentlicht: (2026)

Exploration of Masked and Causal Language Modelling for Text Generation
von: Micheletti, Nicolo, et al.
Veröffentlicht: (2024)

WikiCausal: Corpus and Evaluation Framework for Causal Knowledge Graph Construction
von: Hassanzadeh, Oktie
Veröffentlicht: (2024)

BEAR: Budgeted Evidence Allocation for Multi-Document Reasoning
von: Sun, Lin, et al.
Veröffentlicht: (2026)

A Comprehensive Evaluation of Semantic Relation Knowledge of Pretrained Language Models and Humans
von: Cao, Zhihan, et al.
Veröffentlicht: (2024)

Bridge: A Unified Framework to Knowledge Graph Completion via Language Models and Knowledge Representation
von: Qiao, Qiao, et al.
Veröffentlicht: (2024)

UniKnow: A Unified Framework for Reliable Language Model Behavior across Parametric and External Knowledge
von: Kim, Youna, et al.
Veröffentlicht: (2025)

Robust Evaluation Measures for Evaluating Social Biases in Masked Language Models
von: Liu, Yang
Veröffentlicht: (2024)

UFO: a Unified and Flexible Framework for Evaluating Factuality of Large Language Models
von: Huang, Zhaoheng, et al.
Veröffentlicht: (2024)

Causal Reasoning in Large Language Models: A Knowledge Graph Approach
von: Kim, Yejin, et al.
Veröffentlicht: (2024)

Fabricator: An Open Source Toolkit for Generating Labeled Training Data with Teacher LLMs
von: Golde, Jonas, et al.
Veröffentlicht: (2023)

UniOQA: A Unified Framework for Knowledge Graph Question Answering with Large Language Models
von: Li, Zhuoyang, et al.
Veröffentlicht: (2024)

Knowledge Reasoning Language Model: Unifying Knowledge and Language for Inductive Knowledge Graph Reasoning
von: Zhuo, Xingrui, et al.
Veröffentlicht: (2025)

Redefining Evaluation Standards: A Unified Framework for Evaluating the Korean Capabilities of Language Models
von: Lee, Hanwool, et al.
Veröffentlicht: (2025)

Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models
von: Chen, Yiming, et al.
Veröffentlicht: (2024)

Tracing Relational Knowledge Recall in Large Language Models
von: Popovič, Nicholas, et al.
Veröffentlicht: (2026)