Buchumschlag

Pitfalls of Evaluating Language Models with Open Benchmarks

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Hasan, Md. Najib, Sibat, Md Mahadi Hassan, Babar, Mohammad Fakhruddin, Sarkar, Souvika, Hasan, Monowar, Karmaker, Santu
Format:	Preprint
Veröffentlicht:	2025
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Processing Natural Language on Embedded Devices: How Well Do Transformer Models Perform?
von: Sarkar, Souvika, et al.
Veröffentlicht: (2023)

LLMs as On-demand Customizable Service
von: Sarkar, Souvika, et al.
Veröffentlicht: (2024)

Zero-Shot Multi-Label Classification of Bangla Documents: Large Decoders Vs. Classic Encoders
von: Sarkar, Souvika, et al.
Veröffentlicht: (2025)

The Path Not Taken: Duality in Reasoning about Program Execution
von: Hasanov, Eshgin, et al.
Veröffentlicht: (2026)

Are LLMs Ready to Replace Bangla Annotators?
von: Hasan, Md. Najib, et al.
Veröffentlicht: (2026)

Large Language Models for IT Automation Tasks: Are We There Yet?
von: Hassan, Md Mahadi, et al.
Veröffentlicht: (2025)

FinTradeBench: A Financial Reasoning Benchmark for LLMs
von: Agrawal, Yogesh, et al.
Veröffentlicht: (2026)

Instructional Goal-Aligned Question Generation for Student Evaluation in Virtual Lab Settings: How Closely Do LLMs Actually Align?
von: Knipper, R. Alexander, et al.
Veröffentlicht: (2025)

Multi-Party Conversational Agents: A Survey
von: Sapkota, Sagar, et al.
Veröffentlicht: (2025)

Investigating Timing-Based Information Leakage in Data Flow-Driven Real-Time Systems
von: Babar, Mohammad Fakhruddin, et al.
Veröffentlicht: (2025)

Redundancy Aware Multi-Reference Based Gainwise Evaluation of Extractive Summarization
von: Akter, Mousumi, et al.
Veröffentlicht: (2023)

TabSQLify: Enhancing Reasoning Capabilities of LLMs Through Table Decomposition
von: Nahid, Md Mahadi Hasan, et al.
Veröffentlicht: (2024)

Investigating Hallucination in Conversations for Low Resource Languages
von: Das, Amit, et al.
Veröffentlicht: (2025)

PRISM: Agentic Retrieval with LLMs for Multi-Hop Question Answering
von: Nahid, Md Mahadi Hasan, et al.
Veröffentlicht: (2025)

NormTab: Improving Symbolic Reasoning in LLMs Through Tabular Data Normalization
von: Nahid, Md Mahadi Hasan, et al.
Veröffentlicht: (2024)

Benchmarking LLMs on the Semantic Overlap Summarization Task
von: Salvador, John, et al.
Veröffentlicht: (2024)

Small Language Models: Architectures, Techniques, Evaluation, Problems and Future Adaptation
von: Sakib, Tanjil Hasan, et al.
Veröffentlicht: (2025)

Bangla Sign Language Translation: Dataset Creation Challenges, Benchmarking and Prospects
von: Rubaiyeat, Husne Ara, et al.
Veröffentlicht: (2025)

Ensemble Language Models for Multilingual Sentiment Analysis
von: Hasan, Md Arid
Veröffentlicht: (2024)

FaNS: a Facet-based Narrative Similarity Metric
von: Akter, Mousumi, et al.
Veröffentlicht: (2023)

LLMs as Meta-Reviewers' Assistants: A Case Study
von: Hossain, Eftekhar, et al.
Veröffentlicht: (2024)

Rethinking Schema Linking: A Context-Aware Bidirectional Retrieval Approach for Text-to-SQL
von: Nahid, Md Mahadi Hasan, et al.
Veröffentlicht: (2025)

A Model of Ride Dispatch in Informal Market under Rival Entry
von: Hasan, Md Mahadi
Veröffentlicht: (2025)

DL$^3$M: A Vision-to-Language Framework for Expert-Level Medical Reasoning through Deep Learning and Large Language Models
von: Hasan, Md. Najib, et al.
Veröffentlicht: (2025)

AI Agents and the Attention Lemons Problem in Two-Sided Ad Markets
von: Hasan, Md Mahadi
Veröffentlicht: (2025)

Revisiting Word Embeddings in the LLM Era
von: Mahajan, Yash, et al.
Veröffentlicht: (2025)

Set-Theoretic Compositionality of Sentence Embeddings
von: Bansal, Naman, et al.
Veröffentlicht: (2025)

The Critical Role of Aspects in Measuring Document Similarity
von: Hossain, Eftekhar, et al.
Veröffentlicht: (2026)

MapEval: A Map-Based Evaluation of Geo-Spatial Reasoning in Foundation Models
von: Dihan, Mahir Labib, et al.
Veröffentlicht: (2024)

BETA-Labeling for Multilingual Dataset Construction in Low-Resource IR
von: Hasan, Md. Najib, et al.
Veröffentlicht: (2026)

SNNLP: Energy-Efficient Natural Language Processing Using Spiking Neural Networks
von: Knipper, R. Alexander, et al.
Veröffentlicht: (2024)

Trust Modeling in Counseling Conversations: A Benchmark Study
von: Srivastava, Aseem, et al.
Veröffentlicht: (2025)

SafeSynthDP: Leveraging Large Language Models for Privacy-Preserving Synthetic Data Generation Using Differential Privacy
von: Nahid, Md Mahadi Hasan, et al.
Veröffentlicht: (2024)

Better to Ask in English: Evaluation of Large Language Models on English, Low-resource and Cross-Lingual Settings
von: Dey, Krishno, et al.
Veröffentlicht: (2024)

Bangla BERT for Hyperpartisan News Detection: A Semi-Supervised and Explainable AI Approach
von: Hasan, Mohammad Mehadi, et al.
Veröffentlicht: (2025)

The Carbon Cost of Conversation, Sustainability in the Age of Language Models
von: Amiri, Sayed Mahbub Hasan, et al.
Veröffentlicht: (2025)

UPLME: Uncertainty-Aware Probabilistic Language Modelling for Robust Empathy Regression
von: Hasan, Md Rakibul, et al.
Veröffentlicht: (2025)

Unified Deployment-Aware Evaluation of Open Reasoning Language Models
von: Manik, Md Motaleb Hossen, et al.
Veröffentlicht: (2026)

Redefining Experts: Interpretable Decomposition of Language Models for Toxicity Mitigation
von: Shaik, Zuhair Hasan, et al.
Veröffentlicht: (2025)

Beyond Symbolic Solving: Multi Chain-of-Thought Voting for Geometric Reasoning in Large Language Models
von: Siddique, Md. Abu Bakor, et al.
Veröffentlicht: (2026)