Buchumschlag

From Performance to Purpose: A Sociotechnical Taxonomy for Evaluating Large Language Model Utility

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Levinson, Gavin, Feldman, Keith
Format:	Preprint
Veröffentlicht:	2026
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Taxonomy-based CheckList for Large Language Model Evaluation
von: Zhang, Damin
Veröffentlicht: (2023)

A Taxonomy for Data Contamination in Large Language Models
von: Palavalli, Medha, et al.
Veröffentlicht: (2024)

Evaluating Large Language Models on Time Series Feature Understanding: A Comprehensive Taxonomy and Benchmark
von: Fons, Elizabeth, et al.
Veröffentlicht: (2024)

Toward Purpose-oriented Topic Model Evaluation enabled by Large Language Models
von: Tan, Zhiyin, et al.
Veröffentlicht: (2025)

A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles
von: Lee, Eun-Kyoung Rosa, et al.
Veröffentlicht: (2024)

Multilingual Large Language Model: A Survey of Resources, Taxonomy and Frontiers
von: Qin, Libo, et al.
Veröffentlicht: (2024)

From Intentions to Techniques: A Comprehensive Taxonomy and Challenges in Text Watermarking for Large Language Models
von: Lalai, Harsh Nishant, et al.
Veröffentlicht: (2024)

A Survey on Large Language Models from General Purpose to Medical Applications: Datasets, Methodologies, and Evaluations
von: Wang, Jinqiang, et al.
Veröffentlicht: (2024)

Sociotechnical Effects of Machine Translation
von: Moorkens, Joss, et al.
Veröffentlicht: (2025)

A Taxonomy of Stereotype Content in Large Language Models
von: Nicolas, Gandalf, et al.
Veröffentlicht: (2024)

Evaluation Revisited: A Taxonomy of Evaluation Concerns in Natural Language Processing
von: Dhar, Ruchira, et al.
Veröffentlicht: (2026)

Information Extraction from Electricity Invoices with General-Purpose Large Language Models
von: Gómez, Javier, et al.
Veröffentlicht: (2026)

Performance Evaluation of Tokenizers in Large Language Models for the Assamese Language
von: Tamang, Sagar, et al.
Veröffentlicht: (2024)

Enriching Taxonomies Using Large Language Models
von: Ghamlouch, Zeinab, et al.
Veröffentlicht: (2025)

A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
von: Huang, Lei, et al.
Veröffentlicht: (2023)

ELI-Why: Evaluating the Pedagogical Utility of Language Model Explanations
von: Joshi, Brihi, et al.
Veröffentlicht: (2025)

Are Large Language Models a Good Replacement of Taxonomies?
von: Sun, Yushi, et al.
Veröffentlicht: (2024)

Robust Utility-Preserving Text Anonymization Based on Large Language Models
von: Yang, Tianyu, et al.
Veröffentlicht: (2024)

FoodTaxo: Generating Food Taxonomies with Large Language Models
von: Wullschleger, Pascal, et al.
Veröffentlicht: (2025)

Taxonomy, Opportunities, and Challenges of Representation Engineering for Large Language Models
von: Wehner, Jan, et al.
Veröffentlicht: (2025)

Trends in Integration of Knowledge and Large Language Models: A Survey and Taxonomy of Methods, Benchmarks, and Applications
von: Feng, Zhangyin, et al.
Veröffentlicht: (2023)

Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric
von: Cao, Yixin, et al.
Veröffentlicht: (2025)

A Domain-Based Taxonomy of Jailbreak Vulnerabilities in Large Language Models
von: Peláez-González, Carlos, et al.
Veröffentlicht: (2025)

Refining Wikidata Taxonomy using Large Language Models
von: Peng, Yiwen, et al.
Veröffentlicht: (2024)

Prompting Large Language Models with Audio for General-Purpose Speech Summarization
von: Kang, Wonjune, et al.
Veröffentlicht: (2024)

SURGE: On the Potential of Large Language Models as General-Purpose Surrogate Code Executors
von: Lyu, Bohan, et al.
Veröffentlicht: (2025)

Glitch Tokens in Large Language Models: Categorization Taxonomy and Effective Detection
von: Li, Yuxi, et al.
Veröffentlicht: (2024)

Risk Taxonomy, Mitigation, and Assessment Benchmarks of Large Language Model Systems
von: Cui, Tianyu, et al.
Veröffentlicht: (2024)

Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation
von: Feng, Bo-Han, et al.
Veröffentlicht: (2026)

Adapting Large Language Models for Character-based Augmentative and Alternative Communication
von: Gaines, Dylan, et al.
Veröffentlicht: (2025)

Evaluating the Performance of Large Language Models on GAOKAO Benchmark
von: Zhang, Xiaotian, et al.
Veröffentlicht: (2023)

Employing General-Purpose and Biomedical Large Language Models with Advanced Prompt Engineering for Pharmacoepidemiologic Study Design
von: Zhang, Xinyao, et al.
Veröffentlicht: (2026)

Proactive Privacy Amnesia for Large Language Models: Safeguarding PII with Negligible Impact on Model Utility
von: Kuo, Martin, et al.
Veröffentlicht: (2025)

Chain-of-Layer: Iteratively Prompting Large Language Models for Taxonomy Induction from Limited Examples
von: Zeng, Qingkai, et al.
Veröffentlicht: (2024)

Long-Tail Knowledge in Large Language Models: Taxonomy, Mechanisms, Interventions and Implications
von: Badhe, Sanket, et al.
Veröffentlicht: (2026)

Reference-Free Evaluation of Taxonomies
von: Wullschleger, Pascal, et al.
Veröffentlicht: (2025)

LP Data Pipeline: Lightweight, Purpose-driven Data Pipeline for Large Language Models
von: Kim, Yungi, et al.
Veröffentlicht: (2024)

Atla Selene Mini: A General Purpose Evaluation Model
von: Alexandru, Andrei, et al.
Veröffentlicht: (2025)

Leveraging Large Language Models For Optimized Item Categorization using UNSPSC Taxonomy
von: Singh, Anmolika, et al.
Veröffentlicht: (2024)

You've Changed: Detecting Modification of Black-Box Large Language Models
von: Dima, Alden, et al.
Veröffentlicht: (2025)