Beyond Static Benchmarks: Synthesizing Harmful Content via Persona-based Simulation for Robust Evaluation
Fuente:
arXiv
Salvato in:
| Autori principali: | Lee, Huije, Shin, Jisu, Song, Hoyun, Ko, Changgeon, Park, Jong C. |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2026
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Social Dynamics as Critical Vulnerabilities that Undermine Objective Decision-Making in LLM Collectives
di: Ko, Changgeon, et al.
Pubblicazione: (2026)
di: Ko, Changgeon, et al.
Pubblicazione: (2026)
Does Rationale Quality Matter? Enhancing Mental Disorder Detection via Selective Reasoning Distillation
di: Song, Hoyun, et al.
Pubblicazione: (2025)
di: Song, Hoyun, et al.
Pubblicazione: (2025)
Different Bias Under Different Criteria: Assessing Bias in LLMs with a Fact-Based Approach
di: Ko, Changgeon, et al.
Pubblicazione: (2024)
di: Ko, Changgeon, et al.
Pubblicazione: (2024)
Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models
di: Shin, Jisu, et al.
Pubblicazione: (2024)
di: Shin, Jisu, et al.
Pubblicazione: (2024)
A Multi-Task Benchmark for Abusive Language Detection in Low-Resource Settings
di: Gaim, Fitsum, et al.
Pubblicazione: (2025)
di: Gaim, Fitsum, et al.
Pubblicazione: (2025)
RoleConflictBench: A Benchmark of Role Conflict Scenarios for Evaluating LLMs' Contextual Sensitivity
di: Shin, Jisu, et al.
Pubblicazione: (2025)
di: Shin, Jisu, et al.
Pubblicazione: (2025)
Language over Content: Tracing Cultural Understanding in Multilingual Large Language Models
di: Cho, Seungho, et al.
Pubblicazione: (2025)
di: Cho, Seungho, et al.
Pubblicazione: (2025)
Towards Effective Counter-Responses: Aligning Human Preferences with Strategies to Combat Online Trolling
di: Lee, Huije, et al.
Pubblicazione: (2024)
di: Lee, Huije, et al.
Pubblicazione: (2024)
Spotting Out-of-Character Behavior: Atomic-Level Evaluation of Persona Fidelity in Open-Ended Generation
di: Shin, Jisu, et al.
Pubblicazione: (2025)
di: Shin, Jisu, et al.
Pubblicazione: (2025)
Lossless Acceleration of Large Language Models with Hierarchical Drafting based on Temporal Locality in Speculative Decoding
di: Cho, Sukmin, et al.
Pubblicazione: (2025)
di: Cho, Sukmin, et al.
Pubblicazione: (2025)
Temporal Information Retrieval via Time-Specifier Model Merging
di: Han, SeungYoon, et al.
Pubblicazione: (2025)
di: Han, SeungYoon, et al.
Pubblicazione: (2025)
Harmful Suicide Content Detection
di: Park, Kyumin, et al.
Pubblicazione: (2024)
di: Park, Kyumin, et al.
Pubblicazione: (2024)
Beyond Cooperative Simulators: Generating Realistic User Personas for Robust Evaluation of LLM Agents
di: Chopra, Harshita, et al.
Pubblicazione: (2026)
di: Chopra, Harshita, et al.
Pubblicazione: (2026)
MentalBench: A DSM-Grounded Benchmark for Evaluating Psychiatric Diagnostic Capability of Large Language Models
di: Song, Hoyun, et al.
Pubblicazione: (2026)
di: Song, Hoyun, et al.
Pubblicazione: (2026)
EXIT: Context-Aware Extractive Compression for Enhancing Retrieval-Augmented Generation
di: Hwang, Taeho, et al.
Pubblicazione: (2024)
di: Hwang, Taeho, et al.
Pubblicazione: (2024)
Beyond Accuracy: An Explainability-Driven Analysis of Harmful Content Detection
di: Dhara, Trishita, et al.
Pubblicazione: (2026)
di: Dhara, Trishita, et al.
Pubblicazione: (2026)
Pay What LLM Wants: Can LLM Simulate Economics Experiment with 522 Real-human Persona?
di: Choi, Junhyuk, et al.
Pubblicazione: (2025)
di: Choi, Junhyuk, et al.
Pubblicazione: (2025)
JudgeAgent: Beyond Static Benchmarks for Knowledge-Driven and Dynamic LLM Evaluation
di: Shi, Zhichao, et al.
Pubblicazione: (2025)
di: Shi, Zhichao, et al.
Pubblicazione: (2025)
ChineseHarm-Bench: A Chinese Harmful Content Detection Benchmark
di: Liu, Kangwei, et al.
Pubblicazione: (2025)
di: Liu, Kangwei, et al.
Pubblicazione: (2025)
FLEX: A Benchmark for Evaluating Robustness of Fairness in Large Language Models
di: Jung, Dahyun, et al.
Pubblicazione: (2025)
di: Jung, Dahyun, et al.
Pubblicazione: (2025)
Beyond Static Testbeds: An Interaction-Centric Agent Simulation Platform for Dynamic Recommender Systems
di: Jin, Song, et al.
Pubblicazione: (2025)
di: Jin, Song, et al.
Pubblicazione: (2025)
Control Token with Dense Passage Retrieval
di: Lee, Juhwan, et al.
Pubblicazione: (2024)
di: Lee, Juhwan, et al.
Pubblicazione: (2024)
Strategic Data Ordering: Enhancing Large Language Model Performance through Curriculum Learning
di: Kim, Jisu, et al.
Pubblicazione: (2024)
di: Kim, Jisu, et al.
Pubblicazione: (2024)
The Impact of Persona-based Political Perspectives on Hateful Content Detection
di: Civelli, Stefano, et al.
Pubblicazione: (2025)
di: Civelli, Stefano, et al.
Pubblicazione: (2025)
MoCoRP: Modeling Consistent Relations between Persona and Response for Persona-based Dialogue
di: Lee, Kyungro, et al.
Pubblicazione: (2025)
di: Lee, Kyungro, et al.
Pubblicazione: (2025)
HarmMetric Eval: Benchmarking Metrics and Judges for LLM Harmfulness Assessment
di: Yang, Langqi, et al.
Pubblicazione: (2025)
di: Yang, Langqi, et al.
Pubblicazione: (2025)
Self-HarmLLM: Can Large Language Model Harm Itself?
di: Kim, Heehwan, et al.
Pubblicazione: (2025)
di: Kim, Heehwan, et al.
Pubblicazione: (2025)
Persona-Augmented Benchmarking: Evaluating LLMs Across Diverse Writing Styles
di: Truong, Kimberly Le, et al.
Pubblicazione: (2025)
di: Truong, Kimberly Le, et al.
Pubblicazione: (2025)
Embracing Dialectic Intersubjectivity: Coordination of Different Perspectives in Content Analysis with LLM Persona Simulation
di: Kang, Taewoo, et al.
Pubblicazione: (2025)
di: Kang, Taewoo, et al.
Pubblicazione: (2025)
Harm or Humor: A Multimodal, Multilingual Benchmark for Overt and Covert Harmful Humor
di: Sharshar, Ahmed, et al.
Pubblicazione: (2026)
di: Sharshar, Ahmed, et al.
Pubblicazione: (2026)
Persona2Web: Benchmarking Personalized Web Agents for Contextual Reasoning with User History
di: Kim, Serin, et al.
Pubblicazione: (2026)
di: Kim, Serin, et al.
Pubblicazione: (2026)
Do No Harm: Exposing Hidden Vulnerabilities of LLMs via Persona-based Client Simulation Attack in Psychological Counseling
di: Xu, Qingyang, et al.
Pubblicazione: (2026)
di: Xu, Qingyang, et al.
Pubblicazione: (2026)
LLM-as-an-Interviewer: Beyond Static Testing Through Dynamic LLM Evaluation
di: Kim, Eunsu, et al.
Pubblicazione: (2024)
di: Kim, Eunsu, et al.
Pubblicazione: (2024)
AgentHarm: A Benchmark for Measuring Harmfulness of LLM Agents
di: Andriushchenko, Maksym, et al.
Pubblicazione: (2024)
di: Andriushchenko, Maksym, et al.
Pubblicazione: (2024)
SynthesizeMe! Inducing Persona-Guided Prompts for Personalized Reward Models in LLMs
di: Ryan, Michael J, et al.
Pubblicazione: (2025)
di: Ryan, Michael J, et al.
Pubblicazione: (2025)
Adaptive Testing for LLM Evaluation: A Psychometric Alternative to Static Benchmarks
di: Li, Peiyu, et al.
Pubblicazione: (2025)
di: Li, Peiyu, et al.
Pubblicazione: (2025)
A Spatio-Temporal Representation Learning as an Alternative to Traditional Glosses in Sign Language Translation and Production
di: Hwang, Eui Jun, et al.
Pubblicazione: (2024)
di: Hwang, Eui Jun, et al.
Pubblicazione: (2024)
FunctionChat-Bench: Comprehensive Evaluation of Language Models' Generative Capabilities in Korean Tool-use Dialogs
di: Lee, Shinbok, et al.
Pubblicazione: (2024)
di: Lee, Shinbok, et al.
Pubblicazione: (2024)
PluriHarms: Benchmarking the Full Spectrum of Human Judgments on AI Harm
di: Li, Jing-Jing, et al.
Pubblicazione: (2026)
di: Li, Jing-Jing, et al.
Pubblicazione: (2026)
Beyond the Final Answer: Evaluating the Reasoning Trajectories of Tool-Augmented Agents
di: Kim, Wonjoong, et al.
Pubblicazione: (2025)
di: Kim, Wonjoong, et al.
Pubblicazione: (2025)
Documenti analoghi
-
Social Dynamics as Critical Vulnerabilities that Undermine Objective Decision-Making in LLM Collectives
di: Ko, Changgeon, et al.
Pubblicazione: (2026) -
Does Rationale Quality Matter? Enhancing Mental Disorder Detection via Selective Reasoning Distillation
di: Song, Hoyun, et al.
Pubblicazione: (2025) -
Different Bias Under Different Criteria: Assessing Bias in LLMs with a Fact-Based Approach
di: Ko, Changgeon, et al.
Pubblicazione: (2024) -
Ask LLMs Directly, "What shapes your bias?": Measuring Social Bias in Large Language Models
di: Shin, Jisu, et al.
Pubblicazione: (2024) -
A Multi-Task Benchmark for Abusive Language Detection in Low-Resource Settings
di: Gaim, Fitsum, et al.
Pubblicazione: (2025)