Evaluating Cultural and Social Awareness of LLM Web Agents

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Qiu, Haoyi, Fabbri, Alexander R., Agarwal, Divyansh, Huang, Kung-Hsiang, Tan, Sarah, Peng, Nanyun, Wu, Chien-Sheng
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Computation and Language
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Multimodal Cultural Safety: Evaluation Framework and Alignment Strategies
von: Qiu, Haoyi, et al.
Veröffentlicht: (2025)

AMRFact: Enhancing Summarization Factuality Evaluation with AMR-Driven Negative Samples Generation
von: Qiu, Haoyi, et al.
Veröffentlicht: (2023)

GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness
von: Huang, Kung-Hsiang, et al.
Veröffentlicht: (2025)

MMPersuade: A Dataset and Evaluation Framework for Multimodal Persuasion
von: Qiu, Haoyi, et al.
Veröffentlicht: (2025)

SafeWorld: Geo-Diverse Safety Alignment
von: Yin, Da, et al.
Veröffentlicht: (2024)

Prompt Leakage effect and defense strategies for multi-turn LLM interactions
von: Agarwal, Divyansh, et al.
Veröffentlicht: (2024)

CRMArena-Pro: Holistic Assessment of LLM Agents Across Diverse Business Scenarios and Interactions
von: Huang, Kung-Hsiang, et al.
Veröffentlicht: (2025)

GTA: Generating Long-Horizon Tasks for Web Agents at Scale
von: Huang, Tenghao, et al.
Veröffentlicht: (2026)

Embrace Divergence for Richer Insights: A Multi-document Summarization Benchmark and a Case Study on Summarizing Diverse Information from News Articles
von: Huang, Kung-Hsiang, et al.
Veröffentlicht: (2023)

Why Vision Language Models Struggle with Visual Arithmetic? Towards Enhanced Chart and Geometry Understanding
von: Huang, Kung-Hsiang, et al.
Veröffentlicht: (2025)

Decoupling Task-Solving and Output Formatting in LLM Generation
von: Deng, Haikang, et al.
Veröffentlicht: (2025)

VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models
von: Qiu, Haoyi, et al.
Veröffentlicht: (2024)

CRMArena: Understanding the Capacity of LLM Agents to Perform Professional CRM Tasks in Realistic Environments
von: Huang, Kung-Hsiang, et al.
Veröffentlicht: (2024)

Nudging the Boundaries of LLM Reasoning
von: Chen, Justin Chih-Yao, et al.
Veröffentlicht: (2025)

Art or Artifice? Large Language Models and the False Promise of Creativity
von: Chakrabarty, Tuhin, et al.
Veröffentlicht: (2023)

Benchmarking Deep Search over Heterogeneous Enterprise Data
von: Choubey, Prafulla Kumar, et al.
Veröffentlicht: (2025)

BingoGuard: LLM Content Moderation Tools with Risk Levels
von: Yin, Fan, et al.
Veröffentlicht: (2025)

Agentic Uncertainty Quantification
von: Zhang, Jiaxin, et al.
Veröffentlicht: (2026)

Summary of a Haystack: A Challenge to Long-Context LLMs and RAG Systems
von: Laban, Philippe, et al.
Veröffentlicht: (2024)

Dont Stop Early: Scalable Enterprise Deep Research with Controlled Information Flow and Evidence-Aware Termination
von: Choubey, Prafulla Kumar, et al.
Veröffentlicht: (2026)

MMGR: Multi-Modal Generative Reasoning
von: Cai, Zefan, et al.
Veröffentlicht: (2025)

DeepTRACE: Auditing Deep Research AI Systems for Tracking Reliability Across Citations and Evidence
von: Venkit, Pranav Narayanan, et al.
Veröffentlicht: (2025)

Evaluating Human Alignment and Model Faithfulness of LLM Rationale
von: Fayyaz, Mohsen, et al.
Veröffentlicht: (2024)

New Job, New Gender? Measuring the Social Bias in Image Generation Models
von: Wang, Wenxuan, et al.
Veröffentlicht: (2024)

LLM-REVal: Can We Trust LLM Reviewers Yet?
von: Li, Rui, et al.
Veröffentlicht: (2025)

ManiTweet: A New Benchmark for Identifying Manipulation of News on Social Media
von: Huang, Kung-Hsiang, et al.
Veröffentlicht: (2023)

From Preferences to Prejudice: The Role of Alignment Tuning in Shaping Social Bias in Video Diffusion Models
von: Cai, Zefan, et al.
Veröffentlicht: (2025)

Mind the Gesture: Evaluating AI Sensitivity to Culturally Offensive Non-Verbal Gestures
von: Yerukola, Akhila, et al.
Veröffentlicht: (2025)

NewsEdits 2.0: Learning the Intentions Behind Updating News
von: Spangher, Alexander, et al.
Veröffentlicht: (2024)

ReIFE: Re-evaluating Instruction-Following Evaluation
von: Liu, Yixin, et al.
Veröffentlicht: (2024)

OI-Bench: An Option Injection Benchmark for Evaluating LLM Susceptibility to Directive Interference
von: Liou, Yow-Fu, et al.
Veröffentlicht: (2026)

Adaptable Logical Control for Large Language Models
von: Zhang, Honghua, et al.
Veröffentlicht: (2024)

From Pixels to Insights: A Survey on Automatic Chart Understanding in the Era of Large Foundation Models
von: Huang, Kung-Hsiang, et al.
Veröffentlicht: (2024)

Context-Aware SQL Error Correction Using Few-Shot Learning -- A Novel Approach Based on NLQ, Error, and SQL Similarity
von: Jain, Divyansh, et al.
Veröffentlicht: (2024)

Unanswerability Evaluation for Retrieval Augmented Generation
von: Peng, Xiangyu, et al.
Veröffentlicht: (2024)

Evaluating LLM-based Agents for Multi-Turn Conversations: A Survey
von: Guan, Shengyue, et al.
Veröffentlicht: (2025)

Turning Conversations into Workflows: A Framework to Extract and Evaluate Dialog Workflows for Service AI Agents
von: Choubey, Prafulla Kumar, et al.
Veröffentlicht: (2025)

A Systematic Study of Cross-Layer KV Sharing for Efficient LLM Inference
von: Wu, You, et al.
Veröffentlicht: (2024)

SkillVerse : Assessing and Enhancing LLMs with Tree Evaluation
von: Tian, Yufei, et al.
Veröffentlicht: (2025)

LongMemEval-V2: Evaluating Long-Term Agent Memory Toward Experienced Colleagues
von: Wu, Di, et al.
Veröffentlicht: (2026)