Buchumschlag

How Safe is Your Safety Metric? Automatic Concatenation Tests for Metric Reliability

Fuente: arXiv

Gespeichert in:

Bibliographische Detailangaben
Hauptverfasser:	Fandina, Ora Nova, Choshen, Leshem, Farchi, Eitan, Kour, George, Perlitz, Yotam, Raz, Orna
Format:	Preprint
Veröffentlicht:	2024
Schlagworte:	Artificial Intelligence 68T50
Online-Zugang:	Acceder al recurso
Tags:	Tag hinzufügen Keine Tags, Fügen Sie den ersten Tag hinzu!

Ähnliche Einträge

Automated Validation of LLM-based Evaluators for Software Engineering Artifacts
von: Fandina, Ora Nova, et al.
Veröffentlicht: (2025)

Exploring Straightforward Conversational Red-Teaming
von: Kour, George, et al.
Veröffentlicht: (2024)

Vintage Code, Modern Judges: Meta-Validation in Low Data Regimes
von: Fandina, Ora Nova, et al.
Veröffentlicht: (2025)

Generating Unseen Code Tests In Infinitum
von: Zalmanovici, Marcel, et al.
Veröffentlicht: (2024)

Automatic Generation of Benchmarks and Reliable LLM Judgment for Code Tasks
von: Farchi, Eitan, et al.
Veröffentlicht: (2024)

Using Combinatorial Optimization to Design a High quality LLM Solution
von: Ackerman, Samuel, et al.
Veröffentlicht: (2024)

Beyond Blind Spots: Analytic Hints for Mitigating LLM-Based Evaluation Pitfalls
von: Fandina, Ora Nova, et al.
Veröffentlicht: (2025)

Isolating LLM Lexical Bias: A Curation-Free Triangulated Metric for Preference-Stage Learning
von: Ming, Xiaoyang, et al.
Veröffentlicht: (2026)

Prompt Engineering and the Effectiveness of Large Language Models in Enhancing Human Productivity
von: Anam, Rizal Khoirul
Veröffentlicht: (2025)

RHealthTwin: Towards Responsible and Multimodal Digital Twins for Personalized Well-being
von: Ferdousi, Rahatara, et al.
Veröffentlicht: (2025)

Survey of Swarm Intelligence Approaches to Search Documents Based On Semantic Similarity
von: Muniyappa, Chandrashekar, et al.
Veröffentlicht: (2025)

Evaluation of RAG Metrics for Question Answering in the Telecom Domain
von: Roychowdhury, Sujoy, et al.
Veröffentlicht: (2024)

Bidirectional RAG: Safe Self-Improving Retrieval-Augmented Generation Through Multi-Stage Validation
von: Chinthala, Teja
Veröffentlicht: (2025)

LaajMeter: A Framework for LaaJ Evaluation
von: Ackerman, Samuel, et al.
Veröffentlicht: (2025)

LLMs as Deceptive Agents: How Role-Based Prompting Induces Semantic Ambiguity in Puzzle Tasks
von: Yoo, Seunghyun
Veröffentlicht: (2025)

SafeAnchor: Preventing Cumulative Safety Erosion in Continual Domain Adaptation of Large Language Models
von: Guo, Dongxin, et al.
Veröffentlicht: (2026)

Advancing Explainability in Neural Machine Translation: Analytical Metrics for Attention and Alignment Consistency
von: Mishra, Anurag
Veröffentlicht: (2024)

OptPO: Optimal Rollout Allocation for Test-time Policy Optimization
von: Wang, Youkang, et al.
Veröffentlicht: (2025)

Forging GEMs: Advancing Greek NLP through Quality-Based Corpus Curation
von: Apostolopoulou, Alexandra, et al.
Veröffentlicht: (2025)

Monetizing Currency Pair Sentiments through LLM Explainability
von: Limonad, Lior, et al.
Veröffentlicht: (2024)

Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring
von: Aksoy, Sinan G., et al.
Veröffentlicht: (2026)

Instructions Shape Production of Language, not Processing
von: Waldis, Andreas, et al.
Veröffentlicht: (2026)

Towards a Reliable Offline Personal AI Assistant for Long Duration Spaceflight
von: Bensch, Oliver, et al.
Veröffentlicht: (2024)

LLM-Assisted Crisis Management: Building Advanced LLM Platforms for Effective Emergency Response and Public Collaboration
von: Otal, Hakan T., et al.
Veröffentlicht: (2024)

ReliabilityBench: Evaluating LLM Agent Reliability Under Production-Like Stress Conditions
von: Gupta, Aayush
Veröffentlicht: (2026)

Empowering Tabular Data Preparation with Language Models: Why and How?
von: Chen, Mengshi, et al.
Veröffentlicht: (2025)

OPENXRD: A Comprehensive Benchmark Framework for LLM/MLLM XRD Question Answering
von: Vosoughi, Ali, et al.
Veröffentlicht: (2025)

HInter: Exposing Hidden Intersectional Bias in Large Language Models
von: Souani, Badr, et al.
Veröffentlicht: (2025)

Pay Attention to What You Need
von: Gao, Yifei, et al.
Veröffentlicht: (2023)

Multi-chain Graph Refinement and Selection for Reliable Reasoning in Large Language Models
von: Yang, Yujiao, et al.
Veröffentlicht: (2025)

SwiftDossier: Tailored Automatic Dossier for Drug Discovery with LLMs and Agents
von: Fossi, Gabriele, et al.
Veröffentlicht: (2024)

MORQA: Benchmarking Evaluation Metrics for Medical Open-Ended Question Answering
von: Yim, Wen-wai, et al.
Veröffentlicht: (2025)

The Illusion of Role Separation: Hidden Shortcuts in LLM Role Learning (and How to Fix Them)
von: Wang, Zihao, et al.
Veröffentlicht: (2025)

Fishing for Magikarp: Automatically Detecting Under-trained Tokens in Large Language Models
von: Land, Sander, et al.
Veröffentlicht: (2024)

Response Uncertainty and Probe Modeling: Two Sides of the Same Coin in LLM Interpretability?
von: Wang, Yongjie, et al.
Veröffentlicht: (2025)

Survey of Genetic and Differential Evolutionary Algorithm Approaches to Search Documents Based On Semantic Similarity
von: Muniyappa, Chandrashekar, et al.
Veröffentlicht: (2025)

Evaluation Metrics for Automated Typographic Poster Generation
von: Rebelo, Sérgio M., et al.
Veröffentlicht: (2024)

Computational Social Linguistics for Telugu Cultural Preservation: Novel Algorithms for Chandassu Metrical Pattern Recognition
von: Pavan, Boddu Sri, et al.
Veröffentlicht: (2025)

EvidenceMap: Learning Evidence Analysis to Unleash the Power of Small Language Models for Biomedical Question Answering
von: Zong, Chang, et al.
Veröffentlicht: (2025)

Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs
von: Rakshit, Supantho, et al.
Veröffentlicht: (2025)