Toward Scalable Audio Description Quality Control: A Workflow for Evaluating Human and VLM Raters
Fuente:
arXiv
Salvato in:
| Autori principali: | Do, Lana, Jung, Gio, Barajas, Juvenal Francisco, Scott, Andrew Taylor, Ihorn, Shasta, Blum, Alexander Mario, Athitsos, Vassilis, Yoon, Ilmi |
|---|---|
| Natura: | Preprint |
| Pubblicazione: |
2026
|
| Soggetti: | |
| Accesso online: | |
| Tags: |
Aggiungi Tag
Nessun Tag, puoi essere il primo ad aggiungerne!!
|
Documenti analoghi
Making AI Drafts Count: A Quality Threshold in Audio Description Workflows
di: Do, Lana, et al.
Pubblicazione: (2026)
di: Do, Lana, et al.
Pubblicazione: (2026)
ADx3: A Collaborative Workflow for High-Quality Accessible Audio Description
di: Do, Lana, et al.
Pubblicazione: (2026)
di: Do, Lana, et al.
Pubblicazione: (2026)
Ecotourism and primate habituation: Behavioral variation in two groups of white-faced capuchins (Cebus capucinus) from Costa Rica
di: Shasta E. Webb
Pubblicazione: (2014)
di: Shasta E. Webb
Pubblicazione: (2014)
Toward Scalable Patient Safety Training: A Prototype for Root Cause Analysis Simulation With AI Virtual Avatars
di: Hu, Yuqi, et al.
Pubblicazione: (2025)
di: Hu, Yuqi, et al.
Pubblicazione: (2025)
SpatialTraceGen: High-Fidelity Traces for Efficient VLM Spatial Reasoning Distillation
di: Huh, Gio, et al.
Pubblicazione: (2025)
di: Huh, Gio, et al.
Pubblicazione: (2025)
AGAV-Rater: Adapting Large Multimodal Model for AI-Generated Audio-Visual Quality Assessment
di: Cao, Yuqin, et al.
Pubblicazione: (2025)
di: Cao, Yuqin, et al.
Pubblicazione: (2025)
Principled Evaluation with Human Labels: One Rater at a Time and Rater Equivalence
di: Resnick, Paul, et al.
Pubblicazione: (2021)
di: Resnick, Paul, et al.
Pubblicazione: (2021)
Investigation of the Inter-Rater Reliability between Large Language Models and Human Raters in Qualitative Analysis
di: Borse, Nikhil Sanjay, et al.
Pubblicazione: (2025)
di: Borse, Nikhil Sanjay, et al.
Pubblicazione: (2025)
Diseño de bases de datos / Gio Wiederhold ; traducción María de Lourdes Fournier García
di: Wiederhold, Gio
di: Wiederhold, Gio
Rater Cohesion and Quality from a Vicarious Perspective
di: Pandita, Deepak, et al.
Pubblicazione: (2024)
di: Pandita, Deepak, et al.
Pubblicazione: (2024)
Diseño de regulador bifrecuencia mediante compensación de tipo adelanto-atraso de fase
di: J. Sandoval Gío
Pubblicazione: (2011)
di: J. Sandoval Gío
Pubblicazione: (2011)
Towards Exploratory Quality Diversity Landscape Analysis
di: Mosphilis, Kyriacos, et al.
Pubblicazione: (2024)
di: Mosphilis, Kyriacos, et al.
Pubblicazione: (2024)
Socially Responsible Computing in an Introductory Course
di: Gautam, Aakash, et al.
Pubblicazione: (2024)
di: Gautam, Aakash, et al.
Pubblicazione: (2024)
Domain Adaptation of the Pyannote Diarization Pipeline for Conversational Indonesian Audio
di: Prasetyo, Muhammad Daffa'i Rafi, et al.
Pubblicazione: (2026)
di: Prasetyo, Muhammad Daffa'i Rafi, et al.
Pubblicazione: (2026)
Delay as an energy regulator of the generation of deterministic chaos in hydrodynamic systems with limited excitation
di: Shvets, Aleksandr, et al.
Pubblicazione: (2025)
di: Shvets, Aleksandr, et al.
Pubblicazione: (2025)
VLM-CAD: VLM-Optimized Collaborative Agent Design Workflow for Analog Circuit Sizing
di: Pan, Guanyuan, et al.
Pubblicazione: (2026)
di: Pan, Guanyuan, et al.
Pubblicazione: (2026)
Actuotaphonomic model of the mollusk fauna of Laguna de Mandinga, Veracruz, Mexico
di: F.-Raúl Gío-Argaez
Pubblicazione: (2021)
di: F.-Raúl Gío-Argaez
Pubblicazione: (2021)
TOXICIDAD AGUDA DIFERENCIAL DE TALSTAR® (BIFENTRINA) Y BIOTHRINE® (DELTAMETRINA) EN LA TILAPIA NILÓTICA Oreochromis niloticus
di: Juan José Sandoval Gío
Pubblicazione: (2018)
di: Juan José Sandoval Gío
Pubblicazione: (2018)
Comportamiento de Cucurbita pepo L. var. “Grey Zucchini”, en la propagación de hongos micorrizógenos arbusculares nativos de suelos con diferente manejo
di: José Alberto Gío-Trujillo
Pubblicazione: (2024)
di: José Alberto Gío-Trujillo
Pubblicazione: (2024)
La formación de recursos humanos para la oceanografía y las ciencias del mar
di: F. Raúl Gío Argáez
Pubblicazione: (1999)
di: F. Raúl Gío Argáez
Pubblicazione: (1999)
Comparison of Scoring Rationales Between Large Language Models and Human Raters
di: Hua, Haowei, et al.
Pubblicazione: (2025)
di: Hua, Haowei, et al.
Pubblicazione: (2025)
MIND: Multi-agent inference for negotiation dialogue in travel planning
di: Do, Hunmin, et al.
Pubblicazione: (2026)
di: Do, Hunmin, et al.
Pubblicazione: (2026)
IRT Observed‐Score Equating for Rater‐Mediated Assessments Using a Hierarchical Rater Model
di: Tong Wu, et al.
Pubblicazione: (2025)
di: Tong Wu, et al.
Pubblicazione: (2025)
AudioComposer: Towards Fine-grained Audio Generation with Natural Language Descriptions
di: Wang, Yuanyuan, et al.
Pubblicazione: (2024)
di: Wang, Yuanyuan, et al.
Pubblicazione: (2024)
Human-AI Collaboration and Explainability for 2D/3D Registration Quality Assurance
di: Cho, Sue Min, et al.
Pubblicazione: (2025)
di: Cho, Sue Min, et al.
Pubblicazione: (2025)
Supporting Human Raters with the Detection of Harmful Content using Large Language Models
di: Thomas, Kurt, et al.
Pubblicazione: (2024)
di: Thomas, Kurt, et al.
Pubblicazione: (2024)
Comparing Human and AI Rater Effects Using the Many-Facet Rasch Model
di: Jiao, Hong, et al.
Pubblicazione: (2025)
di: Jiao, Hong, et al.
Pubblicazione: (2025)
Opt-ICL at LeWiDi-2025: Maximizing In-Context Signal from Rater Examples via Meta-Learning
di: Sorensen, Taylor, et al.
Pubblicazione: (2025)
di: Sorensen, Taylor, et al.
Pubblicazione: (2025)
Semantic Proximity Alignment: Towards Human Perception-consistent Audio Tagging by Aligning with Label Text Description
di: Liu, Wuyang, et al.
Pubblicazione: (2023)
di: Liu, Wuyang, et al.
Pubblicazione: (2023)
Toward Efficient and Scalable Design of In-Memory Graph-Based Vector Search
di: Azizi, Ilias, et al.
Pubblicazione: (2025)
di: Azizi, Ilias, et al.
Pubblicazione: (2025)
Audio Large Language Models Can Be Descriptive Speech Quality Evaluators
di: Chen, Chen, et al.
Pubblicazione: (2025)
di: Chen, Chen, et al.
Pubblicazione: (2025)
Multi-Rater Calibrated Segmentation Models
di: Riera-Marín, Meritxell, et al.
Pubblicazione: (2026)
di: Riera-Marín, Meritxell, et al.
Pubblicazione: (2026)
Picky Eaters Make For Better Raters
di: Stoikov, Sasha, et al.
Pubblicazione: (2024)
di: Stoikov, Sasha, et al.
Pubblicazione: (2024)
MOVA: Towards Scalable and Synchronized Video-Audio Generation
di: OpenMOSS Team, et al.
Pubblicazione: (2026)
di: OpenMOSS Team, et al.
Pubblicazione: (2026)
DescribePro: Collaborative Audio Description with Human-AI Interaction
di: Cheema, Maryam, et al.
Pubblicazione: (2025)
di: Cheema, Maryam, et al.
Pubblicazione: (2025)
Correcting Human Labels for Rater Effects in AI Evaluation: An Item Response Theory Approach
di: Casabianca, Jodi M., et al.
Pubblicazione: (2026)
di: Casabianca, Jodi M., et al.
Pubblicazione: (2026)
Bayesian Generative Adversarial Networks via Gaussian Approximation for Tabular Data Synthesis
di: Nasution, Bahrul Ilmi, et al.
Pubblicazione: (2026)
di: Nasution, Bahrul Ilmi, et al.
Pubblicazione: (2026)
Self-Improving VLM Judges Without Human Annotations
di: Lin, Inna Wanyin, et al.
Pubblicazione: (2025)
di: Lin, Inna Wanyin, et al.
Pubblicazione: (2025)
A non-sequential arithmetical theory with pairing
di: Murwanashyaka, Juvenal
Pubblicazione: (2025)
di: Murwanashyaka, Juvenal
Pubblicazione: (2025)
Friedman's $ \mathsf{WD} $ is not parameter-free sequential
di: Murwanashyaka, Juvenal
Pubblicazione: (2025)
di: Murwanashyaka, Juvenal
Pubblicazione: (2025)
Documenti analoghi
-
Making AI Drafts Count: A Quality Threshold in Audio Description Workflows
di: Do, Lana, et al.
Pubblicazione: (2026) -
ADx3: A Collaborative Workflow for High-Quality Accessible Audio Description
di: Do, Lana, et al.
Pubblicazione: (2026) -
Ecotourism and primate habituation: Behavioral variation in two groups of white-faced capuchins (Cebus capucinus) from Costa Rica
di: Shasta E. Webb
Pubblicazione: (2014) -
Toward Scalable Patient Safety Training: A Prototype for Root Cause Analysis Simulation With AI Virtual Avatars
di: Hu, Yuqi, et al.
Pubblicazione: (2025) -
SpatialTraceGen: High-Fidelity Traces for Efficient VLM Spatial Reasoning Distillation
di: Huh, Gio, et al.
Pubblicazione: (2025)