| _version_ | 1866901481605562368 |
|---|---|
| author | Bernal Díaz, Víctor Cristóbal |
| author_facet | Bernal Díaz, Víctor Cristóbal |
| contents | <p>Dataset completo de evaluaciones cruzadas RFC-EVAL-001 – 6 sistemas de IA (enero 2026)</p> <p>Este dataset contiene las 36 evaluaciones cruzadas completas realizadas en enero de 2026 entre seis sistemas de IA comerciales de última generación, identificados como IA1-IA6 en el dataset anonimizado.</p> <p>Cada sistema evaluó a los otros cinco y a sí mismo en cuatro dimensiones cognitivas: Complejidad del Modelo (Cm), Horizonte Temporal (Ht), Meta-Modelado (Mm) y Flexibilidad Adaptativa (Fa), utilizando el protocolo estandarizado RFC-EVAL-001 v1.1.</p> <p>ESTRUCTURA DEL ARCHIVO EXCEL:</p> <p>Hoja 1 - Dataset_completo:<br>Las 36 evaluaciones con puntuaciones en escala 0-1 para cada dimensión, cálculo de Gamma (γ) por evaluación, y marcas temporales. Formato: evaluado, evaluador, Cm, Ht, Mm, Fa, gamma, timestamp.</p> <p>Hoja 2 - Matriz_Gamma:<br>Matriz 6×6 con valores γ por par evaluador-evaluado (diagonal = autoevaluaciones).</p> <p>Hoja 3 - Medias_por_sistema:<br>Resumen por sistema con medias netas de cada dimensión (excluyendo autoevaluación), Gamma neto, clasificación NOVA, sesgo de autoevaluación y fortaleza principal.</p> <p>Hoja 4 - Tests_Rubricas:<br>Especificaciones completas de los tests para cada dimensión, incluyendo prompts exactos, criterios de evaluación y rúbricas de puntuación (0-1 con descriptores por nivel).</p> <p>Hoja 5 - Plantilla_Evaluacion_Fa:<br>Plantilla detallada para la evaluación de Flexibilidad Adaptativa (Fa), con desglose de componentes, pesos, criterios específicos y puntuaciones máximas.</p> <p>Hoja 6 - Protocolo_Ejecucion:<br>Plan de ejecución de 2 semanas con tareas diarias, duración estimada y responsables.</p> <p>Hoja 7 - Plantilla_Resultados:<br>Formato estándar para reportar hallazgos, incluyendo metadatos, tablas de resultados, análisis de fiabilidad (ICC), ranking de creatividad y limitaciones.</p> <p>Este dataset es el original verificado y corregido, y constituye la base de los análisis presentados en el Documento 30 (technical report) y el Documento 31 (manuscrito asociado). Las rúbricas y plantillas de evaluación incluidas permiten la replicación exacta del estudio y garantizan la transparencia metodológica completa.</p> <p>LICENCIA:<br>Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)</p> <p>PALABRAS CLAVE:<br>AI evaluation, cognitive profiling, large language models, inter-rater reliability, RFC-EVAL-001, benchmark dataset, rubrics, evaluation protocol</p> |
| format | Recurso digital |
| id | zenodo_https___doi_org_10_5281_zenodo_18671147 |
| institution | Zenodo |
| language | spa |
| publishDate | 2026 |
| publisher | Zenodo |
| record_format | zenodo |
| spellingShingle | 31. DATASET COMPLETO DE EVALUACIONES CRUZADAS RFC-EVAL-001 – 6 SISTEMAS DE IA (ENERO 2026). Bernal Díaz, Víctor Cristóbal AI evaluation cognitive profiling large language models inter-rater reliability RFC-EVAL-001 benchmark dataset <p>Dataset completo de evaluaciones cruzadas RFC-EVAL-001 – 6 sistemas de IA (enero 2026)</p> <p>Este dataset contiene las 36 evaluaciones cruzadas completas realizadas en enero de 2026 entre seis sistemas de IA comerciales de última generación, identificados como IA1-IA6 en el dataset anonimizado.</p> <p>Cada sistema evaluó a los otros cinco y a sí mismo en cuatro dimensiones cognitivas: Complejidad del Modelo (Cm), Horizonte Temporal (Ht), Meta-Modelado (Mm) y Flexibilidad Adaptativa (Fa), utilizando el protocolo estandarizado RFC-EVAL-001 v1.1.</p> <p>ESTRUCTURA DEL ARCHIVO EXCEL:</p> <p>Hoja 1 - Dataset_completo:<br>Las 36 evaluaciones con puntuaciones en escala 0-1 para cada dimensión, cálculo de Gamma (γ) por evaluación, y marcas temporales. Formato: evaluado, evaluador, Cm, Ht, Mm, Fa, gamma, timestamp.</p> <p>Hoja 2 - Matriz_Gamma:<br>Matriz 6×6 con valores γ por par evaluador-evaluado (diagonal = autoevaluaciones).</p> <p>Hoja 3 - Medias_por_sistema:<br>Resumen por sistema con medias netas de cada dimensión (excluyendo autoevaluación), Gamma neto, clasificación NOVA, sesgo de autoevaluación y fortaleza principal.</p> <p>Hoja 4 - Tests_Rubricas:<br>Especificaciones completas de los tests para cada dimensión, incluyendo prompts exactos, criterios de evaluación y rúbricas de puntuación (0-1 con descriptores por nivel).</p> <p>Hoja 5 - Plantilla_Evaluacion_Fa:<br>Plantilla detallada para la evaluación de Flexibilidad Adaptativa (Fa), con desglose de componentes, pesos, criterios específicos y puntuaciones máximas.</p> <p>Hoja 6 - Protocolo_Ejecucion:<br>Plan de ejecución de 2 semanas con tareas diarias, duración estimada y responsables.</p> <p>Hoja 7 - Plantilla_Resultados:<br>Formato estándar para reportar hallazgos, incluyendo metadatos, tablas de resultados, análisis de fiabilidad (ICC), ranking de creatividad y limitaciones.</p> <p>Este dataset es el original verificado y corregido, y constituye la base de los análisis presentados en el Documento 30 (technical report) y el Documento 31 (manuscrito asociado). Las rúbricas y plantillas de evaluación incluidas permiten la replicación exacta del estudio y garantizan la transparencia metodológica completa.</p> <p>LICENCIA:<br>Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0)</p> <p>PALABRAS CLAVE:<br>AI evaluation, cognitive profiling, large language models, inter-rater reliability, RFC-EVAL-001, benchmark dataset, rubrics, evaluation protocol</p> |
| title | 31. DATASET COMPLETO DE EVALUACIONES CRUZADAS RFC-EVAL-001 – 6 SISTEMAS DE IA (ENERO 2026). |
| topic | AI evaluation cognitive profiling large language models inter-rater reliability RFC-EVAL-001 benchmark dataset |
| url | https://doi.org/10.5281/zenodo.18671147 |