Adjudication Data: Scaffold vs Brute Force & 1M Context Evaluations

Published: 20 October 2026| Version 1 | DOI: 10.17632/kmdkk2wzpb.1
Contributor:
Alexis Román

Description

Datasets de soporte para el corpus Platino-Labs. Incluye los crudos JSON de la comparativa entre Claude Opus y DeepSeek con andamio (Brazo A vs B), y los resultados de retención de contexto masivo (T06-T09).

Files

Steps to reproduce

Metodología y Flujo de Trabajo: Este conjunto de datos contiene los resultados crudos de cuatro experimentos de evaluación de modelos de lenguaje masivos (LLM), diseñados bajo una arquitectura de "pre-registro y validación fail-closed". 1. Software y Entorno: Todas las pruebas se ejecutaron mediante scripts en Python (v3.11+), interactuando con las APIs de los modelos a través de OpenRouter (como enrutador unificado). La orquestación, recolección de telemetría y aseguramiento de integridad se gestionaron mediante un sistema de validación propio (Gates) y control de versiones con Git/GitHub Actions. 2. Recolección de Datos: Experimento "Andamio vs Fuerza Bruta" (Brazo A vs B): Se seleccionaron 50 problemas sintéticos de deducción estructural bajo esquemas JSON cerrados. Brazo A: Se envió el prompt directamente a claude-opus-5 sin validación intermedia. Brazo B: Se utilizó deepseek-chat con un andamio de validación estricta. Si la respuesta no pasaba el validador de sintaxis, el error (RC > 0) se reintroducía en el prompt para un máximo de 5 reintentos. Experimentos de Contexto Masivo (T06-T09): Se construyeron prompts de ~917,000 tokens (rellenados con texto sintético) y se insertó un dato oculto (la "aguja") en diferentes posiciones relativas: al final (T06), en el medio exacto (T07) y mediante razonamiento cruzado (Multi-Hop, T08). 3. Instrumentos y Telemetría: Modelos: anthropic/claude-opus-5 y deepseek/deepseek-chat. Extracción: Se registró el objeto usage completo devuelto por la API (tokens de entrada, salida, caché y coste en USD) para cada llamada. Validación: Las respuestas se evaluaron con un oráculo independiente que comparaba la salida del modelo contra la respuesta esperada, midiendo la validez sintáctica (¿es un JSON parseable?) y la validez semántica (¿la deducción es correcta?). 4. Aseguramiento de Integridad: Cada archivo .json y .jsonl incluido en este dataset fue sellado criptográficamente. Los hashes SHA-256 de todos los archivos se pueden verificar consultando el archivo MANIFIESTO_SHA256.txt adjunto. El código fuente de los instrumentos de validación está disponible públicamente en el repositorio de GitHub vinculado a este dataset.

Categories

Artificial Intelligence, Software Engineering, Machine Learning, Model Evaluation

Licence