Siempre es muy complicado el poder verificar que los datos son los correctos cuando estamos hablando de aplicaciones en el mundo Big Data. Para poder validar una aplicación BigData con Map Reduce podemos realizarlo de tres formas:

1) Generar los datos en origen a través de la API. En este caso sería utilizar la API para generar el fichero de entrada. Se prueba directamente la API. El problema es que a veces no existe una API por delante o bien es imposible simular todos los caos de prueba. Este caso hemos visto que es perfecto el MapReduce no realiza conteos únicamente, si no que hace operaciones un poco más complejas, como medias, varianzas...

2) Generar el fichero de entrada directamente y validarlo mediante programas de cálculo. Se coge de un fichero de entrada de logs fijo y un fichero de salida que utilizaremos como base y que estará prevalidado por nosotros utilizando otra herramienta (en este caso, el excel).

3) Crear catas de datos. En los casos anteriores, no vamos a generar los mismos datos que producción (seguramente tengamos millones de registros) y vamos a trabajar con un conjunto de datos reducido. Si queremos comprobar en producción, podemos generar un dato atípico que nos permita comprobar que el proceso funciona.