IV Simposio Nacional de Predicci≤n

Memorial "Alfonso Ascaso"

Madrid 15-19 Abril 1996

I.N.M.


VERIFICACIÓN DE PREDICCIONES. IMPLEMENTACIÓN INFORMÁTICA.

Juan de Dios del Pino Corredera 1
Feliciano Jiménez Sánchez 2
Guillermo Ballester Valor 3.

1 S.E.D de Andalucía Occidental (I.N.M)
2 Servicio Nacional de Predicción (I.N.M)
3 OMA Armilla, Granada (I.N.M)

RESUMEN

La verificación sistemática de las predicciones ha sido siempre un deseo y una necesidad en cualquier unidad de predicción. Se presenta una aplicación ajustada a los productos de predicción que se hacen en el ámbito del INM, basados en el manual de términos meteorológicos (ESTILO).Entre las características de la aplicación destaca su versatilidad al ser adaptable a cualquier GPV, y permite verificar predicciones con diferente resolución espacial y temporal (boletines provinciales, autonómicos y medio plazo). Las predicciones son consideradas probabilísticas en los términos que define el léxico (posible, probable, casi seguro) sobre un conjunto de nueve predictandos (nubosidad, visibilidad, lluvia, tormenta, nieve, helada, temperatura, dirección y velocidad del viento), cada uno de los cuales se puede presentar en las diferentes clases que contempla el manual de ESTILO. Las medidas de verificación e índices adoptados son aplicables a predictandos ordinales y nominales. Permite estudiar la predicción de los cambios en el estado de la atmósfera y resaltar la adversidad y dificultad de una predicción.

1.    Introducción.

Cualquier esquema de verificación de predicciones pretende entre sus objetivos la detección de sesgos, el análisis del grado de dispersión y exactitud, determinar el porcentaje de aciertos, errores leves o relevantes, advertir la adversidad ocasionada por la intensidad extrema de algún predictando o la adversidad por la presencia de algún fenómeno no habitual, o la adversidad debida a los cambios bruscos en las condiciones atmosféricas, aportar medidas globales de valoración, destacar la influencia de la estacionalidad en la relevancia de las predicciones, capacidad para seleccionar entre dos sistemas de predicción, etc.

Las predicciones que, según el Manual de Términos Meteorológicos del INM (ESTILO), realiza cualquier GPV son necesariamente probabilísticas y los predictandos pueden ser nominales ordenados (lluvia, visibilidad, tormenta, nieve, helada, tendencia de la temperatura e intensidad del viento) o simplemente nominales (nubosidad y rumbo del viento). No se predicen valores para los predictandos sino clases (vientos en calma, flojos, etc.) por lo que se tratan en general de predictandos ordinales clasificados. La definición de las categorías o clases para cada predictando son las que aparecen en el manual de ESTILO.

Los boletines del INM, pueden ser provinciales, autonómicos y medio plazo, por lo que están redactados con diferente resolución espacial y temporal. La verificación debe permitir comparar cada boletín con una observación expresada con la misma resolución. Esta necesidad se entiende mejor en los boletines autonómicos que expresan la intención de resumir y no la imposibilidad de predecir con mayor resolución. Los boletines de plazo medio requieren una doble verificación. Deben ser comparados con observaciones realizadas con resolución espacial semejante a una provincia y temporal equivalente a un día, con el fin de determinar si cumplen los objetivos que actualmente se les exige. Pero también se deben valorar con la resolución de los boletines provinciales afín de resaltar su menor resolución. El esquema que planteamos permite esta variedad, siempre que se dispongan de las respectivas observaciones. No obstante también permite comparar cualquier boletín con la resolución deseada.

2.     Aplicación VERPRE.EXE

VERPRE.EXE es muy versátil, pues permite seleccionar los predictandos,

comarcas climatológicas, períodos del día, duración del episodio, etc. Además, aunque los índices pueden extraer las predicciones no relevantes, no siempre logra sus propósitos, por lo que si en un período concreto correspondiente a un episodio adverso en 1 o 2 predictandos (lluvia fuerte y tormenta, viento fuerte , etc), se pueden seleccionar solo estos, ya que el programa antes de iniciar la valoración, informa de los predictandos con variabilidad en la observación o en la predicción.

Cuando se encuentra con una predicción u observación, considerada imposible a priori (la frecuencia climatológica del suceso es cero; por ejemplo, nevada en verano en Sevilla), VERPRE no contabiliza su verificación. De este modo, excluye de modo automático las predicciones evidentes de cada estación climatológica.

Consta de los siguientes ficheros:

VERPRE.EXE

FON\FON1.FON, FON\FON2.FON

CFG\ENTORNO.RES

CFG\CLIMAPRI.RES, CFG\CLIMAVER.RES, CFG\CLIMAOTO.RES, CFG\CLIMAINV.RES

BOL\PROV0.RES,

BOL\PROV11.RES, BOL\PROV12.RES, BOL\PROV22.RES

BOL\AUTO11.RES, BOL\AUTO12.RES, BOL\AUTO22.RES

BOL\MEDI13.RES BOL\MEDI14.RES, BOL\MEDI15.RES

SAL\NUBOSI.SAL, ..., SAL\VTOINT.SAL

SAL\GPVCLIMA.SAL

SAL\RESUMEN.SAL

SAL\RESUME.TOT

HIS\NUBOSI.HIS, ..., HIS\VTOINT.HIS

HIS\RESUMEN.HIS

2.1.    Fichero de configuración.

El fichero CFG\ENTORNO.RES contiene la denominación del GPV, el numero y denominación de los períodos en los que se desea dividir el día de acuerdo con la resolución temporal de las predicciones, el número y denominación de las comarcas climatológicas en los que dividir el área de influencia del GPV y según la resolución geográfica de las predicciones, el numero y nombre de los boletines de predicción, el nombre de los ficheros donde están las predicciones y el nombre del fichero con la observación.

Por ejemplo, la TABLA 1 presenta el fichero de entorno usado por el GPV de Andalucía Occidental, para observaciones con resolución similar a la que tienen los boletines provinciales, pero usado en la verificación de todos los boletines.

2.2.    Ficheros climatología.

La climatología como predictor basa sus decisiones en la probabilidad a priori de ocurrencia de cada clase de un predictando. Se usa como predictor referencia para relativizar al predictor objetivo del GPV. En este sentido, el fichero CFG\CLIMAEST.RES contiene las componentes de los vectores de las predicciones probabilísticas para cada predictando, perteneciente al predictor de referencia. Esto es la climatología del GPV.

La climatología la consideramos para este propósito variable con la estación y la comarca geográfica para la que se predice. La TABLA 2 presenta un fragmento de la climatología usada en verano en el GPV de Andalucía Occidental.

2.3.     Boletines de prediccción.

Las observaciones deben ser representativas de la zona y período que se verifica, y sobre todo ajustarse a la resolución espacial y temporal de los ficheros de configuración. Si se observa, por ejemplo, el viento en una zona, no es suficiente buscar los datos de alguna estación de observación de la zona, pues es posible que el dato de viento aportado sea muy local. Conviene hacer una análisis teniendo presente los demás datos de la zona y su entorno (los análisis de mesoescala PAMIS son muy adecuados). Para facilitar las observaciones de tormentas, tendencia de la temperatura y velocidad y rumbo del viento, existe un programa en McIDAS llamado OBSERVA.

Estos ficheros pueden editarse de dos formas:

A) Mediante la conjunción de los programas APO y BDP. Es la opción recomendada, sobre todo si los boletines de predicción se editan mediante la aplicación APO.

B) Mediante cualquier editor de código ASCII.


35 35 13 12 3 2

35 35 13 12 3 2

35 35 13 12 3 2

35 34 15 14 1 1

35 34 15 14 1 1

21 22 27 26 2 2

13 13 30 30 7 7

33 33 16 15 2 1

33 33 16 15 2 1

33 33 16 15 2 1

34 34 15 14 2 1

34 34 15 14 2 1

34 34 15 14 2 1


Tabla 2. Climatología del predictando nubosidad válida en verano en el área del GPV de Andalucía Occidental.]

2.4.    Ejecución.

Al ejecutar el programa VERPRE.EXE, se produce una interaccion a través del teclado-monitor hasta definir el objeto de la verificación. La secuencia del dialogo se refiere a los siguientes conceptos:

SELECCIÓN DE LA RESOLUCIÓN

SELECCIÓN DEL ÍNDICE

SELECCIÓN DEL PRIMER DÍA DEL EPISODIO

SELECCIÓN DEL NUMERO DE DÍAS DEL EPISODIO

SELECCIÓN DEL BOLETÍN DE PREDICCIÓN

SELECCIÓN DE LOS PERÍODOS DEL DÍA

SELECCIÓN DE LAS COMARCAS CLIMATOLÓGIAS

INFORMACIÓN SOBRE EL MÁXIMO DE DÍAS DISPONIBLES

INFORMACIÓN SOBRE LOS PREDICTANDOS CON VARIABILIDAD

SELECCIÓN DE LOS PREDICTANDOS

INFORMACIÓN SOBRE LOS PREDICTANDOS ESTUDIADOS

SELECCIÓN PREDICCIONES-OBSERVACIONES PERSISTENTES

SELECCIÓN DE LOS DÍAS DEL EPISODIO QUE SE INCLUYEN

INFORMACIÓN RESUMEN DE LA VERIFICACIÓN

INFORMACIÓN GRÁFICA DE LA VERIFICACIÓN

SELECCIÓN DE LOS RESULTADOS DE LA VERIFICACIÓN A IMPRIMIR

INFORMACIÓN ,SI CORRESPONDE, SOBRE ERROR EN LECTURA DE DATOS O CÁLCULOS.

Antes de los predictandos, VERPRE hace una lectura de las observaciones y predicciones seleccionadas e informa de los predictandos que tienen variabilidad en dicho episodio. Con esta información podemos descartar del estudio los predictandos que han sido observados o previstos en las categorías climatológicamente mas frecuentes. Esta información sólo se produce si el episodio no es superior a un mes.

Permite excluir la valoración de las predicciones y observaciones que han sido persistentes respecto del período anterior y posterior. Si se elige la opción 'N', VERPRE filtrará esta persistencia con el objeto de valorar si los cambios en el tiempo han sido suficientemente previstos.

2.5.    Resultados de la verificación.

Los resultados de la verificación aparecen en varios formatos y con un grado de análisis diferentes en los subdirectorios \SAL e \HIS. Pueden resultar excesivos, aunque se pretende que según el objetivo de la verificación se elijan unos u otros valores.

En el subdirectorio \SAL para cada predictando hay un fichero de nombre 'PREDICTANDO'.SAL con 'PREDICTANDO' = {NUBOSI, VISIBI, LLUVIA, TORMEN, HELADA, TEMPER, VTORUM, o VTOVEL} que contiene una valoración detallada del mismo.

De la valoración de cada predictando, se extrae una media ponderada para todos los predictandos seleccionados. Esta valoración global está contenida en fichero RESUME.SAL del subdirectorio \SAL.

Otra valoración conjunta de toda la predicción, obtenida mediante el concepto de índice, se incluye en el fichero SAL/GPVCLI.SAL. De los principales resultados de este fichero VERPRE.EXE presenta al final de la ejecución una

gráfica con los aciertos del GPV, los aciertos de la climatología e índice para cada uno de los días del episodio. Esto para cada uno de los predictandos y para la predicción global.

Figura 1. Verificación de los boletines provinciales H+18 para el episodio del 3 al 9 de marzo de 1996.]

Además, los resultados de la verificación de la predicción de cada predictando y el resumen de todos los predictandos, se añaden a unos ficheros históricos, contenidos en el subdirectorio \HIS, con el fin de estudiar la evolución temporal de la calidad de las predicciones. Estos ficheros se denominan como los anteriores pero con la extensión '.HIS'.

3.    Resumen de las magnitudes calculadas en VERPRE.EXE

El análisis de las predicciones se aborda desde tres puntos de vista. En primer lugar se hace un estudio estadístico del sistema compuesto por las clases previstas y las clases observadas en cada predictando. Los contrates de hipótesis son utilizados para inferir acerca del sistema de predicción. Por último se hace un estudio comparado del sistema de predicción con otro de referencia, en particular con la climatología de la zona.

3.1.    Estudio Estadístico.

Todo estudio estadístico parte de una distribución de frecuencias o tabla de contingencia, que nos dice el número absoluto o relativo de veces en los que se presenta cada uno de los posibles estados del sistema compuesto clase observada y clase prevista. Para generar una distribución de frecuencias es necesario que el sistema de predicción sea DETERMINISTA, y dado que el utilizado por el Instituto Nacional de Meteorología es probabilístico en la mayoría de sus predictandos, parece imposible su generación. Veamos como solucionar el problema a partir del concepto de pseudo-acierto.

Para un predictor probabilístico, su predicción es una distribución de probabilidad de los diferentes estados en los que puede encontrarse un predictando. El predictando se realizará u observará en un único estado del conjunto de posibilidades. Esto implica que no se pueda hablar de acierto o fallo de un predictor probabilístico, en los mismos términos que para un predictor determinista. Para valorar si el juicio de un predictor DETERMINISTA es cierto, es preciso tomar una muestra suficientemente amplia de predicciones definidas por una distribución de probabilidad idéntica y comprobar si coincide con la distribución de frecuencias de las observaciones. Podemos asociarle al predictor la probabilidad supuesta para el suceso observado, a lo que llamamos pseudoacierto. De este modo, si los sucesos se realizaran con la distribución de frecuencias supuesta por el predictor, éste tendrá un pseudoacierto que se aproximará al concepto de acierto a medida que sus predicciones son más deterministas, esto es, con una distribución de probabilidad más aguda. También debemos de contabilizar la probabilidad asignada a los sucesos no ocurridos como pseudo-errores. Con esta idea cuando se construye la tabla de contingencia no se asigna 1 a la frecuencia absoluta del par clase observada y clase prevista, sino que se asigna la probabilidad prevista a cada una de las clases observables.

La dependencia entre clases previstas y observadas es una buena media de la certeza de las predicciones. Entre las medidas de dependencia implementadas, los más versátiles, en cuanto que son aplicables a predictandos no necesariamente ordenados, son el coeficiente de determinación anova, el coeficiente de contingencia y el coeficiente V de Kramer. Este último está definido por la expresión:


Rough Equation

V sub{KR} = {1 over{ n(k sup{2}-1)}} SUM FROM {i=1 } TO {n } SUM FROM {j=1 } TO {m} {(O SUB {ij} -E SUB {ij} ) SUP {2} } OVER { E SUB {ij}}
con Oij y Eij las frecuencias absolutas observadas y esperadas respectivamente.

Las medidas de dependencia que requieren que el predictando sea ordenado son menos versátiles, pero incorporan más información sobre la dependencia, pues en caso de error tienen en cuenta si la discrepancia entre predicción y observación es en una o más categorías del predictando. La covarianza y el coeficiente de regresión lineal están en este grupo.

El coeficiente de Kuipers mide la dependencia existente entre predictando necesariamente ordenados y además incorpora la climatología como predictor de referencia. Su expresión es:

     KUI = (FC - FCA) / (N - FCC)

con FC es el total de aciertos, FCA es el total de aciertos supuestas las predicciones independientes de las observaciones, N es el número total de predicciones o máximos aciertos posibles y FCC es el número de aciertos supuesta independencia entre predicciones y observaciones y supuesto que en la muestra que se predice las frecuencias de los estados observados son los climatológicamente esperados. En definitiva el coeficiente de Kuipers pretende excluir los aciertos aleatorios. Si realmente las predicciones han sido aleatorias entonces FC y FCA son iguales, y el coeficiente Kuipers es nulo. Por el contrario si las predicciones son todas acertadas FC vale N y el coeficiente de Kuipers toma un valor positivo que no es necesariamente la unidad. Es por tanto un coeficiente no normalizado. Además, si se normaliza desaparece la influencia de la climatología.

Las expresiones del sesgo, exactitud y precisión derivan de los parámetros de centralización y dispersión de la muestra, en particular se han usado las siguientes:

Sesgo en la predicción de la categoría i,

SES (xi) = xi - med(Y|X=xi)

SES(xi) >0 ==> sobrepredicción de la categoría i.

Imprecisión en la predicción de la categoría i

IMP(xi) = var(Y|X=xi)

    

Inexactitud en la predicción de la categoría i

INE(xi) = ECM(xi) = (1/Ci) .j=1,m (yj - xi)2 . Oij

Los valores globales se obtienen a partir de la media para todas las categorías.    

La entropía del predictando Y, H(Y|X), se define como valor probable de la incertidumbre del mismo, es decir, a su valor esperado:


Rough Equation

H(Y) = E[INC (Y )]=SUM FROM {i=1} to {n} p(y sub{i}) * INC (y sub{i}) =

- sum from {i=1} to {n} p(y sub {i}) * log sub {k} p(y sub {i})


Cuando debido a un sistema de predicción X, la distribución de probabilidad de predictando es p(yi|x), entonces se define la entropía del predictando Y según el sistema de predicción X, H(Y|X), sin más que sustituir en la expresión anterior la probabilidad del predictando por su valor condicionado al valor del predictor. La entropía del predictando es una buena media de la variabilidad observada en el episodio, y la diferencia relativa entre la entropía y la entropía condicionada lo es de la dependencia entre las observaciones y las predicciones.

3.2.    Constrastes de hipótesis.

Un contrate de hipótesis en verificación meteorológica tiene sentido si somos capaces de establecer una conexión entre una hipótesis sobre la predicción meteorológica (en definitiva la predicción es buena o la predicción es mala), con una hipótesis de tipo estadístico, y hacer el contraste para ésta última. Por tanto, no hay que olvidar que lo que estamos contrastando es una hipótesis estadística que se asemeja en mayor o menor grado con nuestras hipótesis sobre que la predicción meteorológica es buena o mala.

Son muchas las hipótesis estadísticas que se pueden relacionar con la idea de que la predicción es buena o mala, por ello es por lo que proponemos varios contrastes, cada uno de los cuales se acerca de un modo diferente a la idea de buena o mala predicción. En la aplicación VERPRE.EXE se han implementado cuatro contrastes: contrate de independencia .2, contraste ANOVA, contraste de regresión lineal, contraste basado en el modelo clase observada es la clase prevista más un error aleatorio. Uno se basa el análisis ANOVA

3.3.    Índices de verificación.

Sea V una media utilizada en verificación. En muchos casos interesa comparar el valor de la medida de verificación con el correspondiente a un predictor de referencia. Tenemos así una medida de verificación relativa. En este caso lo mas usual es la diferencia entre ambos valores. Es decir, V - Vrf, con Vrf la medida de verificación aplicada al predictor que se establece como referencia.

Generalmente las predicciones se refieren a diferentes predictandos, e interesa obtener una medida de verificación única. Podría calcularse simplemente la media de las diferentes medidas de verificación, o mejor la media de la diferencia entre el predictor objeto de la verificación y el que se tome como referencia. La escalas habituales de en la que se mueve esta medida relativa depende fuertemente del predictando. Las predicciones fáciles pueden tener una escala amplia (predicciones de nieve en verano). Por ello es conveniente hacer una equivalencia de escalas.

Cuando se hace la verificación del predictor ideal el resultado, Vid debería ser un valor extremo de V. Este valor por definición debería ser igual, o al menos aproximadamente, al valor esperado E[Vid], que se define como el "valor ideal".

Cuando se hace la verificación del predictor de referencia, Vrf debe ser igual, o al menos en el rango de aproximación, al valor E[Vrf], que se define como el "valor de referencia".

Una propiedad deseable, aunque no necesaria, es que E[Vid]=1 y E[Vrf]=0. Sin embargo, cualquier medida V puede ser linealmente trasformada en otra media V' con esta propiedad. Esta trasformación es,

    V' = (V - Vrf) / (E[Vid] - E[Vrf]) = (V - Vrf) / E[Vid - Vrf]

Puede verse que

a) si V > Vrf . V'>0 y generalmente entre 0 y +1.

b) si V < Vrf . V'<0 y generalmente entre -1 y 0.

    

Una medida de verificación que cumpla esta propiedad se llama índice de verificación. En el programa se han implementado tres Índices cuyas definiciones son las siguientes.

3.3.1.    Índice aciertos.

El concepto de pseudoacierto permite definir una a medida de verificación asignado al sistema de predicción X el valor de la componente del vector vect{p(Y|X)} correspondiente al suceso ocurrido, o simplemente la probabilidad asignada por el predictor al suceso acontecido, esto es:

    VA = 100 * p(yo|X)

y a partir de esta tenemos el índice de aciertos:

3.3.2.    Índice Información.

Asignaremos al predictor la información que aporta sobre el suceso ocurrido o sobre la categoría observada para el predictando,(yo). En definitiva, es una medida, salvo factor de escala por la función logaritmo, de la probabilidad que el predictor asignaba a tal categoría, es decir, de la apuesta que el predictor hacía por esa categoría.

    VI = INF(yo|X) = +logk p(yo|X)

a partir de esta el índice de información:

3.3.3.    Índice Probabilidad.

Referencias

Daann, H. SCORING RULES IN FORECAST VERIFICATION. Short and Mediun Range Weather Predictions. Research Publication Series n. 4. OMM

del Pino, J.D. 1996. VERIRIFICACIÓN DE PREDICCIONES. Nota Técnica XED-AO- 003.96. CMT Andalucía Occidental.

del Pino, J.D. 1995. VERIFICACIÓN DE LA PREDICCIÓN DE FENÓMENOS ADVERSOS. APLICACIÓN AL GPV DE BALEARES. Nota Técnica N. 3. CMT de Valencia.

Garcias, B. Jansá, A. 1989. LAS ALERTAS DEL GPV DE BALEARES: FORMULACIÓN PROBABILÍSTICA CUANTITATIVA DE FENÓMENOS METEOROLÓGICOS SIGNIFICATIVOS. VERIFICACIÓN. EJEMPLO. Primer Simposio Nacional de Predictores del INM, 1989.

Murphy, A.H., 1993. WHATS IS A GOOD FORECAST? AN ESSAY ON THE NATURE OF GOODNESS IN WHEATHER FORECASTING. Wheahter and Forecasting 281-293, Volume 8.

Murphy, A.H., 1992. NOTES AND CORRESPONDENCE. CLIMATOLOGI, PERSISTENCE, AND THEIR LINERAR COMBINATION AS STANDARDS OF REFERENCE IN SKILL SCORES. Wheahter and Forecasting 692-698, Volume 7.

Stanky, H.R, Wilson,L.J., and Burrows,W.R., 1989. SURVEY OF COMMON VERIFICATION METHODS IN METEOROLOGY. World Weather Watch. Tecnical Repor N. 8. WMO/TD N. 358.


Indice Sesi≤n C

Indice General