IV Simposio Nacional de Predicci≤n

Memorial "Alfonso Ascaso"

Madrid 15-19 Abril 1996

I.N.M.

Se presenta un método de verificación de predicciones generales, basado en índices derivados del Ranked Probability Score y tomando una referencia climatológica para valorar la pericia. Es aplicado a las predicciones diarias para la Región de Murcia durante un semestre, con el objeto de detectar fallos significativos y facilitar un control de calidad. Las predicciones son codificadas y sometidas a una interpretación probabilista, limitándonos, de momento, al valor medio de la nubosidad y a la ocurrencia de precipitación y tormenta. Se comprueba que la predicción de nubosidad es la de mayor porcentaje de fallos, aportando escasa información adicional respecto de la climatología, mientras que la de las otras variables resulta más valiosa.

1.    Introducción.

El problema de la verificación de las predicciones meteorológicas es complicado, siendo poco probable que se pueda desarrollar una técnica universal de evaluación adecuada a cualquier circunstancia. En España, afortunadamente, la divulgación e implantación de un Manual de términos meteorológicos (INM, 1992) han propiciado la existencia de predicciones generales expresadas objetivamente, reduciendo notablemente el problema de la interpretación, si bien todavía persisten algunos inconvenientes, al no estar específicamente concebido ese texto para la verificación.

Otro tipo de problemas son los relativos a la evolución temporal y a la distribución espacial (Garcías y Guijarro, 1995), los cuales pueden abordarse mediante la utilización de valores medios temporales y la aplicación de la predicción a una pequeña área, de la cual sean representativas las observaciones que se utilicen para la verificación. A continuación podríamos preguntarnos qué índice de verificación adoptar, de entre una gran cantidad de ellos (Murphy y Epstein, 1967), o cómo influye en la actuación del predictor el conocimiento del sistema de verificación que se aplique, incluso a nivel psicológico (Sanders, 1967). Está claro que el índice adoptado debería aportar información acerca de la dificultad de la predicción, en comparación con predicciones triviales como puedan ser las basadas en la climatología o en la persistencia, pero no lo está tanto entre qué valores podría considerarse acertada o fallada la predicción de las variables meteorológicas, cada una de ellas con características muy peculiares. La elección de los umbrales dependerá de la cantidad de casos que se desee seleccionar.

La complejidad de los problemas someramente expuestos aconseja abordar el trabajo con acotaciones que lo simplifiquen, al menos en las etapas iniciales. En este marco se inscribe este estudio, cuyo objetivo inicial es la detección de días con fallo significativo de la predicción, aunque pueda utilizarse también para evaluar la calidad global en conjuntos temporales más amplios.

2.    Metodología.

2.1.    Indices de verificación.

La redacción de las predicciones de manera objetiva, en términos de probabilidad o con equivalencias numéricas, permite el empleo de índices de verificación especialmente diseñados para este tipo de predicciones, como el Ranked Probability Score (RPS) establecido por Epstein en 1969, modificado por Murphy en 1971 y adoptado por el Servicio Meteorológico canadiense en 1982. Este índice, diseñado para ser aplicado a variables ordenadas, pondera la distancia entre las categorías predichas y las observadas, penalizando los errores de acuerdo a su magnitud u orden. Está definido, para k categorías ordenadas y mutuamente excluyentes, mediante una expresión (Stanski y otros,

1989) equivalente a la siguiente:

con P el vector de predicción y O el de observación, ambos de k componentes, con la componente Oi = 1 si se observa la categoría i y Oi = 0 en caso contrario. El índice RPS varía de 0 a 1, estando orientado positivamente, es decir, sus valores mayores están asociados a los mejores pronósticos.

Para valorar la destreza de la predicción podemos comparar con un estándar, como pudiera ser el valor del mismo índice que se derivaría de la climatología o de la persistencia. Así se pretende asignar poco valor a las predicciones que también se hubieran acertado desde el punto de vista climatológico, por ejemplo. Para ello, en algunos textos (Stanski y otros, 1989; García-Moya, Genovés, A. y otros, 1990), se opta por medir la pericia de la predicción mediante el Ranked Probability Score Skill (RPSS), definido como:

siendo p y c los subíndices correspondientes a la predicción y a la climatología, respectivamente. El índice oscila entre menos infinito y la unidad, adoptando valores positivos cuando la predicción ha sido más adecuada que la referencia climatológica y negativos en caso contrario. Alcanza la unidad cuando también lo hace el RPSp.

Sin embargo, esa definición no es afortunada en algunos casos y puede conducir a paradojas. Una predicción acertada de helada en enero para Navacerrada, por ejemplo, posee el mismo valor, la unidad, que para Alicante, cuando esta última sería mucho más valiosa. Idéntico resultado obtendríamos si, fijando el lugar, nos moviéramos de un mes a otro. Este índice presenta también el inconveniente de su gran inestabilidad, al no estar acotado inferiormente. Además, es posible encontrar casos en los cuales una predicción obtiene un valor de RPSS inferior al que obtendría una predicción peor, con la misma referencia climatológica. Por ejemplo, una predicción de "poco nuboso" (en el sentido que se matizará más adelante) para Alcantarilla en octubre, conduciría a los valores del índice RPSS que figuran en la Tabla 1, con un valor de -2,14 en una observación de "nuboso" y de -0,94 en una de "cubierto".

En cambio, si nos limitamos a manejar la mera diferencia de índices RPS, tendríamos un índice RPSpc definido como:

Este índice oscila entre -1 y +1, siendo la discusión sobre los signos idéntica a realizada anteriormente para el caso del RPSS. Al estar acotado inferiormente posee mayor estabilidad y, al ser las cotas simétricas respecto de cero, adquiere mayor sentido la posibilidad de obtener valores medios. Además, en el ejemplo antes manejado de predicción de helada, este índice puntuaría muy bien el acierto en Alicante (RPSpc=0,98) y sólo discretamente en Navacerrada (RPSpc=0,02). Por último, en el ejemplo de predicción de nubosidad antes citado, se comprueba, a la vista de la Tabla 1, que el índice RPSpc está orientado plenamente de manera positiva. El inconveniente que presenta frente al RPSS es que, aun en el caso de una predicción perfecta, puede quedarse lejos de la unidad, pues siempre se está restando el RPSc, el cual, por definición, es positivo.

En este trabajo simultanearemos ambos índices, extrayendo las consecuencias más importantes que se deriven de cada uno de ellos. También consideraremos el orden de los errores, pero sin abandonar los índices anteriores, para evitar premiar una excesiva tendencia de las predicciones hacia los valores centrales, o de bajo riesgo.

2.2.    Ambito geográfico y temporal.

El objetivo inicial de la evaluación se limita a dos puntos de la Comunidad de Murcia, como son Alcantarilla (que puede ser representativo del interior no montañoso de la Región) y San Javier (representativo del litoral). Estos observatorios han de considerarse representativos de la variable nubosidad a nivel regional. Para otras variables, como la precipitación o la tormenta, en cuya predicción se expresan probabilidades de ocurrencia, sería necesario tomar una muestra temporal más amplia y estudiar si, a largo plazo, las probabilidades están siendo bien asignadas o, mejor aún, considerar una muestra territorial mayor y valorar si, para un día determinado, el porcentaje de observatorios en el cual se ha registrado el fenómeno se corresponde con la probabilidad expresada en la predicción para un lugar, tomado al azar, del ámbito territorial considerado. Para estas últimas variables, por simplicidad de nuestro esquema de verificación, a la hora de valorar una predicción como fallida, será condición necesaria, pero no suficiente, que ésta haya errado en las estaciones elegidas.

La limitación temporal que vamos a adoptar, para acotar el problema, será la de verificar únicamente la predicción realizada para el día siguiente, a las 09:45 h. l., en valores medios, lo cual simplifica el problema al ignorar la evolución temporal. El mayor inconveniente que presenta esta simplificación es que se pueda dar por buena una predicción que tuviese invertidos los términos de la evolución temporal, pero que acertase el valor medio.

2.3.    Variables verificadas.

El objetivo de una verificación global debería abarcar a todas las variables meteorológicas que figuran en los boletines predicción, que son, por este orden, nubosidad, precipitación, tormenta, visibilidad, temperatura y viento. En principio, en este trabajo, nos limitaremos a las tres primeras, las cuales coinciden, casualmente, con las que podría verificar un usuario general de las predicciones que no dispusiese de ningún aparato de medida.

2.3.1. Nubosidad.

La expresiones literales de la predicción de la nubosidad que aparecen en los boletines se agrupan, en función del valor medio previsto, en una de las 9 que figuran en la Tabla 2. Este conjunto es suficiente, dado que la precisión con la cual se mide la variable es de .1 octavo. Como indica dicha Tabla, las categorías observables son 5, de acuerdo con el Manual.

Pero la estricta utilización de intervalos para el establecimiento de una predicción de categorías observables puede ser inapropiada. De hecho, aunque en las predicciones de nubosidad no se utilizan términos de probabilidad, es evidente que cuando se pronostica una categoría observable también se está indicando que, en caso de que la categoría observada no sea esa, es más probable que se observe una categoría cercana que una lejana. Resulta así aconsejable establecer un solape entre las expresiones, difuminado sus intervalos de definición, en el sentido de la lógica borrosa. Efectuaremos, de este modo, una interpretación probabilista de las expresiones de predicción en relación con las categorías observables, de acuerdo con lo indicado en la Tabla 2. De acuerdo con ella, cuando se realiza una predicción de "poco nuboso", por ejemplo, se interpreta que la probabilidad de que la nubosidad media esté comprendida entre 0,5 y 3,5 octavos es de un 85 %, quedando otro 15 % restante a repartir, a partes iguales, entre las categorías adyacentes. El valor del 85 % surge por analogía con lo establecido en el Manual para otras variables, para las cuales no debe hacerse mención de la probabilidad cuando ésta esté comprendida entre el 70 y el 100 %.

Tanto la utilización eventual de expresiones no cuantificadas (nubosidad de evolución, de estancamiento, etc.) como el hecho de que los archivos climatológicos no proporcionen la cantidad de nubes altas (exentas de citación en la predicción cuando suponen una fracción menor que 6 octavos), son

detalles que podrían modificar algo los resultados de una verificación. Por otro lado, existe el problema de que las climatologías existentes establecen unas categorías observables que no se corresponden con las adoptadas para las predicciones, lo que obliga a un trabajo previo de tipo climatológico.

2.3.2. Precipitación y tormenta.

Cada expresión literal de predicción de la precipitación es clasificada en una de las 10 que figuran en la Tabla 3, la cual nos da también la interpretación probabilista de cada una de ellas en relación con las categorías observables. Para el cálculo de los valores de la probabilidad se ha adoptado los criterios recogidos en el Manual, multiplicando los valores centrales de los intervalos de probabilidad asignados a las diversas expresiones, ya fuesen de probabilidad o de distribución espacial. Así, por ejemplo, la "probabilidad de precipitaciones" (comprendida entre el 40 y el 70 %) "aisladas" (entre el 10 y el 30 %), se interpreta globalmente como una probabilidad del 11 % de que tenga lugar la precipitación en el lugar elegido. Se ha considerado que frases como "se esperan", "más probables" o "preferentemente" no aportan información evaluable, que "alguno/s" es equivalente a "aislado/s" y que términos como "ocasional" no afectan a la cuantificación, pues describen la evolución temporal, no la distribución geográfica.

En el caso de la tormenta también surgen problemas a la hora de verificar la adjetivación, pues no se dispone del número de relámpagos ni del tamaño del granizo en los archivos climatológicos convencionales. También nos limitaremos a verificar la ocurrencia del fenómeno tormentoso, siendo válido lo indicado anteriormente para las precipitaciones, sustituyendo el fenómeno por el de tormenta, con una interpretación probabilista análoga a la de la Tabla 3.

3.    Resultados y discusión.

El proceso de verificación descrito se ha aplicado, a título experimental, a las predicciones para la provincia de Murcia durante el segundo semestre de 1995, una vez codificadas de acuerdo con todo lo anterior. Como referencia estandarizada se ha recurrido a la climatología, incorporando los valores climatológicos mensuales de cada variable.

Para establecer los días con posible fallo significativo de la predicción, ha sido preciso fijar previamente unos umbrales de los índices de verificación. En el caso de la nubosidad, el valor del índice RPSS no era monótonamente decreciente con el orden del fallo, pero tampoco se ha podido encontrar un umbral adecuado a cualquier época para el índice RPSpc, fijándose un criterio basado en el orden del fallo, adoptándose el orden segundo o superior y completándolo con un seguimiento de los valores medios del RPSpc, para evitar dar un tratamiento favorable a los pronósticos "centrales", sujetos a escaso riesgo de error significativo. Los resultados obtenidos en los observatorios seleccionados podrán considerarse como representativos a nivel regional.

El listado mensual presentado en la Tabla 5 es un ejemplo de las salidas proporcionadas por el esquema de verificación para el observatorio de San Javier en el mes de noviembre. Se indica, para cada día, la expresión de predicción EP, la categoría observada CO y los valores de los índices RPSpc y RPSS. En el resumen final se incluye el número de días en

los cuales el índice RPSS rebasa determinados umbrales: 0.8 (para señalar las predicciones prácticamente inmejorables) y 0.0 (para las predicciones que han resultado ser mejor o peor que la referencia climatológica), así como el signo de valor medio mensual de RPSpc, para posibilitar un seguimiento de la calidad a más largo plazo. Por último, aparece una relación de días con posible fallo significativo de la predicción, en base a los umbrales elegidos para el RPSpc. Continuando con el ejemplo del mes de noviembre

adicional respecto de esta última es muy pobre. Sólo el 25 % de las predicciones pueden considerarse como plenamente acertadas. Por el contrario, queda de manifiesto que donde adquiere verdadero valor la predicción es en el tratamiento de las otras variables, precipitación y tormenta, pues en estos casos el porcentaje de casos favorables frente a la referencia climatológica supera el 80 %, elevándose la proporción de predicciones prácticamente inmejorables hasta valores del orden del 70 %. En lo que respecta al número de días con fallo significativo, el mayor porcentaje lo vuelve a presentar la predicción de nubosidad, alcanzando el 10 % en el interior de la Región. En el caso de la tormenta, el porcentaje es insignificante en todo el territorio, en torno al 1 %. En general, se observa que las predicciones son ligeramente más acertadas en el litoral que en el interior.

En la Tabla 8 figuran los signos del valor medio del índice RPSpc para cada uno de los meses considerados. Se vuelve a apreciar que la variable más susceptible de mejorar en el pronóstico es la nubosidad, ya que en el interior dicho valor sólo ha sido positivo en el mes de agosto. Por el contrario, destaca como buena predicción la de la precipitación en el litoral, para la cual sólo nos encontramos con valor negativo en el mes de noviembre.

4.    Conclusiones.

1a) Se presenta un método de verificación de predicciones generales basado en índices derivados del RPS. El RPSS presenta algunos inconvenientes a la hora de medir la pericia, por lo que se ha adoptado también otro índice RPSpc, relacionado con el anterior, pero que parece ser más adecuado.

2a) El método de verificación se ha limitado a los valores medios diarios de la nubosidad y a la ocurrencia o no de los fenómenos de la precipitación y de

la tormenta. Las expresiones de predicción son agrupadas en un conjunto de clases y se equiparan con una probabilidad de ocurrencia de las categorías observables. En el caso de la nubosidad, además, se han difuminado los intervalos de definición, para establecer una interpretación probabilista multicategórica de las expresiones de predicción.

3a) Para decidir la existencia de un fallo significativo de la predicción de nubosidad se ha adoptado el criterio de que dicho fallo alcance el segundo orden, mientras que para la precipitación y la tormenta se han adoptado, para el índice RPSpc, los umbrales -0,09 y -0,005, respectivamente.

4a) El proceso de verificación se ha aplicado a las predicciones para la provincia de Murcia para el día siguiente, durante el segundo semestre de 1995, utilizando inicialmente las observaciones de las estaciones de Alcantarilla, en el interior, y de San Javier, en el litoral, suficientemente representativas de la nubosidad. En el caso de la precipitación y la tormenta, la posibilidad de fallo a nivel regional debe ser confirmada posteriormente con información del resto de la red pluviométrica. Mensualmente se genera un listado útil para localizar días con posible fallo significativo y un resumen, así como una relación de fechas con fallo confirmado a nivel regional.

5a) En el período de tiempo considerado, se ha comprobado que la predicción de nubosidad es apenas mejor que la referencia climatológica. Por el contrario, en el caso de la precipitación y la tormenta, la predicción es mejor en un 80% de los días, aproximadamente. También el mayor número de días con fallo significativo lo presenta la nubosidad, alcanzando el 10% en el interior, reduciéndose hasta valores del 1% en el caso de la tormenta.

6a) Los resultados cuando se maneja el valor medio mensual del índice RPSpc son similares, destacando los mediocres resultados de la nubosidad y los buenos de la precipitación en el litoral.

7a) Los objetivos del esquema de verificación son ampliables (más variables, mayor resolución espacio-temporal, mayor discriminación de categorías, etc.), posibilitando la existencia de una nueva información de retorno al GPV y facilitando el control y seguimiento de la calidad de las predicciones.

Referencias.

Brier, G. W. y Allen, R. A. 1951. Verification of weather forecast. Compendium of Meteorology, pp. 841-848.

García-Moya J. A., Genovés, A., Garcías, B. y Jansá, A. 1990. Resultados de la verificación sistemática de las alertas en el GPV de Baleares durante 1990. Segundo Simp. Nac. de Predicción del INM, pp. 399-423.

Garcías, B. y Guijarro, J. A. 1995. Problemática de la evaluación de las predicciones meteorológicas expresadas en lenguaje claro. Centro Meteor. Territ. de Baleares. Secc. de Estudios y Desarrollos, NT n. 1, 14 pp.

Murphy, A. H. y Epstein, E. S. 1967. Verification of Probabilistic Predictions: A Brief Rewiew. J. Appl. Meteor., 6, pp. 748-755.

Sanders, F. 1967. The Verification of Probability Forecasts. J. Appl. Meteor., 6, pp. 756-761.

INM. 1992. Estilo. Manual de términos meteorológicos. Inst. Nac. de Meteor., 29 pp.

Stanski, H. R. y otros. 1989. Survey of common verification methods in meteorology. WMO World Weather Watch Techn. Rep. n° 8, WMD/TD n° 358, 113 pp.

Agradecimientos.

El autor agradece las sugerencias aportadas por Francisco Martínez, del CMT de Murcia, así como la información bibliográfica proporcionada por José A. García-Moya, del Servicio de Predicción Numérica (INM).

Indice General