Robust evaluation of point and probability predictions in economics and finance

Abstract

In economics and finance, forecasts guide many critical decisions, making their evaluation indispensable. Evaluation can be absolute, focusing on the calibration of an individual sequence of forecasts, or relative, focusing on the ranking of rival forecast sequences based on strictly consistent scoring functions. This cumulative doctoral thesis consists of four independent research papers, each contributing new methods for absolute or relative forecast evaluation, with the common aim of resolving robustness issues in current practice. These issues manifest themselves in two ways: first, sensitivity to tuning parameters that allow researchers to influence results by choosing favorable settings, and second, the absence of widely accepted procedures to quantify sampling uncertainty in commonly used evaluation tools.

The papers in Chapters 2 and 3 propose robust calibration assessment methods for probability forecasts of binary events. From a theoretical perspective, the methods in both papers build on the natural monotonicity assumption between forecasts and event rates. In fact, this condition expresses the core intuition that higher probability forecasts, for example 70%, imply more frequent event realizations than lower ones, such as 30%, and constitutes a minimal requirement for calibration assessment since violations justify discarding the forecasts without further analysis. Importantly, Chapter 3 also responds to a longstanding request in the literature by introducing inverted calibration tests, i.e., tests in which the calibration property is formulated as part of the alternative. In simulation studies, as well as empirical applications to binary events, such as credit default and low-birth-weight forecasting, the proposed methods demonstrate their ability to resolve robustness issues of existing approaches.

The papers in Chapters 4 and 5 concern the evaluation of point forecasts for real-valued outcomes. Specifically, these papers consider the decomposition of a scoring function (e.g., the omnipresent mean squared error) into non-negative numerical measures of miscalibration and discrimination and provide general results for quantifying the sampling uncertainty of these components. From a conceptual perspective, this decomposition provides deeper insights into forecast performance than the overall score and allows establishing formal connections between absolute and relative evaluation procedures. From a theoretical perspective, Chapter 4 lays the methodological foundation by establishing three separate asymptotic approximations for the decomposition components, while Chapter 5 combines these results to propose tests for the null hypotheses of equal miscalibration and equal discrimination between a pair of rival forecasts. These tests supplement classical procedures for testing equal predictive ability and provide complementary insights into forecast performance, as demonstrated in simulation studies and empirical applications to volatility and inflation forecasting.

Collectively, the four independent projects contribute to a coherent and unified view of forecast evaluation by placing the use of calibration tests and score decompositions on statistically solid footing. The resulting methods extend well beyond the specific applications studied here and are broadly applicable across diverse forecasting domains in economics, finance, and related fields.

In Wirtschaft und Finanzwesen dienen Prognosen als Grundlage für viele wichtige Entscheidungen. Eine fundierte Bewertung von Prognosen ist daher von zentraler Bedeutung. Die Bewertung kann absolut erfolgen, wenn sie sich auf die Kalibrierung einer einzelnen Prognosesequenz konzentriert, oder relativ, wenn sie die Rangfolge konkurrierender Prognosesequenzen auf der Basis streng konsistenter Bewertungsfunktionen bestimmt. Diese kumulative Dissertationsschrift besteht aus vier unabhängigen Forschungsarbeiten, die jeweils neue Methoden zur absoluten oder relativen Prognosebewertung vorschlagen und das gemeinsame Ziel verfolgen, Robustheitsprobleme in der aktuellen Praxis zu lösen. Diese Probleme manifestieren sich auf zwei Arten: Erstens in der Sensitivität gegenüber Einstellparametern, die es Forschern ermöglichen, die Ergebnisse durch die Wahl günstiger Einstellungen zu beeinflussen, und zweitens im Fehlen allgemein akzeptierter Verfahren zur Quantifizierung der Stichprobenunsicherheit in häufig verwendeten Bewertungsinstrumenten.

Die Arbeiten in den Kapiteln 2 und 3 schlagen robuste Kalibrierungsbewertungsmethoden für Wahrscheinlichkeitsprognosen binärer Zielvariablen vor. Aus theoretischer Sicht bauen die Methoden in beiden Kapiteln auf der natürlichen Monotonieannahme zwischen Prognosen und Ereignisraten auf. Tatsächlich drückt diese Bedingung die zentrale Intuition aus, dass Prognosen mit höherer Wahrscheinlichkeit, beispielsweise 70%, häufigere Ereignisrealisierungen implizieren als solche mit geringerer Wahrscheinlichkeit, beispielsweise 30%, und stellt eine Mindestanforderung für die Kalibrationsbewertung dar, da Verstöße gegen diese Bedingung das Verwerfen der Prognosen ohne weitere Evaluation rechtfertigen. Kapitel 3 geht dabei auch einer seit langem bestehenden Forderung der Literatur nach, indem es umkehrbare Kalibrierungstests einführt; d.h. Tests, bei denen die Kalibrierungseigenschaft als Teil der Alternativhypothese formuliert wird. In Simulationsstudien sowie in empirischen Anwendungen im Kontext binärer Ereignisse, wie z.B. Kreditausfall- und Niedriggeburtsgewichtsprognosen, zeigen die vorgeschlagenen Methoden ihre Fähigkeit, Robustheitsprobleme bestehender Ansätze zu lösen.

Die Beiträge in den Kapiteln 4 und 5 befassen sich mit der Bewertung von Punktprognosen für reellwertige Zielvariablen. Konkret betrachten diese Beiträge die Zerlegung einer Bewertungsfunktion (z.B. den allgegenwärtigen mittleren quadratischen Fehler) in nicht-negative numerische Maße für Fehlkalibrierung und Diskriminierung und liefern allgemeine Ergebnisse zur Quantifizierung der Stichprobenunsicherheit dieser Komponenten. Aus konzeptioneller Sicht erlaubt diese Zerlegung tiefere Einblicke in die Prognoseleistung und ermöglicht es, formale Verbindungen zwischen absoluten und relativen Bewertungsperspektiven herzustellen. Aus theoretischer Sicht legt Kapitel 4 hierfür die methodischen Grundlagen, indem es drei separate asymptotische Approximationen für die Zerlegungskomponenten entwickelt, während Kapitel 5 diese Ergebnisse kombiniert, um Tests für die Nullhypothesen der ``gleichwertigen Fehlkalibrierung" und der ``gleichwertigen Diskriminierung" zwischen zwei konkurrierenden Prognosen vorzuschlagen. Diese Tests ergänzen klassische Verfahren zur Prüfung der ``gleichwertigen Prognosefähigkeit" und liefern weiterführende Erkenntnisse zur Vorhersageleistung, wie Simulationsstudien und empirische Anwendungen zur Volatilitäts- und Inflationsprognose zeigen.

Insgesamt tragen die vier in sich abgeschlossenen Kapitel zu einer kohärenten und einheitlichen Sichtweise der Prognoseevaluierung bei, indem sie die Verwendung von Kalibrierungstests und Zerlegungen von Bewertungsfunktionen auf eine statistisch solide Grundlage stellen.