Mathematische Statistik 9783642419966, 9783642419973, 3642419968

Citation preview

Ludger Rüschendorf

Mathematische Statistik

Mathematische Statistik

Ludger Rüschendorf

Mathematische Statistik

Prof. Dr. Ludger Rüschendorf Albert-Ludwigs-Universität Freiburg Freiburg, Deutschland

ISSN 1234-5678 ISBN 978-3-642-41996-6 DOI 10.1007/978-3-642-41997-3

ISBN 978-3-642-41997-3 (eBook)

Mathematics Subject Classification (2010): 62-01,62-C05,62-B05,62-N05 Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. Springer Spektrum © Springer-Verlag Berlin Heidelberg 2014 Das Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung, die nicht ausdrücklich vom Urheberrechtsgesetz zugelassen ist, bedarf der vorherigen Zustimmung des Verlags. Das gilt insbesondere für Vervielfältigungen, Bearbeitungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Die Wiedergabe von Gebrauchsnamen, Handelsnamen, Warenbezeichnungen usw. in diesem Werk berechtigt auch ohne besondere Kennzeichnung nicht zu der Annahme, dass solche Namen im Sinne der Warenzeichen- und Markenschutz-Gesetzgebung als frei zu betrachten wären und daher von jedermann benutzt werden dürften. Gedruckt auf säurefreiem und chlorfrei gebleichtem Papier. Springer Spektrum ist eine Marke von Springer DE. Springer DE ist Teil der Fachverlagsgruppe Springer Science+Business Media www.springer-spektrum.de

Vorwort Das vorliegende Textbuch gibt eine Einf¨ uhrung in Fragestellungen und Methoden der mathematischen Statistik. Es basiert auf Vorlesungen, die der Autor seit 1980 regelm¨ aßig in mathematischen Studieng¨ angen in Aachen, Essen, M¨ unster und Freiburg gehalten hat. Ziel dieses Kurses ist es, ausgehend von der Datenanalyse und deren Motivation darzustellen, dass mit der Verwendung stochastischer Modelle erm¨ oglicht wird, statistische und datenanalytische Verfahren zu bewerten und zu begr¨ unden. Die Statistik wird auf diese Weise in die Entscheidungstheorie und Spieltheorie eingeordnet und damit in besonderer Weise Gegenstand der mathematischen Behandlung. Diese Eingliederung erlaubt es, die klassischen statistischen Fragestellungen wie Test- und Sch¨ atzprobleme und Konfidenzbereiche einheitlich darzustellen und statistische Auswahlkriterien wie Bayes-, Minimax- und weitere spezifische Optimalit¨ atskriterien systematisch zu entwickeln. Durch eine Reihe von motivierenden Beispielen, z.B. zum Problem der optimalen Auswahl zur Erkennung von gef¨ alschten Folgen und Daten, zur Identifikation und Rekonstruktion von verrauschten Bildern soll der breite Horizont statistischer Fragestellungen skizziert und die Bedeutung der Statistik als praxisrelevante und weitreichende Theorie der Entscheidungen beschreiben werden. Klassische und auch moderne Konstruktionsprinzipien f¨ ur statistische Verfahren werden behandelt und begr¨ undet. Hierzu werden zun¨achst eine Reihe von grundlegenden statistischen Methoden und Begriffen eingef¨ uhrt. Ein zentraler Begriff ist die Suffizienz, die den Informationsgehalt einer Statistik oder σ-Algebra beschreibt. Weitere wichtige Prinzipien sind die Reduktion durch Invarianz oder ¨ Aquivarianz, durch Unverf¨ alschtheit oder Erwartungstreue und die Reduktion auf geeignete Sch¨ atz- und Testklassen. ‘Highlights‘ sind dann jeweils die entscheidungstheoretische Begr¨ undung f¨ ur diverse statistische Verfahren wie z.B. die Zul¨assigkeit des arithmetischen Mittels in Normalverteilungsmodellen, die Optimalit¨at von tTest, F -Test, dem Pitman-Permutationstest und dem exakten Test von Fisher oder die Optimalit¨ at von Pitman-Sch¨ atzern und von U -Statistiken. Das Textbuch versucht neben den klassischen Themengebieten auch bis zu einem gewissen Grad in Anwendungen einzuf¨ uhren, die nicht unbedingt in Standardtexten zur mathematischen Statistik zu finden sind. Gegeben wird eine Einf¨ uhrung in grundlegende Prinzipien der asymptotischen Statistik. Es wird in den Kapiteln zur Sch¨ atz- und Testtheorie oder zu den Konfidenzbereichen in den ganzen

vi

Vorwort

Text eingebunden gezeigt, dass die Grenzwerts¨atze der Wahrscheinlichkeitstheorie es erm¨ oglichen, unter sehr allgemeinen Bedingungen approximative Tests und Konfidenzbereiche zu konstruieren und Eigenschaften von Sch¨atzverfahren zu beschreiben. So wird z.B. die asymptotische Verteilung von Maximum-Likelihood-Sch¨atzern oder von Martingalsch¨ atzern bestimmt und der Begriff der asymptotischen Effizienz von Sch¨ atzverfahren eingef¨ uhrt. Detailliert wird beispielhaft f¨ ur eine Reihe nichtparametrischer Sch¨ atzverfahren die Dichtesch¨atzung behandelt. Gegeben wird auch eine Einf¨ uhrung in robuste und sequentielle Tests sowie in die Statistik von Z¨ ahlprozessen wie z.B. die Methode der Martingalsch¨atzer sowie die Martingalmethode f¨ ur Anpassungstests. Themen der asymptotischen Entscheidungstheorie u uhrung. ¨ berschreiten jedoch den Rahmen dieser Einf¨ Diese Darstellung dient insbesondere dem Ziel, in die Vielfachheit und Breite statistischer Fragestellungen einzuf¨ uhren, wie etwa in das Problem der sequentiellen Statistik, mit einer m¨ oglichst geringen Anzahl von Beobachtungen effiziente Entscheidungen zu treffen oder in das Problem der robusten Statistik trotz nur approximativ zutreffender Modelle zuverl¨ assige Entscheidungen zu konstruieren. Die Statistik von Z¨ ahlprozessen ist eine methodisch wichtige Erweiterung der Statistik, mit bedeutsamen Anwendungen z.B. in der Survival-Analyse oder allgemeiner f¨ ur die Statistik von zeitabh¨ angigen Ereignissen. Behandelt werden im Text parametrische und nichtparametrische Modelle. Es werden auch einige neuere Anwendungen der Statistik angesprochen, wie z.B. auf Bildverarbeitung und Bildrekonstruktion oder auf das Quantile hedging in der Finanzmathematik. Ein zentrales Ziel dieses Textbuches ist es zu zeigen, dass die Mathematische Statistik ein Gebiet mit vielen besonders sch¨ onen Ideen und Methoden und u ¨ berraschenden Resultaten ist. Es ist reizvoll zu sehen, wie die Auswahl statistischer Verfahren schon viel u upft an ¨ber das zugrunde liegende Modell verr¨at. Dieses kn¨ die Begr¨ undung des Normalverteilungsmodells mit der Optimalit¨at des arithmetischen Mittels durch Gauß und Laplace an. Die Charakterisierung von Modellen durch Eigenschaften statistischer Verfahren ist zentrales Thema des anspruchsvol¨ len Buches von Kagan, Linnik und Rao (1973). Uberraschend ist z.B. die von Stein entdeckte Nichtzul¨ assigkeit des arithmetischen Mittels im Normalverteilungsmodell in Dimension d ≥ 3. Verbesserungen lassen sich mit Hilfe von superharmonischen Funktionen konstruieren. Ziel ist es auch besonders, der zunehmenden Spezialisierung in der Statistik entgegenzuwirken und eine breite Orientierung u ¨ ber unterschiedliche Gebiete und Themenkreise der Statistik zu geben. Wie zuverl¨assig sind datenanalytische Methoden, wann k¨onnen die Daten f¨ ur sich sprechen, was ist die Bedeutung von p-Werten, wie lassen sich Abweichungen vom Modell in die statistische Analyse einbeziehen? Auch mit diesen und ¨ ahnlichen f¨ ur die Anwendungen bedeutsamen Fragen soll sich dieser Text befassen. Der vorliegende Kurs baut auf grundlegenden Kenntnissen der Maß- und Wahrscheinlichkeitstheorie auf. Verwendete Methoden und Resultate der Funktionalanalysis, der Spieltheorie, u ¨ ber analytische Funktionen und lokal kompakte

Vorwort

vii

Gruppen werden im Text vorgestellt. Etwa ab dem 5.ten Studiensemester k¨onnen diese Themen sowohl in Bachelor- und Master- als auch in Staatsexamensstudieng¨ angen mit Gewinn vermittelt werden. An den Kurs lassen sich sehr gut Spezialvorlesungen z.B. u ¨ber asymptotische Statistik, Regressionsanalyse, Statistik von Prozessen, Bayessche Statistik oder Survival-Analyse anschließen. Das Buch enth¨ alt mehr Stoff, als in einer vierst¨ undigen Vorlesung behandelt werden kann. Neben den klassischen Themen einer Statistik-Vorlesung enth¨alt es eine Reihe von weiterf¨ uhrenden Darstellungen und Entwicklungen. Insbesondere sind die Themengebiete aus den Kapiteln 9–13 nicht Standardthemen. Die zentralen Begriffe und Methoden aus den Kapiteln 1–5 sowie 7.1 und 8.1 lassen sich jedoch einfach f¨ ur eine Vorlesung herausfiltern und werden im Eingang der Kapitel herausgestellt. Die weiterf¨ uhrenden Themen und Beispielklassen k¨onnen dann Anlass f¨ ur abschließende Anmerkungen oder Anregungen zum Selbststudium sein. Einige exemplarische Beispielklassen werden recht ausf¨ uhrlich behandelt und k¨onnen in einem Vorlesungskurs stark gek¨ urzt oder ausgelassen werden. Beispiele hierf¨ ur sind etwa die Behandlung von Gibbs-Maßen und Bildrekonstruktion in Kapitel 3.3, die detaillierte Darstellung verschiedener Sch¨ atzklassen in den Kapiteln 5.2–5.5 ebenso wie in 6.5 und 8.4. Aus den weiterf¨ uhrenden Kapiteln 9–13 lassen sich je nach der Vorgeschichte des Kurses vielleicht ein oder zwei Themen ausw¨ahlen. Von besonderer Bedeutung f¨ ur den Autor dieses Bandes waren die klassischen Darstellungen von Ferguson (1967) zur statistischen Entscheidungstheorie, von Lehmann (1959, 1983) zur Testtheorie und Sch¨atztheorie, von Zacks (1971) zu Entscheidungstheorie und zu Bayes-Verfahren und von Witting (1966) zur optimierungstheoretischen Behandlung von Testproblemen. Dieses fr¨ uhe Werk sowie die stark erweiterte Fassung von 1985 sind das wohl einflussreichste statistische Lehrbuch im deutschsprachigen Raum. Hermann Witting verdankt der Autor dieses Bandes seine Einf¨ uhrung in die Mathematische Statistik sowie sein Interesse an diesem Gebiet. Bedeutsam f¨ ur den Autor waren auch die mathematische Theorie der Experimente von Heyer (1973) sowie die mathematisch besonders interessante Behandlung von Charakterisierungsproblemen in Kagan, Linnik und Rao (1973). Von besonderem Interesse waren auch die weiterf¨ uhrenden und orientierenden Darstellungen der (asymptotischen) statistischen Entscheidungstheorie in Pfanzagl und Wefelmeyer (1982) und Strasser (1985) sowie die Darstellung der asymptotischen Statistik in Witting und M¨ uller-Funk (1995) und Liese und Miescke (2008). Die letztgenannten Werke gehen jedoch weit u ¨ ber den Rahmen dieses Buches hinaus. Die Darstellung der asymptotischen Statistik in R¨ uschendorf (1988) schließt thematisch eng an diesen Text an. Eine erste Ausarbeitung von Teilen dieses Vorlesungstextes wurde 1998 und 2004 von Christian Lauer erstellt. Ihm sei hiermit herzlich gedankt. Besonderen Dank schulde ich auch Monika Hattenbach f¨ ur ihre vorz¨ ugliche Arbeit am Erstellen und Gestalten des nahezu kompletten Textes. Danken m¨ochte ich auch Janine K¨ uhn, Viktor Wolf und Swen Kiesel f¨ ur das Korrekturlesen einiger Buchkapitel sowie Hans Rudolf Lerche f¨ ur eine Reihe wertvoller Hinweise, insbesondere zum Kapitel u ¨ber sequentielle Tests.

Inhaltsverzeichnis 1

Einf¨ uhrung: Datenanalyse und mathematische Statistik 1.1 Regressionsanalyse . . . . . . . . . . . . . . . . . . . . . . . 1.1.1 Lineare Regression . . . . . . . . . . . . . . . . . . . 1.1.2 Nichtlineare Abh¨ angigkeit . . . . . . . . . . . . . . . 1.1.3 Lineare Modelle . . . . . . . . . . . . . . . . . . . . . 1.1.4 Nichtparametrische Regression . . . . . . . . . . . . 1.2 Mathematische Statistik – Entscheidung unter Unsicherheit 1.2.1 Ein Auswahlproblem . . . . . . . . . . . . . . . . . . 1.2.2 Zuf¨ allige Folgen . . . . . . . . . . . . . . . . . . . . . 1.2.3 Bildverarbeitung und Bilderkennung . . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

1 . 2 . 2 . 5 . 6 . 7 . 8 . 8 . 10 . 13

2

Statistische Entscheidungstheorie 17 2.1 Statistisches Entscheidungsproblem . . . . . . . . . . . . . . . . . . 17 2.2 Entscheidungskriterien, Bayes- und Minimax-Verfahren . . . . . . 29 2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche . . . . . 40

3

Verteilungsklassen – statistische Modelle 57 3.1 Dominierte Verteilungsklassen . . . . . . . . . . . . . . . . . . . . . 57 3.2 Exponentialfamilien . . . . . . . . . . . . . . . . . . . . . . . . . . 67 3.3 Gibbs-Maße, Bildrekonstruktion und Simulated Annealing . . . . . 72

4

Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit 81 4.1 Suffiziente σ-Algebren und Statistiken . . . . . . . . . . . . . . . . 81 4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit . . . . . 101 4.3 Anwendungen in der nichtparametrischen Statistik . . . . . . . . . 114

5

Sch¨ atztheorie 123 5.1 Erwartungstreue Sch¨ atzer . . . . . . . . . . . . . . . . . . . . . . . 124 5.2 Struktur gleichm¨ aßig minimaler Sch¨atzer . . . . . . . . . . . . . . 141

x

Inhaltsverzeichnis

5.3

5.4 5.5

6

Unverf¨ alschte Sch¨ atzer und konvexe Verlustfunktionen . . . . . . 5.3.1 Erwartungstreue Sch¨ atzer bei konvexer Verlustfunktion . 5.3.2 Unverf¨ alschte Sch¨ atzer . . . . . . . . . . . . . . . . . . . . Fisher-Information, Cram´er-Rao-Schranken und Maximum-Likelihood-Sch¨ atzer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Momentenmethode und Methode der kleinsten Quadrate . . . . . 5.5.1 Die Momentenmethode . . . . . . . . . . . . . . . . . . . 5.5.2 Methode der kleinsten Quadrate . . . . . . . . . . . . . .

Testtheorie 6.1 Existenz optimaler Tests . . . . . . . . . . . . . . . . . . . 6.2 Konstruktion optimaler Tests (Neyman-Pearson-Theorie) 6.3 Zusammengesetzte Hypothesen . . . . . . . . . . . . . . . 6.4 Unverf¨ alschte, ¨ ahnliche und bedingte Tests . . . . . . . . 6.5 Unverf¨ alschte Tests in Linearen Modellen . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. 148 . 148 . 151 . . . .

156 170 171 173

181 . 182 . 189 . 197 . 214 . 224

7

Konfidenzbereiche 229 7.1 (Approximative) Konfidenzbereiche und Pivotstatistiken . . . . . . 230 7.2 Konfidenzbereiche und Tests . . . . . . . . . . . . . . . . . . . . . 240

8

¨ Invarianz und Aquivarianz ¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und 8.2 Invariante Testprobleme . . . . . . . . . 8.3 Der Satz von Hunt und Stein . . . . . . 8.4 Invariante Tests in Linearen Modellen .

9

Skalenfamilien . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . .

. . . .

. . . .

. . . .

. . . .

Robuste Tests 9.1 Ung¨ unstigste Paare und Kapazit¨ aten . . . . . . . . . . . . . . . . 9.2 Umgebungsmodelle und robuste Tests . . . . . . . . . . . . . . . 9.3 Robuste Tests gegen Abh¨ angigkeit . . . . . . . . . . . . . . . . .

10 Sequentielle Tests

. . . .

249 250 267 276 283

297 . 298 . 308 . 314 317

11 Einf¨ uhrung in die asymptotische Statistik 337 11.1 Auswahl statistischer Verfahren . . . . . . . . . . . . . . . . . . . . 338 11.2 Dichtesch¨ atzung . . . . . . . . . . . . . . . . . . . . . . . . . . . . 345 12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode 357 12.1 Z¨ ahlprozesse auf R+ . . . . . . . . . . . . . . . . . . . . . . . . . . 358 12.2 Martingalsch¨ atzer . . . . . . . . . . . . . . . . . . . . . . . . . . . 361

Inhaltsverzeichnis

xi

12.3 Konsistenz und asymptotische Normalit¨at von Martingalsch¨atzern 369 12.4 Verteilungsfreie Teststatistiken f¨ ur Anpassungstests . . . . . . . . . 375 13 Quantile hedging A

383

Anhang 391 A.1 Bedingte Erwartungswerte und bedingte Verteilungen . . . . . . . 391 A.2 Ergodens¨ atze . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 A.3 Spieltheoretische Grundlagen . . . . . . . . . . . . . . . . . . . . . 398

Literaturverzeichnis

410

Sachverzeichnis

417

Kapitel 1

Einfu ¨ hrung: Datenanalyse und mathematische Statistik Die explorative Datenanalyse (EDA) ist ein Teilgebiet der Statistik. Sie verfolgt die Aufgabe, in vorhandenen Daten Strukturen zu erkennen, Hypothesen u ¨ ber Ursache und Grund der Daten zu bilden und Grundlagen f¨ ur eingehendere statistische Modellbildung zu liefern. John W. Tukey hatte in den 1970er Jahren diese Bedeutung der EDA als Kritik und Erg¨ anzung zur (mathematischen) Statistik, in der ein zu großes Gewicht auf das Auswerten und Testen von gegebenen Hypothesen gelegt wird, hervorgehoben. So ist neben den traditionellen statistischen Analysen ein kreativer Impuls gesetzt worden, der mit dem Schlagwort Let the data speak for themselves einen Anspruch auf eine bedeutsame und bisher vernachl¨assigte Aufgabe der Statistik erhob. Mit der Entwicklung von geeigneten Softwarepaketen ist dieser Teil der Statistik in vielen Anwendungsbereichen in den Vordergrund ger¨ uckt. Datenanalytische Verfahren wie z.B. Boxplots, Histogramme, QQ-Plots, Scatterplots und Projection Pursuit sind zum Standard bei Anwendungen geworden und geh¨oren auch zum Repertoire des verwandten Data-Mining. Dessen Hauptaufgabenstellung und Ziel ist es, unter Verwendung von Verfahren der multivariaten Statistik neue Muster in großen Datenmengen zu entdecken. Der Fokus des machine learning ist dagegen eher auf dem Entdecken bekannter Muster in vorhandenen Datenmengen, z.B. dem Auffinden von Personenbildern im Internet. Typische Aufgabenstellungen sind die Erkennung von Ausreißern in Daten¨ mengen, die Gruppierung von Objekten nach Ahnlichkeiten (Clusteranalyse), die Einteilung oder Einordnung in Klassen (Klassifikation), die Identifikation von Zusammenh¨ angen in Daten (Assoziationsanalyse) und spezifischer die Beschreibung von funktionalen Zusammenh¨ angen in Datenmengen (Regressionsanalyse). Allgemeines Ziel dieser Verfahren ist es, eine Reduktion der Datenmenge auf eine kompaktere Beschreibung ohne wesentlichen Informationsverlust vorzunehmen. Die oben genannten Verfahren k¨ onnen sowohl einen diagnostischen Charakter als auch einen prognostischen Charakter tragen. L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_1, © Springer-Verlag Berlin Heidelberg 2014

2

1 Einf¨ uhrung: Datenanalyse und mathematische Statistik

Die mathematische Statistik basiert dagegen wesentlich auf der Modellierung eines Experimentes, einer Datenmenge durch ein statistisches Modell (X, A, {Pϑ ; ϑ ∈ Θ}). Kernaufgaben sind die Modellwahl und Modellevaluation und die begr¨ undete Konstruktion und Bewertung von statistischen Verfahren f¨ ur Hypothesen u ¨ ber das Experiment. Standardaufgaben sind Test- und Sch¨atzprobleme sowie Konfidenzintervalle und Klassifikationsverfahren. Die besondere Qualit¨at der mathematischen Statistik besteht in der quantitativen Evaluation der angewendeten statistischen Verfahren. Diese ist nur m¨oglich auf Grund des statistischen Modells, das die Daten beschreibt. Sie ist auch nur so pr¨azise m¨oglich, wie es die Modellbeschreibung des Experiments ist. F¨ ur viele grundlegende Aufgaben, z.B. Medikamententests sind pr¨ azise Modellbeschreibungen vorhanden und erm¨oglichen daher abgesicherte statistische Analysen. In komplexen Datensituationen, z.B. bei Finanzdaten oder r¨ aumlichen Datenmustern, k¨onnen auch intrinsische Verfahren zur Absch¨ atzung der Qualit¨ at einer Prognose oder eines Verfahrens der statistischen Datenanalyse wie z.B. Bootstrapsimulationen verwendet werden. Eine zuverl¨assige Einsch¨ atzung dieser Verfahren ist jedoch nur basierend auf Modellen m¨oglich. In allgemeiner Form besteht die Aufgabe der mathematischen Statistik darin, begr¨ undete Entscheidungen in Situationen unter Unsicherheit zu treffen. Dieser Aspekt spiegelt sich in dem engen Zusammenhang der mathematischen Statistik mit der statistischen Entscheidungstheorie und insbesondere mit der Spieltheorie. F¨ ur ein grundlegendes Verst¨ andnis statistischer Fragestellungen sind diese Verbindungen fruchtbringend und machen auch einen Teil des Reizes der mathematischen Statistik aus.

1.1

Regressionsanalyse

Als Beispiel f¨ ur ein datenanalytisches Verfahren behandeln wir in diesem Abschnitt verschiedene Varianten von Regressionsverfahren.

1.1.1

Lineare Regression

Seien (x1 , y1 ), . . . , (xn , yn ) zweidimensionale Daten. Eine Regressionsgerade y = bx + a beschreibt eine lineare Abh¨ angigkeit der Messvariable y von der Einflussvariablen x, z.B. eine zeitliche Abh¨ angigkeit. Die Methode der kleinsten Quadrate bestimmt die Regressionsgerade als L¨ osung des Minimierungsproblems:  S(a, b) := (yi − a − bxi )2 = min! (1.1) i=1

Mit der notwendigen Bedingung n  ∂S = −2 (yi − a − bxi ) = 0 ∂a i=1

1.1 Regressionsanalyse

3

y = bx + a

y

a x Abbildung 1.1 Regressionsgerade

ergibt sich a = y n − bxn mit xn =

1 n

n i=1

xi , yn =

1 n

n i=1

yi . Weiter folgt aus

 ∂S = −2 (yi − a − bxi )xi = 0 ∂b i=1 n

b

n 

x2i =

i=1

n 

xi yi − a

i=1

n 

xi .

i=1

Einsetzen von a ergibt dann die Regressionsgerade: n i=1 xi yi − nxn y n   ,  a = y n − bxn . y= a + bx mit b =  n 2 2 i=1 xi − nxn Der Regressionskoeffizient b hat die alternative Darstellung b = sx,y s2x

(1.2)

(1.3)

mit der Stichprobenkovarianz 1  (xi − xn )(yi − y n ) n − 1 i=1 n

sx,y = und der Stichprobenvarianz

1  (xi − xn )2 . n − 1 i=1 n

s2x = sxx = s

Die normierte Gr¨ oße rx,y := sxx,y sy heißt empirischer Korrelationskoeffizient. Nach der Cauchy-Schwarz-Ungleichung gilt −1 ≤ rx,y ≤ 1.

(1.4)

Ist rx,y ≈ 0 so sind die Daten ann¨ ahernd linear unabh¨angig. Ist rx,y > 0 so ist sy  die Steigung b = rx,y sx der Regressionsgeraden y =  a + bx positiv, d.h. die Daten sind positiv linear abh¨ angig; ist rx,y < 0, dann negativ linear abh¨angig. F¨ ur

4

1 Einf¨ uhrung: Datenanalyse und mathematische Statistik

rx,y ≈ 1 oder −1 konzentrieren sich die Daten stark in der N¨ahe der Regressionsgeraden. Die Regressionsgerade liefert dann eine recht pr¨azise Beschreibung der Datenmengen. Ein Problem der Methode der kleinsten Quadrate zeigt die folgende Abbildung 1.2. Die Regressionsgerade ist nicht stabil. Ein einziger Ausreißerpunkt kann die Lage der Regressionsgerade stark ver¨ andern.

Abbildung 1.2 Regressionsgerade − − − mit Zusatzpunkt ∗ im Vergleich zur Regressionsgerade ohne Zusatzpunkt

Eine gegen Ausreißer stabile Version der Regressionsgerade wurde von Tukey eingef¨ uhrt. Dazu werden die x-Werte gleichm¨ aßig in drei Gruppe (kleine, mittlere, große) eingeteilt. n 3l 3l + 1 3l + 2

kleine l l l+1

mittlere l l+1 l

große l l l+1

Bilde nun die Mediane x L , x M , x R der x-Werte dieser Gruppen und yL , − yL yM , yR der y-Werte dieser Gruppen. Sei bT = xyR xL der Anstieg der Geraden R − durch ( xL , yL ), ( xR , yR ) mit Achsenabschnitt aL = aR . Sei schließlich aM der Achsenabschnitt der hierzu parallelen Gerade durch ( xM , yM ). Mit aT := 13 (aL + aM + aR ) heißt dann y = aT + b T x (1.5) Tukey-Gerade der Daten (x1 , y1 ), . . . , (xn , yn ). F¨ ur das Beispiel aus Abbildung 1.2 mit Ausreißerpunkt ∗ bleibt die Tukey-Gerade stabil (vgl. Abbildungen 1.3 und 1.4). Die Abweichungen ri = yi − a − bxi (1.6)

1.1 Regressionsanalyse

5

Abbildung 1.3 Tukey-Gerade − − − im Vergleich zur Regressionsgeraden ohne Zusatzpunkt

Abbildung 1.4 Tukey-Gerade − − − mit Zusatzpunkt ∗ im Vergleich zur Tukey-Geraden ohne Zusatzpunkt

der Variable yi von den Werten der Regressionsgeraden heißen Residuen. Ist die Datenmenge gut durch eine lineare Regression darstellbar, dann sollten die Residuen unsystematisch um Null variieren. Das folgende Bild der Residuen w¨ urde deutlich gegen eine lineare Regression sprechen: Residuen

Abbildung 1.5 Residuen

1.1.2

Nichtlineare Abh¨ angigkeit

Sei y = f (a, b, c, x) eine nichtlineare Funktion einer Einflussvariablen x mit drei Parametern a, b, c. Bei quadratischer Abh¨ angigkeit ist z.B. y = a + bx + cx2 . Die Regressionsfunktion f wird wieder nach der Methode der kleinsten Quadrate angepasst. F (a, b, c) :=

n 

(yi − f (a, b, c, xi ))2 = min! a,b,c

i=1

(1.7)

Die zugeh¨ origen kleinste Quadrategleichungen lauten dann ∂F = 0, ∂a

∂F = 0, ∂b

∂F =0 ∂c

(1.8)

6

1 Einf¨ uhrung: Datenanalyse und mathematische Statistik

und liefern Kandidaten  a, b,  c f¨ ur die L¨ osung von (1.7) wie im Fall der linearen Regression. y = f ( a, b,  c, x) heißt dann (nichtlineare) Regressionsfunktion f¨ ur die Daten (x1 , y1 , ), . . . , (xn , yn ). y

x Abbildung 1.6 quadratische Regression

1.1.3

Lineare Modelle

Liegen multivariate Einflussgr¨ oßen x = (x1 , . . . , xm ) ∈ Rm und multivariate Beobachtungsgr¨ oßen y = (y1 , . . . , yk ) ∈ Rk vor, dann heißt y = b + Ax

(1.9)

ein lineares Modell mit der Designmatrix A = (aij ) ∈ Rk×m und b = (b1 , . . . , bk ) ∈ Rk , d.h. es gilt m  yi = aij xj + bi , 1 ≤ i ≤ k. (1.10) j=1

Bei gegebenen Daten (y i , xi ), 1 ≤ i ≤ n lautet die Methode kleinster Quadrate n  F (A, b) := y i − (Axi + b)2 = min! (1.11) i=1

A,b

 b dieser Gleichungen lassen sich explizit angeben (vgl. AbDie L¨ osungen A, schnitt 8.4 u atzer) und bestimmen die multivariate Regres¨ber Gauß-Markov-Sch¨ sionsgerade  + b. y = Ax (1.12) Einige Klassen nichtlinearer Regressionsgeraden wie in Abschnitt 1.1.2 z.B.  Regressionen der Form y = ai fi (x) + b lassen sich als Spezialfall des linearen Modells (1.9) einordnen, indem als neue Einflussvariable zi = fi (x) gew¨ahlt werden.

1.1 Regressionsanalyse

1.1.4

7

Nichtparametrische Regression

Gesucht wird ein funktionaler Zusammenhang y = f (x) zwischen der Einflussvariablen x und der Beobachtungsvariablen y. Im Unterschied zu Abschnitt 1.1.2 ist f jedoch nicht nur bis auf einige Parameter a, b, c, . . . bestimmt sondern g¨anzlich bis auf evtl. qualitative Eigenschaften unbekannt. Ein vielfach verwendetes Verfahren zur Bestimmung einer Regressionsfunktion f bei gegebener Datenmenge (xi , yi ), 1 ≤ i ≤ n, sind Kernsch¨ atzer. Sie basieren auf einem Kern k : R1 → R+ (im Falle 1 x ∈ R ) wie z.B. dem Histogramm-Kern k(y) = 12 1[−1,1] (y) oder dem Gauß1 2 kern k(y) = √12π e− 2 y . Durch einen reellen Parameter h > 0, die Bandweite, l¨ asst sich aus einem Kern k eine Klasse von Kernen erzeugen 1 y . (1.13) kh (y) := k h h Damit erhalten wir nichtparametrische Regressionssch¨ atzer  n 1 kh (x − xi )yi . (1.14) f(x) = fh (x) = n1 i=1 n i=1 kh (x − xi ) n f(x) ist ein gewichteter Mittelwert der yi -Werte zu xi -Werten in der ‘N¨ahe‘ von x. Der Gewichtsfaktor kh (x − xi ) beschreibt den Einfluss der xi in der N¨ahe von x. Die N¨ ahe h¨ angt einerseits vom Kern ab. Als gravierender stellt sich aber der Einfluss der Bandweite h heraus. F¨ ur kleine Bandweiten h (h ↓ 0) wird nur u ¨ ber kleine Umgebungen von x gemittelt, der Regressionssch¨atzer f(x) wird irregul¨arer und passt sich mehr den Daten an, f¨ ur große Bandweiten h wird f(x) glatter und gibt eine ‘weitsichtigere‘ Interpolation der Daten (vgl. Abbildung 1.7).

Abbildung 1.7 Regressionssch¨ atzer mit Bandweiten h = 0, 25 (· · · ), h = 0, 5 (− − −) und h = 1 (—).

F¨ ur zu kleine Bandweiten h ist der Bias gering aber die Varianz von f(x) groß und daher die Prognosef¨ ahigkeit von f in Frage gestellt, f¨ ur zu große Bandweiten h

8

1 Einf¨ uhrung: Datenanalyse und mathematische Statistik

ist die Lage umgekehrt. Dieses ist das ber¨ uhmte Bias-Varianz-Dilemma. Es l¨asst sich am besten in einem stochastischen Modell f¨ ur die Daten (xi , yi ) beschreiben. Dann ist der Sch¨ atzfehler gegeben durch E(f(x)−f (x))2 . Dieser l¨asst sich in einem Bias-Term und einen Varianz-Term zerlegen E(f(x) − f (x))2 = E(f(x) − E f(x))2 + (E f(x) − f (x))2 .

(1.15)

Unter sehr allgemeinen Bedingungen an das stochastische Modell gilt f¨ ur n → ∞ und h = h(n) → 0, so dass n · h → ∞ E fh (x) −→ f (x), h→0

(1.16)

ur (nicht zu) kleines h, aber der d.h. der Bias-Term (E fh (x) − f (x))2 ist klein f¨ Varianzterm E(fh (x) − E f(x))2 ist groß f¨ ur kleines h. Umgekehrt ist f¨ ur ‘große‘ Bandweite h der Varianzterm klein, daf¨ ur aber der Bias-Fehler groß. Ein wichtiges Problem bei der Anwendung von nichtparametrischen Regressionssch¨ atzern ist daher die Wahl einer geeigneten Bandweite h.

1.2

Mathematische Statistik – Entscheidung unter Unsicherheit

Zentrale Aufgabe der mathematischen Statistik ist es, geeignete statistische Modelle f¨ ur ein Experiment zu konstruieren und zu evaluieren und basierend auf diesen Modellen geeignete statistische Verfahren zu konstruieren und zu bewerten. Ziel dieser Verfahren ist es, Entscheidungen unter Unsicherheit zu treffen und deren Risiko zu beschreiben. Im Folgenden behandeln wir einige Beispiele, um die Vielfalt dieser Fragestellung aufzuzeigen.

1.2.1

Ein Auswahlproblem

Zwei Zettel tragen die Zahlen x bzw. y und werden vermischt. Einem ‘Spieler‘ dem die Zahlen x und y nicht bekannt sind, wird ein Zettel (zuf¨allig ausgew¨ahlt) angeboten. Er kann den nun zuf¨ alligen Inhalt X dieses Zettels, P (X = x) = P (X = y) = 12 , akzeptieren oder zu dem Angebot Y des anderen Zettels wechseln und muss dann diesen akzeptieren. Sein Ziel ist es, mit m¨oglichst großer Wahrscheinlichkeit eine Entscheidung f¨ ur die gr¨ oßere der beiden Zahlen zu treffen. Eine nat¨ urliche Frage ist es, ob der Spieler eine Entscheidungsregel finden kann, die ihm mit gr¨ oßerer Wahrscheinlichkeit als 12 , also bei zuf¨alliger Auswahl, basierend auf der Kenntnis von X den gr¨ oßeren Gewinn sichert. Die Unsicherheit in diesem Entscheidungsproblem wird durch das statistische Modell {Px,y ; x, y ∈ R, x = y} beschrieben mit Px,y ({X = x}) = Px,y ({X = y}) = 1 2 und Px,y ({Y = y | X = x}) = Px,y ({Y = x | X = y}) = 1. Es gilt auch Px,y ({Y = x}) = Px,y ({Y = y}) = 12 .

1.2 Mathematische Statistik – Entscheidung unter Unsicherheit

9

Gibt es ein Entscheidungsverfahren d : R → {0, 1} mit d(X) = 0 Entscheidung f¨ ur X, d(X) = 1 Entscheidung f¨ ur Y , so dass die Erfolgswahrscheinlichkeit Ed gr¨ oßer als 12 ist: Ed = P (d(X) = 0, X > Y ) + P (d(X) = 1, X < Y ) 1 > . 2

(1.17)

Es ist u ¨berraschend, dass die Antwort auf diese Frage positiv ist. Eine L¨osung basiert auf einem randomisierten Entscheidungsverfahren. Sei Z eine Zufallsvariable mit positiver Dichte f > 0 auf R, stochastisch unabh¨angig von X, Y ; z.B. sei Z normalverteilt, Z ∼ N (μ, 1). Wir nennen Z eine ‘Splitvariable‘ und definieren die Entscheidungsregel  1, x ≤ Z, d(x) = (1.18) 0, x > Z. Dann gilt Ed = P (d(X) = 1{Y ≥X} ) = P (X ≥ Z, X ≥ Y ) + P (X < Y, X < Z) 1 = (P (X, Y < Z) + P (X, Y ≥ Z)) + P (X < Z ≤ Y ) + P (Y < Z ≤ X) 2 1 1 = + (P (X < Z ≤ Y ) + P (Y < Z ≤ X)). (1.19) 2 2 Es ist also Ed −

1 1 = P (Z ist ein Split von X, Y ) > 0, 2 2

(1.20)

da Z eine u ur jede Splitstrategie ist also die Erfolgs¨berall positive Dichte hat. F¨ wahrscheinlichkeit gr¨ oßer als 12 . Hat man keine weiteren Informationen, so gibt es keine M¨ oglichkeit einen ‘guten‘ oder ‘optimalen‘ Split auszuw¨ahlen. Hat man zus¨ atzliche Informationen u ¨ ber die Verteilung von (X, Y ), so l¨asst sich ein guter Split konstruieren und die Erfolgswahrscheinlichkeit vergr¨oßern. Ist der bedingte Median mx = med(Y | X = x) bekannt, dann ist Z = mX = med(Y | X) ein optimaler Split. Es gilt f¨ ur eine Entscheidungsregel d Ed = P (d(X) = 1(Y ≥X) ) = P (d(X) = 1, Y ≥ X) + P (d(X) = 0, Y < X) = (d(X)1(Y ≥X) + (1 − d(X))1(Y mx ,

(1.22)

eine optimale Entscheidungsfunktion ist, d.h. die Erfolgswahrscheinlichkeit Ed∗ ist maximal. Sind X, Y stochastisch unabh¨ angig, ist P X = P Y = Q stetig und c = mX = med(Q), dann gilt 3 Ed∗ = . (1.23) 4 Mit Wahrscheinlichkeit 34 l¨ asst sich die gr¨ oßere Zahl finden. Der Median Z = med(Q) ist eine optimale Split-Variable. In der in diesem Beispiel vorliegenden Entscheidungssituation unter Unsicherheit ist es m¨oglich eine ‘optimale‘ Entscheidung zu treffen und Erfolgs-/Misserfolgswahrscheinlichkeit genau zu quantifizieren.

1.2.2

Zuf¨ allige Folgen

a) Musterverteilungen Gegeben sei eine 0-1-Folge x1 , . . . , xn . Gesucht ist eine Entscheidungsverfahren um festzustellen, ob die Folge zuf¨ allig erzeugt ist, d.h. die Realisierung eines Bernoulliexperiments P = ⊗ni=1 B(1, 12 ) ist. Die Idee eines solchen Testverfahrens ist es, zu pr¨ ufen, ob geeignete Muster in x1 , . . . , xn in der H¨aufigkeit vorhanden ist, die man in einer Bernoullifolge erwarten w¨ urde. Bezeichne etwa Rn die Anzahl der Runs in der 0-1-Folge x1 , . . . , xn , d.h. die Anzahl der Wechsel von 0- und 1-Sequenzen. Z.B. hat die Folge 1100010000110 eine Anzahl von 6 Runs. Die maximale Runl¨ ange Mn ist 4. Ein geeigneter Test ¨ zur Uberpr¨ ufung der Hypothese, dass x1 , . . . , xn Realisierungen eines Bernoulliexperimentes sind ist es, die beobachteten Runzahlen rn und mn mit den Verteilungen von Rn , Mn im Bernoulli-Fall zu vergleichen. Wir betrachten z.B. die folgenden 0-1-Folgen x, y der L¨ange n = 36. Welche der beiden Folgen ist zuf¨ allig erzeugt? Eine von ihnen stammt aus einem echten Zufallsgenerator, die andere Folge ist z.B. eine ‘ausgedachte Zufallsfolge‘. x = 111001100010010101000001001100001110 y = 101011010011000101100110010110101011 Um die zuf¨ allige Folge zu identifizieren bestimmen wir die maximalen Runl¨ angen und die Anzahl der Runs, Mn (x) = 5, Rn (x) = 18, Mn (y) = 3, Rn (y) = 25. Wir vergleichen diese mit der Verteilung von Rn , Mn unter der Hypothese. Die Verteilung der maximalen Runl¨ ange Mn (vgl. Abbildung 1.8) und der Anzahl der Runs

1.2 Mathematische Statistik – Entscheidung unter Unsicherheit

11

Rn (vgl. Abbildung 1.9) einer Bernoullifolge hat die folgende Form (Simulation mit 10.000 Wiederholungen, L¨ ange n = 36).

Abbildung 1.8 Dichte der maximalen Runl¨ ange Mn

Abbildung 1.9 Dichte der Anzahl der Runs Rn

Es stellt sich heraus, dass Rn (y) zu groß und Mn (y) zu klein ist, w¨ahrend Rn (x) und Mn (x) in den zentralen Bereich der Verteilung unter der Hypothese f¨allt. Unsere Entscheidung lautet daher: x stammt aus dem echten Zufallsgenerator; die Folge y ist dagegen nicht zuf¨ allig konstruiert. b) χ2 -Test allige, stochastisch unabh¨angige, identisch Sei nun allgemeiner X1 , . . . , Xn eine zuf¨ verteilte (iid) Folge mit Werten in {1, . . . , k} mit P (Xi = s) = ps , 1 ≤ s ≤ k. Um zu pr¨ ufen, ob eine vorliegende Folge x1 , . . . , xn Realisierung einer solchen stochan stischen Folge ist, betrachten wir Zs := i=1 1{s} (Xi ), die Anzahl der Beobachtungen von Kategorie s. Unter der Hypothese zuf¨alliger Folgen ist EZs = nps . Die χ2 -Statistik k  (Zs − nps )2 (1.24) Vn = nps s=1 ist ein gewichteter Vergleich der Anzahlen Zs zu deren erwarteten Anzahlen. k k Mit (Zs − nps )2 = Zs2 − 2nps Zs + n2 p2s , s=1 Zs = n, i=1 pi = 1 folgt 1  Zs2 − n. n s=1 ps k

Vn =

(1.25)

Aus dem zentralen Grenzwertsatz f¨ ur (schwach abh¨angige) Folgen erh¨alt man D

P Vn −→ χ2k−1 ,

(1.26)

d.h. Vn konvergiert in Verteilung gegen eine χ2 -Verteilung mit k − 1 Freiheitsgraden. Sei f¨ ur α ∈ (0, 1) χ2k−1,α das α-Fraktil der χ2k−1 -Verteilung, d.h. P (Z ∈ ur Z ∼ χ2k−1 . Dann gilt unter der Hypothese [χ2k−1,α , ∞)) = α f¨ P (Vn ≥ χ2k−1,α ) → P (Z ≥ χ2k−1,α ) = α.

(1.27)

Typischerweise wird das Fehlerniveau α klein gew¨ahlt, z.B. α = 0,01 oder 0,05.

12

1 Einf¨ uhrung: Datenanalyse und mathematische Statistik

Sei vn der beobachtete Wert von Vn . Der χ2 -Test lehnt die Hypothese, dass x1 , . . . , xn aus einer zuf¨ alligen iid Folge ist ab, wenn vn ≥ χ2k−1,α ist. Die Fehlerwahrscheinlichkeit f¨ ur diese Entscheidung ist (approximativ) nur α. Die Gr¨ oße p = χ2k−1 ([vn , ∞)) (1.28) heißt p-Wert unseres Tests. Ist p sehr klein, z.B. p = 0,01, so spricht das stark gegen die Hypothese; die Abweichungen der Zs von den erwarteten H¨aufigkeiten sind zu groß. Ist der p-Wert sehr groß, z.B. p = 0,99, so spricht das aber ebenfalls stark gegen die Hypothese einer zuf¨ alligen Folge. Die Abweichungen von den Erwartungswerten sind zu klein. Beispiel 1.2.1 (n-maliger Wurf von 2 W¨ urfeln) F¨ ur den Wurf von 2 fairen W¨ urfeln X1 und Y1 gilt mit P (X1 = s) = 16 , 1 ≤ s ≤ 6 und ps = P (X1 + Y1 = s) s 2 3 4 5 6 7 8 9 10 11 12 1 1 1 5 1 5 1 1 1 1 ps 36 18 12 9 36 6 36 19 12 18 36 Ein Experiment mit n = 144 W¨ urfen von 2 W¨ urfeln liefert s

2

3

4

5

6

7

8

9

10

11

12

Zs

2

4

10

12

22

29

21

15

14

9

6

nps

4

8

12

16

20

24

20

16

12

8

4

2 12 7 s) Es ergibt sich Vn = s=2 (Zs −np = 7 48 . Einige α-Fraktile der χ210 -Verteilung nps ersieht man aus folgender Tabelle

α

0,99

0,95

0,75

0,5

0,25

0,05

χ210,α

2,56

3,94

6,74

9,34

12,55

18,31

0,001 23,21

Das Experiment ist mit der Verteilung vertr¨aglich. Wir k¨onnen die Hypothese ‘fairer W¨ urfel‘ nicht ablehnen. Zwei weitere Experimente mit ‘Zufallszahlengeneratoren‘ ergeben s

2

3

4

5

6

7

8

9

10

11

12

1

4

10

10

13

20

18

18

11

13

14

13

2

3

7

11

15

19

24

21

17

13

9

5

59 Die zugeh¨origen χ2 -Statistiken sind Vn1 = 29 120 , Vn2 = 1 17 origen 20 . Die zugeh¨ 2 1 2 2 1 p-Werte sind χ10 ([vn , ∞)) = 0,001, χ10 ([0, vn ]) = 0,00003. vn ist zu groß, so dass wir die Hypothese ablehnen. vn2 ist zu klein; die Folge ist nicht zuf¨allig genug. Wir lehnen ebenfalls die Hypothese ab.

Der obige χ2 -Test basiert auf dem Vergleich der H¨aufigkeiten Zs mit den erwarteten Anzahlen nps f¨ ur Kategorie s. Er kann also nur Abweichungen von den Wahrscheinlichkeiten ps entdecken. M¨ ochte man Abweichungen der Folge x1 , . . . , xn

1.2 Mathematische Statistik – Entscheidung unter Unsicherheit

13

von der Unabh¨ angigkeitsannahme u ufen, so kann man z.B. die Daten grup¨berpr¨ pieren zu (x1 , x2 ), (x3 , x4 ), . . . und mit dem χ2 -Test u ufen ob die H¨aufigkeiten ¨berpr¨ f¨ ur Paarereignisse mit den Wahrscheinlichkeiten pij = pi pj im Einklang sind. Es gibt viele einfallsreiche Mustervorschl¨ age f¨ ur solche Vergleiche, z.B. den Pokertest, der Muster aus dem Pokerspiel (Drillinge, Flush, Full House, . . . ) verwendet und deren Wahrscheinlichkeiten mit den beobachteten H¨aufigkeiten vergleicht. c) Kolmogorov-Smirnov-Test Um zu pr¨ ufen, ob eine Datenfolge x1 , . . . , xn Realisierung einer iid Folge X1 , . . . , Xn mit Verteilungsfunktion F ist betrachten wir die empirische Verteilungsfunktion 1 1(−∞,x] (xi ). Fn (x) = n i=1 n

(1.29)

Fn (x) ist ein Sch¨ atzer f¨ ur F (x). Wir betrachten die Statistiken √ n max(Fn (x) − F (x)) n √ := n max(F (x) − Fn (x))

Kn+ := Kn−

(1.30)

n

und Kn = max(Kn+ , Kn− ) =

√ n max |Fn (x) − F (x)|,

(1.31)

Kolmogorov und Smirnov haben f¨ ur stetige Verteilungsfunktionen F gezeigt: D

+ Kn+ −→ K∞

(1.32)

−2x + (x) = 1 − e mit FK∞ , x ≥ 0, die Kolmogorov-Smirnov-Verteilung. Wie in a) und b) vergleicht der Kolmogorov-Smirnov-Test den Wert der Statistik Kn+ mit dem α-Fraktil der Kolmogorov-Smirnov-Verteilung. 2

1.2.3

Bildverarbeitung und Bilderkennung

a) Bildverarbeitung Wir betrachten ein Bild B mit Graustufenwerten 0 = schwarz, 1, 2, . . . , 255 = weiß. Jedes Pixel repr¨ asentiert einen Graustufenwert, d.h. B ∈ {0, . . . , 255}n×m. n × m beschreibt das Format des Bildes, z.B. 500 × 500. Wir betrachten B = (bij ) als Ergebnis eines Zufallsprozesses mit diskreter empirischer Dichte f und empirischer Verteilungsfunktion H(s). F¨ ur eine reelle ZufallsvariableX mit stetiger Verteilungsfunktion F = FX ist die Transformation Y = F (X) (1.33)

14

1 Einf¨ uhrung: Datenanalyse und mathematische Statistik

0

255 0

Abbildung 1.10 Graustufenverteilung: empirische Dichte f

255

Abbildung 1.11 Graustufenverteilung: empirische Verteilungsfunktion H (gegl¨ attet)

eine auf [0, 1] gleichverteilte Zufallsvariable, denn f¨ ur x ∈ (0, 1) gilt P (Y ≤ x) = P (F (X) ≤ x) = P (X ≤ F −1 (x)) = F (F −1 (x)) = x. F¨ ur eine nicht stetig verteilte Zufallsvariable X ist die Transformation Y = F (X) nur ann¨ ahernd gleichverteilt. Sei nun X eine Zufallsvariable mit FX = H, h

d.h. X repr¨ asentiert die Graustufenverteilung des Bildes B. Dann liefert s −→ [255 · H(s)] eine angen¨ aherte Gleichverteilung der Graustufenwerte

0

255

Abbildung 1.12 Graustufenwerte

Die Transformation der Graustufen (Farben) des Bildes B  = (h(bij )) = B h B −→ B

(1.34)

liefert ein deutlich verbessertes Bild mit einer Verst¨arkung der Kontraste. Dieses ist eine vielfach verwendete Methode der Bildverarbeitung, die z.B. bei Nachtsichtger¨ aten Verwendung findet. Das folgende Beispiel einer Luftaufnahme einer Stadt (Straßburg) mittels Aufnahme aus einem Weltraumsatelliten (vgl. Abbildung 1.13) zeigt eindr¨ ucklich die erzielte Verbesserung der Kontraststruktur (vgl. Abbildung 1.14). Grundlage dieser Methode der Bildverarbeitung ist das einfache Transformationsresultat in (1.33) f¨ ur die Verteilung der Graustufenwerte. b) Bilderkennung Ein Bild B0 , z.B. das Bild einer Person, soll in einer großen Datenbank gefunden werden. Dieses geschieht, indem f¨ ur eine große Anzahl von Bildern B aus der Datenbank das Testproblem mit den Hypothesen H0 : B = B0 , H1 : B = B0 gel¨ost

1.2 Mathematische Statistik – Entscheidung unter Unsicherheit

Abbildung 1.13 Satellitenbild von Straßburg, nicht transformiert1

15

Abbildung 1.14 Satellitenbild von Straßburg, transformiert1

wird. Die Bilder B, die durch den Test nicht abgelehnt werden, sind m¨ogliche Kandidaten. Zur Konstruktion eines Anpassungstests f¨ ur H0 ist es grundlegend, eine Datenreduktion durch die Auswahl geeigneter Merkmale vorzunehmen. F¨ ur praktische Zwecke werden diese z.B. rotationsinvariant gew¨ahlt um die Person auch in unterschiedlichen Position zu erkennen. Seien T (B) = (T1 (B), . . . , Tk (B)) k geeignete Merkmale (z.B. Breite des Augenabstandes, L¨ ange der Nase, . . . bei Personenbildern). Das gesuchte Bild B0 habe den bekannten Merkmalsvektor t = T (B0 ) = (t1 , . . . , tk ). Wir treffen (basierend auf historischen Daten) die Annahme, dass T (B) multivariat normalverteilt ist mit bekannter Kovarianzmatrix Σ, T (B) ∼ N (μ, Σ). Das Testproblem reduziert sich dann auf die Hypothesen H0 : μ = t,

H1 : μ = t.

(1.35)

Als Teststatistik verwenden wir den normierten Abstand von T (B) zu t S := (T (B) − t) Σ−1 (T (B) − t).

(1.36)

Unter der Nullhypothese H0 ist Y = Σ− 2 (T (B) − t) ∼ N (0, Ik ). 1

(1.37)

Hieraus folgt, dass S = Y Y =

k 

Yi2 ∼ χ2k ,

i=1

χ2k -verteilt.

S ist verwenden:

Damit k¨ onnen wir als Bilderkennungstest den folgenden Test  ≥ 1, χ2k,α , ϕ(B) = S (1.38) < 0,

wobei χ2k,α das α-Fraktil der χ2k -Verteilung ist. 1 Quelle: C. Dupuis: How calculators and computers change the field of problems in teaching statistics, in: Teaching of Statistics in the Computer Age, L. R˚ ade and T. Speed (eds.); ISBN: 91-44-23631-X; 1985, 45–59, Figures 10a and 10b

16

1 Einf¨ uhrung: Datenanalyse und mathematische Statistik

ϕ ist ein Test zum Niveau α; d.h. wenn B =B  0 ist, dann wird das mit einer Fehlerwahrscheinlichkeit ≤ α nicht erkannt. Ist die Kovarianzmatrix Σ in obigem Normalverteilungsmodell nicht bekannt, so ersetzt man Σ in der Teststatistik durch  von Σ (plug-in-Methode) und kann den Test in ¨ahnlicher Form einen Sch¨ atzer Σ durchf¨ uhren. Auf Testverfahren, die ¨ ahnlich zu dem obigen aufgebaut sind, basieren viele der sehr schnellen und effektiven Suchverfahren f¨ ur Bilder im Internet. Sie werden noch gekoppelt mit Indikatoren f¨ ur interessante Links und Seiten, wo das gesuchte Bild mit gr¨ oßerer Wahrscheinlichkeit zu finden ist. Diese Seiten werden zuerst abgesucht und getestet.

Kapitel 2

Statistische Entscheidungstheorie Mit der Einordnung der mathematischen Statistik in die statistische Entscheidungstheorie von Wald (1949) wurde ein mathematischer Rahmen geschaffen in den sich die klassischen Themen der Statistik, Tests, Sch¨atzer, Konfidenzbereiche, Klassifikation usw. gut einordnen lassen. Zentrale Grundbegriffe sind das statistische Modell, Entscheidungsfunktion und Risikofunktion. Es ergibt sich in nat¨ urlicher Weise ein Zusammenhang zur Spieltheorie und den L¨osungskonzepten der Bayesund Minimax-Verfahren. In diese Zusammenh¨ange soll in diesem Kapitel eingef¨ uhrt werden.

2.1

Statistisches Entscheidungsproblem

In diesem Abschnitt f¨ uhren wir die Grundbegriffe der statistischen Entscheidungstheorie – das statistische Modell, die Entscheidungsfunktion und die Risikofunktion – ein und ordnen die klassischen Themen der Statistik – die Test- und Sch¨atztheorie und die Konfidenzbereiche – in diesen Rahmen ein. Zentral f¨ ur die mathematische Statistik ist die Modellierung eines Experimentes durch ein statistisches Modell. Definition 2.1.1 E = (X, A, P) heißt statistisches Modell (Experiment), falls (X, A) ein Messraum und P ⊂ M1 (X, A) eine Klasse von Wahrscheinlichkeitsverteilungen auf dem Stichprobenraum (X, A) ist. In Kurzform heißt auch P statistisches Modell auf (X, A). Bemerkung 2.1.2 a) Typischerweise ist P = {Pϑ ; ϑ ∈ Θ}. Θ heißt Parameterraum oder Parameterur menge. F¨ ur Θ ⊂ Rk spricht man von einem parametrischen Modell; sonst f¨ große Klassen Θ von einem nichtparametrischen Modell. L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_2, © Springer-Verlag Berlin Heidelberg 2014

18

2 Statistische Entscheidungstheorie

b) In der Literatur findet man oft folgende Beschreibung mit Hilfe von Zufallsvariablen. Das Zufallsexperiment findet in dem Grundraum (Ω, B) statt versehen mit einer Klasse von Verteilungen Q = {Qϑ ; ϑ ∈ Θ} ⊂ M1 (Ω, B). Beobachtet wird die Realisierung x = X(ω) einer Zufallsvariablen X : (Ω, B) → (X, A) mit QX ϑ = Pϑ , ϑ ∈ Θ. ω ∈ Ω ist dann das Ereignis des Zufallsexperiments. Wir werden diese Darstellung jedoch nur gelegentlich nutzen. c) Grundlegend f¨ ur die mathematische Statistik ist: Das Experiment wird durch ein Wahrscheinlichkeitsmaß beschrieben. Dieses ist jedoch nur bis auf einen Parameter ϑ ∈ Θ bekannt. Beispiel 2.1.3 a) Messungen: Im Grundraum (X, A) = (Rn , Bn ) stellt die Versuchsreihe x = (x1 , . . . , xn ) eine Reihe von Messungen dar. Nimmt man an, dass die einzelnen Messungen unabh¨angig sind, so ist es durch den zentralen Grenzwertsatz h¨aufig wohlbegr¨ undet, von normalverteilten Messfehlern auszugehen. 1. Zeitunabh¨ angige Messungen: Bei einer zeitunabh¨angigen Messreihe sei das statistische Modell gegeben durch Pϑ := N (μ, σ 2 )(n) ,

ϑ = (μ, σ 2 ) ∈ Θ = R × R+ .

Die Aufgabe besteht darin den fundamentalen Parameter μ und die Messungenauigkeit σ 2 zu sch¨atzen. 2. Lineare Regression: Zu gegebenen Zeiten 0 ≤ t1 ≤ · · · ≤ tn . Sei Pϑ :=

n N (μ + τ tj , σ 2 )(n) , ϑ = (μ, τ, σ 2 ) ∈ Θ = R × R × R+ . Zu sch¨atzen sind j=1 wieder der Parameter ϑ oder Funktionale des Parameters. b) Wechselkurse (Euro – Dollar): Betrachte den positiven Logarithmus der t¨aglichen Wechselkurse. Ein gutes Moα dell hierf¨ ur ist die Weibull-Verteilung mit Dichte fϑ (x) = λαxα−1 e−λx und α Verteilungsfunktion Fϑ (x) = 1 − e−λx . Zu sch¨atzen ist ϑ = (λ, α) ∈ Θ = R+ × R+ . Es zeigt sich empirisch, dass durch dieses Modell mit unterschiedlichen Parametern α+ , λ+ f¨ ur die positive Wechselkurs¨anderungen und α− , λ− f¨ ur die negativen Wechselkurs¨anderungen eine gute Modellierung gegeben wird. c) Stichprobentheorie: In manchen statistischen Anwendungen wird ein Modell k¨ unstlich erzeugt. Ein Beispiel hierf¨ ur ist die Stichprobentheorie. Sei xi das Jahreseinkommen von Person i, 1 ≤ i ≤ N . Hierbei ist N eine sehr große Zahl. Um das mittlere  Jahreseinkommen μ = N1 N atzen wird eine Stichprobe vom Umfang i=1 xi zu sch¨ n  N genommen, d.h. U1 , . . . , Un sind iid gleichverteilt auf x1 , . . . , xN . μ n =

2.1 Statistisches Entscheidungsproblem

1 n

n i=1

19

Ui , das empirische Stichprobenmittel ist ein geeigneter Sch¨atzer f¨ ur μ.

Es gilt: E μn =

Var μn =

n N 1 1  EUi = EU1 = xi = μ, n i=1 N i=1

N − n τ2 , N −1 n

τ 2 :=

N 1  (xi − μ)2 . N i=1

(2.1)

(2.2)

Entscheidungsraum, Entscheidungsfunktionen Basierend auf einer Beobachtung x ∈ X wird eine Entscheidung bzgl. ϑ getroffen. Der Entscheidungsraum (Δ, AΔ ) ist ein Messraum mit {a} ∈ AΔ f¨ ur alle a ∈ Δ. Definition 2.1.4 (statistisches Entscheidungsproblem) Seien E = (X, A, P) ein statistisches Experiment und (Δ, AΔ ) ein Entscheidungsraum. a) D := {d : (X, A) → (Δ, AΔ )} heißt Menge der nichtrandomisierten Entscheidungsfunktionen. b) Eine (randomisierte) Entscheidungsfunktion δ ist ein Markovkern von X nach Δ, d.h. δ : X × AΔ → [0, 1] ist eine Abbildung so dass ∀A ∈ AΔ : δ(·, A) ist A − B1 -messbar ∀x ∈ X :

δ(x, ·) ∈ M1 (Δ, AΔ ).

D := {δ; δ ist randomisierte Entscheidungsfunktion}. ur alle ϑ ∈ Θ: c) L : Θ × Δ → R+ heißt Verlustfunktion, wenn f¨ L(ϑ, ·) : (Δ, AΔ ) → (R+ , B+ ). L(ϑ, a) entspricht dem Verlust bei Entscheidung f¨ ur a ∈ Δ bei Vorliegen von ϑ ∈ Θ. d) (E, Δ, L) heißt statistisches Entscheidungsproblem , wenn • E ein statistisches Experiment, • (Δ, AΔ ) ein Entscheidungsraum und • L eine Verlustfunktion ist. Bemerkung 2.1.5 a) δ(x, A) ist die Wahrscheinlichkeit f¨ ur die Entscheidung f¨ ur A ∈ AΔ bei Beobachtung von x ∈ X.

20

2 Statistische Entscheidungstheorie

Sei ϑ der unbekannte Zustand des Modells. Dann ergibt sich der folgende Ablauf: Experiment → Beobachtung x als Ergebnis des Experiments (nach Pϑ verteilt) → Entscheidung f¨ ur a ∈ Δ (a = d(x) oder nach δ(x, ·) verteilt) → Verlust L(ϑ, a) b) Zu d ∈ D definiere  δd (x, A) := ε{d(x)} (A) =

Die Abbildung

D → D d → δd

1, 0,

d(x) ∈ A, d(x) ∈ A.

ist eine injektive Einbettung.

Damit reicht es, randomisierte Entscheidungsfunktionen zu betrachten. Die Standardentscheidungsprobleme der Statistik werden in dem folgenden Beispiel eingef¨ uhrt. Beispiel 2.1.6 (Standardentscheidungsprobleme der Statistik) a) Sch¨ atzproblem: Sei (Δ,  · ) ein normierter Raum (typischerweise Rk oder Lp ), AΔ = B(Δ), g : Θ → Δ. Aufgabe: Sch¨ atze g(ϑ). Oft verwendete Verlustfunktionen sind f¨ ur ϑ ∈ Θ, a ∈ Δ, 0 < r < ∞, ε > 0: • Lr (ϑ, a) := a − g(ϑ)r . L1 heißt Laplace-Verlust , L2 Gauß-Verlust.  1, a − g(ϑ) > ε, heißt 0-1-Verlust. • Lε (ϑ, a) := 0, a − g(ϑ) ≤ ε, (E, g, L) heißt Sch¨ atzproblem. b) Konfidenzbereich: Sei (Γ, AΓ ) ein Messraum und g : Θ → Γ. Dann ist C : X → AΓ eine Bereichssch¨ atzfunktion (Konfidenzbereich) f¨ ur g, wenn f¨ ur alle γ ∈ Γ: A(γ) := {x ∈ X; γ ∈ C(x)} ∈ A. Man bezeichnet A(γ) als den Annahmebereich von γ. F¨ ur die Bereichssch¨ atzfunktion C gilt mit Δ := AΓ , AΔ := σ({Tγ ; γ ∈ Γ}), wobei Tγ := {B ∈ AΓ ; γ ∈ B}: C : (X, A) → (Δ, AΔ ) ⇔ ∀γ ∈ Γ : {C ∈ Tγ } = {x ∈ X; γ ∈ C(x)} ∈ A ⇔ C ist nichtrandomisierte Entscheidungsfunktion.

2.1 Statistisches Entscheidungsproblem

21

Oft schr¨ ankt man die Entscheidungsfunktionen auf Teilmengen von Γ ein, z.B. auf konvexe oder abgeschlossenen Mengen, Kugeln, Ellipsen oder Intervalle. Eine m¨ ogliche Verlustfunktion ist der 0-1-Verlust:  1, g(ϑ) ∈ B, L(ϑ, B) := ∀ϑ ∈ Θ, B ∈ Δ 0, g(ϑ) ∈ B, ϕ : X × Γ → [0, 1] heißt randomisierte Bereichssch¨ atzfunktion, falls f¨ ur alle γ ∈ Γ gilt, dass ϕ(·, γ) messbar ist. F¨ ur x ∈ X, γ ∈ Γ l¨asst sich der Wert ϕ(x, γ) interpretieren als die Wahrscheinlichkeit, dass γ u ¨ berdeckt wird bei Beobachtung von x. Auch hier l¨ asst sich wieder folgende injektive Einbettung konstruieren: F¨ ur jede Bereichssch¨ atzfunktion C definiere ϕC (x, γ) = 1A(γ) (x) = 1C(x) (γ). c) Testproblem: Ein Testproblem ist ein Zweientscheidungsproblem definiert durch eine Zerlegung des Parameterraums Θ = Θ0 + Θ1 . Sei Δ = {a0 , a1 }, AΔ = P(Δ). a0 bedeutet eine Entscheidung f¨ ur die Hypothese Θ0 . a1 bedeutet eine Entscheidung f¨ ur die Alternative Θ1 . Eine Entscheidungsfunktion δ : X × AΔ → [0, 1] ist eindeutig bestimmt durch ϕ := δ(·, {a1 }) : (X, A) → ([0, 1], [0, 1]B), da δ(x, {a0 }) = 1 − δ(x, {a1 }) = 1 − ϕ(x) gilt. ur die Alterϕ(x) = δ(x, {a1 }) ist die Wahrscheinlichkeit einer Entscheidung f¨ native bei Beobachtung von x. Jede solche Abbildung heißt Test. 

 Φ := ϕ : (X, A) → [0, 1], [0, 1]B1 ist die Menge aller Tests. F¨ ur das Testproblem ist die Zuordnung D → Φ bijektiv. δ → ϕδ ϕ ∈ Φ ist nichtrandomisierter Test ⇔ ∃A ∈ A : ϕ = 1A . F¨ ur L0 , L1 > 0 definiert man die Neyman-Pearson-Verlustfunktion durch  richtige Entscheidung, 0, ϑ ∈ Θ1 L(ϑ, a1 ) := L0 , ϑ ∈ Θ0 Fehler 1. Art,  L(ϑ, a0 ) :=

0, ϑ ∈ Θ0 L1 , ϑ ∈ Θ1

richtige Entscheidung, Fehler 2. Art.

Konkreter am Beispiel des Experiments Θ = R+ , Pϑ = N (ϑ, 1)(n) , (X, A) = (Rn , Bn ):

22

2 Statistische Entscheidungstheorie

1) Sch¨ atzproblem f¨ ur g : Θ → R+ ϑ → ϑ. Mit dem arithmetischen Mittel 1 xi n i=1 n

d(x) := xn :=

als Sch¨ atzer f¨ ur g und dem Gauß-Verlust L(ϑ, a) = (ϑ−a)2 ergibt sich als Fehler (xn − ϑ)2 . 2) Konfidenzbereich f¨ ur g(ϑ) = ϑ: Gesucht wird ε, so dass f¨ ur den Konfidenzbereich C f¨ ur g, C(x) := [xn − ε, xn + ε], der Fehler ≤ δ ist, d.h. Pϑ (ϑ ∈ C(x)) ≥ 1 − δ. 3) Testproblem: Ist ϑ ≤ 1000 oder ϑ > 1000 ? Mit den Hypothesen Θ0 = (−∞, 1000], Θ1 = (1000, ∞) f¨ uhrt das zu dem Test  1, xn ≥ 1000 + δ, ϕ(x) := 0, xn < 1000 + δ.

Risikofunktion Als n¨ achstes ben¨ otigen wir eine M¨ oglichkeit, den Verlust bzgl. einer Entscheidungsfunktion zu messen. Definition 2.1.7 (Risikofunktion) Sei (E, Δ, L) ein Entscheidungsproblem. a) Die Abbildung R : Θ × D → [0, ∞),   R(ϑ, δ) := L(ϑ, y) δ(x, dy) dPϑ (x) X

Δ

heißt Risikofunktion. Rδ := R(·, δ) bezeichnet die Risikofunktion von δ als Funktion auf Θ. b) Die Menge R := {Rδ ; δ ∈ D} heißt Risikomenge.

2.1 Statistisches Entscheidungsproblem

23

Die Risikofunktion R beschreibt den erwarteten Verlust bei Verwendung der Entscheidungsfunktion δ bei Vorliegen von ϑ. Bemerkung 2.1.8 (Beispiele und Eigenschaften von Risikofunktionen) a) Ist δ = δd mit d ∈ D eine nichtrandomisierte Entscheidungsfunktion, so ist das Risiko R(ϑ, d) := R(ϑ, δd ) = L(ϑ, d(x)) dPϑ (x) = Eϑ L(ϑ, d). X

b) F¨ ur ein Sch¨ atzproblem mit Gauß-Verlust und Δ = R1 gilt f¨ ur den nichtrandomisierten Sch¨ atzer d ∈ D R(ϑ, d) = (d(x) − g(ϑ))2 dPϑ (x) = Eϑ (d − g(ϑ))2 . X

c) Konfidenzbereich: F¨ ur die Bereichssch¨ atzfunktion C ergibt sich mit 0-1-Verlust: R(ϑ, C) = Pϑ ({x ∈ X; g(ϑ) ∈ C(x)}). Versucht man diese Funktion f¨ ur alle ϑ ∈ Θ zu minimieren, so ergibt sich als L¨ osung C = X. Um eine nichttriviale L¨ osung zu erhalten ist eine M¨oglichkeit, die Gr¨ oße von C(x) in die Verlustfunktion einzubeziehen. Sei μ ein Gr¨oßenmaß und c > 0 ein Gewichtsfaktor und definiere die Verlustfunktion L(ϑ, B) := 1B c (g(ϑ)) + cμ(B). Das zugeh¨ orige Risiko ist / C(x)}) + cμ(B). R(ϑ, C) = Pϑ ({x ∈ X; g(ϑ) ∈ d) Testproblem mit Neyman-Pearson-Verlust: Wie in Beispiel 2.1.6 c) gezeigt, gilt D Φ. Die Risikofunktion ist ⎧ ⎪ ⎪ ϑ ∈ Θ0 , ⎨ L0 ϕ dPϑ , R(ϑ, ϕ) := R(ϑ, δϕ ) = ⎪ ⎪ ⎩ L1 (1 − ϕ) dPϑ , ϑ ∈ Θ1 , denn

R(ϑ, ϕ) = X

L(ϑ, y)δϕ (x, dy) dPϑ (x) Δ

[L(ϑ, a1 )ϕ(x) + L(ϑ, a0 )(1 − ϕ(x))] dPϑ (x)

=  =

L0 Eϑ ϕ,

ϑ ∈ Θ0

der Fehler 1. Art,

L1 Eϑ (1 − ϕ),

ϑ ∈ Θ1

der Fehler 2. Art.

24

2 Statistische Entscheidungstheorie

Das Risiko von ϕ wird eindeutig bestimmt durch die G¨ utefunktion von ϕ: β = βϕ , β(ϑ) = Eϑ ϕ. e) Die Menge R aller Risikofunktionen ist konvex, da die Menge D aller Entscheidungsfunktionen konvex ist: Seien δ1 , δ2 ∈ D. Dann gilt f¨ ur alle α ∈ [0, 1]: δ := αδ1 + (1 − α)δ2 ∈ D

⇒

Rδ = αRδ1 + (1 − α)Rδ2 ∈ R.

F¨ ur den Fall eines einfachen Testproblems Θ0 = {ϑ0 },

Θ1 = {ϑ1 } mit Neyman-Pearson-Verlust

asst sich die Risikomenge mit einer konvexen Teilmenge des R2 mit L0 = L1 = 1 l¨ identifizieren R {(Eϑ0 (ϕ), Eϑ1 (1 − ϕ)); ϕ ∈ Φ}. R ist symmetrisch um die Diagonale {(α, 1 − α); α ∈ [0, 1]}. (α, 1 − α) ist das Risiko von ϕα ≡ α. Bei gegebenem Fehler 1. Art α minimiert der Test ϕ∗ , so dass Eϑ1 (1 − ϕ∗ ) dem oberen Schnittpunkt entspricht, den Fehler 2. Art. Eϑ1 (1 − ϕ)

1 R

α

1

Eϑ0 ϕ

Abbildung 2.1 Risikomenge eines einfachen Testproblems

Beispiel 2.1.9 (Beispiele von Entscheidungsproblemen) Sei (X, A) := (Rn , Bn ), P ∈ M1 (R1 , B1 ), Θ = R1 und P = {Pϑ ; ϑ ∈ R1 } das erzeugte Lokationsmodell zu n unabh¨angigen Beobachtungen mit Pϑ = (εϑ ∗P )(n) . a) Vergleich von Sch¨ atzern und Sch¨ atzproblemen: Zu sch¨atzen ist ϑ ∈ Θ := R mit Gauß-Verlust. Wir behandeln drei Beispielklassen. 1. P = N (0, σ02 ) also Pϑ = N (ϑ, σ02 )(n) ein normalverteiltes Modell 2. P = U (−a, a) also Pϑ = U (−a + ϑ, a + ϑ)(n) ein gleichverteiltes Modell und 3. P = C(0, 1) also Pϑ = C(ϑ, 1)(n) ein Cauchy-Verteilungs-Modell.

2.1 Statistisches Entscheidungsproblem

25

normal

uniform

Cauchy

−a

a

Abbildung 2.2 uniforme, Normal- und Cauchy-Verteilung

Drei Standardsch¨atzverfahren f¨ ur den Lageparameter ϑ sind 1 n d1 (x) = xn = n i=1 xi das arithmetische Mittel, d2 (x) = 12 (x(1) + x(n) ) mit den Ordnungsstatistiken x(1) ≤ · · · ≤ x(n) und d3 (x) = mn (x) der Median der (xi ). Zum Vergleich von Problem 1. und 2. ist es sinnvoll die Parameter a, σ02 so zu 3 w¨ahlen, dass die Varianzen ¨ ubereinstimmen, d.h. σ02 = a3 . Es gilt in Modell 1. und 2. Eϑ d1 = ϑ ,

R(ϑ, d1 ) = Eϑ (d1 − ϑ)2 = Varϑ d1 =

a3 σ02 = . n 3n

Das Risiko von d1 ist in Modell 1. und 2. identisch, in Modell 3. ist das Risiko von d1 dagegen unendlich. In jedem Lokationsmodell mit Varianz σ 2 hat das arithmetische Mittel d1 (x) = xn dasselbe Risiko. Es zeigt sich (sp¨ater in der Sch¨atztheorie), dass d1 ein optimaler Sch¨atzer im Normalverteilungsmodell ist. Hieraus ergibt sich, dass der Lageparameter im Normalverteilungsmodell am schwierigsten zu sch¨atzen ist unter allen Modellen mit derselben Varianz σ02 . Im Modell 2. mit a = 1 ergibt sich mit etwas Rechnung R(ϑ, d2 ) =

1 1 ∼ . 2(n + 1)(n + 2) 2n2

Das Risiko von d2 ist unabh¨angig von ϑ. Im Vergleich dazu ist R(ϑ, d1 ) =

1 σ02 = . n 3n

1 Um im Modell 2. das Risiko 1000 zu erhalten, werden bzgl. d2 , n = 45 Beobachtungen ben¨otigt, bzgl. d1 aber n ≈ 333 Beobachtungen. d2 ist in Modell 2. ein optimaler Sch¨atzer.

Vergleich der Modelle 1. und 2.: F¨ ur gleiches Risiko in Modell 1. mit Sch¨atzer d1 und n Beobachtungen und in Modell 2. mit Sch¨atzer d2 und m 1 1 Beobachtungen erhalten wir die Bedingung: 3n ∼ 2m 2 ; also  m∼

3√ n. 2

26

2 Statistische Entscheidungstheorie

In Modell 2. ist der Lokationsparameter mit deutlich geringerer Beobachtungszahl als in Modell 1. gleich gut sch¨atzbar. F¨ ur das Cauchy-Modell 3. gilt f¨ ur n ≥ 3: π2 R(ϑ, d3 ) = Varϑ d3 ∼ . 4n d3 ist ein optimaler Sch¨atzer im Cauchy-Modell. Die Sch¨atzer d1 , d2 versagen in diesem Modell v¨ollig; R(ϑ, d1 ) = R(ϑ, d2 ) = ∞. Im Cauchy-Modell ist der Lageparameter ϑ genau so gut sch¨atzbar wie im Normalverteilungsmodell mit 2 σ02 = π4 . Diese Beispiele f¨ uhren auch auf die allgemeine Frage nach dem Vergleich von Experimenten. Sind E1 , E2 statistische Experimente mit Parametermenge Θ. Unter welchen Bedingungen k¨onnen Entscheidungsprobleme in E1 besser gel¨ost werden als in E2 . b) Konfidenzbereiche: Gesucht wird eine Bereichssch¨atzfunktion C f¨ ur g(ϑ) = ϑ mit Θ := Γ = R1 . Sei wieder Pϑ := N (ϑ, σ02 )(n) ein Normalverteilungsmodell, mit σ02 > 0. Definiere den zweiseitigen Konfidenzbereich   σ0 σ0 C(x) := xn − √ u α2 , xn + √ u α2 n n zu dem vorgegebenen Sicherheitsniveau α (¨ ubliche Werte sind etwa 0.1, 0.05 oder 0.01). Dabei ist u α2 das α2 -Fraktil der Standardnormalverteilung, d.h. u α2 = Φ−1 (1 − α2 ), wobei Φ die Verteilungsfunktion der Standardnormalverteilung ist. Allgemein definiert man f¨ ur eine Verteilungsfunktion F das α-Fraktil durch uα = F −1 (1 − α) = inf{y; F (y) ≥ 1 − α}. Dann gilt f¨ ur das Risiko √von C bei Verwendung der 0-1-Verlustfunktion und mit der Statistik Tn (x) := n xnσ−ϑ , 0 PϑTn = N (0, 1) und 1 − R(ϑ, C) = Pϑ ({x ∈ X; C(x)  ϑ})   σ0 α x; |xn − ϑ| ≤ √ u 2 = Pϑ n   = Pϑ x; |Tn (x)| ≤ u α2

= Φ u α2 − Φ −u α2 = 1−α, d.h. das Risiko ist unabh¨angig von ϑ, identisch α, R(ϑ, C) = α, ∀ ϑ ∈ Θ. C ist ein Konfidenzbereich zum Niveau 1 − α.

2.1 Statistisches Entscheidungsproblem

27

Bemerkung 2.1.10 (approximative Konfidenzbereiche) Sind (Xi ) nicht notwendig normalverteilte unabh¨angig Versuche mit EXi = μ, VarXi = σ 2 < ∞, μ, σ 2 unbekannte Parameter der Verteilung. Dann erh¨alt man mit Hilfe des zentralen Grenzwertsatzes approximative Konfidenzbereiche zum Niveau 1 − α durch   sn sn Cn = Cn (x) = xn − √ u α2 , xn + √ u α2 n n  mit der Stichprobenstreuung sn =

1 n−1

n 

(xi − x2n ) als Sch¨atzer f¨ ur σ,

i=1

d.h. es gilt: lim P ({μ ∈ Cn }) = 1 − α

n→∞

f¨ ur alle Verteilungen mit μ = EX1 , σ 2 = VarX1 . Dieses ist ein typisches Resultat der asymptotischen Statistik. c) Testproblem: Sei Pϑ := N (ϑ, σ02 )(n) , σ02 > 0, sei ϑ ∈ R1 und seien die Hypothesen gegeben durch Θ0 = (−∞, ϑ0 ], Θ1 = (ϑ0 , ∞). Sei α eine vorgegebenes Fehlerniveau f¨ ur den Fehler 1. Art, und uα = Φ−1 (1 − α) das α-Fraktil der N (0, 1)-Verteilung. Dann ist der Gauß-Test ϕ∗ , definiert durch  ∗

ϕ (x) =

1, 0,

√ xn −ϑ0 n ≥ uα , 0 √ xnσ−ϑ n σ0 0 < uα ,

x ∈ Rn .

Es gilt f¨ ur alle ϑ ∈ Θ = R1 :   √ xn − ϑ0 n ≥ uα Eϑ ϕ = Pϑ σ0   √ xn − ϑ √ ϑ0 − ϑ = Pϑ n ≥ uα + n σ0 σ0   √ ϑ0 − ϑ = 1 − Φ uα + n . σ0 ∗

Da die G¨ utefunktion isoton in ϑ ist, gilt mit Neyman-Pearson-Verlust und L0 = L1 = 1 f¨ ur alle ϑ ≤ ϑ0 R(ϑ, ϕ∗ ) = Eϑ ϕ∗ ≤ Eϑ0 ϕ∗ = 1 − Φ(uα ) = α, d.h. der Fehler 1. Art ist ≤ α. F¨ ur alle ϑ ∈ Θ1 gilt:   √ ϑ0 − ϑ R(ϑ, ϕ∗ ) = Eϑ (1 − ϕ∗ ) = Φ uα + n σ0

28

2 Statistische Entscheidungstheorie

ist antiton in ϑ. Daher gilt f¨ ur alle ϑ1 > ϑ0 und jedes β ∈ (α, 1): R(ϑ1 , ϕ∗ ) ≤ 1 − β ⇔ Eϑ1 ϕ∗ ≥ β   √ ϑ0 − ϑ1 ≥β ⇔ 1 − Φ uα + n σ0   √ ϑ0 − ϑ1 ⇔ Φ uα + n ≤1−β σ0 √ ϑ0 − ϑ1 n + uα ≤ Φ−1 (1 − β) = uβ σ0 2  σ0 (uβ − uα ) ⇔ n≥ . ϑ1 − ϑ0 ⇔

Das heißt, dass sich der Fehler 2. Art in dem Bereich [ϑ1 , ∞] durch hinreichend große Wahl von n kontrollieren l¨asst. F¨ ur die Einf¨ uhrung eines neuen Medikamentes nimmt man einen Indifferenzbereich [ϑ0 , ϑ1 ], ϑ1 = ϑ0 + Δ in Kauf, ϑ0 die Erfolgsrate eines aktuell verwendeten Medikaments. Durch geeignete Wahl von n d.h. Versuchsplanung des Experiments, l¨asst sich dann auch die Fehlerwahrscheinlichkeit f¨ ur den Fehler 2. Art kontrollieren. 1 β

α Θ0 Fehler ≤ α

ϑ0

ϑ1 = ϑ0 + Δ Θ1 Fehler ≤ 1 − β

Abbildung 2.3 Planung des Fehlers erster und zweiter Art

Bemerkung 2.1.11 (approximativer Test zum Niveau α) Allgemein gilt f¨ ur ein Lokationsmodell P = {Pϑ ; ϑ ∈ R1 }, Pϑ = (εϑ ∗ P )(n) , Var(P ) < ∞ f¨ ur den Test  √ xn − ϑ0 1, Tn (x) ≥ uα , ∗ ϕn (x) = mit Tn (x) := n sn 0, Tn (x) < uα ,   √ ϑ0 − ϑ . Eϑ ϕ∗n ≈ 1 − Φ uα + n σ0 ur Θ0 = (−∞, ϑ0 ], Θ1 = ϕ∗n ist also ein approximativer Test zum Niveau α f¨ (ϑ0 , ∞).

2.2 Entscheidungskriterien, Bayes- und Minimax-Verfahren

2.2

29

Entscheidungskriterien, Bayes- und MinimaxVerfahren

Dieser Abschnitt behandelt die L¨ osungskonzepte der Entscheidungstheorie – Zul¨assigkeit, Bayes- und Minimax-Verfahren. Es werden die grundlegenden Mittel zur Konstruktion solcher L¨ osungen entwickelt, z.B. der Satz von Hodges-Lehmann und die a-posteriori-Verteilung, und Zusammenh¨ ange der L¨osungskonzepte beschrieben. Sei ein Entscheidungsproblem (E, Δ, L) gegeben und f¨ ur jede Entscheidungsfunktion δ ∈ D die Risikofunktion Rδ = R(·, δ). Zum Vergleich von Entscheidungsfunktionen definieren wir auf D eine partielle Ordnung  durch die punktweise partielle Ordnung ≤ auf R: F¨ ur alle δ1 , δ2 ∈ D sei δ1  δ2

“δ1 ist besser als δ2 ” ⇔ Rδ1 ≤ Rδ2 ⇔: Rδ1  Rδ2

punktweise Ordnung

Zwei Entscheidungsfunktionen heißen ¨ aquivalent: δ1 ∼ δ2 ⇔ δ1  δ2 und δ2  δ1 . Entsprechend definiert man die strikte partielle Ordnung ≺ auf R Rδ1 ≺ Rδ2 :⇔ Rδ1  Rδ2 und Rδ1 = Rδ2 . Von Interesse sind die minimalen Elemente von D bzgl. . Hierbei ergibt sich jedoch das Problem, dass triviale Entscheidungsfunktionen oft minimal sind. So ist z.B. bei einem Test die konstante Entscheidungsfunktion ϕ :≡ 1 auf der Alternative Θ1 optimal, d.h. nicht mehr zu “¨ uberbieten”. Als Beispiel betrachten wir das Sch¨ atzproblem Θ = R1 , g(ϑ) = ϑ, Pϑ = N (ϑ, 1) mit Gauß-Verlust. F¨ ur den trivialen Sch¨ atzer d0 (x) := ϑ0 erh¨ alt man das Risiko R(ϑ, d0 ) = (ϑ − ϑ0 )2 . F¨ ur den naheliegenden Sch¨ atzer d1 (x) := x ergibt sich dagegen R(ϑ, d1 ) = Eϑ (x − ϑ)2 = 1. Also ist d1 nicht gleichm¨ aßig besser als d0 . F¨ ur jeden weiteren nichtrandomisierten Sch¨ atzer d ∈ D gilt: Ist d  d0 , d.h. R(ϑ, d) ≤ R(ϑ, d0 ) = (ϑ − ϑ0 )2 ⇒ (d − ϑ0 )2 dPϑ0 = 0 ⇒ d ≡ ϑ0 [λ\1 ]. Also ist d ¨ aquivalent zu dem trivialen Sch¨ atzer d0 , d ∼ d0 . Daher verwenden wir im Folgenden das Prinzip der Einschr¨ankung auf Teilmengen D0 ⊂ D die gewissen Minimalanforderungen gen¨ ugen. Ziel ist es dann, in diesen Teilklassen optimale Elemente zu finden.

30

2 Statistische Entscheidungstheorie

Definition 2.2.1 (Optimalit¨ atskriterien) Sei D0 ⊂ D und δ0 ∈ D0 . assig, wenn δ0 minimal bzgl.  in D0 ist, d.h. f¨ ur alle δ ∈ D0 gilt a) δ0 ist D0 -zul¨ δ  δ0 ⇒ δ ∼ δ 0 . Falls D0 = D, dann heißt δ0 zul¨ assig. b) δ0 ist D0 -Minimax, falls gilt: sup R(ϑ, δ0 ) = inf sup R(ϑ, δ). ϑ∈Θ

δ∈D0 ϑ∈Θ

F¨ ur D0 = D heißt δ0 Minimax. ur alle ϑ ∈ Θ, {ϑ} ∈ AΘ und sei L : c) Sei (Θ, AΘ ) ein Messraum, so dass f¨  := M1 (Θ, AΘ ) heißen (Θ, AΘ ) ⊗ (Δ, AΔ ) → (R+ , B+ ). Die Elemente μ ∈ Θ a-priori-Verteilungen. Das Funktional r(μ, δ) := R(ϑ, δ) dμ(ϑ) Θ

heißt Bayes-Risiko von δ bzgl. μ. δ0 ∈ D0 heißt D0 -Bayes-Entscheidungsfunktion bzgl. der a-priori-Verteilung μ, falls f¨ ur alle δ ∈ D0 gilt: r(μ, δ0 ) ≤ r(μ, δ). Falls D0 = D, so heißt δ0 Bayes-Entscheidungsfunktion bzgl. μ. Grundlegende Fragen der Entscheidungstheorie betreffen 1. die Bestimmung optimaler Entscheidungsfunktionen, 2. das Verhalten verschiedener Optimalit¨atskriterien, 3. den Vergleich verschiedener Entscheidungsprobleme. Bemerkung 2.2.2 a) F¨ ur δ ∈ D gilt sup R(ϑ, δ) = sup r(μ, δ), ϑ∈Θ

 μ∈Θ

denn (i) supμ∈Θ  r(μ, δ) ≥ supϑ∈Θ r(ε{ϑ} , δ) = supϑ∈Θ R(ϑ, δ)   gilt: r(μ, δ) = R(ϑ, δ) dμ(ϑ) ≤ supϑ∈Θ R(ϑ, δ) . (ii) ∀μ ∈ Θ

2.2 Entscheidungskriterien, Bayes- und Minimax-Verfahren

31

Also l¨asst sich b) ¨aquivalent beschreiben durch: δ0 ist D0 -Minimax ⇔ sup r(μ, δ0 ) = inf sup r(μ, δ).  μ∈Θ

 δ∈D0 μ∈Θ

b) Die a-priori-Verteilung μ kann als Vorinformation u ¨ ber den Parameter ϑ aufgefasst werden. Diese Vorinformation kann durch bisherige Erfahrung oder durch Expertenwissen als ein weiteres Element zur Modellierung eines Experimentes verwendet werden. Die darauf basierenden statistischen Verfahren sind besonders effektiv, wenn die Vorinformation korrekt ist. Sie verlieren aber m¨oglicherweise an Objektivit¨at. c) Spieltheorie: Statistische Entscheidungsprobleme lassen sich in die Spieltheorie, als ein Spiel zwischen zwei Spielern, einordnen. Hierbei “w¨ahlt” Spieler 1  und Spieler 2 “reagiert” darauf mit eieine Spieler 2 unbekannte Strategie in Θ,  ner Strategie δ ∈ D. Θ und D sind die Aktionenmengen der Spieler. Das Bayes × D → [0, ∞] beschreibt den erwarteten Verlust von Spieler 2, bzw. Risiko r : Θ den erwarteten Gewinn von Spieler 1. Das statistische Entscheidungsproblem  D, r) ist dann aufgefasst als ein Zweipersonen-Nullsummenspiel. Γ = (Θ, Γ ist die gemischte Erweiterung des Spiels (Θ, D, R). Γ ist ein Beispiel f¨ ur ein Spiel von konkav-konvexem Typ, d.h. r ist im 1. Argument konkav und im 2. konvex. Ein grundlegendes Resultat f¨ ur derartige Spiele ist der Minimax-Satz. Zur Formulierung ben¨otigen wir der Begriff der halbstetigen Funktion f auf einem topologischen Vektorraum Y . Eine Funktion f : Y → R heißt halbstetig nach unten, wenn f¨ ur alle c ∈ R1 die Menge {y ∈ Y ; f (y) ≤ c} abgeschlossen ist. Unter schwachen topologischen Annahmen gilt der folgende Satz 2.2.3 (Minimax-Satz von Ky-Fan) Seien X und Y konvexe Teilmengen eines topologischen Vektorraums, Y kompakt und die Funktion f : X × Y → (−∞, ∞] sei so, dass f (·, y) konkav und f (x, ·) konvex und halbstetig nach unten ist. Dann gilt: a) Es gilt: sup inf f (x, y) = inf sup f (x, y) =: f . x∈X y∈Y

y∈Y

x∈X

Dieser Wert f heißt Wert des Spiels. ur Spieler 2, d.h. b) Es existiert eine Minimax-Strategie y0 ∈ Y f¨ sup f (x, y0 ) = inf sup f (x, y). x∈X

y∈Y x∈X

F¨ ur eine detaillierte Diskussion dieses Minimax-Satzes und verschiedener speziellerer und allgemeinerer Versionen, vgl. den Anhang A.3.

32

2 Statistische Entscheidungstheorie

 und D des statistischen Entscheidungsproblems Die Strategienmengen Θ sind konvex. D l¨ asst sich geeignet kompaktifizieren (“intrinsic topology”, vgl. Wald (1949)) und abschließen. Daher folgt nach dem Minimax-Satz: Der Wert des Spiels r := inf sup r(μ, δ) = sup inf r(μ, δ)  δ∈D μ∈Θ

 δ∈D μ∈Θ

existiert, und es gibt eine (erweiterte) Minimax-Strategie δ ∗ ∈ D, so dass r =  kompakt. Dieses impliziert sup r(μ, δ ∗ ). Unter geeigneten Annahmen ist auch Θ  μ∈Θ

die Existenz einer Minimax-Strategie f¨ ur Spieler 1. Definition 2.2.4  heißt ung¨ μ∗ ∈ Θ unstigste a-priori-Verteilung (Minimax-Strategie f¨ ur Spieler 1), wenn inf r(μ∗ , δ) = sup inf r(μ, δ). δ∈D

 δ∈D μ∈Θ

ur Spieler 2) wenn δ ∗ ∈ D heißt Minimax-Strategie (f¨ sup r(μ, δ ∗ ) = inf sup r(μ, δ).

 μ∈Θ

 δ∈D μ∈Θ

Die G¨ ultigkeit des Minimax-Satzes l¨ asst sich durch die Konstruktion von Sattelpunkten nachweisen. Proposition 2.2.5 (Sattelpunkte und Minimax-Strategien)  D, r) und es seien weiterhin a) Es gelte der Minimax-Satz f¨ ur das Spiel Γ = (Θ, μ∗ eine ung¨ unstigste a-priori-Verteilung und δ ∗ eine Minimax-Strategie. Dann gilt:

1) δ ∗ ist Bayes-Entscheidungsfunktion bzgl. μ∗ und  gilt: ur alle δ ∈ D, μ ∈ Θ 2) (μ∗ , δ ∗ ) ist Sattelpunkt von r, d.h. f¨ r(μ∗ , δ) ≥ r(μ∗ , δ ∗ ) ≥ r(μ, δ ∗ ). b) Ist (μ∗ , δ ∗ ) ein Sattelpunkt des Spiels Γ, dann sind μ∗ , δ ∗ Minimax-Strategien und es gilt der Minimax-Satz.

2.2 Entscheidungskriterien, Bayes- und Minimax-Verfahren

33

Beweis: a) Es gilt die folgende Ungleichungskette: r(μ∗ , δ ∗ ) ≤ sup r(μ, δ ∗ ) μ

da δ ∗ Minimax

= inf sup r(μ, δ) , δ

μ

= sup inf r(μ, δ) , μ

Minimax-Satz

δ

= inf r(μ∗ , δ) ,

μ∗ ung¨ unstige a-priori-Verteilung

δ

≤ r(μ∗ , δ ∗ ).  Also gilt die Gleichheit. Damit ist f¨ ur alle δ0 ∈ D, μ0 ∈ Θ: r(μ∗ , δ ∗ ) = inf r(μ∗ , δ) ≤ r(μ∗ , δ0 ) δ

also gilt 1). Weiter ist r(μ∗ , δ0 ) ≥ inf δ r(μ∗ , δ) = r(μ∗ , δ ∗ ) = supμ r(μ, δ ∗ ) ≥ r(μ, δ ∗ ) also gilt 2). b) Ist (μ∗ , δ ∗ ) ein Sattelpunkt, dann folgt: inf sup r(μ, δ) ≥ sup inf r(μ, δ) δ

μ

μ

δ

≥ inf r(μ∗ , δ) δ

= r(μ∗ , δ ∗ ) = sup r(μ, δ ∗ )

da (μ∗ , δ ∗ ) Sattelpunkt

μ

≥ inf sup r(μ, δ). δ

μ

Daraus folgt Gleichheit; also sind μ∗ , δ ∗ Minimax-Strategien. Wegen der ersten Gleichheit gilt der Minimax-Satz. 2

Bemerkung 2.2.6 (geometrische Interpretation f¨ ur Zweientscheidungsprobleme Θ = {ϑ0 , ϑ1 }) Die Risikomenge R l¨asst sich wie in Beispiel 2.1.6 mit einer konvexen Teilmenge des R2 identifizieren. R = {Rδ ; δ ∈ D} ∼ = {(R(ϑ0 , δ), R(ϑ1 , δ)); δ ∈ D} ⊂ R2 .  ∼ Zur a-priori-Verteilung μ ∈ Θ = {(α, 1 − α); α ∈ [0, 1]}, μ ∼ = (α, 1 − α), α = μ({ϑ0 }), ist das Bayes-Risiko   R(ϑ0 , δ) . r(μ, δ) = αR(ϑ0 , δ) + (1 − α)R(ϑ1 , δ) = (α, 1 − α) R(ϑ1 , δ)

34

2 Statistische Entscheidungstheorie

Damit erh¨alt man geometrisch μ-Bayes-Strategien δ ∗ ¨ uber minimale ber¨ uhrende Geraden orthogonal zu μ und die zul¨assigen Risikofunktionen als den unteren Rand von R. Minimax-Strategien ergeben sich ¨ uber untere ber¨ uhrende Quadrate (Abbildung 2.4). Bayes-Strategien mit nicht vollem Tr¨ager sind i.A. nicht zul¨assig (Abbildung 2.5). R(ϑ1 , δ) δ∗

R

1−α μ

zulassige Risikofunktion¨ R(ϑ0 , δ)

α

Abbildung 2.4 Zul¨ assige Entscheidungsfunktion als Bayes-Entscheidungsfunktion

R

R

δ∗

c c

Abbildung 2.5 Minimax-Strategie δ∗

δ∗

c c

Abbildung 2.6 Nicht eindeutige und nicht zul¨ assige Bayes-Strategie

Im Folgenden werden wir uns mit der Existenz und Konstruktion von optimalen Entscheidungsfunktionen besch¨ aftigen. Satz 2.2.7 (Bayes- und Minimax-Entscheidungsfunktionen und Zul¨ assigkeit) a) Falls genau eine Minimax-Entscheidungsfunktion δ0 existiert, so ist δ0 zul¨assig. b) Ist die Entscheidungsfunktion δ0 zul¨assig mit konstantem Risiko Rδ0 = R(·, δ0 ) = c (δ0 ist eine equalizer rule), so ist δ0 Minimax-Entscheidungsfunktion. c) Sei (Θ, d) ein topologischer Raum mit Borel-σ-Algebra AΘ = B(Θ), und sei  mit topologischem Tr¨ager S(μ) := {A = A; ¯ μ(Ac ) = 0} = Θ. Ist μ ∈ Θ δ0 Bayes-Entscheidungsfunktion bzgl. μ und Rδ stetig f¨ ur alle δ ∈ D, so ist δ0 zul¨assig. d) Ist δ0 eindeutige Bayes-Entscheidungsfunktion bzgl. μ, so ist δ0 zul¨assig.

2.2 Entscheidungskriterien, Bayes- und Minimax-Verfahren

35

Bemerkung 2.2.8 a) Es gilt fast die Umkehrung von d): Unter schwachen Voraussetzungen ist jede zul¨assige Entscheidungsfunktion Grenzwert einer Folge von Bayes-Entscheidungsfunktionen (bzgl. einer geeigneten intrinsischen Topologie) bzw. auch Bayes-Entscheidungsfunktion bzgl. einer uneigentlichen a-priori-Verteilung, d.h. bez¨ uglich eines nicht normierten Maßes mit unendlicher Masse. b) In c) reicht die schw¨achere Voraussetzung: Rδ − Rδ0 ist halbstetig nach oben (hno) f¨ ur alle δ ∈ D. Beweis zu Satz 2.2.7: a) Sei δ0 eine eindeutige Minimax-Entscheidungsfunktion. Angenommen δ0 ist nicht zul¨ assig. Dann existiert δ1 ∈ D : δ1 ≺ δ0 , d.h. f¨ ur alle ϑ ∈ Θ ist R(ϑ, δ1 ) ≤ R(ϑ, δ0 ) und es existiert ein ϑ1 ∈ Θ so dass R(ϑ, δ1 ) < R(ϑ, δ0 ). Damit ist auch δ1 eine Minimax-Entscheidungsfunktion mit δ1 = δ0 . Das ist ein Widerspruch zur Eindeutigkeit von δ0 . b) Sei δ0 zul¨ assig und Rδ0 ≡ c. Angenommen δ0 ist nicht Minimax-Entscheidungsfunktion. Dann gibt es δ1 ∈ D, so dass sup R(ϑ, δ1 ) < sup R(ϑ, δ0 ) = c ϑ

ϑ

Daraus folgt f¨ ur alle ϑ ∈ Θ : R(ϑ, δ1 ) < R(ϑ, δ0 ). Das ist ein Widerspruch zur Zul¨ assigkeit von δ0 . c) Sei δ0 Bayes-Entscheidungsfunktion bzgl. μ. Angenommen δ0 ist nicht zul¨assig. Dann gibt es δ1 ∈ D, so dass δ1 ≺ δ0 , d.h. Rδ1 ≤ Rδ0 und es gibt ein ϑ1 ∈ Θ, so dass Rδ1 (ϑ1 ) < Rδ0 (ϑ1 ). Wegen der Stetigkeit von Rδ1 gibt es f¨ ur alle hinreichend kleinen ε > 0 eine offene Umgebung Uε (ϑ1 ), so dass f¨ ur alle ϑ ∈ Uε (ϑ1 ): R(ϑ, δ1 ) ≤ R(ϑ, δ0 ) − ε. Damit ist: r(μ, δ1 ) =

R(ϑ, δ1 ) dμ(ϑ) +

Uε (ϑ1 )



≤ Θ

Uε (ϑ1

R(ϑ, δ0 ) dμ(ϑ) − ε μ(Uε (ϑ1 ))   >0 da S(μ)=Θ




0,

1,

f (x) = 0.

Unter der Annahme produktmessbarer Dichten l¨asst sich die a-posteriori-Verteilung also einfach in expliziter Form angeben.

2.3

Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

F¨ ur die drei klassischen Bereiche der statistischen Entscheidungstheorie – Sch¨atzprobleme, Testprobleme und Konfidenzbereiche – wenden wir in diesem Abschnitt die Resultate aus Abschnitt 2.2 an, bestimmen Bayes- und Minimax-Verfahren und behandeln die Zul¨ assigkeit von Entscheidungsverfahren f¨ ur einige Beispiele.

A) Sch¨ atzproblem Wir betrachten ein Sch¨ atzproblem (E, g, L2 ) mit Δ = R1 , g : Θ → R1 messbar, und mit Gaußschem Verlust L2 . Proposition 2.3.1 (Bayes-Sch¨ atzer) Sei μ ∈ Θ eine a-priori-Verteilung. Es gelte die Bedingung AP) und sei g ∈ L1 (μx ) [Qπ2 ]. Dann ist ∗ d (x) := g(ϑ) μx ( dϑ) = g(ϑ) Qπ1 |π2 =x ( dϑ) ∈ D

2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

41

und es gilt: a) d∗ ist nichtrandomisierter Bayes-Sch¨atzer, b) d∗ ist Qπ2 -fast sicher eindeutig, c) d∗ ist Bayes-Sch¨atzer bzgl. D. Beweis: a), b): F¨ ur a ∈ R1 gilt nach Bemerkung 2.2.14 und der Transformationsformel Qxμ (a) = L2 (ϑ, a) μx ( dϑ) = (a − g(ϑ))2 μx ( dϑ) = (a − s)2 μgx (ds). Θ

R1

Θ

F¨ ur integrierbare Zufallsvariablen X gilt: E(X − a)2 ≥ E(X − EX)2 ,

∀a ∈ R

mit “=” genau dann, wenn a = EX. Falls X nach μgx verteilt ist, ist der Erwartungswert EX = s μgx (ds) = g(ϑ) μx ( dϑ) = d∗ (x). R1

Θ

∗

Damit ist d also eindeutiges Minimum des a-posteriori-Risikos. Mit Bemerkung 2.2.14 folgen die Behauptungen a), b). c): F¨ ur alle m ∈ M1 (Δ, AΔ ) gilt analog dem Beweis von Teil a), b) f¨ ur das a-posteriori-Risiko Qxμ (m) bzgl. der Klasse D   x 2 Qμ (m) = (g(ϑ) − a) m(da) μx ( dϑ) Θ

≥

2  g(ϑ) − a m(da) μx ( dϑ)

nach Cauchy-Schwarz

Θ



(g(ϑ) − d∗ (x)) μx ( dϑ), 2

≥

nach Definition von d∗ .

Θ

Daraus folgt die Behauptung.

2

Bemerkung 2.3.2 a) Bayes-Sch¨ atzer f¨ ur Laplace-Verlust F¨ ur den Laplace-Verlust L(ϑ, a) = |g(ϑ)−a| definiere d∗ als Median von g unter μx , d∗ (x) ∈ med μgx . Dann ist d∗ Bayes-Entscheidungsfunktion bzgl. μ. Dieses ergibt sich daraus, dass E|X − a| durch den Median von X minimiert wird.

42

2 Statistische Entscheidungstheorie

b) Konjugierte a-priori-Verteilung: Sei Pϑ = B(m, ϑ)(n) und zu τ = (a, b) sei μτ = Be(a, b) die Beta-Verteilung, d.h. μτ hat eine Dichte auf [0, 1] der Form f (u) =

1 ua−1 (1 − u)b−1 B(a, b)

mit B(a, b) =

Γ(a + b) . Γ(a)Γ(b)

a μτ hat den Erwartungswert E(μτ ) = a+b . Die a-posteriori-Verteilung zu μτ ist     xi , b + mn − xi , μτ,x = Be a +

also wieder eine Beta-Verteilung. Die Beta-Verteilungen sind konjugierte apriori-Verteilungen zu den Binomial-Verteilungen. Ihre a-posteriori-Verteilungen ergeben sich einfach durch einen Parameterwechsel. (n) ¨ Ahnliches gilt f¨ ur Poisson- und Gamma-Verteilung: Ist Pϑ = P(ϑ) die Poisson-Verteilung, und μτ = Γ(a, b) f¨ ur τ = (a, b), so ist μτ,x = Γ (a + xi , b + n). Beispiel 2.3.3 (Sch¨ atzprobleme mit Gauß-Verlust) a) Binomialverteilung: Seien X = N0 , ν abz¨ahlendes Maß auf X, Θ = [0, 1], Pϑ = B(n, ϑ), g(ϑ) =  die uniforme ϑ f¨ ur alle ϑ ∈ Θ. Sei die a-priori-Verteilung μ = U[0, 1] ∈ Θ Verteilung auf Θ. Da die uniforme Verteilung ein Spezialfall der Beta-Verteilung ist, ist dies ein Beispiel f¨ ur Bemerkung b). Man erh¨alt zu x ∈ X als a-posterioriDichte die Dichte der Be(x + 1, n − x + 1)-Verteilung: n x ϑ (1 − ϑ)n−x hx (ϑ) =  1 nx , 0 ≤ x ≤ n. x n−x du 0 x u (1 − u) Der Bayes-Sch¨ atzer bzgl. der uniformen Verteilung ist ∗

1

d (x) =

ϑ hx (ϑ) dϑ =

n x 2 1 x+1 = + . n+2 n+2 n n+2 2

0 ∗

d ist Konvexkombination aus dem Standardsch¨atzer nx und dem a-priori-Sch¨atzer 12 . Man erkennt an dieser Form, wie sich mit zunehmender Anzahl von Beobachtungen das Gewicht zugunsten des Standard-Sch¨atzers nx verschiebt, und der a-priori-Sch¨atzer 12 immer weniger Gewicht erh¨alt. Das Risiko ist: 

∗

R(ϑ, d ) = Eϑ =

2 x+1 −ϑ n+2

1 Eϑ (x + 1 − (n + 2)ϑ)2 (n + 2)2   x−nϑ+(1−2ϑ)

  1 nϑ(1 − ϑ) + (1 − 2ϑ)2 . = 2 (n + 2)

2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

43

Damit folgt f¨ ur das Bayes-Risiko:

∗

1

r(μ, d ) =

Eϑ (d∗ − ϑ)2 dϑ

0

=

1

R(ϑ, d∗ ) dϑ

0

=

1 . 6(n + 2)

 = Ein Vergleich mit dem Standard-Sch¨ atzer d(x)

x n

liefert:

1 ϑ(1 − ϑ) n 1 1 . r(μ, d) = R(ϑ, d) dϑ = 6n 0

R(ϑ, d) =

Der Bayes-Sch¨atzer bzgl. der Rechteckverteilung ist also geringf¨ ugig besser. d∗ ist jedoch kein Minimax-Sch¨atzer, da in diesem Beispiel die Gleichverteilung nicht die ung¨ unstigste a-priori-Verteilung ist. Da das Risiko f¨ ur ϑ in der N¨ahe von 12 gr¨oßer wird, ordnet die ung¨ unstigste a-priori-Verteilung diesem Bereich gr¨o ßere Wahrscheinlichkeiten zu. Betrachtet man die a-priori-Verteilung μ∗ = √ √  n n Be 2 , 2 (s. Ferguson (1967)), so erh¨alt man den Bayes-Sch¨atzer ∗ 1 x √ + √ d (x) = √ n(1 + n) 2(1 + n)

mit dem konstanten Risiko ∗ R(ϑ, d ) =

1 √ 4(1 + n)2

f¨ ur alle ϑ ∈ Θ.

∗ atzer. Nach Satz 2.2.10 von Hodges-Lehmann ist d Minimax-Sch¨

Zum Vergleich: Es gilt n = R( 12 , d∗ ) 2 4(n + 2) ϑ 1 . sup R(ϑ, d) = 4n ϑ

sup R(ϑ, d∗ ) =

Es ergibt sich folgendes Bild f¨ ur den Vergleich (vgl. Abbildung 2.8): b) Normalverteilung:

n Sei Pϑ = N (ϑ, 1)(n) = i=1 N (ϑ, 1) mit ϑ ∈ Θ = R1 und g(ϑ) = ϑ. Zur konju erh¨alt man f¨ gierten a-priori-Verteilung μk := N (0, k) ∈ Θ ur k ∈ N folgenden

44

2 Statistische Entscheidungstheorie

R(·, d )

1/36

R(·, d∗ )

9/484 1/69

∗

R(·, d )

1/121

0

0,17

0,83

1

Abbildung 2.8 Vergleich von Standard-, Bayes- und Minimax-Sch¨ atzer f¨ ur n = 9.

Bayes-Sch¨ atzer: fϑ (x) fμ (ϑ) dϑ ϑ dk (x) = f (x) k     2 u exp − 12 nj=1 (xj − u)2 − 12 uk du nk   = =  xn . 1 n 1 u2 nk +1 2 exp − 2 j=1 (xj − u) − 2 k du Zum Nachweis hierzu erh¨alt man durch Ausmultiplizieren ⎡ ⎞2 ⎤ ⎛ n  k ⎢ 1 nk + 1 ⎝ ⎥  fϑ (x)fμk (ϑ) = C(x) exp ⎣− xj ⎠ ⎦ ϑ− 2 k nk + 1 j=1 Damit ist die a-posteriori-Verteilung μx gegeben durch ⎛ ⎞ n  k k ⎠ μx = N ⎝ xj , nk + 1 j=1 nk + 1 und es ergibt sich dk (x) = Eμx =

nk nk 1 0. xn = xn + nk + 1 nk + 1 nk + 1

Wieder l¨asst sich der Bayes-Sch¨atzer als Konvexkombination des Standardsch¨atzer xn und des a-priori-Sch¨atzer 0 darstellen. Es ergibt sich folgendes Risiko:  2 nk xn − ϑ R(ϑ, dk ) = Eϑ nk + 1 2 2   nk nk 2 2 −1 = Eϑ (xn − ϑ) + ϑ nk + 1 nk + 1 2  nk 2 nk 2 − 1 = + ϑ . (nk + 1)2 nk + 1

2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

45

Integration mit der N (0, k)-Verteilung liefert das Bayes-Risiko bzgl. μk : r(μk , dk ) =

nk 2 +k (nk + 1)2



nk −1 nk + 1

2 =

1 k −→ nk + 1 n

(k → ∞).

F¨ ur das Risiko des arithmetischen Mittels gilt f¨ ur alle ϑ ∈ Θ: R(ϑ, xn ) = Eϑ (xn − ϑ)2 =

1 = lim r(μk , dk ) n k→∞

xn ist ein Sch¨atzer mit konstanten Risiko. Nach Satz 2.2.10 von Hodges-Lehmann ist xn also Minimax-Sch¨ atzer im Normalverteilungsmodell. Bemerkung 2.3.4 a) Mit Pϑ = N (ϑ, σ 2 )(n) , ϑ ∈ Θ = R1 erh¨alt man zur a-priori-Verteilung μ = N (c, τ 2 ), τ > 0, c ∈ R, analog als Bayes-Sch¨ atzer d(x) = =

σ2 nτ 2 x + c n σ 2 + nτ 2 σ 2 + nτ 2 n σ2 n σ2

+

1 τ2

xn +

1 τ2 n σ2

+

1 τ2

c.

Auch hier ist der Bayes-Sch¨atzer also eine Mischung aus dem Standard-Sch¨atzer xn und dem a-priori-Sch¨atzer c. b) Die Minimax-Eigenschaft vom arithmetischen Mittel gilt in ¨ahnlicher Weise auch in Dimension d ≥ 1 im Normalverteilungsmodell {N (ϑ, Id ); ϑ ∈ Rd }. c) Der Minimax-Sch¨atzer xn im Normalverteilungsmodell wird in Beispiel 2.3.3 b) als punktweiser Limes von Bayes-Sch¨atzern nachgewiesen. xn ist auch BayesSch¨atzer bez¨ uglich der uneigentlichen a-priori-Verteilung μ = λ\1 (vgl. Bemerkung 2.2.9 a)). Es gilt:  − 1 (x−u)2 ue 2 du = x.  − 1 (x−v)2 2 dv e Nach Bemerkung 2.3.4 a) gilt: F¨ ur alle a ∈ (0, 1) und b ∈ R1 ist a xn + b eindeutiger Bayes-Sch¨ atzer, also auch zul¨ assig. Sch¨atzer der Form axn + b mit a ∈ [0, 1] werden als Shrinkage-Sch¨ atzer bezeichnet, da mit einem Faktor ≤ 1 b nach 1−a hin gestaucht wird. Die Zul¨ assigkeit von linearen Sch¨atzern l¨asst sich f¨ ur a = 1 einfach diskutieren. Wir behandeln nur den Fall n = 1. Der Fall n ≥ 1 ist analog. Proposition 2.3.5 (Zul¨ assigkeit von Shrinkage-Sch¨ atzern) Sei d ein Sch¨atzer f¨ ur g(ϑ) = ϑ mit Eϑ d = ϑ und Varϑ (d) = σ 2 f¨ ur alle ϑ ∈ Θ = R1. Dann ist da,b := ad + b nicht zul¨assig bzgl. D, falls eine der folgenden Bedingungen erf¨ ullt ist:

46

2 Statistische Entscheidungstheorie

1. a > 1, oder 2. a < 0, oder 3. a = 1 und b = 0. Beweis: In allen 3 F¨ allen gilt: R(ϑ, da,b ) = Eϑ (ad + b − ϑ)2 = Eϑ (a(d − ϑ) + (a − 1)ϑ + b)2 = a2 σ 2 + ((a − 1)ϑ + b)2 . 1. a > 1: Dann folgt: R(ϑ, da,b ) ≥ a2 σ 2 > σ 2 = R(ϑ, d1,0 ) . Das heißt d1,0 ≺ da,b . 2. a < 0: Es gilt (a − 1)2 > 1 und damit: R(ϑ, da,b ) ≥ ((a − 1)ϑ + b)2 2  b 2 = (a − 1) ϑ + a−1 2  b > ϑ+ a−1   = R ϑ, d0,− b . a−1

Das heißt d0,−

b a−1

≺ da,b .

3. a = 1, b = 0: Dann ist da,b = d + b. Da Eϑ d = ϑ ist, folgt da,b ≺ d.

2

In Proposition 2.3.5 bleibt der Fall a = 1, b = 0 offen. Der folgende Satz zeigt, dass im Normalverteilungsmodell das arithmetische Mittel zul¨assig ist. Satz 2.3.6 (Zul¨ assigkeit des arithmetischen Mittels) Sei Pϑ = N (ϑ, σ 2 )(n) mit σ 2 > 0 und g(ϑ) = ϑ f¨ ur alle ϑ ∈ Θ = R1 . Dann ist das arithmetische Mittel xn zul¨assig f¨ ur g. Beweis: Der Beweis basiert auf der Limes-Bayes-Methode. Sei ohne Einschr¨ ankung σ = 1. Angenommen xn w¨ are nicht zul¨ assig. Dann existiert ein “besserer Sch¨atzer” δ ∗ . Sei dieser ohne Einschr¨ ankung nichtrandomisiert, d.h. es existiert d∗ ∈ D, so dass ∗ ∗ δ = d ≺ xn . Damit existiert ein ϑ0 ∈ Θ so dass f¨ ur alle ϑ ∈ Θ: R(ϑ, d∗ ) ≤

1 1 und R(ϑ0 , d∗ ) < . n n

Mit dem Satz u ¨ber majorisierte Konvergenz zeigt man, dass das Risiko R(·, d∗ ) in Exponentialfamilien stetig ist (vgl. Ferguson (1967, S. 133, Theorem 2)). Es

2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

47

existiert also ε > 0 und eine Umgebung U (ϑ0 ) = (ϑ1 , ϑ2 ) von ϑ0 , so dass f¨ ur alle ϑ ∈ U (ϑ0 ) gilt: 1 R(ϑ, d∗ ) < − ε. n 2  f¨ F¨ ur die a-priori-Verteilung μτ := N (0, τ ) ∈ Θ ur τ ∈ R+ sei dτ der zugeh¨orige 1 ∗ Bayes-Sch¨ atzer. Dann ist r(μτ , d ) < n und nach Bemerkung 2.3.4 a) ist dτ (x) =

n σ2 xn n 1 σ2 + τ 2

Bayes-Sch¨ atzer bzgl. μτ . Das Bayes-Risiko ist wegen σ 2 = 1 gegeben durch r(μτ , dτ ) =

n σ2

1 +

1 τ2

=

τ2 . 1 + nτ 2

Damit ist 1 ≥

=

≥

− r(μτ , d∗ ) − r(μτ , dτ )  1

− ϑ2 ∗ √ 1 − R(ϑ, d ) e 2τ 2 dϑ 2 n 2πτ 1 n 1 n

1 n

n(1 + nτ 2 )ε √ 2πτ

→∞

−

τ2 1+nτ 2



ϑ2

ϑ2

e− 2τ 2 dϑ

beachte, dass der Z¨ahler > 0 ist

da

ϑ1

1 n

− R(ϑ, d∗ ) ≥ ε auf (ϑ1 , ϑ2 )

f¨ ur τ → ∞.

Nach dem Satz u ¨ber majorisierte Konvergenz konvergiert das Integral gegen ϑ2 −ϑ1 f¨ ur τ → ∞. Damit konvergiert der Ausdruck auf der rechten Seite der Ungleichungskette gegen ∞ f¨ ur τ → ∞. Aus diesem Widerspruch folgt die Behauptung. 2 Bemerkung 2.3.7 a) Jeffreys-Prior Es bleibt die Frage, wie man eine ung¨ unstigste a-priori-Verteilung erh¨alt. Sei Θ ⊂ Rk offen und Pϑ = fϑ ν; fϑ sei zweimal stetig differenzierbar in ϑ. Es existiere    ∂ ∂ Iij (ϑ) := Eϑ ln fϑ ln fϑ ∂ϑi ∂ϑj 2 ∂ ln fϑ = −Eϑ ∂ϑi ∂ϑj f¨ ur alle i, j ∈ {1, . . . , k} und sei endlich. Unter diesen Regularit¨atsannahmen l¨ asst sich die Fisher-Informationsmatrix I(ϑ) := (Iij (ϑ))

48

2 Statistische Entscheidungstheorie

definieren. Es zeigt sich, dass der Jeffreys-Prior μ := hλ\k mit + h(ϑ) ∼ det I(ϑ) ein guter Kandidat f¨ ur eine ung¨ unstigste a-priori-Verteilung ist (s. Jeffreys (1946)). Im Allgemeinen l¨ asst sich h nicht normieren und der Jeffreys-Prior liefert einen ‘uneigentlichen‘ prior. Die Motivation f¨ ur den Jeffreys-Prior basiert in Exponentialfamilien auf der Cram´er-Rao-Ungleichung. Der Jeffreys-Prior ist allgemeiner durch Resultate aus der asymptotischen Statistik motiviert. b) empirischer Bayes-Sch¨ atzer  eine Familie von a-priori-Verteilungen mit den BayesSei {μτ ; τ ∈ T } ⊂ Θ Sch¨ atzern dτ bzgl. μτ . τ ist ein Hyperparameter. Es ist nicht m¨oglich nur eine passende a-priori-Verteilung f¨ ur ein Experiment festzulegen. Dann empfiehlt sich folgende Vorgehensweise: 1. Sch¨ atze τ aus den Beobachtungen: x = (x1 , . . . , xn ) unter der Annahme der  Marginalverteilung Qτ = Pτ dμτ (ϑ) durch einen Sch¨atzer τ(x). 2. Verwende den Sch¨ atzer d der das empirische a-posteriori-Risiko minimiert,  L(ϑ, d(x)) μτ(x),x (dϑ) = inf , d

d.h. d = dτ(x) ist der Bayes-Sch¨ atzer bzgl. der empirischen a-priori-Vertei lung μτ(x) (bei gegebenem x). d heißt empirischer Bayes-Sch¨ atzer. c) Das arithmetische Mittel in Dimension k ≥ 2; James-Stein-Sch¨ atzer Das arithmetische Mittel xn ist auch in Dimension k = 2 zum Sch¨atzen des Mittelwertvektors ϑ zul¨ assig, u ¨ berraschenderweise aber nicht in k ≥ 3 nach einem Resultat von Stein (1956). Zur Erl¨ auterung dieses Ph¨anomens betrachten wir o. E. den Fall n = 1. Sei Pϑ =

k ,

N (ϑi , 1) ,

g(ϑ) = ϑ ,

ϑ ∈ Θ = Rk .

i=1

und betrachte die Verlustfunktion L(ϑ, a) =

k 1 (ϑi − ai )2 . k i=1

Dann gilt: 1) Falls k = 1, 2, dann ist d(x) = x zul¨ assig. 2) Falls k ≥ 3, dann ist d(x) = x nicht zul¨assig.

2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

49

James und Stein (1961) konstruierten dazu den folgenden Sch¨atzer: F¨ ur einen Punkt μ ∈ Rk definiere d(x) = x + c(x)(μ − x) = μ + (1 − c(x))(x − μ) = dμ (x) mit c(x) =

k−2 s2 ,

s2 =

k

i=1 (xi

− μi )2 .

Der Sch¨ atzer x wird mit einem vom Abstand von x und μ abh¨angenden Faktor in Richtung μ verschoben. F¨ ur μ = 0 erhalten wir also einen nichtlinearen Shrinkage-Sch¨ atzer in Richtung 0. Es gilt: R(ϑ, dμ ) = 1 −

1 (k − 2)2 Eϑ 2 < 1 = R(ϑ, x). k s R(·, x) R(·, dμ ) μ

Abbildung 2.9 Risikofunktion von dμ

Bez¨ u glich Pϑ ist s2 ∼ χ2 (λ); s2 ist χ2 -verteilt mit Nichtzentralit¨atsparameter 1 λ = (ϑ − μi )2 . F¨ ur ϑ = μ wird das Risiko von dμ minimal. Es ist Eμ s12 = k−2 und daher 2 R(μ, dμ ) = . k In einer kleinen Umgebung von μ ist das Risiko von dμ deutlicher kleiner als das von x. Dieser Effekt ist von Bedeutung in hochdimensionalen Daten z.B. Mikroarray Daten in der Genanalyse, wenn Informationen u ¨ ber interessante Shrinkage-Punkte μ vorliegen. Die mathematische Grundidee des James-Stein-Sch¨atzers ist die folgende: F¨ ur ξ ∼ N (ϑ, σ 2 ) und eine Funktion ϕ mit E|ϕ (ξ)| < ∞ gilt: σ 2 Eϕ (ξ) = E(ξ − ϑ)ϕ(ξ).  = x + g(x) eine Modifikation des Standardsch¨atzers x. Dann folgt Sei nun d(x) mittels obiger Beziehung D := Eϑ x − ϑ2 − Eϑ x + g(x) − ϑ2 = −2Eϑ

k  ∂gi (x) − Eϑ g(x)2 . ∂x i i=1

50

2 Statistische Entscheidungstheorie

2 Ist g(x) von der Form g(x) = ∇ ln ϕ(x), ϕ ∈ C+ , dann ist 1 Δϕ. Damit ergibt sich ϕ   1 Δϕ(x) . D = Eϑ g2 − 2Eϑ ϕ(x)



∂gi ∂xi (x)

= −g2 +

Ist ϕ ≥ 0 und superharmonisch, d.h. Δϕ ≤ 0, dann ist D > 0 und damit ist x nicht zul¨ assig. Nichttriviale superharmonische Funktionen existieren erst f¨ ur k ≥ 3, z.B. ist ϕ(x) = x2−k harmonisch und diese Wahl f¨ uhrt mit dem obigen Verfahren zu dem James-Stein-Sch¨ atzer. Auch der James-Stein-Sch¨ atzer ist nicht zul¨assig. Eine einfache Verbesserung ist   k−2 d+ (x) := 1 − (x − μ) + μ. μ s2 +

B) Testprobleme Sei Θ0 , Θ1 eine messbare Zerlegung von Θ, d.h. Θ1 , Θ2 ∈ AΘ , Θ0 + Θ1 = Θ und  eine a-priori-Verteilung. Mit Δ = {a0 , a1 } und der Neyman-Pearsonsei μ ∈ Θ Verlustfunktion  0, ϑ ∈ Θi , L(ϑ, ai ) := Li , ϑ ∈ Θi c ist mit δ = δϕ f¨ ur alle ϕ ∈ Φ das Bayes-Risiko   L(ϑ, a) δ(x, da) μx ( dϑ) Qπ2 (dx) r(μ, δ) = X

Θ Δ





=Qx μ (δx )

mit dem a-posteriori-Risiko Qxμ (δx ) = L0 μx (Θ0 )ϕ(x) + L1 μx (Θ1 )(1 − ϕ(x)) = ϕ(x) (L0 μx (Θ0 ) − L1 μx (Θ1 )) + L1 μx (Θ1 ). Damit ergibt sich aus Satz 2.2.13 folgender Satz: Satz 2.3.8 (Bayes-Test) Sei das Testproblem (Θ0 , Θ1 ) mit Neyman-Pearson-Verlust L und a-priori-Vertei gegeben. Dann gilt: lung μ ∈ Θ ϕ∗ ∈ Φ ist Bayes-Test bzgl. μ  1, falls L0 μx (Θ0 ) < L1 μx (Θ1 ) ⇔ ϕ∗ (x) = 0, falls L0 μx (Θ0 ) > L1 μx (Θ1 )

[Qπ2 ] .

Auf dem “Randomisierungsbereich” {L0 μx (Θ0 ) = L1 μx (Θ1 )} ist ϕ∗ nicht eindeutig bestimmt.

2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

51

Ist L0 = L1 entscheidet sich der Bayes-Test also f¨ ur die Hypothese mit der gr¨ oßeren a.posteriori-Wahrscheinlichkeit. F¨ ur das einfache Testproblem Θi = {ϑi }, i = 0, 1 und L0 , L1 > 0 gilt, falls Pϑi = fi ν: μx ({ϑi }) = hx (ϑi )μ({ϑi }), wobei

fi (x) mit f (x) = μ({ϑ0 })f0 (x) + μ({ϑ1 })f1 (x). f (x)

hx (ϑi ) = Mit k :=

L0 μ({ϑ0 }) L1 μ({ϑ1 })

ist also 

∗

ϕ (x) =

= ϕ∗ (x) := k

1,

falls μ({ϑ0 })L0 f0 (x) < L1 f1 (x)μ({ϑ1 }),

0,

falls μ({ϑ0 })L0 f0 (x) > L1 f1 (x)μ({ϑ1 }),

⎧ ⎨ 1,

falls

⎩ 0,

falls

f1 (x) f0 (x) f1 (x) f0 (x)

>k

[Qπ2 ] ,

0; dies entspricht einem Bayes-Test mit μ({ϑ0 }) = 0. Ist k = ∞, dann ist ϕ∗ϑ (x) = 0, falls f0 (x) > 0; dies entspricht einem Bayes-Test mit μ({ϑ1 }) = 1. Bemerkung 2.3.9   k 1 ϕ∗ = ϕ∗k ist Bayes-Test bzgl. der a-priori-Verteilung τk = 1+k . Ist L0 = , 1+k L1 = 1 dann ist k=

μ({ϑ0 }) μ({ϑ0 }) k = ⇔ μ({ϑ0 }) = μ({ϑ1 }) 1 − μ({ϑ0 }) 1+k

Hierbei definieren wir

∞ ∞

:= 1.

Definition 2.3.10 Im einfachen Testproblem Θi = {ϑi }, i = 0, 1 heißt jeder Test der Form ⎧ ⎨ 1, falls f1 (x) > k f0 (x) ϕ(x) = ϕk (x) = [Qπ2 ] ⎩ 0, falls f1 (x) < k f0 (x) Likelihood-Quotiententest (LQ-Test) mit kritischem Wert k ∈ [0, ∞].

52

2 Statistische Entscheidungstheorie

Als Konsequenz von Satz 2.3.8 ergibt sich folgendes Korollar: Korollar 2.3.11 Sind L0 , L1 > 0, so ist f¨ ur ein einfaches Testproblem die Klasse der LQ-Tests  identisch mit der Klasse der Bayes-Tests bzgl. μ, μ ∈ Θ. Die LQ-Tests lassen sich nun mit den zul¨ assigen Tests identifizieren. Korollar 2.3.12 (Zul¨ assige Tests) Seien L0 , L1 > 0 und Θi = {ϑi }. Dann gilt: a) Jeder zul¨assige Test ist ein LQ-Test. b) Ist ϕ ein LQ-Test mit 0 < Eϑ1 ϕ < 1, dann ist ϕ zul¨assig. Beweis: a) Nach der geometrischen Darstellung (vgl. Abbildung 2.10) der Risikomenge ist jeder zul¨assige Test unterer Randpunkt der Risikomenge R (vgl. Bemerkung 2.2.6) daher ein Bayes-Test und damit nach Korollar 2.3.11 auch ein LQTest. b) Sei ϕ ein LQ-Test mit α := Eϑ0 ϕ. Angenommen, es existiert ein besserer Test ψ als ϕ, d.h. ψ ≺ ϕ. Dann ist: Eϑ0 ψ ≤ α

und Eϑ1 ψ ≥ Eϑ1 ϕ.

ur den kritischen Wert k von ϕ, daß k = 0 Weiterhin folgt mit 0 < Eϑ1 ϕ < 1 f¨ und k = ∞.  mit μ({ϑi }) > 0, i = 0, 1. Der Tr¨ager von μ ϕ ist also Bayes-Test bzgl. μ ∈ Θ ist also ganz Θ. Damit folgt nach Satz 2.2.7, dass ϕ zul¨assig ist. 2

Eϑ1 (1 − ϕ)

R

Eϑ0 ϕ Abbildung 2.10 Zul¨ assige Tests als unterer Rand der Risikomenge

2.3 Anwendungen auf Sch¨ atzer, Tests und Konfidenzbereiche

53

Proposition 2.3.13 (Minimax-Test) Seien Θi = {ϑi } und Li = 1, i = 1, 2. Dann gilt: ⇔

ϕ ist Minimax-Test

ϕ ist LQ-Test mit Eϑ0 ϕ = Eϑ1 (1 − ϕ).

Beweis: “⇐”: Wenn ϕ ein LQ-Test ist, so existiert ein kritischer  Wert c ∈ [0, ∞], so dass c 1 , wobei ∞ , 1+c ϕ = ϕc . Damit ist ϕ Bayes-Test bzgl. τc = 1+c ∞ := 1. Weiterhin hat ϕ wegen Eϑ0 ϕ = Eϑ1 (1 − ϕ) konstantes Risiko. Mit Satz 2.2.10 von Hodges-Lehmann folgt, dass ϕ Minimax-Test ist. “⇒”: Sei ϕ ein Minimax-Test. Beh. 1: Eϑ0 ϕ = Eϑ1 (1 − ϕ) Angenommen, Λ := (1 − Eϑ1 ϕ) − Eϑ0 ϕ = 0. 1 Ist Λ > 0, so ist k := 1+Λ ∈ (0, 1). Definiere ϕ  := kϕ + (1 − k) ∈ Φ. Mit kΛ =

Λ 1+Λ

=1−

1 1+Λ

= 1 − k gilt:

Eϑ0 ϕ  = kEϑ0 ϕ + (1 − k) = k(Eϑ0 ϕ + Λ) = k(1 − Eϑ1 ϕ) = 1 − kEϑ1 ϕ − (1 − k)  = 1 − Eϑ1 ϕ. Wegen k < 1 folgt: max{Eϑ0 ϕ,  1 − Eϑ1 ϕ}  = k(1 − Eϑ1 ϕ) < 1 − Eϑ1 ϕ = max{Eϑ0 ϕ, 1 − Eϑ1 ϕ}. Dies ist ein Widerspruch dazu, dass ϕ Minimax-Test ist. Ist Λ < 0, folgt die Behauptung durch eine analoge Konstruktion einer Ver1 besserung mit k := 1−Λ ∈ (0, 1). Beh. 2: ϕ ist LQ-Test Angenommen, ϕ ist kein LQ-Test. Dann ist ϕ nach Korollar 2.3.12 a) nicht zul¨ assig, d.h. es existiert ein Test ψ ∈ Φ mit ψ ≺ ϕ. Ist Eϑ0 ψ ≤ Eϑ0 ϕ und Eϑ1 ψ > Eϑ1 ϕ, so folgt nach Beh. 1: max{Eϑ0 ψ, 1 − Eϑ1 ψ} ≤ max{Eϑ0 ϕ, 1 − Eϑ1 ϕ} = Eϑ0 ϕ . Wegen Eϑ0 ϕ = 1 − Eϑ1 ϕ gilt sogar ein striktes “ 0, ∀x ∈ R1 . Aber σ-endliche Maße haben nur abz¨ahlbar viele Atome; also ein Widerspruch zur Annahme. b) Produkte: Ist P  μ, dann folgt P (n)  μ(n) , denn mit f = n . dP (n) (x1 , . . . , xn ) = f (xi ). (n) dμ i=1

dP dμ

gilt

3.1 Dominierte Verteilungsklassen

59

c) Bildmaße: Sei P  μ und T : (X, A) → (Y, B) und sei P T ∈ Mσ (Y, B), ∀P ∈ dP T P. Dann gilt: P T = {P T ; P ∈ P}  μT und mit f = dP dμ gilt dμT = Eμ (f | T ). Dabei ist f¨ ur μ ∈ Mσ (X, A) und f¨ ur eine disjunkte Zerlegung (Bn ) von X mit 0 < μ(Bn ) < ∞, der bedingte Erwartungswert Eμ (f | T ) definiert als Eμ (f | T ) =

∞ 

μn (Bn )Eμn (f | T ),

μn =

n=1

μ(· ∩ Bn ) , μ(Bn )

und es gilt die Radon-Nikod´ym-Gleichung f¨ ur μ. Beweis: F¨ ur B ∈ B und P ∈ P gilt P T (B) = P (T −1 (B)) =

f dμ. T −1 (B)

Also μT (B) = μ(T −1 (B)) = 0 ⇒ P T (B) = 0, ∀P ∈ P, d.h. P T  μT . Wegen der Radon-Nikod´ym-Gleichung f¨ ur μ gilt daher P T (B) = Eμ (f | T ) dμ, T −1 (B)

die Behauptung. d) Nichtparametrische Verteilungsklassen: Als Beispiel einer ‘großen‘ nichtparametrischen Verteilungsklasse betrachten wir P = {P ∈ M1 (R1 , B1 ); FP ist stetig}. Dann ist P nicht dominiert. Beweis: Sei P ∈ P so dass nicht P  λ\ wie z.B. die Cantor-Verteilung. Dann sei P das von P erzeugte Lokationsmodell P := {Pa ; a ∈ R1 } ⊂ P mit Pa := εa  P . Wie der folgende Satz 3.1.4 zeigt, ist P nicht dominiert, so dass auch P nicht dominiert ist. Satz 3.1.4 (Translationsklasse) Sei (X, A) = (Rn , Bn ) und P ∈ M1 (R1 , B1 ). F¨ ur die Translationsklasse P = (n)

{Pa ; a ∈ R1 } gilt:

P ist dominiert ⇐⇒ P  λ\.

Beweis: Es reicht, die Behauptung f¨ ur n = 1 zu zeigen. Der allgemeine Fall folgt dann mit Beispiel 3.1.3 b) und y ∈ R. Dann gilt: f dλ\ Py (A) = P (A − y) =

“⇐”: Sei f =

dP dλ\

A−y



= Es ist also

dPy dλ\ (z)

1A (x + y) f (x) dλ\(x) =

1A (z) f (z − y) dλ\(z) .

= f (z − y) f¨ ur alle y ∈ R und damit P  λ\.

60

3 Verteilungsklassen – statistische Modelle

“⇒”: Sei Q ∈ M1 (R1 , B1 ) mit P  Q und S : R2 → R, S(x, y) := x + y. Dann gilt f¨ ur alle B ∈ B: 1S −1 (B) (x, y) = 1B (x + y) = 1B−y (x) = 1B−x (y) und damit



(Q ∗ λ\)(B) = S(Q ⊗ λ\)(B) =



=

Q(B − y) dλ\(y) λ\(B − x) dQ(x) = λ\(B).

Aus λ\(B) = 0 folgt also Q(B − y) = 0 [λ\]. ur alle y ∈ R Ist also λ\(B) = 0, so existiert y0 ∈ R, so dass Q(B − y0 ) = 0. F¨ ist dann auch Py (B) = Py−y0 (B − y0 ) = 0, da Py−y0  Q. Der Fall n ≥ 1 folgt aus Beispiel 3.1.3 b).

2

Die folgende Aussage u ¨ber dominierte Verteilungsklassen erweist sich als wichtig f¨ ur die Behandlung des Suffizienzbegriffs in Kapitel 4. Ein dominierendes Maß kann in spezieller Weise aus den Elementen der Klasse P gebildet werden. Sie ben¨ otigt den sehr n¨ utzlichen und anschaulichen Begriff des wesentlichen Supremums einer Funktionenklasse. Definition 3.1.5 (Wesentliches Supremum von Funktionenklassen) Sei (X, A, μ) ein σ-endlicher Maßraum und F ⊂ L(X, A) eine Klasse von messbaren Funktionen. Dann heißt F wesentliches Supremum von F , falls: a) F¨ ur alle f ∈ F gilt f ≤ F

[μ].

b) F mit Eigenschaft a) ist minimal, das heißt: Ist H ∈ L(X, A), so dass f¨ ur alle f ∈ F gilt f ≤ H [μ], so ist F ≤ H [μ]. Schreibweise: F = ess supμ F . Es gilt das folgende maßtheoretische Resultat: 1. F¨ ur jede Klasse F ⊂ L(X, A) existiert ein μ f.s. eindeutiges wesentliches Supremum. 2. Zu F ⊂ L(X, A) gibt es eine abz¨ ahlbare Teilmenge F ⊂ F , so dass F := supf ∈F  f eine Version des wesentlichen Supremums von F ist. Beispiel 3.1.6 F¨ ur F := {1{x} ; x ∈ R} ist sup F ≡ 1 und ess supλ\ F ≡ 0. Das wesentliche Supremum und das Supremum k¨onnen also sehr unterschiedlich sein.

3.1 Dominierte Verteilungsklassen

61

Satz 3.1.7 (Dominiertheit und σ-konvexe H¨ ulle) F¨ ur das statistische Experiment (X, A, P) gilt: a) P ist dominiert ⇔ Es existiert eine abz¨ahlbare Teilmenge P ⊂ P mit P ∼ P (das heißt NP = NP  ). b) Sei P dominiert und P = {Pi ; i ∈ N} die abz¨ahlbare Teilmenge aus a). Definiere: P ∗ :=

∞ 

αn Pn mit αn ∈ R so, dass αn > 0 und

n=0

∞ 

αn = 1.

n=0

Dann ist P ∼ P ∗ und P ∗ ist in der σ-konvexen H¨ ulle von P, P ∗ ∈ coσ (P). Beweis: “⇐”: Sei P = {Pi ; i ∈ N} ∼ P und P ∗ wie in b). Dann ist P ∼ P ∼ P ∗ . Also ist P dominiert. “⇒”: Sei P  μ mit μ ∈ M1 (X, A) wie in Bemerkung 3.1.2 b) zu Definition 3.1.1. Definiere H := {1{ dP >0} ; P ∈ P} ⊂ L(X, A) und F = ess supμ H. dμ

Dann existiert eine abz¨ ahlbare Teilmenge H ⊂ H und damit eine abz¨ahlbare Teilmenge P ⊂ P, so dass F = supP ∈P  1{ dP >0} [μ]. F¨ ur P ∗ wie in b) gilt dμ  ∗ ∞ dPn dP ∗ ulle von P, P ∗ ∈ coσ (P). n=1 αn dμ , d.h. P ist in der σ-konvexen H¨ dμ = Da αn > 0 f¨ ur alle n ∈ N ist F = 1{ dP ∗ >0} [μ]. dμ

Nach Definition des wesentlichen Supremums ist damit f¨ ur alle P ∈ P: 1{ dP >0} ≤ F = 1{ dP ∗ >0} dμ

[μ].

dμ

F¨ ur alle P ∈ P und A ∈ A mit P ∗ (A) = 0 folgt: ∗ ∗ P (A) = 1{ dP ∗ >0} dP dμ dμ = 0 dμ

⇒ ⇒ ⇒

A

∗

μ(A ∩ { dP dμ > 0}) = 0 dP μ(A ∩ { dμ > 0}) = 0 1{ dP >0}

P (A) =

dμ

dP dμ

dμ = 0

A

Es ist also P  P ∗ ∼ P ∼ P, und damit P ∼ P ∗ . Damit folgen a) und b).

2

62

3 Verteilungsklassen – statistische Modelle

Die Dominiertheit einer Verteilungsklasse P hat einen engen Zusammenhang mit dem topologischen Begriff der Separabilit¨ at der Verteilungsklasse P bzgl. einer geeigneten Metrik auf P. Zur Vorbereitung dieser Aussage f¨ uhren wir einige Metriken auf M 1 (X, A) ein, beschreiben Relationen zwischen diesen Metriken und geben eine Anwendung auf die Konstruktion von konsistenten Testfolgen f¨ ur das Testen von Produktmaßen und den damit verwandten Dichotomiesatz von Kakutani. Definition 3.1.8 (Hellinger- und Totalvariationsabstand) F¨ ur 1 ≤ r < ∞ und P, Q ∈ M 1 (X, A), P, Q  μ mit f = dP dμ , g = dr -Metrik   r1 1 1 1 1 r r r r r |f − g | dμ . dr (P, Q) := f − g r = d1 (P, Q) = H(P, Q) =



dQ dμ

definiere die

|f − g| dμ heißt Totalvariationsabstand. heißt Hellingerabstand von P und Q.

√1 d2 (P, Q) 2

Die Definition von dr ist unabh¨ angig von μ und nach der Minkowski-Ungleichung sind dr Metriken auf M 1 (X, A). Es gelten folgende einfache Beziehungen: Lemma 3.1.9 a)

1 2 d1 (P, Q)

/ / / / / = P − Q := sup |P (A) − Q(A)| = sup / ϕ dP − ϕ dQ//; A∈A ϕ∈Φ

ist identisch mit dem Supremumsabstand   und auch mit dem Testabstand. 1 2 d1

b) 0 ≤ P − Q ≤ 1,

0 ≤ H(P, Q) ≤ 1

c) P − Q = 0 ⇔ P = Q ⇔ H(P, Q) = 0 P − Q = 1 ⇔ P ⊥Q ⇔ H(P, Q) = 1 Beweis: a)



d1 (P, Q) =

|f − g| dμ

= {f >g}



(f − g) dμ +

{g>f }

(g − f ) dμ

= (P ({f > g}) − Q({f > g})) + (Q({g > f }) − P ({g > f })). Es gilt f¨ ur alle A ∈ A



P (A) − Q(A) =

(f − g) dμ ≤ A

{f >g}

(f − g) dμ.

Also ist P − Q = P ({f > g}) − Q({f > g}) und d1 (P, Q) = P − Q + Q − P  = 2P − Q. Die Gleichheit mit dem Testabstand folgt ¨ahnlich.

3.1 Dominierte Verteilungsklassen

63

b), c) F¨ ur a, b ∈ R+ gilt (a − b)2 ≤ a2 + b2 und daher 1 1 (d2 (P, Q))2 = |f 2 − g 2 |2 dμ ≤ f dμ + g dμ = 2. 2

Hieraus folgen die Beziehungen b), c).

Die Totalvariations- und Hellingermetrik sind topologisch ¨aquivalent und es gelten folgende Beziehungen: Proposition 3.1.10 √ a) F¨ ur P, Q ∈ M 1 (X, A) gilt H 2 (P, Q) ≤ P − Q ≤ 2H(P, Q). b) F¨ ur Pi , Qi ∈ M 1 (Xi , Ai ), 1 ≤ i ≤ k gilt 1 − H 2 (⊗ki=1 Pi , ⊗ki=1 Qi ) =

k .

(1 − H 2 (Pi , Qi )).

i=1

Beweis: a) Mit Hilfe der Cauchy-Schwarz-Ungleichung ergibt sich 1 |f − g| dμ P − Q = 2 + 1 √ + √ = f+ g f − g dμ 2   12 1 + √ 2 1 + √ 2 ≤ f + g dμ f − g dμ 2 2 1

≤ (2H 2 (P, Q)) 2 √ = 2H(P, Q) Mit den Beziehungen |f − g| = f + g − 2f ∧ g und f ∧ g ≤ weiter 1 |f − g| dμ P − Q = 2 = 1 − f ∧ g dμ + √ ≥ 1− f g dμ 1 + √ 2 f − g dμ = 2 = H 2 (P, Q). Damit folgt a).

√ √ f g ergibt sich

64

3 Verteilungsklassen – statistische Modelle

+. 2 1 +. 1 − H (⊗Pi , ⊗Qi ) = 1 − fi − gi d ⊗ μi 2 k + . √ = fi gi d ⊗ μi

b)

2

i=1

=

+ √ fi gi dμi

k .

nach Fubini

i=1

=

k .

(1 − H 2 (Pi , Qi )).

2

i=1

Bemerkung 3.1.11 (Asymptotische Orthogonalit¨ at von Produktmaßen) Als Folgerung aus Proposition 3.1.10 ergibt sich H 2 (P (k) , Q(k) ) = 1 − (1 − H 2 (P, Q))k . Dieses impliziert die statistisch relevante Aussage → 1, H 2 (P (k) , Q(k) ) −−−− k→∞

ur k → ∞ orthogod.h. Produktmaße P (k) , Q(k) mit P = Q werden asymptotisch f¨ nal. Obige Bemerkung impliziert die Existenz von asymptotischen konsistenten (trennscharfen) Testfolgen. Korollar 3.1.12 (Konsistente Testfolgen) Seien P, Q ∈ M 1 (X, A), P = Q. Dann existiert eine asymptotisch konsistente Testfolge ϕk f¨ ur das Testproblem {P (k) }, {Q(k) }, k ∈ N, so dass EP (k) ϕk → 0 und EQ(k) (1 − ϕk ) → 0. Beweis: Nach Lemma 3.1.9 a) gilt / / / / P − Q = sup // ϕ dP − ϕ dQ// . ϕ∈Φ Damit folgt aus obiger Bemerkung und Proposition 3.1.10 / / / / (k) (k) / / sup / ϕ dP − ϕ dQ / = P (k) − Q(k)  ≥ H 2 (P (k) , Q(k) ) − −−−→ 1. ϕ∈Φk

k→∞

Dabei ist Φk die Menge der Testfunktionen auf (Xk , Ak ). Es folgt also die Existenz von ϕk ∈ Φk mit / / / / / ϕk dP (k) − ϕk dQ(k) / −→ 1. / / Dieses impliziert die Behauptung.

3.1 Dominierte Verteilungsklassen

65

Korollar 3.1.13 (Orthogonalit¨ at von unendlichen Produkten) Seien P, Q ∈ M 1 (X, A), P = Q; dann gilt P (∞) ⊥ Q(∞) , die unendlichen Produktmaße sind orthogonal. Beweis: Sei (ϕn ) eine konsistente Testfolge f¨ ur {P (n) }, {Q(n)} wie in Korollar  3.1.12 und seien εk > 0, εk < ∞, dann existiert eine Teilfolge (nk ) ⊂ N mit EP (∞) ϕnk < εk , EQ(∞) ϕnk > 1 − εk . Beachte dazu, dass EP (∞) ϕnk = EP (nk ) ϕnk ; wir fassen ϕn formal als Test auf X∞ auf. Definiert man ϕ := limϕnk , dann gilt   EP (∞) ϕnk < lim εk = 0. EP (∞) ϕ = lim EP (∞) sup ϕnk ≤ lim j→∞

k≥j

j→∞

k≥j

j→∞

k≥j

Also folgt P (∞) (ϕ = 0) = 1. Ebenso folgt Q(∞) (ϕ = 0) = 0. Also ist ϕ ein fehlerfreier Test f¨ ur das Testproblem {P (∞) }, {Q(∞) } und P (∞) ⊥ (∞) Q . 2

Bemerkung 3.1.14 (Asymptotische Orthogonalit¨ at allgemeiner Produktmaße, Kakutani-Dichotomiesatz) Die Beziehung f¨ ur den Hellingerabstand in Proposition 3.1.10 b) l¨asst sich zu folgender Ungleichung erweitern (vgl. R¨ uschendorf (1988, Lemma 4.14)): ⎛ ⎞ n n   1 − exp ⎝− H(Pi , Qi )⎠ ≤ H(⊗ni=1 Pi , ⊗ni=1 Qi ) ≤ H(Pi , Qi ). j=1

i=1

Hiermit lassen sich wie in Korollar 3.1.12 die Existenz von konsistenten ∞ Testfolgen f¨ ur allgemeine unendliche Produktmaße ⊗∞ i=1 Pi , ⊗i=1 Qi beschreiben (vgl. R¨ uschendorf (1988, Proposition 4.8)). Zentrales Resultat ist der Dichotomiesatz von Kakutani: ∞ Sei P := ⊗∞ i=1 Pi , Q := ⊗i=1 Qi und Pi ∼ Qi , ∀i, d.h. Pi  Qi und Qi  Pi . Dann gilt: Entweder ist P ⊥ Q oder P ∼ Q. Der Nachweis hierzu basiert auf obigen metrischen Ungleichungen und ei¨ ner Anwendung des Martingalkonvergenzsatzes. Ahnliche Konsistenzaussagen (01-Gesetze) gibt es auch f¨ ur (abh¨angige) Gaußsche Maße auf R(∞) und in stetiger Zeit f¨ ur Gaußsche Prozesse und f¨ ur Diffusionsprozesse. Ein n¨ utzliches Hilfsmittel f¨ ur den Nachweis der Konvergenz von Wahrscheinlichkeitsmaßen bzgl. der Totalvariationsmetrik oder a¨quivalent der Hellingermetrik ist das folgende aus der Wahrscheinlichkeitstheorie bekannte Lemma von Scheff´e. Proposition 3.1.15 (Lemma von Scheff´ e) n Sei {Pn }n∈N0 ⊂ M 1 (X, A) und seien fn = dP dμ μ-Dichten. Gilt fn → f0 [μ], dann folgt: d1 (Pn , P0 ) = 2Pn − P0  → 0.

66

3 Verteilungsklassen – statistische Modelle

Mit der Metrik dr auf einem statistischen Modell P ⊂ M 1 (X, A) stellen wir nun die Frage nach der Separabilit¨ at des metrischen Raumes (P, dr ) also nach der Existenz einer abz¨ ahlbaren dichten Teilmenge P von P, d.h. ∀ε > 0 : ∀P ∈ P existiert ein Q ∈ P mit dr (P, Q) < ∞. Ist P dominiert durch ein σ-endliches 1 r Maß μ, dann ist das ¨ aquivalent dazu, dass Fr := {( dP dμ ) ; P ∈ P} separabel in r (L (μ),  r ) ist. Proposition 3.1.16 Sei μ ∈ Mσ (X, A) und sei die σ-Algebra A abz¨ ahlbar erzeugt, d.h. es existiert ein abz¨ahlbares Erzeugendensystem von A. Dann gilt: a) Lr (μ), 1 ≤ r < ∞ ist separabel bzgl.  r b) Ist F ⊂ Lr (μ), dann ist F separabel bzgl.  r Beweis: a) Sei E ein abz¨ ahlbarer Erzeuger von A. Dann ist auch R = R(E), die von E erzeugte Algebra, abz¨ ahlbarer Erzeuger von A. Das Funktionensystem  n  F := αi 1Bi ; Bi ∈ R, αi ∈ Q, n ∈ N i=1

ist abz¨ ahlbar und nach dem Aufbau des μ-Integrals folgt: F ist dicht in Lr (μ) bzgl. der r-Norm  r . b) folgt aus a), da eine Teilmenge eines separablen metrischen Raumes separabel ist. 2 Satz 3.1.17 (Separabilit¨ at und Dominiertheit) Sei P ⊂ M 1 (X, A), dann gilt: a) Ist P separabel bzgl. der Totalvariationsmetrik d1 dann ist P dominiert. b) Ist P dominiert und A abz¨ahlbar erzeugt, dann ist P separabel bzgl. d1 . Beweis: a) Ist P separabel bzgl. d1 und P ⊂ P eine abz¨ ahlbar dichte Teilmenge, P = ∞ ∗ ∗ {Pn ; n ∈ N}, dann gilt P  P mit P := n=1 21n Pn . Denn P ∗ (A) = 0 ⇒ Pn (A) = 0, ∀n ∈ N. Zu P ∈ P existiert eine Folge (Qn ) ⊂ P mit d1 (Qn , P ) → 0. Daraus folgt: 0 = Qn (A) → P (A), also ist P (A) = 0, d.h. P  P ∗ . b) Ist umgekehrt P  μ und A abz¨ ahlbar erzeugt, dann folgt nach Proposition 3.1.16 b)   dP F = ; P ∈ P ⊂ L1 (μ) ist separabel bzgl.  1 . dμ Dieses impliziert: (P, d1 ) ist separabel.

2

3.2 Exponentialfamilien

67

Bemerkung 3.1.18 a) (stetige Parametrisierung) Ein einfaches Mittel zum Nachweis der Dominiertheit von P ⊂ M 1 (X, A) liefert der folgende Zusammenhang: Sei (Θ, d) ein separabler metrischer Raum. P = {Pϑ ; ϑ ∈ Θ} sei versehen mit der Totalvariationsmetrik d1 , so dass die Abbildung Θ → P, ϑ → Pϑ , stetig ist. Dann folgt: P ist separabel, und daher ist nach Satz 3.1.17 a) P dominiert. b) Die Annahme der abz¨ahlbaren Erzeugtheit von A ist in folgendem Sinne auch notwendig: Ist (P, d1 ) separabel, dann existiert eine separable, d.h. abz¨ahlbar erzeugte Unter-σ-Algebra A0 ⊂ A so dass (P, d1 ) und (P|A0 , d1 ) metrisch isomorph sind. c) (produktmessbare Dichten) Separabilit¨at ist n¨ utzlich zum Nachweis der Existenz produktmessbarer Dichten. Es gilt: Sei P separabel, P  μ, dann existiert eine produktmessbare Version der Dichte (x, P ) →

dP (x). dμ

Ist insbesondere P stetig parametrisiert (d.h. ϑ → Pϑ stetig) und Θ separabel, dann existiert eine produktmessbare Version der Dichte (x, ϑ) → fϑ (x) =

3.2

dPϑ (x). dμ

Exponentialfamilien

Exponentialfamilien sind eine Klasse von parametrischen Modellen, die f¨ ur statistische Analysen gut zug¨ anglich sind und die viele der wichtigen Beispiele beinhalten. Wir geben einige Beispiele an und beschreiben einige analytische Eigenschaften von Exponentialfamilien. Definition 3.2.1 (Exponentialfamilien) Sei P = {Pϑ ; ϑ ∈ Θ} ⊂ M1 (X, A), so dass P  μ. Dann heißt P (k-parametrische) Exponentialfamilie in Q,T , falls gilt: Es existieren h, T1 , . . . , Tk : (X, A) → (R, B) und C, Q1 , . . . , Qk : Θ → R, so dass gilt: 0 1 1. Q1 , . . . , Qk sind linear unabh¨angig. 2.

1, T1 , . . . , Tk sind P-fast sicher linear unabh¨angig.

3.

F¨ ur die μ-Dichten fϑ der Pϑ gilt mit Q = (Qj )j=1,...,k und T = (Tj )j=1,...,k : fϑ (x) =

k   dPϑ = C(ϑ) h(x) exp Qj (ϑ)Tj (x) dμ j=1 2 3 = C(ϑ) h(x) exp Q(ϑ), T (x) .

68

3 Verteilungsklassen – statistische Modelle

Eigenschaften I: 1.) Es gilt:

 C(ϑ) =

−1 2 3 h(x) exp Q(ϑ), T (x) dμ(x)

2.) F¨ ur ν := hμ gilt: P ∼ ν. 3.) Ist P eine Exponentialfamilie, so sind ¨ aquivalent: a) 1, T1 , . . . , Tk sind fast-sicher linear unabh¨angig b) Covϑ T ist positiv definit, ∀ϑ ∈ Θ. Denn ∃ a ∈ Rk+1 , a = 0 und b ∈ R so dass k 

ai Ti + b = 0[P]

i=1

⇔ ∃ a = 0, b ∈ R so dass     k k  Varϑ b + ai Ti = Varϑ ai Ti = a Covϑ T a = 0, i=1

∀ϑ ∈ Θ.

i=1

Also ist 1, T1 , . . . , Tk P f.s. linear unabh¨angig ⇔ Covϑ T ist positiv definit, ∀ϑ ∈ Θ. 4.) Ist P eine (k-parametrische) Exponentialfamilie, so ist auch P (m) eine (kparametrische) Exponentialfamilie mit m  m  4 5  dPϑ(m) m . (x , . . . , x ) = C(ϑ) h(x ) exp Q(ϑ), T (x ) . 1 m i i dμ(m) i=1 i=1

5.) (nat¨ urliche Parametrisierung) Sei P eine (k-parametrische) Exponentialfamilie mit Q = (Q1 , . . . , Qk ) : Θ → Rk und ν = hμ. Dann gilt mit der Parametrisierung η = Q(ϑ) f¨ ur alle η ∈ Q(Θ): 2 3 dPη  (x) = C(η) exp η, T (x) . dν In der neuen Parametrisierung heißt   2 3 Z := η ∈ Rk ; 0 < exp η, T (x) dν(x) < ∞ ⊃ Q(Θ) nat¨ urlicher Parameterraum der Exponentialfamilie P. F¨ ur alle ϑ ∈ Z gilt: 2 2 3 3 dPϑ  (x) = C(ϑ) exp ϑ, T (x) = exp ϑ, T (x) − K(ϑ) , dν

3.2 Exponentialfamilien

69

 ∞ tr wobei K(ϑ) := ln e ϑ,T (x) dν(x) = r=0 κr r! die Kumulantentransformation ist. Die Kumulanten κr von T sind standardisierte Momente der erzeugenden Statistik T der Exponentialfamilie. Es ist in dieser Parametrisierung C(ϑ) = e−K(ϑ)

und

K(ϑ) = − ln C(ϑ).

Lemma 3.2.2 Ist P eine k-parametrische Exponentialfamilie, dann gilt: ◦

a) Der nat¨ urliche Parameterraum Z ist konvex und Z = Ø. b) Die Abbildung Z → R1 ist strikt konvex. ϑ → K(ϑ) Beweis: a) Seien ϑ1 , ϑ2 ∈ Z, α ∈ (0, 1), dann gilt 0 < e αϑ1 +(1−α)ϑ2 ,T (x) dν(x)   1r   1s = e ϑ1 ,T (x) e ϑ2 ,T (x) dν(x)  ≤

e

ϑ1 ,T (x)

< ∞

mit r =

1 α, s

=

1 1−α

 1r   1s ϑ2 ,T (x) e dν(x) dν(x)

nach H¨ older.

Die Gleichheit =“ gilt in obiger Absch¨ atzung genau dann, wenn ” ⇔

e ϑ1 ,T (x) = e ϑ2 ,T (x) [ν] ϑ2 − ϑ2 , T (x)! = 0 [ν]

⇔

ϑ1 = ϑ2 ,

da die Ti Pf.s. linear unabh¨angig sind.

Z ist also konvex und Z ⊃ Q(Θ). Da (Qi ) linear unabh¨angig sind folgt, dass Q(Θ) nicht in einer k − 1-dimensionalen Hyperebene liegt. Daher enth¨alt Z ein nichtentartetes k-dimensionales Simplex (d.h. con{xi ; 1 ≤ i ≤ k + 1}, so dass xi ◦

nicht alle in einer k −1-dimensionalen Hyperebenen liegen). Daraus folgt Z = Ø. b) F¨ ur α ∈ (0, 1) folgt aus dem Beweis zu a) K(αϑ1 + (1 − α)ϑ2 ) = ln e αϑ1 +(1−α)ϑ2 ,T (x) dν(x) ≤ αK(ϑ1 ) + (1 − α)K(ϑ2 ). Es gilt Gleichheit =“ genau dann, wenn ϑ1 = ϑ2 . Also ist K strikt konvex. ”

2

70

3 Verteilungsklassen – statistische Modelle

Beispiel 3.2.3 (Beispiele f¨ ur Exponentialfamilien) a) Normalverteilung: 1. F¨ ur alle ϑ = (τ, σ2 ) ∈ Θ = R × (0, ∞) sei Pϑ = N (τ, σ 2 ) und μ = λ\. Dann gilt: τ   1 τ2  1 fϑ (x) = √ exp − 2 exp 2 x − 2 x2 2σ σ 2σ 2πσ 2 Damit ist {Pϑ ; ϑ ∈ Θ} eine 2-parametrische Exponentialfamilie in Q(ϑ) = ( στ2 , − 2σ1 2 ) und T (x) = (x, x2 ). 2.

i) Mit festem σ02 ∈ R+ und ϑ = τ ∈ Θ = R, Pϑ = N (τ, σ02 ) ist {Pϑ ; ϑ ∈ Θ} eine einparametrische Exponentialfamilie in Q(ϑ) = σϑ2 und T (x) = x. 0

ii) Mit festem τ0 ∈ R gilt f¨ ur ϑ = σ 2 ∈ Θ = R+ , Pϑ = N (τ0 , σ 2 ): 6 einparametrische Exponentialfamilie, falls τ0 = 0, {Pϑ ; ϑ ∈ Θ} ist 2-parametrische Exponentialfamilie, falls τ0 =  0. 3. F¨ ur Θ = R+ = {σ 2 ; σ 2 > 0}, Pσ2 = N (σ 2 , σ 2 ) gilt: {Pϑ ; ϑ ∈ Θ} ist einparametrische Exponentialfamilie in Q(σ 2 ) = − 2σ1 2 und T (x) = x2 . 4. F¨ ur Θ = R+ = {σ; σ > 0}, Pσ = N (σ, σ 2 ) gilt:

{Pϑ ; ϑ ∈ Θ} ist 2parametrische Exponentialfamilie in Q(σ) = σ1 , 2σ1 2 und T (x) = (x, x2 ). b) Binomialverteilung: Sei f¨ ur ϑ ∈ Θ = (0, 1) Pϑ = B(n, ϑ) die Binomialverteilung und sei μ das abz¨ ahlende Maß auf {0, . . . , n}. Dann folgt:       ϑ  n x n . fϑ (x) = ϑ (1 − ϑ)n−x = (1 − ϑ)n exp x ln 1−ϑ x x   ϑ Damit ist {Pϑ ; ϑ ∈ Θ} einparametrische Exponentialfamilie in Q(ϑ) = ln 1−ϑ und T (x) = x. c) Langevin-Verteilung: Sei (X , A) = (Sk−1 , B(Sk−1 )), wobei Sk−1 := {x ∈ Rk ; x = 1} die Einheitssph¨ are in Rk ist. Sei weiterhin ωk die Gleichverteilung auf Sk−1 und f¨ ur alle ϑ = (τ, x) ∈ Θ = Sk−1 × R+ und sei Pϑ = fϑ ωk mit fϑ (x) = 

exp(x τ, x!) f¨ ur alle x ∈ Sk−1 . exp(x τ, x !) ωk (dx )

Die Pϑ heißen Langevin-Verteilungen. Sie sind ein Standardmodell zur Beschreibung von richtungsabh¨ angigen Ph¨ anomenen, wie z.B. dem Magnetismus. Dabei beschreibt τ die Richtung und x die Konzentration in Richtung τ (s. Watson (1983), Mardia und Jupp (2000)). d) Gibbs-Modell: Ein Modell zur Beschreibung lokaler Interaktionen ist das Gibbs-Modell. Im eindimensionalen Fall beschreibt es z.B. die lokale Abh¨angigkeit in Spin-Systemen.

3.2 Exponentialfamilien

71

Sei f¨ ur x ∈ X = {−1, 1}n und ϑ ∈ Θ = R n    1 exp ϑ xi xi−1 , π(ϑ) i=1  n mit der Zustandsfunktion π(ϑ) = x∈X exp(−ϑ i=1 xi xi−1 ). Dann ist

Pϑ ({x}) =

und

{Pϑ ; ϑ ∈ Θ} einparametrische Exponentialfamilie in Q(ϑ) = ϑ n  xi xi−1 . T (x) = i=1

F¨ ur ϑ > 0 haben Vektoren x mit gleich ausgerichteten Komponenten xi große Wahrscheinlichkeit. Dieses Modell ist das eindimensionale Ising-Modell zur Beschreibung von Ferromagnetismus. Der Parameter ϑ = T1 ist umgekehrt proportional zur Temperatur. Bei hoher Temperatur T → ∞ geht das Modell u ¨ ber in ein chaotisches (unabh¨ angiges) Modell, f¨ ur niedrige Temperatur T ↓ 0, d.h. großes θ bildet sich der Magnetismus aus. Eigenschaften II: 6.) F¨ ur die (k-parametrische) Exponentialfamilie P mit nat¨ urlicher Parametrisie◦

rung in T und f¨ ur eine (beschr¨ ankte), messbare (oder eine in ϑ ∈ Z integrierbare) Funktion ϕ definiere f¨ ur alle ϑ ∈ Θ

β(ϑ) = ϕ(x) exp ϑ, T (x)! dν(x). ◦

β ist differenzierbar in Z mit

ur alle j ∈ {1, . . . , k} i) ∇j β(ϑ) = ϕ(x)Tj (x) exp ϑ, T (x)! dν(x) f¨ und es gilt ii) Eϑ (T ) = ∇K(ϑ) = −∇ ln C(ϑ), Covϑ (T ) = ∇∇T K(ϑ) = −∇∇T ln C(ϑ), wobei K die Kumulantentransformation ist, k . li l1 lk Eϑ e ϑ,T (x) dν(x), ∀li ∈ N0 , 1 ≤ i ≤ k. Ti = C(ϑ)∇1 · · · ∇k i=1

F¨ ur ϕ ∈

 ◦

◦

L1 (Pϑ ) ist β(ϑ) = Eϑ ϕ ∈ C ∞ und es gilt f¨ ur ϑ ∈ Z

ϑ∈Z

∇Eϑ = Eϑ ϕT − (Eϑ ϕ)(Eϑ T ) = Covϑ (ϕ, T ) = Eϑ ϕL ϑ

mit L ϑ (x) :=

∇fϑ (x) fϑ (x)

= T (x) − Eϑ T.

Der Beweis dieser Eigenschaften nutzt wesentlich den Satz u ¨ ber majorisierte Konvergenz und komplexe Differenzierbarkeit. F¨ ur Details siehe Witting (1985, S. 150–153).

72

3 Verteilungsklassen – statistische Modelle

Beispiel 3.2.4 F¨ ur das Normalverteilungsmodell mit Θ = R1 , Pϑ = N (ϑ, 1), μ = λ\ ist die Dichte  2  2 exp − ϑ2 x √ exp(ϑx) fϑ (x) = exp − 2 2π = C(ϑ) · h(x) exp(ϑT (x)),

mit T (x) = x und ν = hλ\. 2

Die Kumulantenfunktion ist K(ϑ) = − ln C(ϑ) = ϑ2 + 12 ln(2π). Damit gilt Eϑ x = ϑ, Varϑ x = K (ϑ) = 1. Alle h¨oheren Kumulanten sind null. Aus obiger Formel ergeben sich induktiv alle Momente der Normalverteilung. 7.) Ist P eine k-parametrische Exponentialfamilie mit nat¨ urlicher Parametrisierung in T und ist ν T σ-endlich, so ist auch P T = {PϑT ; ϑ ∈ Θ} eine k-parametrische Exponentialfamilie in ϑ und idRk mit



dPϑT (t) = C(ϑ) exp ϑ, t! = exp ϑ, t! − K(ϑ) . T dν dPϑT Beweis: F¨ ur D ∈ Bk und gϑ = gilt nach der Transformationsformel: dν T gϑ (t) dν T (t) = PϑT (D) D

= Pϑ (T −1 (D))

C(ϑ) exp ϑ, T (x)! dν(x) = T −1 (D)



=



C(ϑ) exp ϑ, t! dν T (t).

D

3.3

Gibbs-Maße, Bildrekonstruktion und Simulated Annealing

F¨ ur die Restauration und Rekonstruktion von gest¨orten Bildern haben sich GibbsMaße und die damit verbunden Gibbs-Modelle als n¨ utzlich erwiesen. Wir beschreiben einige Grundideen der zugeh¨ origen Bayesschen Rekonstruktionsmethode. Sei S eine endliche Menge von Zust¨ anden (Farben), I eine endliche Menge von Seiten (z.B. ein Gitter) und sei der Grundraum X der Raum aller Bilder auf I mit Zust¨ anden (Farben) in S, d.h. X = S I = {π : I → S}, versehen mit der Potenzmenge als σ-Algebra. Eine a-priori-Verteilung auf X wird durch ein Gibbs-Maß μ mit Energiefunktion E : X → R1 definiert. μ ist von der Form μ(x) = Z −1 exp(−E(x)),

x ∈ X,

(3.1)

3.3 Gibbs-Maße, Bildrekonstruktion und Simulated Annealing

73

mit der Normierungsgr¨ oße Z. Zust¨ ande x mit hoher Energie haben eine geringe Wahrscheinlichkeit, Zust¨ ande x mit minimaler Energie haben maximale Wahrscheinlichkeit. Durch die Wahl einer geeigneten Energiefunktion werden im Modell Bilder mit ‘erw¨ unschten‘ oder empirisch bekannten Mustern mit h¨oherer Wahrscheinlichkeit versehen. Im Isingmodell ist mit S = {−1, 1}, I = {1, . . . , n} die Energiefunktion E von der Form 

E(x) = Eβ (x) = −β

xi xj ,

(3.2)

i,j Nachbarn

wobei die Nachbarschaft problemabh¨ angig definiert wird. Das Gibbs-Maß μ kann auch durch Angabe der bedingten Verteilungen wie z.B. μ(π(i) = k | π(j), j = i) ∼ exp(β#{‘Nachbarn‘ von i mit Zustand k}).

(3.3)

Ein Bild x ∈ X wird gesendet und erf¨ ahrt eine St¨orung (z.B. atmosph¨arische ¨ Diffusion) mittels eines Ubergangskerns Q(x, {y}) =: Q(x, y). Ziel der Rekonstruktion ist es, aus dem empfangenen Bild y einen Sch¨atzer x  des gesendeten Bildes x zu konstruieren. gesendetes Bild x

St¨ orung

−−−−−→

empfangenes Bild

−→

Rekonstruktion

y

−→

x 

Q(x,y)

−−−−→

Die Bayessche Bildrekonstruktion verwendet wie oben beschrieben eine geeignete a-priori-Verteilung μ auf X, die ein ‘grobes‘ Modell des Bildes liefert und durch ein Gibbs-Maß (oder eine Klasse von Gibbs-Maßen) gegeben wird. μ induziert die gemeinsame Verteilung P ((x, y)) = μ × Q(x, y) = μ(x)Q(x, y). Die a-posteriori-Verteilung μy ist dann gegeben durch μ(x)Q(x, y) . μy (x) = P (x | y) =  μ(x )Q(x , y)

(3.4)

F¨ ur Gibbs-Maße μ ist μy wieder ein Gibbs-Maß von der Form μy (x) = Z(y)−1 exp(−E(x | y)) mit der bedingten Energiefunktion E(x | y) = E(x) ln Q(x, y).

(3.5)

μy ist die durch die Beobachtung y revidierte a-priori-Verteilung. Bei Verwendung der Verlustfunktion L1 (x, x ) = 1{x=x } wird das BayesVerfahren gegeben durch die MAP-Methode (Maximum a posteriori). Bestimme x  so, dass μ( x | y) = max μ(x | y) (3.6)  x ∈X

74

3 Verteilungsklassen – statistische Modelle

oder ¨ aquivalent dazu:

E( x | y) = min E(x | y). 

(3.7)

x ∈X

Die Verlustfunktion L1 ist eine (zu) starke Anforderung, denn komplett korrekte Rekonstruktionen werden nur selten gelingen. Eine moderatere Verlustfunkn tion ist die ‘misclassification rate‘ L2 (x, x ) = n1 i=1 1{xi =xi } . Hier ist das a-posteriori-Risiko

1  1{xi =ai } μy (x) n i=1 x n

L2 (x, y)μy (x) =

1  πi 1 μy (x : xi = ai ) = μ (xi = ai ) n i=1 n i=1 y n

=

n

1 1  πi = (1 − μπy i (ai )) = 1 − μ (ai ). n i=1 n i=1 y n

n

Dabei ist μπy i die i-te Marginalverteilung von μy . Dieses a-posteriori-Risiko wird minimal f¨ ur ai = x i = max μπy i (ai ), (3.8) ai ∈S

d.h. f¨ ur die Komponente ai ∈ S mit maximaler Marginalwahrscheinlichkeit der a-posteriori-Verteilung. Die Rekonstruktion x  heißt dann L¨osung nach der MPMMethode. Ein großes Problem bei Verwendung der MAP- und der MPM-Methode ist die hohe Dimension des Grundraumes X u ¨ber dem die Optimierungsprobleme zu l¨ osen sind. Bei einem 2-dimensionalen Bild mit 500 × 500 Pixelpunkten, also |I| = 25 000, und bei |S| = 5 Farben hat der Grundraum X = S I ungef¨ahr 80104 Elemente. Bei Verwendung der MPM-Methode reduziert sich die Dimension auf die der Marginalverteilungen. Es ist dann jedoch f¨ ur jede der Marginalverteilungen ein solches Optimierungsverfahren durchzuf¨ uhren. Ein n¨ utzliches Verfahren zur approximativen L¨osung dieser Optimierungsprobleme ist der Simulated Annealing Algorithmus. Zur Vereinfachung der Schreibweise ersetzen wir im Folgenden E(x | y) durch E(x). Wir betrachten die Exponentialfamilie μβ (x) := Z(β)−1 exp(−βE(x)),

β > 0, x ∈ X.

Mit A := {x : E(x) = miny∈X E(y)} gilt dann μβ −−−−→ UA β→∞

(3.9)

die Gleichverteilung auf A. Ziel des Simulated Annealing Algorithmus ist es, Zufallsvariable Xβ zu konstruieren, die approximativ nach μβ verteilt sind. Mit β = β(n) ↑ ∞ erh¨alt man dann approximativ Minimumstellen der Energie E und damit eine approximative

3.3 Gibbs-Maße, Bildrekonstruktion und Simulated Annealing

75

L¨ osung des MAP-Problems (3.6). Eine direkte Simulation von Xβ ∼ μβ ist wegen der hohen Dimension nicht m¨ oglich. Der SA-Algorithmus konstruiert durch Ver¨ anderung an jeweils nur einem Pixel eine solche Zufallsvariable. Sei f¨ ur x ∈ X, β > 0 π |πj =xj ,∀j=i

μβi (· | x) = μβi

.

(3.10)

Dann ist

πiβ (s | x) = Zi (β)−1 exp(−βE((s, x)))  x(j), f¨ ur j = i, mit (s, x) ∈ X, (s, x)(j) = s, f¨ ur j = i. β (x, (sx)) = πiβ (sx) ⊗ ε(xj )j=i und sei Sei o.E. I = {1, . . . , N } und π{i} ¨ (Xnβ )n≥0 eine Markovkette auf X mit Ubergangsfunktion β β Pβ = π{1} · · · π{N },

(3.11)

β ¨ d.h. sukzessive werden alle Pixel in einem Durchgang mit den Ubergangkernen π{i} an Pixel Nummer i modifiziert. Nach dem Konvergenzsatz f¨ ur Markovketten konvergiert dann die Markovkette (Xnβ )n≥0 gegen einen Limes X β ∼ μβ , wobei μβ eindeutiges invariantes Maß von X β ist. Die Konvergenz der Markovkette Xnβ ist exponentiell schnell wegen des endlichen Zustandsraumes. Die Grundidee des SA-Algorithmus ist es nun, dass f¨ ur β(n) ↑ ∞ gen¨ ugend langsam (etwa β(n) ∼ c log n) die inhomogene Markovkette (Xn ) mit den inhomo¨ genen Ubergangsfunktionen Pn = Pβ(n) gegen UA konvergiert, d.h.

Xn → Z ∼ UA .

(3.12)

Jedes Element dieser Markovkette Xn wird, wie im ersten Teil beschrieben, durch den SA-Algorithmus zu μβ(n) simuliert. Die Durchf¨ uhrung dieser Idee ben¨ otigt zun¨achst einen Konvergenzsatz f¨ ur inhomogene Markovketten. Sei jetzt allgemein P ein Markovkern von (E, B) nach (E, B), dann heißt c(P ) := sup P (x, ·) − P (y, ·) (3.13) x,y∈E

Kontraktionskoeffizient von P . Wir schreiben auch formal c(P ) = sup (P (x, dv) − P (y, dv))+ . x,y

Es ist 0 ≤ c(P ) ≤ 1. Proposition 3.3.1 (Kontraktionsabsch¨ atzungen) F¨ ur Markovkerne P, Q und Maße μ, ν auf (E, B) gilt f¨ ur den Totalvariationsabstand 

76

3 Verteilungsklassen – statistische Modelle

a) c(P Q) ≤ c(P )c(Q); dabei ist P Q der Produktkern, P Q(x, y) = P (x, dy)Q(y, ·) b) μP − νP  ≤ c(P )μ − ν c) Mit P  := supx P (x, ·) gilt P Q ≤ P  Q d) |c(P ) − c(Q)| ≤ P − Q Bemerkung 3.3.2 Obige Absch¨atzungen gelten in dieser Form auch f¨ ur signierte nicht normierte Kerne P = P1 − P2 , Q = Q1 − Q2 . μP bezeichnet wie ¨ ublich das Produkt μP (B) = μ(dx)P (x, B). Beweis: a) Sei R := P Q und f¨ ur ein geeignetes dominierendes Maß μ und x, y ∈ E sei R(x, ·) = fx μ, R(y, ·) = fy μ, dann ist mit E = {u ∈ E; fx (u) > fy (u)} (R(x, ·) − R(y, ·))+ = (fx (u) − fy (u))+ dμ(u) E   = P (x, dv)Q(v, du) − P (y, dv)Q(v, du) 

P (x, dv)Q(v, du) −

=

+

 P (y, dv)Q(v, du)

E (P (x, dv) − P (y, dv))Q(v, du)

= =

E

(P (x, dv) − P (y, dv))Q(v, E)

(P (x, dv) − P (y, dv))+ sup Q(v , E) v − (P (x, dv) − P (y, dv))− inf (Q(v , E)) v  = (P (x, dv) − P (y, dv))+ sup (Q(v , E) − Q(v , E)) v  ,v  ≤ (P (x, dv) − P (y, dv))+ sup (Q(v , E) − Q(v , E))+ . v  ,v   

≤

=c(Q)

Mit dem Supremum u ¨ ber x, y auf beiden Seiten folgt c(P Q) ≤ c(P )c(Q).

3.3 Gibbs-Maße, Bildrekonstruktion und Simulated Annealing

77

b) Mit R = μ − ν ist μP − νP = (μ − ν)P = RP . R kann man als konstanten Markovkern auffassen, R(dy) = (μ − ν)(dy) = R(x, dy)). Dann ist auch RP ein konstanter Markovkern und es folgt nach Definition c(RP ) = sup RP  = μP − νP . x,y

Andererseits ist nach a) c(RP ) ≤ c(R)c(P ) = μ − νc(P ) und es folgt die Behauptung. c) Es gilt

P Q = sup  P (x, du)Q(u, ·) x ≤ sup P (x, du) Q(u, ·) x

≤ sup P (x, ·) Q = P  Q x

d)

/ / / / |c(P ) − c(Q)| = / sup P (x, ·) − P (y, ·) − sup Q(z, ·) − Q(w, ·)/ x,y z.w / / ≤ sup /P (x, ·) − P (y, ·) − Q(x, ·) − Q(y, ·)/ x,y

≤ P − Q.

2

Sei nun (Pn ) eine Folge von Markovkernen auf (E, B) mit 0 ≤ c(Pn ) ≤ 1. μn heißt invariantes Maß von Pn , wenn μn Pn = μn . Der folgende Satz von Dobrushin (1969) gibt eine Konvergenzaussage f¨ ur inhomogene Markovketten unter einer Kontraktionsbedingung. Satz 3.3.3 (Konvergenz von inhomogenen Markovketten) F¨ ur eine Folge von Markovkernen (Pn ) auf (E, B) gelte:  1) ∀n ∈ N existiere ein invariantes Maß μn von Pn mit n μn+1 − μn  < ∞. Sei μ∞ := lim μn bzgl.  -Konvergenz. 2) c(Pn ) > 0, ∀n ∈ N und

∞ . n=1

c(Pn ) = 0.

78

3 Verteilungsklassen – statistische Modelle

Dann folgt f¨ ur alle Maße ν: lim νP1 · · · Pn − μ∞  = 0.

n→∞

Beweis: F¨ ur alle n ≥ N hinreichend groß gilt νP1 · · · Pn − μ∞  = (νP1 · · · PN − μ∞ )PN +1 · · · Pn + μ∞ PN +1 · · · Pn − μ∞  n . c(Pk ) + μ∞ PN +1 · · · Pn − μ∞  ≤ k=N +1

nach Proposition 3.3.1. Da μN +1 invariant bzgl. PN +1 ist, folgt durch Induktion μ∞ PN +1 · · · Pn − μ∞ = (μ∞ − μN +1 )PN +1 · · · Pn + μN +1 PN +2 · · · Pn − μ∞ = (μ∞ − μN +1 )PN +1 · · · Pn +

n−N −1

(μN +k − μN +k+1 )PN +k+1 · · · Pn + μn − μ∞ .

k=1

Im letzten Schritt wird sukzessive die Invarianz der Maße μk benutzt. Aus obiger Absch¨ atzung ergibt sich mit der Annahme c(Pn ) ≤ 1 und Proposition 3.3.1  sup μ∞ − μn  + μj − μj+1  sup μ∞ PN +1 · · · Pn − μ∞  ≤ n≥N

n≥N

−−−−→ 0 N →∞

j>n

nach Annahme 1).

Daraus folgt mit der Annahme 2) die Behauptung.

2

F¨ ur den Fall des SA-Algorithmus verwenden wir nun die Folge von Markovkernen β(n) β(n) Pn := Pβ(n) = π{1} · · · π{N } , n ∈ N (vgl. (3.11)) der lokalen Pixelmodifikationen. Der folgende Konvergenzsatz besagt, dass der SAAlgorithmus gegen die Gleichverteilung μ∞ = UA auf der Menge A der Energieminima konvergiert (vgl. (3.9)), wenn β(n) langsam genug gegen ∞ konvergiert, d.h. die zugeh¨ orige Temperatur Tn langsam genug gegen 0 konvergiert. Satz 3.3.4 (Konvergenz des Simulated Annealing Algorithmus, Geman und Geman (1984), Gidas (1985)) ¨ Seien Pn , n ∈ N die Ubergangskerne des SA-Algorithmus in (3.11) mit β(n) ≤ γ ln n, β(n) ↑ ∞, f¨ ur eine hinreichend kleine Konstante γ und n ∈ N. Dann gilt mit μ∞ = UA lim νPβ(1) · · · Pβ(n) − μ∞  = 0, n

∀ν ∈ M 1 (X, A).

3.3 Gibbs-Maße, Bildrekonstruktion und Simulated Annealing

79

Beweis: Zum Beweis verifizieren wir die Voraussetzungen 1) und 2) des Konvergenzsatzes 3.3.3. Nach (3.9) ist das Gibbs-Maß μβ invariantes Maß zu dem Markovkern Pβ . Der Kontraktionskoeffizient c(Pβ ) zu Pβ l¨asst sich wie folgt absch¨atzen. F¨ ur Maße μ, ν gilt   μ − ν = (μ(x) − ν(x))+ = 1 − min(μ(x), ν(x)), x

x

und daher folgt: c(Pβ ) = sup Pβ (x, ·) − Pβ (y, ·) x,y  

 min Pβ (x, z), Pβ (y, z) . = sup 1 − x,y

z

F¨ ur s ∈ S, x ∈ S I ist, da Zi (β) ≤ |S|, πiβ (s | x) = Zi (β)−1 exp(−βE((s, x))) ≥ |S|−1 exp(−βδi (E))

mit δi (E) = der Oszillation in der i-ten Koordinate. Daraus folgt min Pβ (x, y) ≥ x,y

N . i=1

πiβ (yi | x)

≥ (|S|−1 exp(−βΔ))N

mit Δ := max δi (E). i

Diese Absch¨ atzung impliziert c(Pβ ) ≤ 1 − |S|N (|S|−N exp(−βN Δ)) = 1 − exp(−βN Δ). Gilt also β(n) ≤ (N Δ)−1 ln n, dann folgt c(Pβ(n) ) ≤ 1 − ∞ ∞  . . 1 = 0, 1− c(Pβ(n) ) ≤ n n=1 n=1

1 n

und daher

d.h. es gilt Bedingung 2) f¨ ur Pn = Pβ(n) f¨ ur γ ≤ γ0 := (N Δ)−1 . Zum Nachweis von Bedingung 1) beachten wir, dass f¨ ur alle x ∈ S I , μβ(n) (x) monoton fallend oder wachsend in n ist. Daraus folgt aber ∞ 

μβ(n+1) − μβ(n)  =

 x

n=1

=



(μβ(n+1) (x) − μβ(n) (x))+

n

(μ∞ (x) − μβ(1) (x))+

wegen der Monotonie

x∈S I

< ∞.

2

80

3 Verteilungsklassen – statistische Modelle

Bemerkung 3.3.5 ¨ Bezeichnet Pν die Verteilung der Markovkette mit Anfangsverteilung ν und Ubergangsfunktion Pβ(n) , dann gilt f¨ ur Anfangsverteilungen μ, ν: Pν /τ = Pμ /τ

f¨ ur die terminale σ-Algebra τ =

7

σ(Xn , Xn+1 , . . . ).

n

Ist β(n) ≤

1 2N Δ

ln n, dann gilt auch der Ergodensatz 1 f (Xi ) = lim n n i=1 n

(vgl. Gantert (1990)).

f dμ∞ .

(3.14)

Kapitel 4

Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit Das Thema dieses Kapitels sind der Suffizienzbegriff, die Vollst¨andigkeit und die Verteilungsfreiheit, drei Grundbegriffe der statistischen Entscheidungstheorie. Die Suffizienz beschreibt die M¨ oglichkeit einer Datenreduktion ohne Informationsverlust f¨ ur Entscheidungsprobleme. Datenreduktion l¨asst sich durch eine Statistik T (x) beschreiben. Anstelle des Beobachtungsvektors x ∈ X wird nur die reduzierte Gr¨oße T (x) zur Konstruktion von Entscheidungsverfahren verwendet. Sie l¨asst sich auch durch Unter-σ-Algebren B ⊂ A beschreiben. Anstelle von x ∈ X besteht die Information in der Kenntnis von 1B (x), ∀B ∈ B. Wir k¨onnen auch allgemeinere Informationssysteme E ⊂ A verwenden. Aber die Information des System E ⊂ A ist aquivalent zu der Information von B = σ(E), so dass wir uns auf Unter-σ-Algebren ¨ beschr¨ anken k¨ onnen. Hinreichend ‘große’ σ-Algebren B ⊂ A sind daher suffizient f¨ ur ein Experiment E = (X, A, P). Umgekehrt ist eine hinreichend ‘kleine’ σ-Algebra B ⊂ A vollst¨ andig f¨ ur P, d.h. P ist groß genug, um alle Elemente aus L1 (X, B, P) unterscheiden zu k¨ onnen (P ist ‘punktetrennend’). Dagegen sind verteilungsfreie σ-Algebren B ⊂ A ohne Information f¨ ur Entscheidungsprobleme. Dennoch sind sie n¨ utzlich f¨ ur die Konstruktion von Entscheidungsverfahren. Wir geben eine Klasse von Anwendungen auf die Konstruktion von Anpassungstests f¨ ur nichtparametrische Testprobleme. Inhalt dieses Kapitels ist die Diskussion und Motivation dieser zentralen Grundbegriffe der Statistik und der diversen Beziehungen zwischen ihnen.

4.1

Suffiziente σ-Algebren und Statistiken

Ein zentrales Thema der mathematischen Statistik ist die Datenreduktion ohne Informationsverlust. Dieses Thema ist von großer praktischer Relevanz. In einem L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_4, © Springer-Verlag Berlin Heidelberg 2014

82

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Experiment, das Bilddaten beschreibt, ist der Grundraum, z.B. gegeben durch X = R500×500×d , d = Anzahl der Farben, von sehr hoher Dimension und Komplexit¨at und es ist nicht m¨ oglich, Bilder detailliert als Datenmenge pixelweise zu verarbeiten und zu speichern. Nach Einf¨ uhrung des Suffizienzbegriffes in Definition 4.1.1 diskutieren wir ausf¨ uhrlich, inwieweit dieser Begriff dem intuitiven Suffizienzbegriff entspricht und entsprechende plausible Eigenschaften hat. Dieses erweist sich als anspruchsvolle Aufgabe (vgl. z.B. Satz 4.1.7). Zentrale Resultate dieses Abschnittes sind die Suffizienzkriterien von Halmos-Savage, das verwandte Neyman-Kriterium – beide betreffen den Fall dominierter Verteilungsklassen – sowie die entscheidungstheoretische Rechtfertigung des Begriffes der ‘starken Suffizienz‘ in Satz 4.1.24. Der Suffizienzbegriff basiert auf dem Begriff des bedingten Erwartungswerts und damit ist f¨ ur das Folgende die Radon-Nikod´ ym-Ungleichung grundlegend. F¨ ur Details zu bedingten Erwartungswerten vgl. Anhang A.1. Sei (X, A, P ) ein Wahrscheinlichkeitsraum und B ⊂ A eine σ-Algebra, dann heißt eine B-messbare Funktion fA ∈ L(X, B) bedingte Wahrscheinlichkeit von A unter B, Schreibweise: fA = P (A | B), wenn die Radon-Nikod´ ym-Gleichung gilt: P (A ∩ B) = fA dP, ∀B ∈ B. (4.1) B

Eine B-messbare Funktion Y ∈ L(X, B) heißt bedingter Erwartungswert von X ∈ L(X, A), Schreibweise: Y = E(X | B), wenn X dP = Y dP, ∀B ∈ B. (4.2) B

B

Der Satz von Radon-Nikod´ ym sichert die Existenz und P fast sichere Eindeutigkeit des bedingten Erwartungswertes. Ist Z ∈ L(B) ebenfalls L¨osung von (4.2), dann gilt Z = Y [P ], d.h. {Z = Y } ∈ NP := {N ∈ A; P (N ) = 0}, {Z = Y } ist eine P -Nullmenge. Definition 4.1.1 (Suffizienz) Sei E = (X, A, P) ein statistisches Modell. a) Eine σ-Algebra B ⊂ A heißt suffizient f¨ ur P, wenn ∀A ∈ A : ∃fA ∈ L(X, B) so dass fA = P (A | B) [P ], ∀P ∈ P. (4.3) b) Eine Statistik T : (X , A) → (Y, C) heißt suffizient f¨ ur P, wenn ∀A ∈ A : ∃fA ∈ L(X, σ(T )) so dass fA = P (A | T ) [P ], ∀P ∈ P. Bemerkung 4.1.2 a) fA ist P f.s. eindeutig, d.h. ist gA einen weitere Version der bedingten Wahrscheinlichkeit in (4.3), dann gilt fA = gA [P] oder ¨aquivalent {fA = gA } ∈ NP := {N ∈ A; P (N ) = 0, ∀P ∈ P}

4.1 Suffiziente σ-Algebren und Statistiken

83

b) Ist B suffizient f¨ ur P, so gilt P (A) = P (A | B) dP |B = fA dP |B , wobei fA unabh¨angig von P ist; also unterscheiden sich die Wahrscheinlichkeitsmaße P ∈ P nur auf B. Dieses ist ein starkes Indiz daf¨ ur, dass der Suffizienzbegriff keinen Informationsverlust bedeutet. c) Sei X ∈ L1 (X, A, P)(L+ (X, A)) und B ⊂ A suffizient. Dann existiert Y ∈ L1 (X, B, P)(L+ (X, A)), mit Y = EP (X | B) [P] f¨ ur alle P ∈ P. Der Beweis erfolgt durch algebraische Induktion wie beim Aufbau des Integralbegriffs. d) Sei (X, A) ein Borel-Raum und T : (X, A) → (Y, C). Dann gilt: T ist suffizient f¨ ur P ⇔ Es gibt eine bedingte Verteilung Q mit Q(·, A) = P (A | T ) [P ] f¨ ur alle P ∈ P und A ∈ A, d.h. Q ist ein Markovkern von (X, σ(T )) nach (X, A) mit i) Q(x, ·) ∈ M1 (X, A) ii) Q(·, A) = P (A | T ) ist messbar bzgl. σ(T ). Der Beweis erfolgt analog zum Beweis zur Existenz von regul¨aren bedingten Verteilungen. Lemma 4.1.3 Sei B ⊂ A suffizient und C ⊂ B. Dann sind ¨aquivalent: 1. C ist suffizient f¨ ur (X, A, P) 2. C ist suffizient f¨ ur (X, B, P|B ), wobei P|B := {P |B ; P ∈ P} Beweis: “1 ⇒ 2”:

klar.

“2 ⇒ 1”:

Sei P ∈ P und A ∈ A. Dann gilt nach der Gl¨attungsregel: P (A | C) = EP (P (A | B) | C) = EP (fA | C) = EP |B (fA | C) =: fA ∈ L(C), da C suffizient f¨ ur B.

2

Bemerkung 4.1.4 Ein Problem des oben eingef¨ uhrten Suffizienzbegriffs ist, dass aus C suffizient und C ⊂ B im Allgemeinen nicht folgt, dass B suffizient ist! Der Grund hierf¨ ur ist folgender.  Ist fA = P (A | C), dann folgt aus der Radon-Nikod´ym-Gleichung C fA dP = P (A ∩ C), ∀ C ∈ C, aber diese Gleichung folgt nicht ∀ B ∈ B !

84

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Wir leiten nun einige Rechenregeln f¨ ur den Suffizienzbegriff her. Satz 4.1.5 Seien Bn ⊂ A suffizient f¨ ur alle n ∈ N. Dann gilt: 8 a) Ist Bn ↑ B := Bn := σ(Bn ; n ∈ N), so ist B suffizient. n∈N

b) Ist Bn ↓ B :=



Bn , so ist B suffizient.

n∈N

Beweis: a) Zu A ∈ A und n ∈ N existiert nach Voraussetzung fAn = P (A | Bn ) [P], so dass fAn ∈ L(X, Bn ) f¨ ur alle P ∈ P. F¨ ur alle n < m ist dann nach der Gl¨attungsregel EP (fAm | Bn ) = EP (EP (1A | Bm ) | Bn ) = EP (1A | Bn ) = fAn

[P ].

Da außerdem 0 ≤ fAn ≤ 1 gilt, ist (fAn , Bn )n∈N nichtnegatives Martingal. Nach dem Martingalkonvergenzsatz von L´evy existiert limn→∞ fAn P-f.s. und in L1 (P ) f¨ ur alle P ∈ P und es gilt f¨ ur alle P ∈ P: lim fAn = EP (1A | B) [P ] und in L1 (P ).

n→∞

ur alle P ∈ P. Mit fA := lim inf n→∞ fAn ist fA = limn→∞ fAn = EP (1A | B) [P ] f¨ Da fA nicht von P abh¨ angt, ist B suffizient f¨ ur P. b) Definiere fAn wie in a). Dann ist (fAn , Bn ) ein inverses Martingal. Mit dem Grenzwertsatz f¨ ur inverse Martingale folgt analog zu a) die Behauptung. 2 Bemerkung 4.1.6 (Bedingte Erwartungswerte als Projektionen) Bedingte Erwartungswerte lassen sich als bestimmte Projektionen in Lp -R¨aumen charakterisieren. F¨ ur Details zu den folgenden Eigenschaften verweisen wir auf Neveu (1965). a) F¨ ur B ⊂ A und P ∈ M1 (X, A) ist T : L2 (A, P ) → L2 (A, P ), f → EP (f | B) ein lineares, positives Funktional. Es gilt: T 1 = 1, Bild(T ) = L2 (B, P ), Kern(T ) = {f−T f ; f ∈ L2 (A, P )}. T ist eine Projektion auf L2 (A, P ), d.h. T 2 = T . Nach der Radon-Nikod´ym-Gleichung gilt f¨ ur alle g ∈ Bild(T ) und f ∈ L2 (A, P ): g (f − E(f | B)) dP = 0. Also gilt Bild(T )⊥ Kern(T ), Bild und Kern stehen orthogonal aufeinander. Also ist T eine ‘Orthogonalprojektion’. b) Es gilt die folgende Umkehrung von a): Ist T : L2 (A, P ) → L2 (A, P ) lineare, positive Orthogonalprojektion mit T 1 = 1, so existiert B ⊂ A mit T f = EP (f | B) [P ] f¨ ur alle f ∈ L2 (A, P).

4.1 Suffiziente σ-Algebren und Statistiken

85

c) Die Aussage aus b) l¨asst sich versch¨arfen, wenn man T auf Lp -R¨aumen betrachtet, p = 2: Ist p ∈ [1, ∞), p = 2 und ist die lineare Abbildung T : Lp (A, P ) → Lp (A, P ) eine lineare Projektion und Kontraktion (d.h. T f p ≤ f p f¨ ur alle f ) mit T 1 = 1, dann existiert B ⊂ A mit T = E(· | B). d) In einem Hilbertraum H gilt f¨ ur eine lineare Abbildung T : H → H: T ist eine Orthogonalprojektion

⇐⇒

T 2 = T und T  := sup x=0

T x ≤ 1. x

In diesem Fall ist T Projektion auf die Menge der Fixpunkte {x ∈ H; T x = x}. Im Fall p = 2 ist es also notwendig, zus¨atzlich zur Projektions- und Kontraktionseigenschaft die Positivit¨at von T zu fordern um einen bedingten Erwartungswertoperator zu erhalten. Der folgende Satz u ¨ ber die Suffizienz vom Durchschnitt B1 ∩B2 zweier suffizienter σ-Algebren ist f¨ ur einen intuitiven Suffizienzbegriff offensichtlich. F¨ ur unseren mathematischen Suffizienzbegriff ist der Beweis aber eine beachtliche H¨ urde. Er verwendet den Zusammenhang mit Projektionen aus Bemerkung 4.1.6. Entscheidend ist eine auf von Neumann zur¨ uckgehende Konstruktion mit iterierten Projektionen aus der allgemeinen Hilbertraum-Theorie. Satz 4.1.7 Seien B1 und B2 suffizient und es gelte f¨ ur das System der P-Nullmengen dass NP ⊂ B1 . Dann ist auch B1 ∩ B2 suffizient. Beweis: Der folgende Beweis verwendet einige Resultate aus der Ergodentheorie (vgl. Anhang A.2). F¨ ur P ∈ P definiere TP : L2 (A, P ) → L2 (A, P ) durch TP f := EP (EP (f | B2 ) | B1 ). Mit der Jensenschen Ungleichung folgt f¨ ur alle f ∈ L2 (A, P ), dass 2 TP f 2 = (EP (EP (f | B2 ) | B1 ))2 dP ≤ EP (EP (f 2 | B2 ) | B1 ) dP = f 2 dP = f 2, ur alle f ∈ d.h. T ist eine Kontraktion. Nach dem L2 -Ergodensatz folgt, dass f¨ L2 (A, P ) n 1 k TP f πP (f ) := lim n→∞ n k=1

in L (A, P ) existiert. Weiterhin ist TP ≥ 0, TP 1 = 1 und TP  ≤ 1. Mit dem individuellen L2 -Ergodensatz erh¨ alt man daher, dass die Summe P -f.s. konvergiert und dass πP eine Orthogonalprojektion auf M := {f ∈ L2 (A, P ); TP f = f [P ]} ist. 2

86

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Damit l¨ asst sich der Beweis nun in folgende Schritte gliedern: 1. Behauptung: πP f = EP (f | BP ) mit BP := (B1 ∨ NP ) ∩ (B2 ∨ NP ). Beweis: F¨ ur f ∈ M gilt f = TP f = EP (EP (f | B2 ) | B1 ) [P ]. Es folgt: f 2 = EP (EP (f | B2 ) | B1 )2 ≤ EP (f | B2 )2 ≤ f 2 ; also gilt Gleichheit in obigen Ungleichungen. Insbesondere ist TP f  = f . Allgemein gilt f¨ ur eine Orthogonalprojektion T in einem Hilbertraum H f = T f + (f − T f ) und T f ⊥(f − T f ). Es gilt daher der Satz von Pythagoras: f 2 = T f 2 + f − T f 2. Aus T f  = f  folgt also f − T f  = 0, also f = T f . Daraus folgt aber, dass f¨ ur alle f ∈ L2 (A, P ): f = TP f , und damit: f = EP (f | B2 ) = EP (f | B1 ) [P ]. Insbesondere ist f also BP -messbar, d.h. M ⊂ L2 (BP , P ). Umgekehrt gilt f¨ ur BP -messbare f : TP f = f [P ], d.h. f ∈ M . Damit ist M = ¨ L2 (BP , P ) mit den u bzgl. P . ¨blichen Aquivalenzklassen Damit ergibt sich, dass πP eine positive Orthogonalprojektion auf L2 (BP , P ) = M mit πP 1 = 1 ist. Nach Bemerkung 4.1.6 b) gilt wegen der BP -Messbarkeit von πP f die Behauptung πP f = EP (f | BP ) [P ].

2. Die Konstruktion in 1. h¨ angt von P ab. Im folgenden Schritt wird diese Konstruktion unabh¨ angig von P gemacht. Dazu definiere f¨ ur alle A ∈ A induktiv die Folge (fk )k∈N durch: f0 := 1A ,

f2k+1 := E· (f2k | B2 ),

f2k+2 := E· (f2k+1 | B1 ).

Die von P ∈ P unabh¨ angige Version des bedingten Erwartungswerts in der Definition existiert nach Voraussetzung, da die Bi , i = 1, 2 suffizient sind. Die (fk )k∈N bilden eine alternierende Folge von Projektionen auf L2 (B2 ) bzw. L2 (B1 ). Es gilt f¨ ur alle P ∈ P: f2k = TPk 1A [P ].

4.1 Suffiziente σ-Algebren und Statistiken

87

Definiere nun:  g(x) =

n−1 1  f2k (x), n n→∞ k=1

falls existiert,

lim

0,  h(x) =

sonst,

n−1  1 f2k+1 (x), n n→∞ k=1

lim

0,

falls existiert, sonst.

Nach Definition ist g B1 -messbar und h B2 -messbar. Aus dem Ergodensatz und 1. erh¨ alt man, dass g = E(1A | BP ) [P ]. 3. Behauptung: g = h [P ]. Beweis: Definiert man TP∗ f := EP (EP (f | B1 ) | B2 ) der Projektionen vertauscht – so folgt analog

– hier ist die Reihenfolge

f2k+1 = (TP∗ )k f1 und n−1 n−1 1 ∗ k 1 h = lim (TP ) f1 = lim f2k+1 = EP (f1 | BP ) [P ]. n n k=1

k=1

Wegen B1 ∨ NP = {B ∩ N ; N oder N c ∈ NP } folgt nach Definition der RadonNikod´ ym-Gleichung aus obiger Beziehung h = EP (f1 | BP ) = EP (EP (1A | B2 ∨ NP ) | BP ) = EP (1A | BP ) nach der Gl¨attungsregel = g [P ]

nach 2).

4. Mit Hilfe der Suffizienz von B2 definieren wir g := E· (g | B2 ) ∈ L(B2 ). Behauptung: g ist B1 ∩ B2 -messbar. Beweis: Aus der B2 -Messbarkeit von g und 3. folgt, dass g auch B1 -messbar ist, denn: g = EP (g | B2 ) = EP (h | B2 ) = h = g [P ] also g ∈ L(B1 ), da NP ⊂ B1 .

88

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

5. Behauptung: g = EP (1A | B1 ∩ B2 ) f¨ ur alle P ∈ P. Beweis: Sei P ∈ P. Dann ist f¨ ur alle B ∈ B1 ∩ B2 : 1A dP = EP (1A | B2 ) dP B

B





EP (f1 | B1 ) dP

f1 dP =

= B

B



f2 dP = · · ·

= B



fk dP f¨ ur alle k ∈ N.

= B

Damit ist f¨ ur alle P ∈ P:

1A dP =

B

B

n−1 1 f2k dP −→ g dP = g dP in L2 . n k=1

B

B

Das ist gerade die Radon-Nikod´ ym-Gleichung f¨ ur g . ur P ist. Damit erhalten wir schließlich, dass B1 ∩ B2 suffizient f¨

2

Im Folgenden werden wir eine Bedingung formulieren, unter der Ober-σAlgebren von suffizienten σ-Algebren wieder suffizient sind. Als Hilfsmittel ben¨otigen wir die folgende explizite Formel f¨ ur bedingte Erwartungswerte. Lemma 4.1.8 Sei (Ci )1≤i≤N ≤∞ eine disjunkte A-messbare Zerlegung von X und B ⊂ A eine Unter-σ-Algebra von A. Definiere C := σ(Ci ; i ≤ N ). Dann gilt f¨ ur alle f ∈ L1 (A, P ) ∪ L+ (X, A) EP (f | B ∨ C) =

N 

1Ck

k=1

EP (f 1Ck | B) [P ]. EP (1Ck | B)

Beweis: Das System {B ∩Ci ; i ≤ N, B ∈ B} ist ein ∩-stabiler Erzeuger von B ∨C. F¨ ur Mengen dieser Form gilt: EP (f 1Ci | B) dP = EP (f 1Ci | B) P (Ci | B) dP. Ci ∩B

B

Daraus erh¨ alt man: Ist P (Ci | B) = 0 =⇒ EP (f 1Ci | B) = 0 [P ].

4.1 Suffiziente σ-Algebren und Statistiken

Definiert man

89

0 0

:= 0 so folgt: f dP = f 1Ci dP

Ci ∩B

B



EP (f 1Ci | B)P (Ci | B) dP P (Ci | B) B EP (f 1Ci | B) EP (f 1Ci | B) dP = dP. = 1Ci P (Ci | B) P (Ci | B) C1 ∩B

=

B

2

Das ist die Radon-Nikod´ ym-Gleichung. Satz 4.1.9 (Suffizienz von erweiterten σ-Algebren) Sei B ⊂ A suffizient und C ⊂ A eine abz¨ahlbar erzeugte σ-Algebra. Dann ist B ∨ C suffizient. Beweis:

1. Sei C endlich erzeugt, etwa C = σ(Ci ; 1 ≤ i ≤ N ) mit N ∈ N, wobei die Ci ohne Einschr¨ ankung paarweise disjunkt seien und X = ∪N ur alle i=1 Ci gelte. F¨ A ∈ A und k ∈ N existieren nach Voraussetzung die von P ∈ P unabh¨angigen Versionen des bedingten Erwartungswerts E· (1A∩Ck | B) = P· (A ∩ Ck | B) und E· (1Ck | B) = P· (Ck | B). Definiere damit: fA :=

N  k=1

1Ck

P· (A ∩ Ck | B) P· (Ck | B)

[P ].

Dann ist fA B ∨ C-messbar und nach Lemma 4.1.8 ist fA = P (A | B ∨ C)

[P ]

f¨ ur alle P ∈ P. Folglich ist B ∨ C suffizient. 2. Sei C abz¨ ahlbar erzeugt, etwa C = σ(Ci ; i ∈ N). C heißt dann separabel. Definiere f¨ ur alle n ∈ N: Cn := σ(C1 , . . . , Cn ). Mit 1. folgt, dass B ∨ Cn suffizient ist f¨ ur alle n ∈ N. Nach Satz 4.1.5 ist dann auch die von B ∨ Cn erzeugte σ-Algebra B ∨ C suffizient. 2 Bemerkung 4.1.10 (Suffizienz von separablen Ober-σ-Algebren) a) Sei B ⊂ C ⊂ A und B suffizient. Ist C abz¨ahlbar erzeugt, so ist C suffizient, da dann gilt: C = B ∨ C. Das heißt: Separable Ober-σ-Algebren von suffizienten σ-Algebren sind suffizient.

90

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

b) Ist A separabel und B ⊂ A, dann folgt i.A. nicht, dass B separabel ist. Ein Beispiel hierzu ist A = B, die Borelsche σ-Algebra und B = σ({x}; x ∈ R1 ) ⊂ B, die von den Einpunktmengen erzeugte nicht separable σ-Algebra B. c) Es gilt aber die folgende Aussage (vgl. Heyer (1973)): Sei A separabel und B ⊂ A, B suffizient. Dann existiert eine separable Unterσ-Algebra C ⊂ A, so dass C suffizient ist und C ⊂ B ⊂ C ∪ NP . Das heißt: C approximiert B bis auf Nullmengen. F¨ ur dominierte Verteilungsklassen P geben der folgende Satz von HalmosSavage und der Satz von Neyman ein einfaches Suffizienzkriterium, das sich in Beispielklassen in einfacher Form anwenden l¨asst. F¨ ur den Beweis und die Formulierung des Satzes von Halmos-Savage ist das Dominiertheitskriterium aus Proposition 3.1.7 wichtig. Es besagt, dass zu einem dominierten Modell P ein Element P ∗ in der σ-konvexen H¨ ulle von P existiert, P ∗ ∈ coσ (P), so dass P ∼ P ∗ . Satz 4.1.11 (Halmos-Savage) Sei P dominiert und P ∗ ∈ coσ (P) mit P ∼ P ∗ . Dann gilt f¨ ur jede Unter-σ-Algebra B ⊂ A: B ist suffizient f¨ ur P ⇐⇒ F¨ ur alle P ∈ P existiert fP ∈ L(X, B) mit fP =

dP [P ∗ ]. dP ∗

Beweis: “⇐”: Wir zeigen: F¨ ur alle A ∈ A und P ∈ P ist P ∗ (A | B) = P (A | B) [P ]. Dieses folgt aus folgender Gleichungskette. F¨ ur alle A ∈ A, P ∈ P und B ∈ B ist 1A dP = 1A fP dP ∗ B

B



=

P ∗ (A | B) fP dP ∗

Radon-Nikod´ ym-Gleichung

B



=

P ∗ (A | B) dP.

B

Das ist die Radon-Nikod´ ym-Gleichung f¨ ur P . Also ist B suffizient f¨ ur P.

4.1 Suffiziente σ-Algebren und Statistiken

91

“⇒”: Sei B suffizient f¨ ur P. Dann existiert f¨ ur alle A ∈ A, P ∈ P eine von P unabh¨ a ngige Funktion f ∈ L(X, B), so dass fA = P (A | B). Mit P ∗ = A ∞ ur alle B ∈ B: n=1 αn Pn ∼ P, gilt f¨ ∗

P (A ∩ B) =

∞ 

αn

n=1

=

∞  n=1

1A dPn B



αn

fA dPn =

B

fA dP ∗ .

B

Nach Radon-Nikod´ ym ist also fA = P ∗ (A | B) [P ∗ ], und damit auch P fast sicher. F¨ ur alle P ∈ P folgt: P (A) = fA dP = P ∗ (A | B) dP |B . Definiere fP :=

dP |B dP ∗ |B

∈ L(X, B). Wir zeigen, dass fP =

F¨ ur alle A ∈ A gilt: P (A) = P ∗ (A | B)fP dP ∗ |B = P ∗ (A | B)fP dP ∗ fP dP ∗ =

dP dP ∗

[P ∗ ].

da P ∗ (A|B)fP ∈ L(X, B) nach Radon-Nikod´ ym.

A

ym-Ableitung von P bzgl. P ∗ . Damit ist fP eine B-messbare Radon-Nikod´ Das ist die Behauptung. 2 F¨ ur die R¨ uckrichtung geben wir mit Hilfe der folgenden auch im weiteren n¨ utzlichen Formel f¨ ur bedingte Erwartungswerte einen alternativen Beweis. Die Formel zeigt, wie bedingte Erwartungswerte bzgl. eines Maßes Q auf solche bzgl. eines anderen Maßes P zur¨ uckgef¨ uhrt werden k¨onnen. Lemma 4.1.12 F¨ ur Q, P ∈ M1 (X, A), mit Q  P sei L := dQ dP ∈ L(X, B) der Dichtequotient. Dann gilt f¨ ur alle f ∈ L+ (X, A): ⎧ E (f L | B) ⎪ ⎨ P , falls EP (L | B) > 0, EP (L | B) EQ (f | B) = ⎪ ⎩ 0, sonst.

92

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Beweis: Da L ∈ L(X, B) ist, gilt: {EP (L | B) = 0} ⊂ {EP (f L | B) = 0}. Damit ergibt sich f¨ ur alle B ∈ B: EP (f L | B) EP (f L | B) dQ = L dP EP (L | B) EP (L | B) B B = EP (f L | B) dP = f L dP = f dQ. B

B

B

Das ist die Radon-Nikod´ ym-Gleichung f¨ ur Q und es folgt die Behauptung.

2

Bemerkung 4.1.13 Mit Lemma 4.1.12 ergibt sich folgender Beweis f¨ ur die R¨ uckrichtung ”⇐” von Satz 4.1.11: Nach Voraussetzung der Dominiertheit von P ist P  P ∗ . dP Sei L := dP alt man: ∗ ∈ L(X, B). Mit obigem Lemma erh¨ EP (f | B) =

EP ∗ (f L | B) = EP ∗ (f | B) EP ∗ (L | B)

[P ]

und damit die Suffizienz von B. Im dominierten Fall lassen sich nun alle intuitiv naheliegenden Eigenschaften des Suffizienzbegriffs (vgl. z.B. S¨ atze 4.1.5, 4.1.7 und 4.1.9 mit dem HalmosSavage-Kriterium) recht m¨ uhelos zeigen. Insbesondere gilt hierf¨ ur auch generell, dass Vergr¨ oßerungen von suffizienten σ-Algebren wieder suffizient sind. Korollar 4.1.14 (Suffizienz und Dominiertheit) In dem statistischen Experiment (X, A, P) sei P dominiert. Dann gilt: a) Ist eine Unter-σ-Algebra B ⊂ A suffizient, dann ist jede erweiterte σ-Algebra B mit B ⊂ B ⊂ A suffizient. b) Sind B1 und B2 suffiziente σ-Algebren und ist NP ⊂ B1 . Dann ist auch B1 ∩ B2 suffizient. c) F¨ ur die Unter-σ-Algebra B ⊂ A gilt: B ist suffizient f¨ ur P ⇔ B ist paarweise suffizient, das heißt f¨ ur alle P, Q ∈ P ist B suffizient f¨ ur {P, Q}.

ur P und B ⊂ A d) Sei auch P in (X , A , P ) dominiert. Ist B ⊂ A suffizient f¨ suffizient f¨ ur P , so ist auch B ⊗B suffizient f¨ ur P ⊗P := {P ⊗P ; P ∈ P, P ∈ P }.

4.1 Suffiziente σ-Algebren und Statistiken

93

Beweis: a) Zu P ∈ P existiert nach dem Satz 4.1.11 von Halmos-Savage eine B-messbare Dichte fP =

dP ∈ L(X, B) ⊂ L(X, B ). dP ∗

Wieder nach Halmos-Savage ist also B suffizient. b) Nach Halmos-Savage existieren zu P ∈ P eine B2 -messbare Dichte fP ∈ L(X, B1 ) und eine B1 -messbare Dichte hP ∈ L(X, B2 ), so dass fP =

dP = hP [P ∗ ]. dP ∗

Wegen NP ∗ = NP ⊂ B1 folgt hP = fP 1N c + hP 1N mit N ∈ B 1 , so dass P ∗ (N ) = 0 und fP 1N c ∈ L(B1 ), hP 1N ∈ L(B1 ∪ NP ) = L(B1 ) und damit hP ∈ L(X, B1 ∩B2 ). Nach dem Satz von Halmos-Savage folgt daher die Suffizienz von B1 ∩ B2 . c) “⇒”: klar nach Definition “⇐”: 1. Behauptung: F¨ u r alle P ∈ P ist B suffizient f¨ ur {P, P ∗ }. ∞ ∗ Beweis: Sei P = α P , wobei f¨ u r alle n ∈ N, Pn ∈ P und αn > 0 n=1 n n ∞ mit n=1 αn = 1. Nach Voraussetzung ist B suffizient f¨ ur die Paare {P, Pn }, n ∈ N. Es existiert also f¨ ur alle A ∈ A und P ∈ P n = fAn = fA,P



P (A | B) [P ] Pn (A | B) [Pn ]

  ∞ dP Definiere fA∗ := j=1 αj hj fAj mit hj := EP ∗ dP j∗ | B . Die Definition von fA∗ h¨ angt von P ab. F¨ ur j = i gilt fAj = fAi [P ], da beide Seiten gleich P (A|B) sind. Daraus folgt fA∗ =

∞ 

αj hj fAj = P (A | B) [P ],

j=1

da

∞  j=1

αj hj = 1 [P ∗ ] also auch P -f.s.

94

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Weiterhin gilt f¨ ur B ∈ B:

fA∗ dP ∗ =

∞ 

αj

j=1

B

=

∞ 

B



αj

j=1

=

∞  j=1

=

fAj hj dP ∗ fAj dPj

B



αj

1A dPj B

1A dP ∗ .

B

Damit ist nach Radon-Nikod´ ym fA∗ = P ∗ (A | B) [P ∗ ]. ur das Paar Also ist fA∗ eine Version der bedingten Wahrscheinlichkeit f¨ P , P ∗ und B ist suffizient f¨ ur {P, P ∗ } f¨ ur alle P ∈ P. 2. Sei nun fA eine Version von P ∗ (A | B), d.h. fA = EP ∗ (1A | B) [P ∗ ]. Dann ist fA = fA∗ [P ∗ ], also auch P f.s. f¨ ur alle P ∈ P. Aus 1. folgt, dass auch fA = fA∗ = P (A | B) [P ] f¨ ur alle P ∈ P. Damit ist B suffizient f¨ ur P. ∗

∗

d) Sei P ∼ P ∗ und P ∼ P . Dann ist P ⊗ P ∼ P ∗ ⊗ P und es gilt: dP ⊗ P = dP ∗ ⊗ Q∗

dP dP ∗  

dP dQ∗  

∈ L(X ⊗ X , B ⊗ B ).

∈L(X,B) ∈L(X ,B )

Damit ist B ⊗ B suffizient f¨ ur P ⊗ P .

2

Die Anwendung des Halmos-Savage-Kriteriums h¨angt von dem i. A. nicht bekannten a ¨quivalenten Maß P ∗ ∈ coσ (P) ab. Eine praktische Variante von HalmosSavage ist das folgende Neyman-Kriterium. Satz 4.1.15 (Neyman-Kriterium) Sei P  μ und B ⊂ A eine Unter-σ-Algebra. Dann gilt: a)

B ist suffizient f¨ ur P ⇔ Es existieren h : (X, A) → (R+ , B+ ) und f¨ ur alle P ∈ P, fP : (X, B) → (R+ , B+ ), so dass dP (x) = fP (x) h(x) [μ]. dμ

4.1 Suffiziente σ-Algebren und Statistiken

b)

95

T : (X, A) → (Y, C) ist suffizient f¨ ur P ur alle P ∈ P, fP : (Y, C) → ⇔ Es existieren h : (X, A) → (R+ , B+ ) und f¨ (R+ , B+ ), so dass dP (x) = fP (T (x)) h(x) [μ]. dμ

Beweis: b) Folgt aus a) mit dem Faktorisierungssatz f¨ ur B = σ(T ). ∞ ∗ ∗ a) Sei P = n=1 αn Pn ∈ coσ (P) mit P ∼ P. dP dP dP ∗ dμ = dP ∗ dμ . Nach Halmos-Savage existiert dP dP ∗ folgt die Behauptung. fP ∈ L(X, B) so dass fP = dP ∗ . Mit h := dμ “⇐”: Nach Voraussetzung ist P = fP h μ mit fP ∈ L+ (X, B) f¨ ur alle P ∈ P,

“⇒”: Da P  P ∗  μ ist, gilt

und damit P∗ =

∞ 

αn fPn h μ.

n=1

Daraus folgt 0 ∗

fP P = fP =



∞ 

1 αn fPn h μ =

n=1

 αn fPn fP P ∗ .

∞ 

αn fPn P

n=1

Und daraus folgt {fP = 0} ⊃

 ∞

 αn fPn = 0

[P ∗ ].

n=1 ∗

∗ Da dP dμ > 0 [P ], folgt Beziehungskette



αn fPn > 0 [P ∗ ]. Damit ergibt sich nach obiger fP P ∗. n=1 αn fPn

P = ∞

Nach dem Satz von Halmos-Savage folgt die Suffizienz von B, da L+ (B).

 fP αn fPn

∈ 2

Beispiel 4.1.16 (Anwendung des Neyman-Kriteriums) a) Bernoulliexperiment:

Sei P = {Pϑ ; ϑ ∈ Θ}, (X, A) = ({0, 1}n , P({0, 1}n)), und Pϑ = ni=1 B(1, ϑ) f¨ ur alle ϑ ∈ Θ := (0, 1). Ist μ das Z¨ahlmaß auf X, so gilt P  μ und n n n . dPϑ (x) = fϑ (x) = ϑxi (1 − ϑ)1−xi = ϑ i=1 xi (1 − ϑ)n− i=1 xi = gϑ (T (x)), dμ i=1

96

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

mit T (x) := ent.

n i=1

xi . Nach dem Neyman-Kriterium, Satz 4.1.15, ist T suffizi-

Binomialexperiment: Ebenso gilt f¨ ur (X, A) = ({0, . . . , k}n , P({0, . . . , k}n )), Pϑ = B(k, ϑ)n :  n    n . k n ϑ i=1 xi (1 − ϑ)nk− i=1 xi = gϑ (T (x)) h(x). fϑ (x) = i=1 xi n Also ist auch in diesem Fall T (x) = i=1 xi suffizient. b) Normalverteilungsmodelle: n n Sei ur alle ϑ = (μ, σ 2 ) ∈ Θ = R × (0, ∞) sei Pϑ =

n (X, A) =2 (R , B ), f¨ \n i=1 N (μ, σ ) und P = {Pϑ ; ϑ ∈ Θ}. Ist ν = λ , so gilt P  ν und fϑ (x) =

n . dPϑ (x) = ϕϑ (xi ) dν i=1

1 n 1  2 exp − 2 (xi − μ) = √ 2σ i=1 ( 2πσ 2 )n 1 0   n n 1  2 1 nμ2 μ  = √ exp − 2 exp − 2 x + 2 xi , 2σ 2σ i=1 i σ i=1 ( 2πσ 2 )n 1

0

wobei ϕϑ die Dichte der (μ, σ 2 )-Normalverteilung sei, also ϕϑ λ\ = N (μ, σ 2 ). Nach dem Neyman-Kriterium, Satz 4.1.15, folgt, dass 1 0 n n   x2i , xi T (x) := i=1

suffizient ist. Ist σ 2 bekannt, also Θ = R, so ist T (x) :=

i=1

n

xi suffizient. n Ist μ bekannt, und damit Θ = (0, ∞), so ist T (x) = i=1 (xi − μ)2 suffizient. i=1

c) Exponentialfamilie: Sei P = {Pϑ ; ϑ ∈ Θ} ⊂ M 1 (X, A) eine (k-parametrische) Exponentialfamilie in Q, T , mit μ-Dichten fϑ der Form ⎛ ⎞ k  dPϑ = C(ϑ)h(x) exp ⎝ Qj (ϑ)Tj (x)⎠ fϑ (x) = dμ j=1 Dann ist nach dem Neyman-Kriterium, Satz 4.1.15, Tsuffizient. Das m-fache Produkt P (m) ist wieder eine Exponentialfamilie und m i=1 T (xi ) ist suffizient. Im Allgemeinen ist es wesentlich einfacher, die Suffizienz einer Statistik mit dem Neyman-Kriterium (Satz 4.1.15) nachzuweisen, als mit dem Satz von

4.1 Suffiziente σ-Algebren und Statistiken

97

Halmos-Savage (Satz 4.1.11) oder direkt mit der Definition 4.1.1. Ist etwa n in Beispiel 4.1.16 b) μ = 0 bekannt, so muss man zun¨achst einmal T (x) = i=1 x2i als X|T (X)=a Kandidaten f¨ ur eine suffiziente Statistik “erraten”, um dann Pσ2 zu berechnen, um zu sehen, dass die bedingte Verteilung unabh¨angig von σ 2 ist. In  Beispiel 4.1.16 b) haben wir gesehen, dass das arithmetische Mittel T (x) = xn = n1 ur die Translationsfamilie der Normalverteilung ist. Im xi suffizient f¨ Folgenden wollen wir die umgekehrte Fragestellung behandeln: “F¨ ur welche Lokationsklassen ist T (x) = xn suffizient?” Es stellt sich auch hier heraus, dass das arithmetische Mittel eng an die Normalverteilungshypothese gekoppelt ist. Wir ben¨ otigen folgenden Satz u ¨ ber die Unabh¨angigkeit von Linearformen, der hier nicht bewiesen wird. Einen Beweis findet man in Kagan, Linnik und Rao (1973). Satz 4.1.17 (Unabh¨ angigkeit von Linearformen (Darmois-Skitovich)) Seien X , . . . , X reelle stochastisch unabh¨angige Zufallsvariablen. Seien ai , bi ∈ R 1 n  n n so dass i=1 ai Xi und i=1 bi Xi stochastisch unabh¨angig sind. Dann sind die Xi mit ai , bi = 0 normalverteilt. Satz 4.1.18 (Suffizienz des arithmetischen Mittels) (n) F¨ ur P ∈ M1 (R1 , B1 ) und n ≥ 2 sei P = {Pa ; a ∈ R} die von P erzeugte n 1 Translationsfamilie. Sei T (x) = xn = n i=1 xi , dann gilt: T ist suffizient f¨ ur P ⇔ Es existieren μ ∈ R und σ 2 ≥ 0 mit P = N (μ, σ 2 ). F¨ ur σ 2 = 0 ist P = N (μ, 0) = εμ , das Einpunktmaß in μ. Beweis: “⇐”: Sei ohne Einschr¨ ankung μ = 0. i) Ist σ 2 > 0, so ist T suffizient nach Beispiel 4.1.16 b). ur ii) Ist σ 2 = 0, so ist P = ε{0} und damit P = {εa·e }, mit e = (1, . . . , 1). F¨ alle Q ∈ P gilt Q( · |T = y) = εy·e. Da dies unabh¨angig von Q ist, ist T suffizient. “⇒”: Behauptung: T1 (x) := x2 − x1 und T (x) = n1 (x1 + · · · + xn ) sind stochastisch unabh¨ angig. Daf¨ ur ist zu zeigen: F¨ ur alle t, z ∈ R sind B := {x ∈ Rn ; x2 − x1 ≤ z} und {T ≤ t} stochastisch unabh¨ angig. Beweis: Da T suffizient ist, existiert g, so dass g ◦ T = E· (1B |T ). F¨ ur alle a ∈ R gilt



x ∈ B und T (x) ≤ t ⇔ x+a·e ∈ B +a·e und T (x+a·e) ≤ t+a und weiter x ∈ B ⇔ x+a·e ∈ B, d.h. B = B + a · e.

98

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Damit folgt: P (n) (B ∩ {T ≤ t}) = Pa(n) ((B +a·e) ∩ {T ≤ t+a}) 1B dPa(n) = g ◦ T dPa(n) = {T ≤t+a}

{T ≤t+a}



g(T (x) − a) dP (n) (x),

=

Transformationsformel.

{T ≤t}

W¨ ahlt man a = −T (y), y ∈ Rn , so erh¨alt man mit Fubini: (n) P (B ∩ {T ≤ t}) = g(T (x) + T (y)) dP (n) (x) dP (n) (y) {T ≤t}





g(T (x) + T (y)) dP (n) (y) dP (n) (x)

= {T ≤t}



(n)

= {T ≤t}

g(T (y)) dP−T (x) (y) dP (n) (x)   (n)

=P−T (x) (B)=P (n) (B+T (x)·e)=P (n) (B)

= P (n) (B) P (n) ({T ≤ t}). Also sind die Linearformen T1 und T unabh¨angig. Mit dem Satz von DarmoisSkitovich, Satz 4.1.17, folgt die Behauptung f¨ ur die Komponenten x1 , x2 . Nach Annahme sind aber {xi } unabh¨ angig identisch verteilt. Damit folgt die Behauptung. 2 Einige Erweiterungen des vorliegenden Resultates sind haupts¨achlich im Rahmen von Exponentialfamilien unter Regularit¨atsannahmen gefunden worden. Wir geben ohne Beweis zwei Resultate zu diesem Themenkreis an. Sei P = {Pϑ ; ϑ ∈ Θ} ⊂ M 1 (Rn , Bn ) ein statistisches Modell, P  λ\n und Dichten der Form n . dPϑ (x) = fϑ (xi ) r(x). n dλ\ i=1 Definition 4.1.19 a) Das Modell P heißt regul¨ ar, wenn ein Intervall I ⊂ R1 existiert, so dass 1) fϑ (x) > 0 ⇔ x ∈ I, ∀ϑ ∈ Θ 2) fϑ ist stetig differenzierbar b) Eine Statistik T : (Rn , Bn ) → (Y, B) heißt trivial in x ∈ Rn ⇔ Es existiert eine Umgebung U (x) von x, so dass T |U(x) injektiv ist. T heißt nicht trivial ⇔ F¨ ur alle x gilt: T ist nicht trivial in x. Nur nicht triviale Statistiken sind zur Datenreduktion geeignet.

4.1 Suffiziente σ-Algebren und Statistiken

99

Satz 4.1.20 (Dynkin, Suffizienz und Exponentialfamilie) Ist P regul¨ar und gilt f¨ ur eine nichttriviale Statistik T : (Rn , Bn ) → (Y, B): gϑ (x) =

dPϑ (x) = hϑ ◦ T (x) r(x), dλ\n

ϑ ∈ Θ,

d.h. T ist suffizient f¨ ur P, dann gilt: ∃ r ≤ n − 1 : ∃ ϕj : (Rn , Bn ) → (R+ , B+ ), Qj : Θ → R1 , so dass ϕj stetig differenzierbar sind, (1, ϕ1 , . . . , ϕr ) sind f.s. linear unabh¨angig und gϑ (x) = exp

 r

 Qj (ϑ)ϕj (x) + Q0 (ϑ) + ϕ0 (x) ,

j=1

d.h. P ist eine r-parametrische Exponentialfamilie. Die Suffizienz einer nicht trivialen Statistik in einem regul¨aren Produktmodell impliziert also eine Exponentialfamilie. Eine Erweiterung dieses Resultates auf nicht regul¨ are Modelle stammt von Denny (1964). Satz 4.1.21 (Denny) n . dPϑ Sei dλ fϑ (xi ), ϑ ∈ Θ mit fϑ stetig und mit einem Intervall I als Tr¨ager. \n (x) = i=1

Angenommen, es existiert eine suffiziente, stetige Statistik T : (Rn , Bn ) → (Rk , Bk ) mit k < n. Dann folgt: a) F¨ ur k = 1 ist P eine einparametrische Exponentialfamilie. b) Ist k > 1 und fϑ stetig differenzierbar, dann ist P eine s-parametrische Exponentialfamilie mit s ≤ k. Nach der mathematischen Definition der Suffizienz und der Herleitung grundlegender Rechenregeln f¨ ur die Suffizienz kommen wir nun zu der Aussage, dass der eingef¨ uhrte Suffizienzbegriff der geeignete Begriff ist, um Datenreduktion ohne Informationsverlust zu beschreiben. Wir ben¨ otigen hierf¨ ur im Allgemeinen jedoch eine ‘leichte’ Versch¨ arfung des Suffizienzbegriffs, die ‘starke’ Suffizienz. In Borelr¨aumen sind die Suffizienzbegriffe identisch. In den folgenden Kapiteln wird sich herausstellen, dass f¨ ur klassische Entscheidungsprobleme wie Testen und Sch¨atzen der bisherige Suffizienzbegriff ausreichend ist. Definition 4.1.22 (Starke Suffizienz) Sei E = (X, A, P) ein statistisches Experiment. Eine Unter-σ-Algebra B ⊂ A heißt stark suffizient f¨ ur P ⇔ ∃ Markovkern Q von (X, B) nach (X, A), so dass Q(·, A) = P (A | B) [P ],

∀P ∈ P, ∀A ∈ A.

100

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Bemerkung 4.1.23 a) Analog definiert man die starke Suffizienz f¨ ur Statistiken T . b) Aus der starken Suffizienz ergeben sich die folgenden Faktorisierungen: P = Q × P |B , bzw. P = Qt × P T (dt). c) Ist (X, A) ein Borelraum, dann gilt mit Markovkernen Q, Qt unabh¨angig von P ∈P B suffizient ⇔ B stark suffizient. Es gilt die folgende zentrale entscheidungstheoretische Interpretation der starken Suffizienz. F¨ ur das Entscheidungsproblem (E, Δ, L) bezeichnen D(X, A) die randomisierten Entscheidungsfunktionen (EF), d.h. Markovkerne von (X, A) nach (Δ, AΔ ), D(X, B) die randomisierten EF von (X, B) nach (Δ, AΔ ). Der folgende Satz besagt, dass es zu jeder EF δ ∈ D(X, A) eine ebenso gute EF δ ∈ D(X, B) gibt. Satz 4.1.24 (Entscheidungstheoretisches Reduktionsprinzip) Sei (E, Δ, L) ein Entscheidungsproblem mit E = (X, A, P), und sei B ⊂ A eine stark suffiziente Unter-σ-Algebra. Dann gilt:  ∀ δ ∈ D(X, A), ∃ δ ∈ D(X, B) : R(ϑ, δ) = R(ϑ, δ), Beweis: Zu δ ∈ D(X, A) definieren wir  δ(x, A) := δ(y, A)Q(x, dy),

∀ϑ ∈ Θ.

A ∈ AΔ .

Dabei sei Q der Markovkern von (X, B) nach (Δ, AΔ ) aus dem starken Suffizienzbegriff, d.h. P = Q × P |B . Dann ist δ ein Markovkern von (X, B) nach (Δ, AΔ ) und es gilt: R(ϑ, δ) = X Δ

L(ϑ, a)δ(x, da)dPϑ (x)

L(ϑ, a)δ(x, da)Q × Pϑ|B (dx)   = L(ϑ, a) δ(y, da)Q(x, dy) Pϑ|B (dx) X Δ  da)Pϑ| (dy) = R(ϑ, δ).  = L(ϑ, a)δ(x, B =

X

Δ

X

Δ

Also sind δ und δ a ¨quivalente EF mit identischer Risikofunktion.

2

4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

101

Damit ist gezeigt, dass stark suffiziente σ-Algebren hinreichend Information f¨ ur Entscheidungsprobleme besitzen. Im Fall von Borelr¨aumen (X, A) ist hierdurch der Suffizienzbegriff entscheidungstheoretisch gut begr¨ undet. F¨ ur einige Typen von Entscheidungsproblemen, wie z.B. Tests und Sch¨atzer, ist die Suffizienz f¨ ur ein analoges Resultat generell ausreichend.

4.2

Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Thema dieses Abschnitts ist es, die Begriffe der Minimalsuffizienz, der Vollst¨andigkeit und der Verteilungsfreiheit einzuf¨ uhren und Beziehungen zwischen diesen zu beschreiben.

A) Minimalsuffizienz Eine nat¨ urliche Frage im Zusammenhang mit dem Suffizienzbegriff ist die nach maximaler Datenreduktion ohne Informationsverlust. Der Begriff der Minimalsuffizienz betrifft dieses Thema. Wir diskutieren die Konstruktion und Existenz von suffizienten σ-Algebren und Statistiken. Im dominierten Fall gibt es, basierend auf dem Satz von Halmos und Savage, einfache Kriterien und Konstruktionsverfahren. Definition 4.2.1 (Minimalsuffizienz) a) Sei die σ-Algebra T ⊂ A suffizient f¨ ur P. Dann heißt T minimalsuffizient, falls f¨ ur alle suffizienten σ-Algebren C ⊂ A gilt: T ⊂ C ∨ NP , d.h. T ⊂ C [P]. ur P. T heißt minimalsuffib) Sei die Statistik T : (X, A) → (X , A ) suffizient f¨ zient, wenn σ(T ) ⊂ U eine minimalsuffiziente σ-Algebra ist. T heißt minimalsuffiziente Statistik, wenn f¨ ur alle suffizienten Statistiken T : (X, A) → (X , A ) eine (nicht notwendigerweise messbare) Abbildung h : X → X existiert, so dass T = h ◦ T [P]. Bemerkung 4.2.2 1. Lemma (Hoffmann-Jørgensen) Seien X, Y und Z Borelr¨aume, f : X → Y und g : X → Z messbar. Existiert  h : Y → Z, so dass g =  h ◦ f , so existiert eine messbare Abbildung h : Y → Z mit g = h ◦ f . In diesem Fall kann man in Definition 4.2.1 b) ¨aquivalent auch die Messbarkeit von h verlangen. Aus T = h ◦ T folgt dann σ(T ) ⊂ σ(T) [P]. 2. Im Allgemeinen gilt aber: σ(T ) minimalsuffizient ⇔ T minimalsuffiziente Statistik. “⇒”: Seien Ω := {1, 2}, A := {Ø, Ω}, P := M1 (Ω, A) und T = idΩ . Dann ist σ(T ) = T −1 (A) = A minimalsuffizient. Betrachte T : (Ω, A) → (R, B), T :≡ c ∈ R. Da σ(T) = A ist T suffizient. Es gibt aber keine

102

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Funktion h, so dass T = h ◦ T [P]. Das heißt, T ist nicht minimalsuffiziente Statistik. “⇐”: Ein Gegenbeispiel findet sich in Heyer (1973, Bsp. 6.8). Mit Hilfe des obigen Lemmas von Hoffmann-Jørgensen erh¨alt man f¨ ur Bo¨ relr¨aume die Aquivalenz der beiden Begriffe. F¨ ur den dominierten Fall gilt die ¨ Aquivalenz nach folgendem Resultat von Bahadur (1954) f¨ ur Borelr¨aume. ¨ Satz 4.2.3 (Aquivalenz im dominierten Fall) Sei (X, A) Borelsch und sei P ⊂ M 1 (X, A) dominiert. Dann gilt: 1) Es existiert eine minimalsuffiziente σ-Algebra B ⊂ A. ⇔ Es existiert eine minimalsuffiziente Statistik T . 2) Ist T eine minimalsuffiziente Statistik ⇒ σ(T ) ist minimalsuffizient. 3) Ist T : (X, A) → (Y, B) minimalsuffizient, (Y, B) Borelsch, dann ist T eine minimalsuffiziente Statistik. Im nichtdominierten Fall gibt es f¨ ur perfekte Maßr¨aume eine Erweiterung ¨ obiger Aquivalenzaussage. Definition 4.2.4 (Perfekte Maßr¨ aume) Ein Wahrscheinlichkeitsmaß P ∈ M 1 (X, A) heißt perfekt, wenn es f¨ ur alle f : (X, A) → (R, B) und f¨ ur alle C ⊂ R mit f −1 (C) ∈ A ein B ∈ B gibt mit B ⊂ C so dass P (f −1 (C) \ f −1 (B)) = 0. Als Folgerung aus obigem Lemma von Hoffmann-Jørgensen ergibt sich, dass auf einem Borelraum (X, A) alle Wahrscheinlichkeitsmaße perfekt sind. Proposition 4.2.5 Ist (X, A) Borelsch und P ∈ M 1 (X, A), dann ist P perfekt. Beweis: Sei D = f −1 (C) ∈ A f¨ ur eine Teilmenge C ⊂ R. Dann ist g := 1D : X → R1 und g = 1D = 1f −1 (C) = 1C ◦ f . Nach dem Lemma von Hoffmann-Jørgensen existiert daher h : (R, B) → (R, B) so dass 1D = h ◦ f . Daraus folgt: D = (h ◦ f )−1 ({1}) = f −1 (h−1 ({1}) ∈ σ(f ). Es gilt also sogar, dass f¨ ur eine reelle Funktion f δ(f ) := f −1 (P(R)) ∩ A = σ(f ) = f −1 (B) ist.

2

Satz 4.2.6 (Minimalsuffizienz in perfekten Maßr¨ aumen, Rogge (1972)) Sei P ⊂ M 1 (X, A) eine Familie von perfekten Maßen auf (X, A), dann gilt

4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

103

a) Es existiert eine minimalsuffiziente Unter-σ-Algebra B ⊂ A. ⇔ Es existiert eine minimalsuffiziente Statistik T . b) Ist T eine minimalsuffiziente Statistik, dann ist σ(T ) minimalsuffizient. Bemerkung 4.2.7 Im Allgemeinen existiert keine minimalsuffiziente σ-Algebra oder Statistik. Ein Beispiel zur σ-Algebra findet man etwa in Heyer (1973, Bsp. 6.5), oder in Landers und Rogge (1972). Die folgenden S¨ atze sichern unter Zusatzvoraussetzungen, die Existenz minimalsuffizienter σ-Algebren bzw. Statistiken. Satz 4.2.8 (Minimalsuffiziente σ-Algebra, dominierter Fall) Sei P dominiert. Dann existiert eine minimalsuffiziente σ-Algebra T f¨ ur P, n¨amlich T := σ(fP ; P ∈ P), wobei fP :=

dP mit P ∗ ∈ coσ (P), P ∗ ∼ P. dP ∗

Beweis: Nach Satz 4.1.11 von Halmos-Savage ist T suffizient f¨ ur P. Ist auch C suffizient f¨ ur P, so existiert nach Satz 4.1.11 eine Funktion gP ∈ L(C), so dass dP ∗ gP = dP ∗ [P ]. Damit gilt C ⊃ σ(gP ; P ∈ P). Da gP = fP [P ∗ ] folgt T ⊂ C ∨ NP . Also ist T minimalsuffizient. 2 Satz 4.2.9 (Minimalsuffiziente Statistik) Sei d1 die Totalvariationsmetrik und (P, d1 ) separabel. Dann existiert eine minimalsuffiziente Statistik T f¨ ur P. dPi ∗ N ∗ Die Statistik ∞R 1: X → R , R := (fi )i∈N , wobei fi := dP ∗ mit (Pi )i∈N dicht ∗ in P und P := i=1 2i Pi ∼ P ist eine minimalsuffiziente Statistik. Beweis: w 1. Behauptung: Ist T suffizient f¨ ur P, so ist T auch suffizient f¨ ur co P ; der Abschluss ist bzgl. der Topologie der schwachen Konvergenz, d.h. in der gr¨ obsten Topologie, so dass alle Abbildungen P → P (A) mit A ∈ A stetig sind. Beweis: Da T auch f¨ ur die konvexe H¨ ulle von P suffizient ist, k¨onnen wir ohne Einschr¨ ankung annehmen, dass P konvex ist. Nach Voraussetzung existiert ∀A ∈ w w A : fA = E· (1A | T )P . F¨ ur alle Q ∈ P existiert ein Netz (Pα ) ⊂ P mit Pα → Q. F¨ ur alle B ∈ T ergibt sich also: f dQ ← f dPα = Pα (A ∩ B) → Q(A ∩ B) = EQ (1A | T ) dQ. B

B

B

Damit ist die Radon-Nikod´ ym-Gleichung erf¨ ullt; es ist also EQ (1A | T ) = fA [Q]. w Daraus folgt die Suffizienz von T f¨ ur P .

104

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

∞ dPi 2. Sei (Pi ; i ∈ N) dicht in P, P ∗ = i=1 21i Pi ∼ P und fi = dP ∗ . Dann folgt ∗ N N f¨ ur R = (fi )i∈N : (X, A) → (R , B ) nach Satz 4.2.8, dass σ(R∗ ) = σ(fi ; i ∈ N) suffizient f¨ ur (Pi ; i ∈ N) ist. Nach 1. ist σ(R∗ ) damit auch suffizient f¨ ur co(Pi ; i ∈ N)

w

⊃ co(Pi ; i ∈ N)

d1

⊃ P.

ur P. 3. Behauptung: R∗ ist eine minimalsuffiziente Statistik f¨ Beweis: Sei T suffizient. Nach Satz 4.1.11 von Halmos-Savage existiert f¨ ur alle dP ∗ P ∈ P eine Funktion hP , so dass dP ∗ = hP ◦ T . Daraus folgt fi = hPi ◦ T [P ] ∗ ∗ f¨ ur alle i ∈ N und damit R = (fi )i∈N = (hPi ◦ T ) = h ◦ T [P ] mit h := (hPi ). Somit ist R∗ minimalsuffizient f¨ ur P. 2 Die Voraussetzung von Satz 4.2.9, dass (P, d1 ) separabel ist, ist insbesondere erf¨ ullt, wenn P dominiert und A eine separable σ-Algebra ist. Eine konstruktive Version von Satz 4.2.9 enth¨ alt das folgende Korollar. Korollar 4.2.10 dPϑ Sei P = {Pϑ ; ϑ ∈ Θ}  μ, fϑ := dP ur alle ϑ ∈ Θ ⊂ Rk und sei ϑ → fϑ (x) ∗ f¨ stetig f¨ ur μ-fast alle x ∈ X. Sei weiter Θ0 eine abz¨ahlbare dichte Teilmenge Θ0 ⊂ Θ, dann gilt: 1. σ(fϑ ; ϑ ∈ Θ) = σ(fϑ ; ϑ ∈ Θ0 ) ist minimalsuffizient. 2. R := (fϑ )ϑ∈Θ0 ist eine minimalsuffiziente Statistik. Beweis: Nach Satz 4.2.8 ist σ(fϑ ; ϑ ∈ Θ) minimalsuffizient. Ist T eine suffiziente Statistik, dann gilt nach dem Satz 4.1.9 von Halmos-Savage fϑ (x) = hϑ (T (x)) [P ∗ ]. Wegen der Abz¨ ahlbarkeit von Θ0 gilt dann R(x) = (fϑ (x))ϑ∈Θ0 = h(T (x)) [P ∗ ] mit h := (hϑ )ϑ∈Θ0 . R ist also eine minimalsuffiziente Statistik.

2

Die folgende Proposition ist einfach aber n¨ utzlich f¨ ur viele Beispiele. Proposition 4.2.11 Sei R : (X, A) → (Y, C) eine minimalsuffiziente Statistik (z.B. R = (fϑ )ϑ∈Θ0 in Korollar 4.2.10) und es erzeuge die Statistik T : (X, A) → (Z, E) dieselbe Faserung wie R, d.h. R(x) = R(y) ⇔ T (x) = T (y). Dann ist auch T eine minimalsuffiziente Statistik. Beweis: F¨ ur alle r, t mit R(x) = r, T (x) = t f¨ ur ein x ∈ X gilt {R = r} = {T = t}. Daraus folgt die Existenz einer Abbildung h so, dass R = h ◦ T . Mit R ist daher auch T minimalsuffiziente Statistik. 2

4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

105

Mit Proposition 4.2.11 l¨ asst sich in vielen Beispielen die ‘unhandliche’ minimalsuffiziente Statistik R = (fϑ )ϑ∈Θ0 aus Korollar 4.2.10 durch eine ‘einfache’ minimalsuffiziente Statistik T ersetzen. Beispiel 4.2.12 enth¨alt eine Anwendung von Proposition 4.2.11. Beispiel 4.2.12 In diesem Beispiel werden zwei Statistiken angegeben, die dieselbe σ-Algebra erzeugen, von denen aber nur eine Abbildung eine minimalsuffiziente Statistik ist. Sei (X, A, P) := (R2 , B2 , {Pϑ ; ϑ ∈ R}) mit Pϑ = N (0, 1) ⊗ N (ϑ, 1) ∼ P0 = N (0, 1)2 f¨ ur alle ϑ ∈ R. 1. F¨ ur alle ϑ ∈ R und x1 , x2 ∈ R ist dann fϑ (x1 , x2 ) =

exp(− 12 (x2 − ϑ)2 ) dPϑ dPϑ dλ\2 = gϑ ◦ π2 (x1 , x2 ), = = dP0 exp(− 12 x22 ) dλ\2 dP0 2

mit π2 (x1 , x2 ) = x2 und gϑ (x2 ) = exp(ϑ x2 − ϑ2 ). Da σ(fϑ , ϑ ∈ R) = σ(fϑ ; ϑ ∈ Q) = σ(R) mit R = (fϑ )ϑ∈Q ist nach Korollar 4.2.10 R eine minimalsuffiziente Statistik. Da π2 und R ¨aquivalent sind, ist nach Proposition 4.2.11 π2 eine minimalsuffiziente Statistik. σ(fϑ ; ϑ ∈ R) ist eine minimalsuffiziente σ-Algebra. 2. Sei f¨ ur alle x1 , x2 ∈ R: fϑ (x1 , x2 ) = (1−1{ϑ} (x1 ))fϑ (x1 , x2 ) mit fϑ wie in 1. Dann ist fϑ ∈

dPϑ dP0 ,

da fϑ nur auf einer Nullmenge abge¨andert wird. Nach Satz 4.2.8 ist also auch σ(fϑ ; ϑ ∈ R) minimalsuffizient. Es gilt σ(π2 ) ⊂ σ(fϑ ; ϑ ∈ R) = σ({x1 }; x1 ∈ R) ⊗ B ⊂ NP ∨ σ(π2 ). T := (fϑ ; ϑ ∈ R) ist aber nicht eine minimalsuffiziente Statistik. Denn f¨ ur alle ur alle x2 gilt: T(x1 , x2 ) = T(y1 , x2 ). Da f¨ ur alle Funktionen h auf x1 = y1 und f¨ R gilt h ◦ π2 (x1 , x2 ) = h ◦ π2 (y1 , x2 ) existiert kein h, so dass T = h ◦ π2 [P ∗ ]. T ist also keine minimalsuffiziente Statistik.

B) Vollst¨ andigkeit

Die Vollst¨ andigkeit einer Unter-σ-Algebra T ⊂ A f¨ ur P besagt (im Unterschied zur Suffizienz), dass T ‘hinreichend klein‘ ist oder ¨aquivalent, dass P groß genug ist, um alle Elemente aus L1 (X, T , P) unterscheiden zu k¨onnen. Es zeigt sich, dass vollst¨ andige und suffiziente σ-Algebren (sofern sie existieren) minimalsuffizient sind. Sei T ⊂ A eine Unter-σ-Algebra und B(X, A) bezeichne die Menge der beschr¨ ankten A-messbaren Funktionen. Definiere die Menge der P-Nullsch¨ atzer: D0 (P) = D0 = {f ∈ L1 (X, A, P); EP f = 0 f¨ ur alle P ∈ P}. Die Vollst¨ andigkeit einer Verteilungsklasse P besagt, dass es nur triviale Nullsch¨ atzer gibt.

106

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Definition 4.2.13 (Vollst¨ andigkeit) a) Eine Verteilungsklasse P ⊂ M 1 (X, A) heißt vollst¨ andig, wenn f¨ ur alle f ∈ D0 gilt f = 0 [P]. b) P heißt beschr¨ ankt vollst¨ andig, wenn f¨ ur alle f ∈ D0 ∩B(X, A) gilt f = 0 [P]. c) Eine Statistik T : (X, A) → (Y, B) heißt (beschr¨ankt) vollst¨andig, wenn P|σ(T ) (beschr¨ankt) vollst¨andig ist. Bemerkung 4.2.14 Die Vollst¨andigkeit von P ist ¨ aquivalent damit, dass P punktetrennend auf L1 (P) operiert, d.h. gilt f¨ ur f , g ∈ L1 (P) f dP = g dP, ∀P ∈ P, dann folgt: f = g [P ]. Eine n¨ utzliche Erweiterung obiger Definition ist die L-Vollst¨andigkeit f¨ ur Teilklassen L ⊂ L1 (X, A). Diese findet Anwendungen in Entscheidungsproblemen mit Reduktion der Entscheidungsverfahren auf die Klasse L (z.B. ¨aquivariante Sch¨ atzer, invariante Tests etc.). Definition 4.2.15 (L-Vollst¨ andigkeit) Sei L ⊂ L1 (X, A, P). a) P heißt L-vollst¨ andig, wenn f¨ ur alle f ∈ D0 ∩ L gilt: {f = 0} ∈ NP . b) Die Unter-σ-Algebra T ⊂ A heißt L-vollst¨ andig f¨ ur P, wenn P L ∩ L1 (X, T , P|T )-vollst¨andig ist. T heißt beschr¨ ankt L-vollst¨ andig f¨ ur P, wenn P L ∩ B(X, T )-vollst¨andig ist. c) Ist L = L(X, A, P), so schreibt man auch τ ist (beschr¨ankt) vollst¨andig, statt τ ist (beschr¨ankt) L-vollst¨andig. d) Die Statistik T : (X, A) → (X , A ) heißt (beschr¨ankt) L-vollst¨andig f¨ ur P, wenn σ(T ) (beschr¨ankt) L-vollst¨andig f¨ ur P ist, d.h. h ◦ T ∈ B(X, A) ∩ L gilt: Eϑ h ◦ T = 0,

∀ϑ ∈ Θ ⇒ h ◦ T = 0 [P T ].

Bemerkung 4.2.16 1. Sei T vollst¨andig f¨ ur P und P ⊂ P ⊂ P . Dann folgt i.A. nicht die Vollst¨andig keit f¨ ur P oder P . Ist NP  = NP , so erh¨alt man jedoch, dass T vollst¨andig f¨ ur P ist. 2. Ist T (beschr¨ankt) vollst¨andig f¨ ur P, so ist T auch (beschr¨ankt) vollst¨andig f¨ ur w coσ (P) .

4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

107

3. Ist T vollst¨andig f¨ ur P und T ⊂ T ⊂ T . Dann ist auch T vollst¨andig f¨ ur P, i.A. ist aber T nicht vollst¨andig f¨ ur P. 4. Seien f¨ ur i = 1, 2 (Xi , Ai , Pi ) statistische Experimente und Ti ⊂ Ai Unterσ-Algebren. Sind f¨ ur i = 1, 2 Ti (beschr¨ankt) vollst¨andig f¨ ur Pi , so ist auch T1 ⊗ T2 (beschr¨ankt) vollst¨andig f¨ ur P1 ⊗ P2 . Der Beweis hierzu folgt mit Hilfe des Satzes von Fubini. ‘Große’ Unter-σ-Algebren sind typischerweise suffizient, ‘kleine’ σ-Algebren sind typischerweise vollst¨ andig. Im Schnitt dieser Eigenschaften erh¨alt man minimalsuffiziente σ-Algebren. Satz 4.2.17 Sei T suffizient und beschr¨ankt vollst¨andig f¨ ur P. Dann ist T minimalsuffizient f¨ ur P. Beweis: Sei T suffizient f¨ ur P. Zu zeigen ist T ⊂ T ∨ NP . D.h. ∀ T ∈ T existiert ein T ∈ T , so dass f¨ ur alle P ∈ P gilt: P (T 'T ) = 0. Mit fT = E· (1T | T ) und gT = E· (fT | T ) gilt:    1. gT dP = fT dP = 1T dP f¨ ur alle P ∈ P.  Es ergibt sich also: (gT − 1T ) dP = 0 f¨ ur alle P ∈ P. Da gT − 1T ∈ B(X, T ) und T beschr¨ ankt vollst¨andig ist, gilt gT = 1T [P]. 2. Nach 1. ist 1T = 1T 1T = 1T gT = 1T E· (fT | T ) [P] und damit nach Radon-Nikod´ ym 1T dP = 1T E· (fT | T ) dP ur alle P ∈ P. = 1T fT dP f¨ Also ist



1T (1 − fT ) dP = 0 f¨ ur alle P ∈ P. Da 0 ≤ fT ≤ 1 [P] folgt hieraus 1T (1 − fT ) = 0 [P].

Ebenso folgt aus



fT dP =

dass

1T dP =

1T fT dP

ur alle P ∈ P, fT (1 − 1T ) dP = 0 f¨

und damit fT (1 − 1T ) = 0 [P]. Daher ist fT = 1T [P]. F¨ ur T := {fT = 1} gilt T ∈ T und P (T ΔT ) = 0; die Behauptung.

2

108

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Beispiel 4.2.18 Sei (X, A, P) = (Rn , Bn , {Pϑ ; ϑ ∈ R}), mit der Cauchy-Verteilung Pϑ = fϑ λ\n , n . 1 1 n n d.h. fϑ (x) := π 1+(xi −ϑ)2 und sei T : R → R die Ordnungsstatistik, d.h. i=1

T (x1 , . . . , xn ) = (x(1) , . . . , x(n) ) mit x(1) ≤ · · · ≤ x(n) . Behauptung: T ist minimalsuffizient und minimalsuffiziente Statistik f¨ ur P. Es gibt also nur eine geringf¨ ugige Reduktion durch Suffizienz. Beweis: 1. Sei P ∗ = P0 ∼ P, dann gilt f¨ ur die Dichten fϑ∗ (x) =

n . fϑ (x) 1 + x2i . = 2 f0 (x) i=1 1 + (xi − ϑ)

Zu zeigen ist: ⇔

fϑ∗ (x) = fϑ∗ (y),

∀ϑ ∈ R

fϑ∗ (x)

∀ϑ ∈ Q

=

fϑ∗ (y),

⇔ T (x) = T (y) ¨ Die erste Aquivalenz ist klar. Zum Nachweis der zweiten:

” ”

⇐“: Ist T (x) = T (y), dann ist fϑ∗ (x) = fϑ∗ (y), ∀ϑ, also gilt ⇐“. ” ⇒“: Definiere f¨ ur ϑ ∈ R die Polynome g(ϑ) :=

n 1 + (x − ϑ)2 . i , 1 + x2i i=1

h(ϑ) :=

n 1 + (y − ϑ)2 . i 1 + yi2 i=1

vom Grad 2n. Setzt man g und h analytisch auf C fort, so erh¨alt man auch g|C = h|C , da beides analytische Funktionen sind und g|R = h|R gilt. Damit erh¨alt man {xr ± i; r = 1, . . . , n} = {g = 0} = {h = 0} = {yr ± i; r = 1, . . . , n}, das heißt, auch die Nullstellenmengen sind mit Vielfachheiten gleich. Also ist T (x) = T (y). 2. F¨ ur alle x ∈ Rn ist die Abbildung ϑ → fϑ (x) stetig. Nach Korollar 4.2.10 ist R = (fϑ )ϑ∈Q minimalsuffiziente Statistik und auch minimalsuffizient. Nach Proposition 4.2.11 ist auch T minimalsuffiziente Statistik und minimalsuffizient. Beispiel 4.2.19 (Bernoulliexperiment) n Sei P = {Pϑ ; ϑ ∈ (0, 1)}, n wobei Pϑ = ⊗i=1 B(1, ϑ). Behauptung: T (x) := i=1 xi ist vollst¨andig bzgl. P. Nach dem Neyman-Kriterium ist T suffizient und daher dann auch minimalsuffizient.

4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

109

Beweis: Sei f ∈ L(X, σ(T )) ∩ D0 (P). Dann existiert eine messbare Funktion h, so dass f = h ◦ T . Da weiterhin PϑT = B(n, ϑ) gilt, erh¨alt man f¨ ur alle ϑ ∈ (0, 1): 0 = Eϑ (h ◦ T ) =

h(t) dPϑT (t)

  n t h(t) ϑ (1 − ϑ)n−t = t t=0 9 n t :    n ϑ (1 − ϑ)n . = h(t) 1 − ϑ t t=0 n 

ϑ bijektiv ist, sind alle Koeffizienten Da die Abbildung (0, 1) → (0, ∞), ϑ → z := 1−ϑ des Polynoms null. Es gilt also h(t) = 0 f¨ ur alle t ∈ {0, . . . , n} und damit f = h ◦ T = 0 [P]. Daraus folgt, dass T vollst¨andig und suffizient ist,also auch minimalsuffizient.

Beispiel 4.2.20 (Invariante Verteilungsklassen) Sei Q eine endliche Gruppe messbarer surjektiver Abbildungen q : (X, A) → (X, A). Dann ist jedes q ∈ Q bijektiv. Beweis: F¨ ur das neutrale Element e ∈ Q gilt: e2 = e. Weiterhin existiert f¨ ur jedes y ∈ X ein x ∈ X, so dass e(x) = y. Daraus folgt f¨ ur alle y ∈ X: e(y) = e2 (x) = e(x) = y. Also ist e = idX ; damit ist das Gruppeninverse die Umkehrabbildung. ; Sei I := {A ∈ A; ∀q ∈ Q, q(A) = A} = { q(A); A ∈ A} die σ-Algebra q∈Q

der Q-invarianten Mengen. Dann gilt:

1. I ist eine σ-Algebra. Dieses folgt aus der Bijektivit¨at der q ∈ Q. Beachte, dass f¨ ur A ∈ A q(A) = (q −1 )−1 (A) ∈ A.

2. F¨ ur alle Q-invarianten Wahrscheinlichkeitsmaße P ∈ M1 (X, A) (das heißt P q = P f¨ ur alle q ∈ Q) und f¨ ur alle g ∈ L1 (P ) gilt: EP (g | I)(x) =

1  g ◦ q(x) =: h(x). |Q| q∈Q

110

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Beweis: F¨ ur alle B ∈ I ist nach der Transformationsformel: g dP = g dP q−1 (B)

B



g ◦ q dP q

= B



g ◦ q dP.

= B

Das ist die Radon-Nikod´ym-Gleichung. Da h Q-invariant, also I-messbar ist, folgt h = EP (g | I). 3. Sei P = {P ∈ M1 (X, A); P ist Q-invariant} die Menge der Q-invarianten Wahrscheinlichkeitsmaße auf (X, A). Dann ist I vollst¨andig und suffizient f¨ ur P. Beweis: i) I ist suffizient nach 2. ii) Sei f ∈ L1 (X, I) ∩ D0 (P), f = f+ − f− . Dann gilt f+ , f− ∈ L1+ (X, I) und f+ dP = f− dP f¨ ur alle P ∈ P. F¨ ur g ∈ B+ (X, I) und P ∈ P mit



g dP > 0 ist

g eine P -Dichte und hP ∈ P. g dP   Daher folgt f+ h dP = f− h dP . W¨ahlt man g := 1B f¨ ur B ∈ I mit P (B) > 0, so erh¨alt man f+ dP = f− dP, h := 

B

B

und damit f+ = f− [P ] f¨ ur alle P ∈ P. Also ist f = 0 [P]. Satz 4.2.21 (Vollst¨ andigkeit von Exponentialfamilien) Sei P = {Pϑ ; ϑ ∈ Θ} eine Exponentialfamilie in Q und T mit int(Q(Θ)) = Ø. Dann ist T vollst¨andig und suffizient f¨ ur P.

4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

111

Beweis: i) Die Suffizienz von T gilt nach dem Neyman-Kriterium in Satz 4.1.15. ii) Vollst¨ andigkeit: Sei o.B.d.A. a > 0, so dass (−a, a)k ⊂ int(Q(Θ)) (durch affine Transformation zu erreichen). Dann gilt f¨ ur alle ϑ ∈ (−a, a)k : 0 = Eϑ (h ◦ T ) = h(t)C(ϑ)e ϑ,t dν T (t). Mit h = h+ − h− folgt also f¨ ur alle ϑ ∈ (−a, a)k : h+ (t)e ϑ,t dν T (t) = h− (t)e ϑ,t dν T (t) und insbesondere mit ϑ = 0: w := h+ (t) dν T (t) = h− (t) dν T (t). zu zeigen: w = 0. Daraus folgt die Vollst¨andigkeit. Angenommen w > 0. Definiere die Wahrscheinlichkeitsmaße κ+ := hw+ ν T und κ− := hw− ν T . Dann gilt f¨ ur die Laplacetransformierten von κ+ und κ− : e ϑ,t dκ+ (t) = e ϑ,t dκ− (t) f¨ ur alle ϑ ∈ (−a, a)k . Die Eindeutigkeit der Laplacetransformierten ergibt κ+ = κ− . Daraus folgt, dass h+ = h− [ν T ] und damit h = 0 [ν T ] und w = 0. 2 Bemerkung 4.2.22 (Vollst¨ andigkeit von Lokationsklassen) Sei P = f λ\1 ein Wahrscheinlichkeitsmaß mit Dichte f auf R und sei P = {Pϑ ; ϑ ∈ Θ = R}, Pϑ = εϑ ∗ P = fϑ λ\1 die erzeugte Lokationsfamilie mit fϑ (x) = f (x − ϑ). Dann gilt das auch in der harmonischen Analysis bedeutsame Wiener-Closure-Theorem: P ist genau dann beschr¨ankt vollst¨andig, wenn f(t) = 0, ∀t ∈ R1 , d.h. die Fouriertransformierte f (oder ¨aquivalent die charakteristische Funktion ϕP ) hat keine Nullstellen. Es gibt Varianten des obigen Resultats in lokal kompakten Gruppen. Die Lq -Vollst¨andigkeit von P l¨asst sich mit der Gr¨oße der Nullstellenmenge von f (gemessen mit der Hausdorffdimension) beschreiben. F¨ ur einige Klassen wurden diese Resultate auch f¨ ur statistische Vollst¨andigkeitsaussagen bzgl. L1 (X, P) modifiziert (siehe Isenbeck und R¨ uschendorf (1992) und Mattner (1992)). Im Allgemeinen ist es jedoch schwierig, die Vollst¨andigkeit von Lokationsklassen und Skalenklassen nachzuweisen. Im Buch von Simons (1981) wird gezeigt, dass die Vollst¨andigkeit einer speziellen Skalenklasse ¨aquivalent zur Riemannschen Vermutung ist.

112

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

C) Verteilungsfreiheit und Basusche S¨ atze Im Unterschied zur Suffizienz enthalten verteilungsfreie σ-Algebren keine Information, die f¨ ur die L¨ osung von entscheidungstheoretischen Fragen relevant sind. Definition 4.2.23 (Verteilungsfreiheit) a) B ⊂ A heißt verteilungsfrei bzgl. P, wenn f¨ ur alle B ∈ B und P, Q ∈ P gilt: P (B) = Q(B). b) Eine Statistik S : (X, A) → (Y, B) heißt verteilungsfrei, wenn σ(S) verteilungsfrei ist. Das ist genau dann der Fall, wenn f¨ ur alle P, Q ∈ P gilt: P S = QS . Bemerkung 4.2.24 Eine suffiziente Statistik enth¨alt wesentliche Information ¨ uber die Parameter, dagegen enth¨alt eine verteilungsfreie Statistik keine Information ¨ uber die Parameter. 1 In einem Normalverteilungsmodell Pϑ = N (ϑ, 1)(n) , ϑ ∈ Θ = R nist der Sch¨a2tzer 1 T (x) := xn f¨ ur g(ϑ) = ϑ suffizient. Die Abbildung S(x) := n−1 i=1 (xi − xn ) ist ein Sch¨atzer f¨ ur die konstante Varianz σ 2 = 1 in dem Modell. Aus S k¨onnen keine Informationen ¨ uber den Parameter gewonnen werden. S ist eine verteilungsfreie Statistik. F¨ ur eine Zufallsvariable X ∼ P0 (das heißt QX = P0 ) gilt X + ϑ · e ∼ Pϑ und damit ur alle ϑ ∈ Θ. PϑS = QS(X+ϑ·e) = QS◦X = P0S f¨ S enth¨alt jedoch Informationen ¨ uber die Genauigkeit des Sch¨atzers T . Die folgenden drei S¨ atze von Basu stellen einige grundlegende Beziehungen zwischen den Begriffen Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit her. Satz 4.2.25 (Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit) Sei T : (X, A) → (Y, B) beschr¨ankt vollst¨andig und suffizient und S : (X, A) → (W, W) verteilungsfrei. Dann sind S und T stochastisch unabh¨angig f¨ ur alle P ∈ P. Beweis: Seien C ∈ σ(S) und P, Q ∈ P. Dann folgt aus der Verteilungsfreiheit von S und der Suffizienz von T :     0 = P (C) − Q(C) = 1C − Q(C) dP = E· 1C − Q(C) | T dP. Da T beschr¨ ankt vollst¨ andig ist, ergibt sich P (C|T ) = Q(C) [P ] f¨ ur alle P ∈ P. Damit gilt f¨ ur alle B ∈ σ(T ): P (B ∩ C) = P (C|T ) dP = Q(C)P (B) f¨ ur alle P ∈ P. B

Also sind T und S stochastisch unabh¨ angig.

2

Der zweite Satz von Basu liefert, dass von suffizienten σ-Algebren unabh¨angige σ-Algebren verteilungsfrei sind.

4.2 Minimalsuffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

113

Satz 4.2.26 (Unabh¨ angigkeit von suffizienter σ-Algebra und Verteilungsfreiheit) Seien B, C ⊂ A stochastisch unabh¨angig f¨ ur alle P ∈ P und B suffizient. Weiterhin existiere f¨ ur alle P , Q ∈ P eine Kette P1 = P , P2 , . . . , Pn = Q in P so dass Pi , Pi+1 nicht orthogonal sind f¨ ur alle i. Dann ist C verteilungsfrei. Beweis: Sei B suffizient und C, B stochastisch unabh¨angig. Zu P , Q ∈ P, C ∈ C existiert fC ∈ L(X, B) so dass Q(C | B) = fC = P (C | B). Da B und C stochastisch unabh¨ angig sind, gilt f¨ ur alle B ∈ B:

B

P (C | B) dP = P (C ∩ B) = P (C)P (B) =

fC dP = B

P (C) dP,

∀B ∈ B.

B

Also ist fC = P (C) [P ]. Analog zeigt man fC = Q(C) [Q]. Sind P , Q nicht orthogonal, dann gibt es gemeinsame Tr¨ agerpunkte der Verteilungen und es folgt P (C) = Q(C). Allgemein existiert eine Kette P = P1 , P2 , . . . , Pn = Q in P mit Pi , Pi+1 nicht orthogonal. Die obige Folgerung liefert dann sukzessive P (C) = P1 (C) = · · · = Pn (C) = Q(C). Also ist C verteilungsfrei.

2

Der dritte Satz von Basu besagt, dass eine maximale unabh¨angige Erg¨anzung einer verteilungsfreien σ-Algebra suffizient ist. Satz 4.2.27 (Suffizienz von maximalen unabh¨ angigen Erg¨ anzungen) Seien B, C ⊂ A stochastisch unabh¨angig f¨ ur alle P ∈ P und sei C verteilungsfrei. Gilt B ∨ C = A, dann ist B suffizient. Beweis: F¨ ur alle P, Q ∈ P, B ∈ B und C ∈ C gilt: P (B ∩ C | B) = 1C P (C | B) = 1B P (C) = 1B Q(C) =: fB∩C . Das Mengensystem SS := {A ∈ A ; ∃ fA ∈ L(X, B) : fA = P (A | B), ∀ P ∈ P} ist ein Dynkin-System. Weiterhin ist E := {B ∩ C ; B ∈ B, C ∈ C} ⊂ SS. E ist ein ∩-stabiler Erzeuger von B ∨ C = A. Also gilt SS ⊃ σ(E) = A. Daraus folgt die Behauptung.

2

114

4.3

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Anwendungen in der nichtparametrischen Statistik

Die in den Kapiteln 4.1 und 4.2 eingef¨ uhrten Begriffe der Suffizienz, Vollst¨andigkeit und Verteilungsfreiheit sind f¨ ur die Sch¨ atz- und Testtheorie von grundlegender Bedeutung. In diesem Abschnitt behandeln wir Anwendungen auf einige Fragestellungen aus der nichtparametrischen Statistik. F¨ ur große nichtparametrische Verteilungsklassen erweisen sich die Ordnungsvektoren (Ordnungsstatistiken) als typische Beispiele von vollst¨ andigen und suffizienten Statistiken. Der Rangvektor (Rangstatistik) ist ein typisches Beispiel einer verteilungsfreien Statistik. Ordnungsstatistiken sind daher informativ und als Sch¨ atzverfahren f¨ ur Parameterfunktionen zu verwenden. Verteilungsfreie Statistiken sind dagegen n¨ utzlich um Hypothesen zu identifizieren und erlauben z.B. die Konstruktion von aussagekr¨aftigen Anpassungstests f¨ ur nichtparametrische Testprobleme. Sei (X, A) := (Rn , Bn ), P := {P (n) ; P ∈ M1 (R, B)} eine große nichtparametrische Verteilungsklasse. Sei Sn die Permutationsgruppe auf {1, . . . , n}. Jedes π ∈ Sn induziert eine bijektive, messbare Abbildung π  : Rn → Rn , (x1 , . . . , xn ) → (xπ(1) , . . . , xπ(n) ). π ; π ∈ Sn } ist mit der Komposition von Abbildungen eine Die Menge Q = Sn := { endliche Gruppe. Da jedes P (n) ∈ P S-invariant ist, ist P Sn -invariant, P ⊂ M(Q) = {Q ∈ M 1 (Rn , Bn ); Q ist Q-invariant}. Wie in Beispiel 4.2.20 gezeigt, ist die σ-Algebra der Sn -invarianten Mengen Bn := {B ∈ Bn ; π  (B) = B , ∀ π ∈ Sn } suffizient f¨ ur P, d.h. die σ-Algebra Bs der symmetrischen Borel-Mengen ist suffizient. Unser Ziel ist es, die Vollst¨andigkeit von Bs zu zeigen. Der Beweis hierzu erfordert einige Vor¨ uberlegungen. Lemma 4.3.1 Sei T : (Rn , Bn ) → (Rn , Bn ) die Ordnungsstatistik. Dann ist σ(T ) = Bs . Beweis:  ◦ T −1 (B) = (T ◦ π −1 )−1 (B) = T −1 (B); also T −1 (B) ∈ “⊂”: F¨ ur alle B ∈ Bn ist π Bs .

“⊃”: Es gilt f¨ ur alle x, y ∈ Rn : T (x) = T (y) ⇔ ∃ π ∈ Sn : π (x) = y . F¨ ur alle B ∈ Bs ist B = T −1 (T (B)) und T (B) = B ∩ {x ∈ Rn ; x1 ≤ · · · ≤ xn } ∈ Bn . Damit ist B ∈ σ(T ) = T −1 (Bn ). Also gilt σ(T ) = Bs und daher ist T suffizient f¨ ur P. 2 Wir zeigen zun¨ achst die Vollst¨ andigkeit von T f¨ ur eine Teilklasse von P. Sei μ ∈ M1 (R, B) und definiere Pμ := {P (n) ; P ∈ M1 (R, B), P  μ} ∼ μn die Klasse der μ-stetigen Wahrscheinlichkeitsverteilungen.

4.3 Anwendungen in der nichtparametrischen Statistik

115

Satz 4.3.2 Die Ordnungsstatistik T : (Rn , Bn ) → (Rn , Bn ), (x1 , . . . , xn ) → (x(1) , . . . , x(n) ) ist vollst¨andig und suffizient f¨ u r Pμ . Beweis: i) T ist suffizient f¨ ur Pμ nach Beispiel 4.2.20 und Lemma 4.3.1. ii) Zu zeigen: T ist vollst¨ andig. Beweis: Betrachte die folgenden Abbildungen: U : R n → Rn , x →

n  i=1

xi ,

n 

x2i , . . . ,

i=1

n 

xni



i=1

(Potenzsummenstatistik) n    n . xi , xi xj , . . . , xi V : R n → Rn , x → i=1

i 0 fest und r(x) > 0 so gew¨ahlt, dass    dPϑ (x) := C(ϑ) exp − ur alle ϑ ∈ (−a, a)n ϑi xi r(x) f¨ dμ i=1 n

μ-integrierbar ist. Mit P ∗ := {Pϑ ; ϑ ∈ (−a, a)n } ⊂ Pμ und ν := rμ gilt: P ∗ ∼ ν (n) und (n)

     dPϑ n (x) = C (ϑ) exp − ϑi xij . dν (n) i=1 j=1 (n)

n

n

◦ P ∗ ist also eine Exponentialfamilie in −ϑ, U (x) und Θ = Ø. Nach Satz 4.2.21 ist U vollst¨ andig f¨ ur P ∗ . Wegen P ∗ ∼ μ(n) ∼ Pμ und P ∗ ⊂ Pμ ist daher U auch vollst¨ andig f¨ ur Pμ . 2 Die Vollst¨ andigkeit wurde hier also durch R¨ uckf¨ uhrung auf eine geeignete parametrische Teilklasse gezeigt. Diese Beweismethode wenden wir auch auf das folgende Beispiel einer nichtparametrischen Verteilungsklasse an. Sei Pc := {P (n) ; P ∈ M1 (R, B), P ist stetig}.

4.3 Anwendungen in der nichtparametrischen Statistik

117

Satz 4.3.3 Die Ordnungsstatistik T : (Rn , Bn ) → (Rn , Bn ), (x1 , . . . , xn ) → (x(1) , . . . , x(n) ) ist vollst¨andig f¨ u r Pc . Beweis: Sei f ∈ L1 (X, A, Pc ) so, dass EP (n) (f ◦ T ) = 0 f¨ ur alle P (n) ∈ Pc . Sei 1 (n) Q ∈ M (R, B) stetig. Dann gilt PQ ⊂ Pc und PQ ∼ Q . Nach Satz 4.3.2 ist T vollst¨ andig f¨ ur PQ . Daraus folgt f ◦ T = 0 [Q(n) ], und damit auch f ◦ T = 0 [Pc ]. Das ist die Behauptung. 2 Definiere Pd := {P (n) ; P ∈ M1 (R, B), P (endlich) diskret} die Klasse der Produkte von (endlich) diskreten Wahrscheinlichkeitsmaßen auf R. Satz 4.3.4 Die Ordnungsstatistik ist vollst¨andig und suffizient f¨ u r Pd . Beweis: Der Beweis beruht auf einem einfachen Induktionsargument u ¨ ber die Nullstellen von homogenen Polynomen in n Variablen (Halmos (1946)). 2 Als Konsequenz erhalten wir insbesondere die Vollst¨andigkeit und Suffizienz des Ordnungsvektors T (x) = x( ) f¨ ur unser Ausgangsmodell P = {P (n) ; P ∈ 1 1 1 M (R , B )}. Satz 4.3.5 Die Ordnungsstatistik T ist vollst¨andig und suffizient f¨ ur P. Allgemeiner l¨ asst sich folgende Vollst¨ andigkeitsaussage zeigen: Satz 4.3.6 (Vollst¨ andigkeit von Produkten) Ist P ⊂ M 1 (X, A) konvex und vollst¨andig, dann ist P (n) = {P (n) ; P ∈ P} symmetrisch vollst¨andig, d.h. vollst¨andig bzgl. der Klasse der symmetrischen, P integrierbaren Funktionen, L1sym = {f ∈ L1 (P (n) ); f = f ◦ π , ∀π ∈ Sn } F¨ ur diese Vollst¨ andigkeitsaussage reicht auch eine abgeschw¨achte Form der Konvexit¨ at aus (vgl. Mandelbaum und R¨ uschendorf (1987)). Rangstatistiken sind eine wichtige Klasse von verteilungsfreien Statistiken. Definition 4.3.7 (Rangstatistiken, Ordnungsstatistiken) Sei R : Rn → {1, . . . , n}n , R(x) := (R1 (x), . . . , Rn (x)) der Rangvektor. Dabei bezeichnet Ri (x) := nk=1 1(−∞,xi ] (xk ) den Rang von xi in {x1 , . . . , xn }. Messbare Funktionen Ψ(R) heißen Rangstatistiken, messbare Funktionen Φ(T ) des Ordnungsvektors T heißen Ordnungsstatistiken.

118

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Lemma 4.3.8 (Verteilungsfreiheit von Rangstatistiken) F¨ ur P ∈ Pc gilt: 1 1. P (R = r) = n! f¨ ur alle r = (r1 , . . . , rn ) ∈ Sn . R ist gleichverteilt auf Sn , insbesondere ist R verteilungsfrei f¨ u r Pc .

2. P (Ri = ri ) =

1 n

f¨ ur alle ri ∈ {1, . . . , n}.

3. P (Ri = ri , Rj = rj ) =

1 n(n−1)

f¨ ur alle ri , rj ∈ {1, . . . , n}, ri = rj .

4. R und T sind stochastisch unabh¨angig. Beweis: 1. Sei A := {x ∈ Rn ; x1 < . . . < xn } und P = Q(n) ∈ Pc . Dann gilt: P (∪π∈Sn π(A)) = 1. Zum Beweis erhalten wir zun¨ achst nach Fubini: P ({x ∈ Rn ; xi = xj }) = Q(2) ({x ∈ R2 ; x1 = x2 }) = Q({x ∈ R2 ; x1 = x2 })x2 dQ(x2 ) = Q({x2 }) dQ(x2 ) = 0, da Q stetig ist. Also ergibt sich f¨ ur alle π ∈ Sn :  <   1=P π(A) = P (π(A)) = n!P (A) = n!P ({R = π}). π∈SSn

π∈SSn

Daraus folgt die Behauptung. 2. F¨ ur alle P ∈ Pc gilt: P (Ri = ri ) =



P (R1 = r1 , . . . , Ri = ri , . . . , Rn = rn )

 )∈S r=(r1 ,...,r i,...,rn n

1 (n − 1)! n! 1 = . n

=

3. Der Beweis zu 3. ist analog zu dem zu 2.. 4. Nach Satz 4.3.3 ist T (beschr¨ ankt) vollst¨ andig und suffizient f¨ ur Pc . Nach 1. ist R verteilungsfrei f¨ ur Pc . Aus Satz 4.2.25 von Basu folgt die Behauptung. 2 Wir zeigen nun die Bedeutung von verteilungsfreien Statistiken, wie z.B. der Rangstatistiken f¨ ur die Konstruktion von Testverfahren. Wir behandeln exemplarisch ein nichtparametrisches Zweistichprobenproblem.

4.3 Anwendungen in der nichtparametrischen Statistik

119

Beim Zweistichprobenproblem geht es um zwei Versuchsreihen, die eine mit n Wiederholungen, die nach der Verteilungsfunktion F verteilt sind, die zweite mit m Wiederholungen, nach G verteilt. Es ergibt sich folgendes Modell:  (n)  (m) X = Rn × Rm , P = PF × PG ; F und G sind stetige Verteilungsfunktionen . (n)

(m)

Betrachte die Hypothese P0 := {PF ×PF ; F ist eine stetige Verteilungsfunktion}, dass den Versuchsreihen die gleiche Verteilungsfunktion zu Grunde liegt, und mit einer Alternative P1 ⊂ P \ P0 . Zur Konstruktion eines sinnvollen Tests f¨ ur dieses Zweistichprobenproblem betrachten wir die zugeh¨ origen empirischen Verteilungsfunktionen, 1 Fn (a) := Fn,x (a) := 1(−∞,a) (xi ), n i=1 n

  m,y (a) := 1  m (a) := G 1(−∞,a) (yi ), G m i=1 m

definiert zu Beobachtungsvektoren (x, y) ∈ X. Nach dem Satz von Glivenko-Cantelli gilt, dass f.s. gleichm¨aßig in a ∈ R1 : Fn (a) −→ F (a)

und

 m (a) −→ G(a). G

 m , so ist also zu erwarten, dass auch F ≈ G, und es ist naheliegend, Ist nun Fn ≈ G sich f¨ ur die Hypothese zu entscheiden. Um die Distanz zwischen den empirischen Verteilungsfunktionen zu messen, sind folgende Funktionen geeignet: • Kolmogorov-Smirnov-Statistik:

/ / / m,y (a)//. T1,n,m := T1 (x, y) := sup /Fn,x (a) − G a∈R

• Cram´ er-von Mises-Statistik: T2,n,m := T2 (x, y) :=



2  m,y (a) dW (a), Fn,x (a) − G

1  m,y ), die empirische Verteilungsfunktion der (n Fn,x + m G mit W := n+m gemeinsamen Stichprobe.

Lemma 4.3.9 T1 und T2 sind verteilungsfrei f¨ ur die Hypothese P0 . angige R(0, 1)-verteilte Zufallsgr¨oßen. Beweis: Seien U1 , . . . , Un , V1 , . . . , Vm unabh¨ Nach dem Simulationslemma folgt:   (n) (m) F −1 (U1 ), . . . , F −1 (Un ), G−1 (V1 ), . . . , G−1 (Vm ) ∼ PF ⊗ PG .

120

4 Suffizienz, Vollst¨ andigkeit und Verteilungsfreiheit

Damit gilt f¨ ur den Fall F = G

/  / m n −1 −1 1 1 sup / n (Ui ))− m (Vi ))/ T1  i=1 1(−∞,a] (F i=1 1(−∞,a] (G a∈R (n) (m) = P PF ⊗ PG /  / m n 1 1 / sup / n i=1 1[0,u] (Ui )− m i=1 1[0,u] (Vi ) a∈[0,1] = P

¨ Die Verteilung von T1 ist unabh¨ angig von F . Ahnlich sieht man, dass T2 verteilungsfrei ist. Definiert man f¨ ur m = n (oder

m n

→ λ ∈ (0, 1)) Pn := P

√ nT1,n,m

. Dann gilt:

D

Pn −→ P0 , Pn konvergiert schwach gegen die Kolmogorov-Smirnov-Verteilung P0 (bzw. Pλ ). ¨ Analoge Uberlegungen f¨ ur T2 ergeben Konvergenz gegen eine χ22 -Verteilung: Qn := P

√ nT2,n,n

D

−→ χ22 .

2

T1 und T2 sind auf der Hypothese P0 verteilungsfrei. Dieses erlaubt es die Hypothese P0 zu identifizieren und bietet damit die M¨oglichkeit P0 von P \ P0 mittels der Teststatistiken Ti zu unterscheiden. Ein auf der Statistik T1,n,m basierender Test ist der Kolmogorov-SmirnovTest: ⎧ ⎨1 > √ ϕ1(n,m) = n T1,n,m uα (λ) ⎩0 ≤ (1 − α), dem α-Fraktil von Pλ . Dann gilt f¨ ur mit uα (λ) = FP−1 λ EPn,m ϕ1(n,m) → α

m n

→ λ:

f¨ ur alle Pn,m ∈ P0 = P0 (n, m),

ϕ1(n,m) ist ein asymptotischer Test zu Niveau α. Der ¨ ahnlich konstruierte auf T2,n,m basierende Test heißt Cram´ er-von MisesTest. Die Verteilungsfreiheit von Ti erlaubt es, die Hypothesen zu identifizieren und damit einen sinnvollen Test zu konstruieren. Auf einer ¨ ahnlichen Idee basiert auch der Wilcoxon-ZweistichprobenRangtest. Sei S1 (z) die Teststatistik S1 (z) :=

n 

R1,j (z),

j=1

wobei R1,j (z) den Rang von xj in der gemeinsamen Stichprobe z = (x, y) beschreibt. Wegen der Beziehung 2   i=1

j

Rij (z) =

(n + m)(n + m + 1) 2

4.3 Anwendungen in der nichtparametrischen Statistik

121

ist eine ¨ aquivalente Teststatistik 1 1  R1j (z) − R2j (z), n i=1 m j=1 n

S2 (z) =

m

d.h. {S1 ≥ k1 } = {S2 ≥ k2 } f¨ ur geeignete k1 , k2 . S1 und S2 sind beide verteilungsfrei und erlauben daher ebenfalls die Identifizierung der Hypothese P0 . S2 ist asymptotisch normalverteilt, so dass approximative Fraktile der Normalverteilung verwendet werden k¨onnen. Alle drei Tests haben spezifische Abweichungen von der Hypothese, die sie gut entdecken k¨onnen. Mit dem Begriff der (asymptotischen) Effizienz werden in der asymptotischen Statistik die Richtungen (Abweichungen von der Hypothese) spezifiziert, f¨ ur die die jeweiligen Tests besonders gut geeignet sind. Kein Test ist universell f¨ ur alle m¨oglichen Abweichungen gut geeignet.

Kapitel 5

Sch¨ atztheorie In diesem Kapitel soll in einige Methoden zur Konstruktion von ‘guten‘ Sch¨atzverfahren und deren Analyse eingef¨ uhrt werden. Es gibt eine Reihe von unterschiedlichen Ans¨ atzen zur Sch¨ atztheorie. Aus der Entscheidungstheorie motiviert sind Ans¨ atze, die versuchen in geeignet restringierten Klassen von Sch¨atzverfahren optimale Elemente zu finden, d.h. solche mit minimalen Risikofunktionen. M¨ogliche und sinnvolle Typen von Restriktionen sind z.B. erwartungstreue Sch¨ atzer, d.h. solche, f¨ ur die Eϑ d = g(ϑ), ∀ϑ ∈ Θ gilt. Die Sch¨atzfunktion d soll keinen systematischen Bias aufweisen. Eine verwandte Form der Restriktion ist die auf Median-unverf¨ alschte Sch¨ atzer, d.h. g(ϑ) ∈ medϑ d,

∀ϑ ∈ Θ,

der Parameterwert soll im Median des Sch¨ atzers liegen. Teilweise werden auch (zus¨ atzliche) Forderungen an die Form der Sch¨atzer gestellt, z.B. ¨ aquivariante Sch¨ atzer, lineare, quadratische oder polynomielle Sch¨atzer, lineare Ordnungsstatistiken u.a. Es gibt eine Reihe von Sch¨ atzverfahren, die historisch und intuitiv gut motiviert sind, wie z.B. die Maximum-Likelihood-Methode, die Momentenmethode oder die teilweise entscheidungstheoretisch motiviert sind, wie z.B. Bayes- und Minimax-Sch¨ atzer (vgl. auch Kapitel 2.2). Alle oben genannten Methoden haben ihre jeweiligen Anwendungsbereiche und sind im Rahmen der finiten Statistik nur schwer miteinander zu vergleichen. Erst durch Methoden der asymptotischen Statistik ist es m¨oglich geworden, weitgehende Vergleiche dieser Sch¨ atzmethoden zu finden f¨ ur ‘große‘ Stichprobenumf¨ange, d.h. f¨ ur n → ∞. Der Grund, dass solche Vergleiche asymptotisch m¨oglich werden liegt darin, dass basierend auf zentralen Grenzwerts¨atzen mit n → ∞ die statistischen Experimente sich stark vereinfachen. In diesen Limesexperimenten ist es m¨ oglich, mit Methoden der finiten Statistik ‘optimale‘ Verfahren zu konstruieren und basierend hierauf ‘approximativ optimale‘ Verfahren f¨ ur n → ∞ zu erhalten. Damit erhalten Methoden der finiten Statistik auch in diesem erweiterten asymptotischen Zusammenhang Bedeutung. L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_5, © Springer-Verlag Berlin Heidelberg 2014

124

5 Sch¨ atztheorie

Wir behandeln in diesem Kapitel zun¨ achst erwartungstreue Sch¨atzer. Hier findet sich ein unmittelbarer Zusammenhang mit den Begriffen Suffizienz und Vollst¨ andigkeit aus Kapitel 4. Danach gehen wir auf einige weitere der oben genann¨ ten Sch¨ atzmethoden in knapperer Form ein. Aquivariante Sch¨atzer in Lokationsund Skalenfamilien und in Linearen Modellen behandeln wir in Kapitel 8.

5.1

Erwartungstreue Sch¨ atzer

Zentrale Resultate dieses Abschnittes sind die Kovarianzmethode zur Charakterisierung optimaler erwartungstreuer Sch¨ atzer sowie die S¨atze von Bahadur und Lehmann-Scheff´e u ¨ber die Konstruktion von optimalen Sch¨atzern mit Hilfe von vollst¨ andigen und suffizienten Statistiken. Allgemeine Existenzaussagen optimaler Sch¨ atzer basieren auf der schwachen Kompaktheit (vgl. Satz 5.1.18). Die interessanten Charakterisierungen von optimalen Sch¨atzern von Barankin und Stein (vgl. Satz 5.1.19) f¨ uhren zu einfachen Konstruktionsverfahren und Fehlerschranken. Sie liefern auch Existenzaussagen u ¨ ber erwartungstreue Sch¨atzer sowie Charakterisierungen von lokaler Optimalit¨ at. Sei g : Θ → R eine zu sch¨ atzende reelle Parameterfunktion in dem statistischen Modell P = {Pϑ ; ϑ ∈ Θ}. Wir betrachten quadratischen Verlust L(ϑ, a) = (g(ϑ) − a)2 . Die Menge der deterministischen Sch¨atzfunktionen D := {d : (X, A) → R1 , B1 )} wird dann durch die Anforderung der Erwartungstreue eingeschr¨ankt. Diese verlangt, dass im ‘Mittel‘ ein Sch¨ atzer die zu sch¨atzende Parameterfunktion g(ϑ) korrekt sch¨ atzt. Definition 5.1.1 (Erwartungstreue Sch¨ atzer) a) d ∈ D ∩ L1 (P) heißt erwartungstreuer Sch¨ atzer f¨ ur g, wenn Eϑ d = g(ϑ),

∀ϑ ∈ Θ.

 g bezeichnet die Menge aller erwartungstreuen Sch¨ atzer f¨ ur g. D  g ∩ L2 (P) ist die Menge aller erwartungstreuen Sch¨atzer mit endlichem b) Dg := D Risiko.  0 , D0 Nullc) F¨ ur den Spezialfall g(ϑ) = 0, θ ∈ Θ heißen die Elemente von D sch¨ atzer. Das inhomogene lineare Gleichungssystem in der Definition erwartungstreuer Sch¨ atzer impliziert wie in der linearen Algebra die folgende Struktur der L¨osungsmenge. Proposition 5.1.2  g resp. Dg , dann gilt: Sei d0 ∈ D  g = d0 + D 0 D

resp. Dg = d0 + D0 .

5.1 Erwartungstreue Sch¨ atzer

125

0 ⊂ D  g . Wenn d ∈ D  g , dann folgt d − d0 ∈ D 0 Beweis: Offensichtlich ist d0 + D  0. ⇒ d = d0 + (d − d0 ) ∈ d0 + D 2 Die Frage nach der erwartungstreuen Sch¨atzbarkeit von Funktionen g ist i.A. schwer zu beantworten. F¨ ur manche nat¨ urlich erscheinenden Parameterfunktionen existieren keine, wenige oder auch nur skurrile erwartungstreue Sch¨atzer. Beispiel 5.1.3 a) Binomial-Modell, Bernoulli-Modell Sei P1 = {Pϑ = B(n, ϑ); ϑ ∈ Θ = (0, 1)} ein Binomial-Modell, dann gilt g =  Ø, g : (0, 1) → R ist genau dann erwartungstreu sch¨atzbar, d.h. D wenn g ein Polynom vom Grad ≤ n ist.  g , dann folgt Beweis: ⇒“ Sei d ∈ D ”   n  n k g(ϑ) = Eϑ d = d(k) ϑ (1 − ϑ)n−k , k

ϑ ∈ (0, 1),

k=0

d.h. g ist ein Polynom vom Grad ≤ n. ⇐“ Es reicht zu zeigen, dass die Monome gr (ϑ) = ϑr , 0 ≤ r ≤ n sch¨atzbar ”  1 sind. Mit q := 1 − ϑ,  = ϑq ∈ R+ gilt ϑ = 1+ , q = 1+ . Damit gilt   n  r n k = g (ϑ) = d (k) r r (1 + )r k (1 + )n k=0   n n−r  n − r  n k r n−r r k  = ⇔  (1 + ) = dr (k)  k k k=0 k=0  n   n    n n−r k dr (k)k =  . ⇔ k n−k

 gr ⇔ ϑr = dr ∈ D

k=0

k=r

Durch Koeffizientenvergleich ergibt sich als eindeutige L¨osung  0, k = 0, . . . , r − 1, dr (k) = n−r n n−k / k , k = r, . . . , n. Speziell f¨ ur die Varianz g(ϑ) = nϑ(1 − ϑ) ergibt sich als erwartungstreuer Sch¨ atzer k(n − k) 2 . d(k) = n−1 Im Bernoulli-Modell P2 = {Pϑ = B(1, ϑ)(n) ; ϑ ∈ Θ = (0, 1)} ergibt sich dieselbe Klasse von erwartungstreu sch¨ atzbaren Funktionen – die Menge aller Polynome vom Grad ≤ n.

126

5 Sch¨ atztheorie

Beweis: Offensichtlich ist Dg (P1 ) ⊂ Dg (P2 ). Ist umgekehrt d ∈ Dg (P2 ), dann n ist auch d := E· (d | T ) ∈ Dg (P2 ) mit T (x) = ur Pϑ ∈ P2 , i=1 xi . Da f¨ T  Pϑ = B(n, ϑ) und da d = h ◦ T , folgt h ∈ Dg (P1 ). 2 Im Bernoulli-Modell ist aber die Auswahlm¨oglichkeit von erwartungstreuen Sch¨ atzern gr¨ oßer. b) Poissonverteilung Sei f¨ ur ϑ ∈ Θ = R+ , Pϑ = P(ϑ) die Poissonverteilung mit Parameter ϑ,  k e−ϑ ϑk! , k ∈ N0 , Pϑ ({k}) = 0, sonst. P beschreibt z.B. die Anzahl der Unf¨ alle in einer Stadt pro Woche. Sei z.B. g(ϑ) = e−3ϑ die Wahrscheinlichkeit, dass in drei (unabh¨angigen) Wochen kein Unfall geschieht. Dann gilt: d ∈ Dg ⇔ e−3ϑ = ⇔ e−2ϑ =

∞ 

d(k)e−ϑ

k=0 ∞ 

ϑk , ϑ ∈ R+ , k! ∞

(−2)k

k=0

 d(k) ϑk = ϑk , ϑ ∈ R+ k! k! k=0

⇔ d(k) = (−2) , k ∈ N0 , k

Koeffizientenvergleich.

Nur ein offensichtlich unsinniger Sch¨ atzer ist erwartungstreu. c) Kernfunktionale, U -Statistiken Sei P = {P (n) ; P ∈ Θ ⊂ M 1 (R+ , B+ )} und f¨ ur m ≤ n sei h : (Rm , Bm ) → 1 1 (R , B ) ein Kern vom Grad m. Dann Kernfunktional  ist das zugeh¨orige vom Grad m, g : Θ → R, g(P ) = h dP (m) f¨ ur h ∈ L1 (P ) erwartungstreu sch¨ atzbar. Wir fassen h formal als Funktion von n Variable auf und k¨onnen durch Symmetrisierung o.E. annehmen, dass h symmetrisch ist, d.h. h = h ◦ T ist eine Funktion der Ordnungstatistik T (x) = x( ) . Ein kanonischer erwartungstreuer Sch¨ atzer f¨ ur das Kernfunktional g ist die U Statistik  1 Un (x) := n h(xS ) m

S⊂{1,...,n} |S|=m

mit S = {i1 , . . . , im }, xS = (xi1 , . . . , xim ).   Ist z.B. g(P ) = Var(P ) = (x − x dP (x))2 dP (x) die Varianz von P . Dann gilt mit dem Kern vom Grad 2: h(x1 , x2 ) = 12 (x1 − x2 )2 h dP (2) = Var(P ) = g(P ), d.h. g ist ein Kernfunktional vom Grad 2.

5.1 Erwartungstreue Sch¨ atzer

127

Die zugeh¨ orige U -Statistik ist Un (x) =

 2 h(xi , xj ) n(n − 1) i M, dann gilt d∗ ∈ Dg und d∗ ist gleichm¨aßig minimal. Beweis: 1) F¨ ur n ≥ M gilt En d∗ =

n n 1  1 ∗ 1 d (i) = M g(M ) + (ig(i) − (i − 1)g(i − 1)) n i=1 n n i=M+1

= g(n);  2)

d0 ∈ D0 ⇔

also ist d∗ ∈ Dg .

i ≥ M + 1, d0 (i) = 0, M d (i) = 0; i=1 0

dieses ergibt sich direkt durch Nachrechnen.

130

5 Sch¨ atztheorie

3) Ist d0 ∈ D0 , dann folgt 1 ∗ 1 ∗ d (i)d0 (i) = d (i)d0 (i), n i=1 n i=1 n

En d∗ d0 =

M

da d0 (i) = 0 f¨ ur i ≥ M + 1,

g(M )  = d0 (i) = 0 n i=1 M

nach 2).

Nach der Kovarianzmethode folgt also dass d∗ gleichm¨aßig minimal ist.  M, f¨ ur i ≤ M, ∗ F¨ ur unser Taxibeispiel mit g(n) = n ist also d (i) = 2i − 1, f¨ ur i ≥ M + 1, gleichm¨ aßig minimal. 2 Mit Hilfe von suffizienten Statistiken lassen sich erwartungstreue Sch¨atzer verbessern. Lemma 5.1.10 Sei P ∈ M 1 (X, A) und B ⊂ A. Zu d ∈ L1 (X, A, P ) definiere d∗ := E(d | B). Dann gilt Var(d) = Var(d∗ ) + E(d − d∗ )2 . Beweis: Nach der Gl¨ attungsregel f¨ ur bedingte Erwartungswerte gilt Ed = Ed∗ . Sei o.E. Ed = 0, dann folgt Ed2 = E(d − d∗ + d∗ )2 = E(d − d∗ )2 + E(d∗ )2 + 2E(d − d∗ )d∗ . Es gilt aber Edd∗ = EE(dd∗ | B) = Ed∗ E(d | B) da d∗ ∈ L(B) = E(d∗ )2 . Daraus folgt die Behauptung.

2

Ist B ⊂ A eine suffiziente Unter-σ-Algebra f¨ ur P, so ist der bedingte Erwartungswert EP (d | B) = E· (d | B) unabh¨ angig von P ∈ P w¨ahlbar. Als Konsequenz ergibt sich die folgende Rao-Blackwell-Verbesserung. Satz 5.1.11 (Rao-Blackwell-Verbesserung)  g und B ⊂ A eine suffiziente Unter-σ-Algebra. Definiere die RaoSei d ∈ D Blackwell-Verbesserung d∗ := E· (d | B). Dann gilt: g 1. d∗ ∈ D 2. Varϑ d∗ ≤ Varϑ d, ∀ϑ ∈ Θ, d.h. d∗ ist besser als d, d∗  d.

5.1 Erwartungstreue Sch¨ atzer

131

Beweis: 1. Mit Hilfe der Gl¨ attungsregel f¨ ur bedingte Erwartungswerte gilt f¨ ur ϑ ∈ Θ: Eϑ d∗ = Eϑ E· (d | B) = Eϑ Eϑ (d | B) = Eϑ d = g(ϑ). g. Also ist d∗ ∈ D 2. Die Aussage ergibt sich aus Lemma 5.1.10 und EP (d | B) = E· (d | B),

∀P ∈ P.

2

F¨ ur folgende Eindeutigkeitsaussagen verwenden wir die Bezeichnung ur alle ϑ ∈ Θ. d ∼ d∗ ⇔ d ∼P d∗ ⇔ d = d∗ [Pϑ ] f¨ Eine Erweiterung von Lemma 5.1.10 liefert die Bemerkung 5.1.12 (Bedingte Jensensche Ungleichung) Sei X eine reelle Zufallsvariable und ϕ : R → R eine konvexe Funktion. Seien X und ϕ(X) integrierbar und B ⊂ A eine Unter-σ-Algebra. Dann gilt: E(ϕ(X)|B) ≥ ϕ(E(X|B)) fast sicher. Damit ist die Rao-Blackwell-Verbesserung eine Verbesserung f¨ ur alle konvexen Verlustfunktionen L(a − g(ϑ)). Ist die suffiziente Unter-σ-Algebra B ⊂ A auch vollst¨andig, dann ist die Rao-Blackwell-Verbesserung gleichm¨ aßig minimal. Satz 5.1.13 (Satz von Lehmann-Scheff´ e) Sei B ⊂ A suffizient und L2 (P)-vollst¨andig und d ∈ Dg . Dann ist die RaoBlackwell-Verbesserung d∗ = E· (d | B) gleichm¨aßig bester erwartungstreuer Sch¨atzer f¨ ur g. Beweis: Zu zeigen ist d∗  d1 , f¨ ur alle d1 ∈ Dg . Nach dem Satz von Rao-Blackwell folgt d := E· (d1 |B) ∈ Dg und d  d1 . Da d und d erwartungstreu f¨ ur g sind, ergibt sich f¨ ur alle ϑ ∈ Θ (d − d∗ ) dPϑ = 0 und damit, wegen der Vollst¨ andigkeit von B d = d∗ [P],

d.h. d ∼P d∗ .

132

5 Sch¨ atztheorie

 und damit ist d∗ Folglich ist d∗ = d  d1 , das heißt d∗ ist P-fast-sicher gleich d, besser als d1 . 2 Die folgende Umformulierung des Satzes von Lehmann-Scheff´e ist oft einfacher anzuwenden. Korollar 5.1.14 Sei B ⊂ A suffizient und L2 (P)-vollst¨andig und sei d∗ ∈ L2 (B, P) ∩ Dg . Dann ist d∗ ein gleichm¨aßig bester erwartungstreuer Sch¨atzer f¨ ur g. Der Satz von Lehmann-Scheff´e, Satz 5.1.6 und Korollar 5.1.14 liefern ein Verfahren, einen gleichm¨ aßig besten erwartungstreuen Sch¨atzer zu finden. Beispiel 5.1.15 a) stetiges Taxibeispiel Sei (X, A) = (Rn+ , Bn+ ), Θ = R+ , Pϑ = ⊗ni=1 U (0, ϑ), ϑ ∈ R+ und g(ϑ) = ϑ. Basierend auf n unabh¨ angigen Beobachtungen einer gleichverteilten Zufallsvariablen in [0, ϑ] soll die unbekannte Gr¨oße ϑ gesch¨atzt werden. Es gilt mit gϑ (xi ) = ϑ1 1[0,ϑ] (xi ), μ = λ\n+ |Rn+ fϑ (x) =

n .

gϑ (xi ) =

i=1

1 1[0,ϑ] (max xi ). ϑn

ur P. Es ist Nach dem Neyman-Kriterium ist T (x) = max xi suffizient f¨ Pϑ (T ≤ t) =Pϑ (max xi ≤ t) i≤n

=

n .

Pϑ (xi ≤ t) =

 n t

i=1

Daraus folgt:

fϑT (t)

ϑ

1,

, t ∈ [0, ϑ], t > ϑ.

 n−1 , t ∈ [0, ϑ], n ϑt = 0, sonst.

Behauptung 1: T ist vollst¨ andig f¨ ur P Zum Beweis sei g ∈ L1 (P T ) und Eϑ g ◦ T = 0, ϑ ∈ Θ. Dann folgt  n−1 t g(t)n dt = 0, ∀ϑ ∈ Θ ϑ [0,1] g+ (t)tn−1 dλ\(t) = g− (t)tn−1 dλ\(t), ∀ϑ ∈ R+ . und damit [0,ϑ]

[0,ϑ]

Wegen der Eindeutigkeit der Dichten von Maßen folgt g+ = g− [λ\+ ] und daher g = 0 [λ\+ ]. Behauptung 2: d∗ :=

n+1 T n

ist gleichm¨ aßig minimal f¨ ur g

5.1 Erwartungstreue Sch¨ atzer

133

n + 1 ϑ n n−1 t t dt n 0 ϑn n+1 ϑ n = t dt = ϑ, ϑ ∈ Θ. ϑn 0 Also ist d∗ erwartungstreuer Sch¨ atzer f¨ ur ϑ. Nach Lehmann-Scheff´e (Korollar 5.1.14) folgt die Behauptung. Beweis: Es ist Eϑ d∗ =

(n)

b) Im diskreten Taxibeispiel mit wiederholten Beobachtungen P = {PN ; N ∈ Θ = N}, PN Laplace-Verteilung auf {1, . . . , N }, g(N ) = N (vgl. Beispiel 5.1.9) ergibt sich analog zu a) T (x) = max1≤i≤n xi ist vollst¨andig und suffizient f¨ ur P. Mit tn+1 − (t − 1)n+1 h∗ (t) := tn − (t − 1)n ist d∗ = h∗ ◦ T ∈ Dg und d∗ ist gleichm¨ aßig minimal. ∗ ∗ Es gilt h∗ (t) ∼ n+1 n t. Ist n = 1 und t = T (x) = 20, dann ist d (x) = h (t) = 39; ∗ ∗ ist n = 2 und t = T (x) = 20 dann ist d (x) = h (t) ≈ 29.

R+ } mit c) Normalverteilungsmodell Sei P := {Pϑ ; ϑ = (μ, σ 2 ) ∈ Θ:= R ×  n n Pϑ := N (μ, σ 2 )(n) . Wie schon gezeigt wurde, ist T (x) := ( i=1 xi , i=1 x2i ) vollst¨ andig und suffizient. Damit gilt nach Lehmann-Scheff´e: n 1. F¨ ur g1 (ϑ) := μ ist das arithmetische Mittel d∗1 (x) := n1 i=1 xi ∈ Dg1 gleichm¨ aßig minimal. 1 n 2 2. F¨ ur g2 (ϑ) := σ 2 ist die Stichprobenvarianz d∗2 (x) := n−1 i=1 (xi −x) ∈ Dg2 gleichm¨ aßig minimal. n Der Sch¨ atzer d∗3 (x) := n1 i=1 (xi − x)2 ist nicht erwartungstreu, d∗3 ∈ Dg2 , aber es gilt: d∗3  d∗2 . Ein gleichm¨ aßig bester erwartungstreuer Sch¨atzer muss also nicht zul¨assig sein. d) Kernfunktionale Sei P ⊂ Pc = {P (n) ; P ∈ M 1 (R, B)} eine ‘große‘ Teilklasse so, dass die Ordnungsstatistik T (x) = x( ) vollst¨andig und suffizient f¨ ur P ist (vgl. Beispiel 5.1.3c)). Weiter sei h : Rm → R ein messbarer symmetrischer Grad m, so dass h ∈ L1 (P). Zur Sch¨atzung des Funktionals g(P ) := Kern vom (m) verwenden wir die zugeh¨ orige U -Statistik: h dP Un (x) = 

1  n m



h(xT ),

T ⊂{1,...,n} |T |=m

wobei f¨ ur T = {i1 , . . . , im }, xT := (xi1 , . . . , xim ). Wegen der Symmetrie von h ist Un = Un ◦ T und damit Un ∈ L2 (B, P) mit B = σ(T ). Da EP (n) (Un ) = g(P ) gilt, ist Un ∈ Dg . Nach dem Satz von LehmannScheff´e (Satz 5.1.13) ist Un daher gleichm¨aßig minimal in Dg .

134

5 Sch¨ atztheorie

W¨ ahlt man z.B. g2 (P ) = Var(P ) = 1 2 (x 1 − x2 ) , so ist 2 h dP (2) =

 

2 x − x dP dP (x) und h(x1 , x2 ) :=

1 1 E(X1 − X2 )2 = (VarX1 + VarX2 ) = Var(P ) = g2 (P ). 2 2

g ist darstellbar mit dem Kern h der Ordnung 2. Es ist die U -Statistik  n 1  h(xi , xj ) = (xi − xn )2 = s2n . n(n − 1) i inf d∈D  g d gilt:  g (ϑ0 ) ist lokal optimal in ϑ0 ⇔ Eϑ (d∗ )2 = d∗ ∈ D 0

inf

 g (ϑ0 )∩Ac d∈D

Eϑ0 d2

Nach Definition ist 7  g (ϑ0 ) ∩ Ac = D {f ∈ L2 (Pϑ0 ); Eϑ f = g(ϑ), Eϑ0 f 2 ≤ c} ⊂ Ac ⊂ L2 (Pϑ0 ). ϑ∈Θ

Ac ist schwach abgeschlossen und normbeschr¨ankt: Sei etwa (xα ) ⊂ Ac ein Netz in Ac , xα → x ∈ L2 (Pϑ0 ) schwach, so konvergiert xα , x! → x, x! = x2 . Nach der Cauchy-Schwarz-Ungleichung ist √ | xα , x!| ≤ xα  · x ≤ cx. √ √ Hieraus ergibt sich x2 ≤ cx und somit x ≤ c, das heißt x ∈ Ac . Daher ist Ac schwach kompakt. w  g (ϑ0 ) und dα →  g (ϑ0 ) ist schwach abgeschlossen, denn sei dα ∈ D d ∈ L2 (Pϑ0 ), D dann folgt dα , fϑ ! =

dα fϑ dPϑ0 =

dα dPϑ →

d dPϑ ,

136

5 Sch¨ atztheorie

  g (ϑ0 ) ∩ Ac = Ø also ist d dPϑ = g(ϑ). Daraus ergibt sich, dass der Schnitt D 2 kompakt ist f¨ ur alle c > inf d∈D  g (ϑ0 ) d = γ.  g (ϑ0 ) ∩ Ac ; c > γ} hat die endliche ∩-Eigenschaft, endDas Mengensystem {D liche Durchschnitte sind nicht leer. Wegen der Kompaktheit folgt 7  g (ϑ0 ) ∩ Ac = Ø. A∗ := D c>γ

Sei d∗ ∈ A∗ dann folgt, dass Eϑ0 (d∗ )2 = γ, d.h. d∗ ist lokal minimal. Alternativ l¨ asst sich auch folgendes Argument verwenden: F  g (ϑ0 ) → Die Abbildung Ac ∩ D R, d → Eϑ0 d2 ist (nach obigem Argument) halb g (ϑ0 ) ∩ Ac : Eϑ0 d2 ≤ t} ist abgeschlossen, stetig nach unten (hnu), d.h. {d ∈ D  g (ϑ0 ) ∩ Ac ∀t. Daraus folgt, dass F sein Minimum auf der kompakten Menge D annimmt. b) Nach der Kovarianzmethode gilt:  0 (ϑ0 ) d∗ ist lokal optimal in ϑ0 ⇔ d∗ ⊥d0 in L2 (Pϑ0 ) f¨ ur alle d0 ∈ D Sind also d∗1 und d∗2 lokal optimal in ϑ0 , so folgt Eϑ0 (d∗1 − d∗2 )2 = Eϑ0 d∗1 (d∗1 − d∗2 ) −Eϑ0 d∗2 (d∗1 − d∗2 ) = 0      0 (ϑ0 ) ∈D

 0 (ϑ0 ) ∈D

und daher d∗1 = d∗2 [Pϑ0 ].

2

Unter der Voraussetzung von Satz 5.1.18 lassen sich nun lokal optimale Sch¨ atzer mit Hilfe des folgenden Satzes von Barankin und Stein beschreiben und konstruieren. Satz 5.1.19 (Satz von Barankin und Stein) dPϑ  g (ϑ0 ), dann gilt: Sei ϑ0 ∈ Θ, P  Pϑ0 und dP ∈ L2 (Pϑ0 ) f¨ ur ϑ ∈ Θ. Sei d∗ ∈ D ϑ 0

∗

d ist lokal optimal in ϑ0   ϑ0 dPϑ ⇔ d∗ ∈ lin ; ϑ∈Θ mit dem Abschluss dPϑ0

ϑ0

in L2 (Pϑ0 ).

Beweis: Es gilt  0 (ϑ0 ) ⇔ 0 = Eϑ d0 = d0 ∈ D  0 (ϑ0 ) = Daher ist D

 ϑ

⊥



dPϑ d0 dPϑ0 = dPϑ0

Lϑ ϑ0 mit Lϑ =

dPϑ dPϑ 0

=

dPϑ d0 , dPϑ0

! der von

Raum, wobei ⊥ϑ0 die Orthogonalit¨ at in L2 (Pϑ0 ) bezeichnet.

dPϑ dPϑ0

> . Pϑ0

erzeugte lineare

5.1 Erwartungstreue Sch¨ atzer

137

Da f¨ ur Unterr¨ aume Hi eines Hilbertraumes H gilt, dass 7

Hi⊥

⊥

=

4
0da Pϑ = Pϑ0   1 K −1 1 1  −1 ⇒ A = Eϑ0 T T = , A = K − 1 −1 1 1 K und

1 2 g (ϑ0 )K − 2g(ϑ0 )g(ϑ) + g 2 (ϑ) . c A−1 c = K −1 Nach Korollar 5.1.21 folgt: Varϑ0 d ≥ Varϑ0 d∗ = c A−1 c − g 2 (ϑ0 ) =

(g(ϑ) − g(ϑ0 ))2 . Varϑ0 (fϑ )

Alternativ folgt obige Schranke auch aus folgendem einfachen Argument: g(ϑ) − g(ϑ0 ) = Eϑ d − Eϑ0 d = Eϑ0 d(fϑ − 1) = Eϑ0 (d − g(ϑ0 ))(fϑ − 1)

1

1/2 nach Cauchy-Schwarz.2 ≤ Eϑ0 (d − g(ϑ0 ))2 2 Eϑ0 (fϑ − 1)2 Aus der Chapman-Robbins-Ungleichung erh¨alt man als Grenzfall f¨ ur ϑ → ϑ0 die Cram´er-Rao-Ungleichung unter folgenden Annahmen: ∂ Es existiere ∂ϑ fϑ in ϑ0 und es gelte L2 -Differenzierbarkeit der Dichten in ϑ0 D2 )

/ / fϑ − 1 ∂ fϑ // → in L2 (Pϑ0 ) f¨ ur ϑ → ϑ0 . ϑ − ϑ0 ∂ϑ ϑ=ϑ0 ur ϑ → ϑ0 Annahme D2 ) impliziert, dass f¨ 0 12 /  2 / Varϑ0 fϑ ∂ fϑ − 1 fϑ / = Eϑ0 → Eϑ0 := I(ϑ0 ). (ϑ − ϑ0 )2 ϑ − ϑ0 ∂ϑ /ϑ=ϑ0

 g (ϑ0 ) ur d ∈ D I(ϑ0 ) heißt Fisher-Information in ϑ0 . Weiter folgt aus D2 ) f¨ / / g(ϑ) − g(ϑ0 ) d(fϑ − 1) ∂ = Eϑ0 →ϑ→ϑ0 Eϑ0 d fϑ // = g (ϑ0 ). ϑ − ϑ0 ϑ − ϑ0 ∂ϑ ϑ0 Damit folgt aus der Chapman-Robbins-Ungleichung in Satz 5.1.23 Satz 5.1.24 (Cram´ er-Rao-Ungleichung) ∂ Es existieren ∂ϑ fϑ |ϑ=ϑ0 und es gelte die L2 -Differenzierbarkeitsbedingung D2 ) in  g (ϑ0 ) ϑ0 . Dann gilt f¨ ur alle d ∈ D Varϑ0 (d) ≥

(g (ϑ0 ))2 . I(ϑ0 )

140

5 Sch¨ atztheorie

Als Konsequenz ergibt sich, dass ein erwartungstreuer Sch¨atzer ‘gut‘ in ϑ0 ist, wenn seine Varianz approximativ gleich der unteren Schranke ist. Es erweist sich, dass in regul¨ aren Modellen in der asymptotischen Statistik die zugeh¨ori (ϑ0 ))2 ge Schranke bei n unabh¨ angigen Beobachtungen (gnI(ϑ asymptotisch optimale 0) Sch¨ atzer beschreibt. F¨ ur festes n wird sie in Exponentialfamilien angenommen. Zum Abschluss dieses Abschnitts geben wir eine funktionalanalytische Charakterisierung f¨ ur die Existenz erwartungstreuer Sch¨atzer und eine damit verbunden Charakterisierung lokal optimaler Sch¨ atzer. Beide Aussagen gehen wieder auf die Arbeiten von Barankin (1949) und Stein (1950) zur¨ uck. Satz 5.1.25 (Existenz erwartungstreuer Sch¨ atzer und lokale OptimalidPϑ 2 t¨ at) Sei P  Pϑ0 , fϑ = dP ∈ L (P ), ϑ ∈ Θ und sei g : Θ → R1 . Dann ϑ0 ϑ0 gilt:  g (ϑ0 ) = Ø a) Existenz: D ⇔ ∃c ∈ R so dass ∀ϑ1 , . . . , ϑk ∈ Θ und ∀a1 , . . . , ak ∈ R gilt: k k @ / / @ @ / / @ ai g(ϑi )/ ≤ c @ ai fϑi @ / i=1

i=1

(5.1)

2,ϑ0

b) Optimalit¨ at: Sei c0 := inf{c ∈ R; (5.1) gilt ∀ϑi ∈ Θ, ai ∈ R, k ∈ N}.  g (ϑ) dass d2,ϑ0 ≥ c0 . Dann gilt f¨ ur alle d ∈ D Weiter gilt:  g (ϑ0 ) ist lokal optimal in ϑ0 ⇔ d2,ϑ0 = c0 . d∈D  g (ϑ0 ), dann gilt Beweis: Sei d ∈ D k / / / / ai g(ϑi )/ = /

1 0 k / /  / / ai fϑi dPϑ0 / / d

i=1

i=1 k @ @ @ @ ≤ d2,ϑ0 @ ai fϑi @ i=1

2,ϑ0

nach der Cauchy-Schwarz-Ungleichung. Mit c = d2,ϑ0 und auch mit der optimalen Konstanten c = c0 gilt also die Ungleichung in (5.1). Insbesondere folgt daraus auch die R¨ uckrichtung ⇐‘ in b). ’ ∗  g (ϑ0 ), dann ist d = π Ist d ∈ D  (d | Lϑ0 ) lokal optimaler Sch¨atzer in ϑ0 (vgl. Korollar 5.1.20). F¨ ur diesen gilt in obiger Anwendung der Cauchy-Schwarzkn n ∗ n Ungleichung im Limes die Gleichheit f¨ ur eine Folge hn = i=1 ai fϑi → d in L2 (Pϑ0 ). Dieses impliziert, dass die optimale Konstante c0 in (5.1) gegeben ist durch c0 = inf d2,ϑ0 .  g (ϑ0 ) d∈D

Daraus folgen die noch fehlenden Implikationen.

5.2 Struktur gleichm¨ aßig minimaler Sch¨ atzer

141

Der folgende alternative Beweis basiert auf einem Hahn-Banach-Argument. ¨ Ohne Einschr¨ ankung durch Ubergang von d → d − g(ϑ0 ) und von g → h = g − g(ϑ0 ) erhalten wir: d∗ + g(ϑ0 ) ist lokal optimal f¨ ur g  g (ϑ0 ). ⇔ d∗ fϑ0 dPϑ0 = h(ϑ), ϑ ∈ Θ und d2,ϑ0 ≥ d∗ 2,ϑ0 , ∀d ∈ D Zur Konstruktion von d∗ erhalten wir aus Bedingung (5.4) nach dem Satz von Hahn-Banach die Existenz eines linearen Funktionals F : L2 (Pϑ0 ) → R mit  F (fϑ ) = h(ϑ) = g(ϑ) − g(ϑ0 ) und F  ≤ c0 . F¨ ur i ai fϑi ∈ Lϑ0 gilt dann:    ai h(ϑi ) F ai fϑi = und daher F  ≥ sup

f ∈Lϑ0

|F (f )| = c0 . f 2,ϑ0

Es folgt daher aus dem ersten Teil des Beweises F  = c0 . Nach dem Darstellungssatz von Riesz existiert daher ein Element d∗ ∈ 2 L (Pϑ0 ) so dass F (f ) = d∗ f dPϑ0 , f ∈ L2 (Pϑ0 ) und d∗ 2,ϑ0 = F  = c0 . Damit gilt aber:

5.2

d∗ fϑ dPϑ0 = h(ϑ)

und

d∗ 2,ϑ0 = c0 .

2

Struktur gleichm¨ aßig minimaler Sch¨ atzer

Mit dem Satz von Lehmann-Scheff´e ist die Struktur der gleichm¨aßig minimalen Sch¨ atzer einfach zu beschreiben, wenn eine suffiziente und vollst¨andige Unter-σAlgebra B ⊂ A existiert. Die Klasse der gleichm¨aßig minimalen Sch¨atzer D∗ := {d∗ ∈ L2 (P); d∗ ist gleichm¨ aßig minimal (f¨ ur g(ϑ) = Eϑ d∗ )} ist identisch mit L2 (B, P). Bahadur hat die Frage nach der Struktur gleichm¨aßig minimaler Sch¨ atzer untersucht und insbesondere eine Umkehrung des Satzes von Lehmann-Scheff´e im dominierten Fall gegeben. Wenn f¨ ur alle durch beschr¨ankte Sch¨ atzer erwartungstreu sch¨ atzbaren Funktionen ein gleichm¨aßig bester Sch¨atzer existiert, dann existiert eine vollst¨ andig suffiziente Unter-σ-Algebra B ⊂ A. Wir beschreiben in diesem Abschnitt allgemeiner die Struktur gleichm¨aßig minimaler Sch¨ atzer.

142

5 Sch¨ atztheorie

Definition 5.2.1  0 , d.h. a) F¨ ur d1 , d2 ∈ D ∩ L1 (P) definieren wir d1 ∼E d2 wenn d1 − d2 ∈ D Eϑ d1 = Eϑ d2 , ∀ϑ ∈ Θ. b) Sei U := {d ∈ L2 (P); ∃d∗ ∈ D∗ mit d ∼E d∗ } die Menge der Sch¨atzfunktionen, deren Erwartungswertfunktion sich gleichm¨aßig minimal sch¨atzen l¨asst. F¨ ur d ∈ U sei π(d) ∈ D ∗ so dass d ∼E π(d), d.h. π(d) ist eine Version des zugeh¨origen gleichm¨aßig minimalen Sch¨atzers. π(d) ist P f.s. eindeutig. Wir identifizieren in diesem Abschnitt P f.s. ¨aquivalente Versionen. Proposition 5.2.2 a) U ⊂ L2 (P) ist ein linearer Teilraum. b) π : U → U ist linear und idempotent c) D∗ = π(U ) ist abgeschlossen bzgl. der Familie von Halbnormen  2,ϑ , ϑ ∈ Θ, und π ist gleichm¨aßig stetig. Beweis: a), b) folgt aus der Kovarianzmethode. F¨ ur di ∈ U , ai ∈ R gilt: π(di )⊥ϑ D0 , Daraus folgt:

i = 1, 2 (Orthogonalit¨at in L2 (Pϑ )), ∀ϑ ∈ Θ.

α1 π(d1 ) + α2 π(d2 )⊥ϑ D0 , ∀ϑ ∈ Θ und daher

α1 d1 + α2 d2 ∈ U und π(α1 d1 + α2 d2 ) = α1 π(d1 ) + α2 π(d2 ). Also ist π linear. Offensichtlich ist π auch idempotent, π 2 = π. c) D∗ = π(U ) ist abgeschlossen bzgl. ( 2,ϑ )ϑ∈Θ . Denn sei dα ∈ D∗ = π(U ), lim dα = d∗ , also dα − d∗ 2,ϑ → 0, ϑ ∈ Θ. Nach der Kovarianzmethode gilt dα ⊥ϑ D0 , Daraus folgt

d∗ ⊥ϑ D0 ,

ϑ ∈ Θ. ∀ϑ ∈ Θ0 .

Wieder nach der Kovarianzmethode folgt d∗ ∈ D∗ = π(U ). Weiter ist f¨ ur d1 , d2 ∈ U , d1 − d2 ∈ U und Eϑ (π(d1 ) − π(d2 ))2 = Eϑ (π(d1 − d2 ))2 ≤ Eϑ (d1 − d2 )2 , Also ist π gleichm¨ aßig stetig.

∀ϑ ∈ Θ. 2

5.2 Struktur gleichm¨ aßig minimaler Sch¨ atzer

Wir definieren

143

τ∗ := {A ∈ A; 1A ∈ D∗ },

aßig minimal f¨ ur Pϑ (A) ist. Nach der Kovarianzmed.h. A ∈ τ∗ , wenn 1A gleichm¨ thode gilt A ∈ τ∗ ⇔ 1A ⊥ϑ D0 , ∀ϑ ∈ Θ. Proposition 5.2.3 (Eigenschaften von τ∗ ) 1) τ∗ ist eine σ-Algebra. 2) L2 (τ∗ , P) ⊂ D∗ = π(U ) 3) τ∗ ist L2 (A, P)-vollst¨andig. 4) Die σ-Algebra τ∗ ist ‘necessary‘ d.h. ist B ⊂ A suffizient, dann gilt τ∗ ⊂ B [P]. τ∗ liegt P f.s. in jeder suffizienten σ-Algebra. Beweis: 1) Es ist mit der Kovarianzmethode leicht zu sehen, dass τ∗ ein Dynkinsystem ist. Sind A, B ∈ τ∗ , dann folgt 1A d0 ∈ D0 ,

∀d0 ∈ D0 , da 1A ⊥ϑ D0 , ∀ϑ ∈ Θ.

Daraus folgt aber: 1A∩B d0 = 1B (1A d0 ) ∈ D0 ,

∀d0 ∈ D0 da B ∈ τ∗ .

Damit gilt : 1A∩B ⊥ϑ D0 , ∀ϑ ∈ Θ und nach der Kovarianzmethode ist 1A∩B ∈ D∗ , also A ∩ B ∈ τ∗ . τ∗ ist also ein ∩-stabiles Dynkinsystem und daher eine σ-Algebra. 2) Die Aussage in 2) folgt aus 1) u ¨ber den Aufbau integrierbarer Funktionen mit einem Approximationsargument und der Abgeschlossenheit von D∗ aus Proposition 5.2.2. 3) Sei d ∈ D0 ∩ L2 (τ∗ , P); dann gilt nach 2): d dPϑ = 0, ∀A ∈ τ∗ , ∀ϑ ∈ Θ. A

Daraus folgt aber d = 0 [Pθ ], und τ∗ ist L2 (τ∗ , P)-vollst¨ andig.

∀ϑ ∈ Θ, also d = 0 [P]

144

5 Sch¨ atztheorie

4) Sei B ⊂ A suffizient und A ∈ τ∗ . Dann folgt 1A ∈ D∗ . Nach dem Satz von Rao-Blackwell folgt daher, dass die Rao-Blackwell-Verbesserung auch in D∗ ist. E· (1A | B) ∈ D∗ . Wegen der Eindeutigkeit von gleichm¨ aßig minimalen Sch¨atzern folgt 1A = E· (1A | B) [P] 2

und daher: A ∈ B ∨ NP

Im folgenden Schritt ergibt sich nun, dass die Projektion π eingeschr¨ankt auf L2 (X, τ∗ ) ein bedingter Erwartungswert ist. Proposition 5.2.4 a) Ist d ∈ U und h ∈ B(X, τ∗ ), dann ist h d ∈ U und π(h d) = h π(d). b) Ist d ∈ U und π(d) ∈ L2 (X, τ∗ ), dann gilt: π(d) = Eϑ (d | τ∗ ) [Pϑ ], ∀ϑ ∈ Θ, d.h. π(d) = E· (d | τ∗ ) [P]. Beweis: a) F¨ ur d ∈ U und h ∈ B(X, τ∗ ) ist h ∈ π(U ) nach Proposition 5.2.3 und daher (h d − π(d)h) dPϑ = (d − π(d))h dPϑ = 0, ∀ϑ ∈ Θ. Daher ist h π(d) erwartungstreuer Sch¨ atzer f¨ ur g(ϑ) = Eϑ h d. Nach der Kovarianzmethode gilt d0 ∈ D0 ⇒ h d0 ∈ D0 . Als Konsequenz ergibt sich π(d)(h d0 ) dPϑ = 0,

∀ϑ ∈ Θ,

also π(d) h ⊥ϑ D0 , ∀ϑ ∈ Θ. Wieder nach der Kovarianzmethode ist π(d) h = π(d h). b) F¨ ur d ∈ U und A ∈ τ∗ gilt nach a) π(d) dPϑ = π(d)1A dPϑ A = π(d 1A ) dPϑ = d dPϑ , ϑ ∈ Θ. A

Daraus folgt aber:

π(d) = Eϑ (d | τ∗ ),

ϑ ∈ Θ.

2

5.2 Struktur gleichm¨ aßig minimaler Sch¨ atzer

145

Als Konsequenz ergibt sich nun der folgende wichtige Satz u ¨ ber die Struktur gleichm¨ aßig minimaler Sch¨ atzer. Der Beweis beruht auf einem sch¨onen Approximationsargument. Satz 5.2.5 (Struktur gleichm¨ aßig minimaler Sch¨ atzer) Jeder beschr¨ankte gleichm¨aßig minimale Sch¨atzer ist τ∗ messbar, d.h. D∗ ∩ B(X, A) ⊂ L2 (X, τ∗ ). Beweis: Sei d ∈ D∗ ∩ B(X, A), dann ist nach der Kovarianzmethode d0 d ∈ D0 , ∀d0 ∈ D0 . Daraus folgt Eϑ d(d0 d) = Eϑ d2 d0 = 0, ∀ϑ ∈ Θ. Nach der Kovarianzmethode ist also d2 ∈ D∗ . Induktiv ergibt sich: dn ∈ D∗ , ∀n ∈ N. Daher folgt, dass p(d) ∈ D∗ f¨ ur alle Polynome p. Nach Annahme liegt d(X) in einem kompakten Intervall. Ist ϕ : R → R stetig, dann folgt nach dem Satz von Stone-Weierstraß und der Kovarianzmethode: ϕ ◦ d ∈ D∗ . F¨ ur U ⊂ R1 offen ist 1U durch stetige Funktionen monoton approximierbar. Daraus folgt 1U (d) ∈ D∗ , d.h. {d ∈ U } ∈ τ∗ nach Definition von τ∗ . Als Konsequenz erhalten wir d ∈ L(X, τ∗ ). 2 Bemerkung 5.2.6 L2 (P) Allgemeiner zeigt der obige Beweis, dass auch f¨ ur d ∈ D∗ ∩ B(X, A) gilt, dass d ∈ L(X, τ∗ ). Die durch beschr¨ankt minimale Sch¨atzer approximierbaren (und damit minimalen) Sch¨atzer liegen in L2 (τ∗ , P) und umgekehrt gilt nach Proposition 5.2.3: L2 (τ∗ , P) ⊂ D∗ . Es bleibt also eine potentielle L¨ ucke, n¨amlich die, dass es Elemente d∗ ∈ D∗ gibt, die sich nicht durch Elemente aus D∗ ∩ B(X, A) approximieren lassen. Im dominierten Fall erhalten wir nun die folgende Umkehrung des Satzes von Lehmann-Scheff´e von Bahadur. Satz 5.2.7 (Umkehrung des Satzes von Lehmann-Scheff´ e) Sei P eine dominierte Verteilungsklasse und sei B(X, A) ⊂ U , d.h. es existiert zu jedem d ∈ B(X, A) ein d∗ ∈ D∗ mit d ∼E d∗ . Dann ist τ∗ L2 (P)-vollst¨andig und suffizient, insbesondere also minimalsuffizient.

146

5 Sch¨ atztheorie

Beweis: Zu P1 , P2 ∈ P seien Pi ∈ P, i ≥ 2, so dass Q = n n und Q ∼ P. Dann folgt: dP dQ ≤ 2 , n ∈ N.

∞ n=1

2−n Pn ∈ M 1 (X, A)

dPi Zu zeigen ist: dQ ∈ L(X, τ∗ ), i = 1, 2. Dann folgt, dass τ∗ paarweise suffizient ist und daher auch suffizient ist. Die L2 (P)-Vollst¨ andigkeit gilt schon nach Proposition 5.2.3. Ist τ∗ suffizient, dann folgt nach Proposition 5.2.3 die Minimalsuffizienz von τ∗ , da τ∗ necessary ist.   i Seien hi = π dP dQ , i = 1, 2, dann folgt

Eϑ hi d0 = 0, EQ hi d0 = 0,

⇒

∀ϑ ∈ Θ, ∀d0 ∈ D0 ∀d0 ∈ D0 .

Andererseits folgt aus EPi d0 = 0, i ∈ N, dass

⇒ Da hi −

dPi dQ

dPi = EPi d0 = 0, EQ d0 dQ   dPi d0 = 0, EQ hi − dQ

∀d0 ∈ D0 ∀d0 ∈ D0 .

∈ D0 , i ∈ N, folgt 2  dPi dPi [P]. = 0 und daher hi = EQ hi − dQ dQ

Die Dichten

dPi dQ

sind also beschr¨ ankt und gleichm¨aßig minimal, dPi ∈ D∗ ∩ B(X, A). dQ

Nach Satz 5.2.5 folgt daher dPi ∈ L2 (X, τ∗ ), dQ

i = 1, 2, 2

also die Behauptung.

Die Umkehrung in Satz 5.2.7 gilt auch unter leicht abgeschw¨achten Voraussetzungen. Korollar 5.2.8 Sei P dominiert und sei {1A ; A ∈ A} ⊂ U . Dann ist τ∗ suffizient und L2 (P)-vollst¨andig. Beweis: Wir zeigen, dass B(X, A) ⊂ U . F¨ ur alle d ∈ B(X, A) existiert eine Folge dn von Treppenfunktionen, so dass in der Supremumsmetrik d − dn ∞ → 0.

5.2 Struktur gleichm¨ aßig minimaler Sch¨ atzer

147

¨ Durch Ubergang zu einer Teilfolge sei o.E.  dn − dn+1 ∞ < ∞. n

Da dn ∈ U , n ∈ N, gilt π(dn ) − π(dn+1 )2,ϑ ≤ dn − dn+1 2,ϑ ≤ dn − dn+1 ∞ , Daraus folgt:

∞ 

π(dn ) − π(dn+1 )22,ϑ < ∞,

∀n ∈ N, ∀ϑ ∈ Θ.

ϑ ∈ Θ.

n=1

Sei P ∗ ∈ conσ (P) mit P ∗ ∼ P, dann folgt ∞ 

π(dn ) − π(dn+1 )22,P ∗ < ∞.

n=1

Nach Borel-Cantelli folgt daher lim π(dn ) =: d∗ existiert P ∗ f.s.,

n→∞

also auch P f.s. Wieder nach der Kovarianzmethode folgt, dass d∗ = π(d).

2

F¨ ur den nichtdominierten Fall gibt es folgende Erweiterung von Satz 5.2.7. Wir definieren ∗ DΔ := {d∗ ∈ D∗ ; ∃d ∈ B(X, A), d∗ = π(d)} ∗ ∗ und τ ∗ := σ(DΔ ) die von DΔ erzeugte σ-Algebra. Dann gilt der folgende Satz, den wir ohne Beweis auff¨ uhren.

Satz 5.2.9 (Umkehrung des Satzes von Lehmann-Scheff´ e, allgemeiner Fall) In dem statistischen Modell (X, A, P) sei {1A ; A ∈ A} ⊂ U . Dann sind die folgenden Aussagen ¨aquivalent: ∗ ∗ 1) d∗ ∈ DΔ ⇒ |d∗ | ∈ DΔ

2) D∗ ist ein Verband ∗ 3) DΔ ist ein Verband ∗ 4) DΔ = D∗ ∩ B(X, A)

5) τ∗ = τ ∗ ist eine beschr¨ankt vollst¨andige und suffiziente σ-Algebra 6) D∗ = L2 (X, τ∗ , P) Mit diesem Satz ist auch die noch offen gebliebene L¨ ucke geschlossen. Insbesondere erh¨ alt man als Korollar die folgende Verallgemeinerung von Satz 5.2.7.

148

5 Sch¨ atztheorie

Korollar 5.2.10 Ist B(X, A) ⊂ U , dann existiert eine beschr¨ankt vollst¨andige suffiziente σ-Algebra, n¨amlich τ∗ = τ ∗ .

5.3

Unverf¨ alschte Sch¨ atzer und konvexe Verlustfunktionen

F¨ ur ein Sch¨ atzproblem (E, L, g), g : Θ → R1 ist die L-Unverf¨alschtheit eine Verallgemeinerung der Erwartungstreue. Eine interessante Beispielklasse sind die Medianunverf¨ alschten Sch¨ atzfunktionen. Wir leiten f¨ ur diese in einem Gaußschen Lokations-(Shift-)Experiment eine universelle untere Schranke f¨ ur die Risikofunktion her. Dieses Resultat ist auch in der asymptotischen Statistik von Interesse, da solche Gaußschen Shiftexperimente dort typischerweise als Limesexperiment auftreten. F¨ ur konvexe Verlustfunktionen kann man sich o.E. auf nichtrandomisierte Sch¨ atzer einschr¨ anken. In Analogie zum Fall quadratischer Verlustfunktionen charakterisieren wir optimale erwartungstreue Sch¨atzer.

5.3.1

Erwartungstreue Sch¨ atzer bei konvexer Verlustfunktion

Sei g : Θ → Δ ⊂ Rm , Δ eine konvexe Teilmenge und L(g(ϑ), a) eine in a konvexe Verlustfunktion mit zugeh¨ origem Risiko R(ϑ, d) = Eϑ L(g(ϑ), d) eines Sch¨atzers d. Sei Dg,L := {d ∈ D; R(ϑ, d) < ∞, und Eϑ d = g(ϑ), ϑ ∈ Θ} die Menge der erwartungstreuen Sch¨ atzer f¨ ur g mit endlichem Risiko. F¨ ur d ∈ Dg,L und d0 ∈ D0,L sei Dϑ (d, d0 ) die Richtungsableitung von L(g(ϑ), ·) in d bzgl. d0 , d.h. Dϑ (d, d0 )(x) := lim ε↓0

1 L(g(ϑ), d(x) + εd0 (x)) − L(g(ϑ), d(x)) , ε

x ∈ X.

Es ist

1 1 L(g(ϑ), d + εd0 ) − L(g(ϑ), d) = L(g(ϑ), ε(d + d0 ) + (1 − ε)d) − L(g(ϑ), d) ε ε ≤ L(g(ϑ), d + d0 ) − L(g(ϑ), d)) und der Quotient ist antiton in ε. Daraus folgt die Existenz des Limes und die Quasiintegrierbarkeit. Der folgende Satz gibt eine Version der Kovarianzmethode f¨ ur diese erweiterte Situation. Satz 5.3.1 (Charakterisierung gleichm¨ aßig minimaler Sch¨ atzer) Sei (E, g, L) ein konvexes Sch¨atzproblem. Sei S suffizient und d∗ = h∗ ◦ S ∈ Dg,L . Dann sind ¨aquivalent:

5.3 Unverf¨ alschte Sch¨ atzer und konvexe Verlustfunktionen

149

a) d∗ ist gleichm¨aßig minimal bzgl. Dg,L b) ∀d0 = h0 ◦ S ∈ D0,L gilt Eϑ Dϑ (d∗ , d0 ) ≥ 0,

∀ϑ ∈ Θ.

Beweis: a) ⇒ b) Ist d0 = h0 ◦ S ∈ D0,L , dann ist d∗ + d0 ∈ Dg,L und f (ϑ, α) := R(ϑ, d∗ + αd0 ) ist konvex in α. Mit dem Satz u ¨ber monotone Konvergenz folgt ∀ϑ ∈ Θ: / f (ϑ, ε) − f (ϑ, 0) ∂ / f (ϑ, α)/ = lim ε↓0 ∂α ε α=0 ∗ = Eϑ Dϑ (d , d0 ) ≥ 0, da f (ϑ, ε) ≥ f (θ, 0). b) ⇒ a) Sei d = h ◦ S ∈ Dg,L , dann ist d0 := d − d∗ = (h − h∗ ) ◦ S und nach den Vorbemerkungen zu Satz 5.3.1 gilt L(g(ϑ), d) − L(g(ϑ), d∗ ) = L(g(ϑ), d∗ + d0 ) − L(g(ϑ), d∗ ) ≥ Dϑ (d∗ , d0 ) ≥ 0. Damit ist auch

R(ϑ, d∗ ) ≤ R(ϑ, d), ∀ϑ ∈ Θ.

Wegen der Suffizienz von S reicht es, Sch¨atzer der Form d = h ◦ S zu betrachten. 2 ur ein k > 1 und mit der F¨ ur den Spezialfall L(g(ϑ), a) = g(ϑ) − ak f¨ Schreibweise Dg,k := Dg,L ergibt sich als Konsequenz Korollar 5.3.2 Sei S suffizient f¨ ur P. Dann gilt a) d∗ = h∗ ◦ S ∈ Dg,k ist gleichm¨aßig minimal bzgl. Dg,k ⇔ ∀d0 = h0 ◦ S ∈ D0,k gilt: Eϑ d∗ − g(ϑ)k−2 d∗ − g(ϑ), d0 ! = 0, ∀ϑ ∈ Θ. b) Ist m = 1, dann ist a) ¨aquivalent zu Eϑ |d∗ − g(ϑ)|k−1 d0 sgn(d∗ − g(ϑ)) = 0. c) Ist k = 2, dann ist a) ¨aquivalent zu Eϑ d∗i d0,i = Covϑ (d∗i , d0,i ) = 0 ∀d0 = h0 ◦ S ∈ D0 , ∀ϑ ∈ Θ, wobei d∗ = (d∗1 , . . . , d∗m ).

150

5 Sch¨ atztheorie

Beweis: a) Sei f¨ ur s, t ∈ Rm , f (·, s, t) : R → R+ , f (y, s, t) = s + tyk =

m k/2  (si + yti )2 . i=1

Dann folgt m m  k−2   ∂ k (si + yti )2 ti (si + yti ) f (y, s, t) = k ∂y i=1 i=1

= ks + ytk−2 s + yt, t!. Es ergibt sich also

∂ ∂y f (0, s, t)

= ksk−2 s, t!.

Wegen g(ϑ) − (d∗ (x) + εd0 (x))k = f (ε, d(x) − g(ϑ), d0 (x)) folgt Dϑ (d∗ , d0 ) = −kd∗ − g(ϑ)k−2 d∗ − g(ϑ), d0 !. Mit d0 ∈ D0,k ist auch −d0 ∈ D0,k und damit ist obige Richtungsableitung gleich null. b) ist ein Spezialfall von a) c) F¨ ur quadratischen Verlust ist R(ϑ, d∗ ) = Eϑ d∗ − g(ϑ)2 m  = Eϑ (d∗i − gi (ϑ))2 . i=1

aßig minimal bzgl. Dg,2 Damit ist d∗ ∈ Dg,2 gleichm¨ ⇔ d∗i ∈ Dgi ,2 ist gleichm¨ aßig minimal f¨ ur gi bzgl. Dgi,2 , 1 ≤ i ≤ m.

2

Bemerkung 5.3.3 a) Verallgemeinerter Satz von Rao-Blackwell: Ist L(g(ϑ), ·) konvex, d ∈ Dg,L und S eine suffiziente Statistik, dann gilt f¨ ur die Rao-Blackwell-Verbes serung d = E· (d | S)  ≤ R(ϑ, d), R(ϑ, d)

∀ϑ ∈ Θ.

F¨ ur strikt konvexen Verlust L(g(ϑ), ·) folgt aus Rd = Rd , dass d = d [P]. b) Umkehrung von Rao-Blackwell: Es gilt die folgende Umkehrung zum Satz von Rao-Blackwell, die von Bahadur gezeigt wurde: Sei L strikt konvex und differenzierbar und es gelte 1) ∀ϑ ∈ Θ existiert genau ein aϑ , so dass L(g(ϑ), aϑ ) = min L(g(ϑ), a). a∈Δ



2) F¨ ur ϑ = ϑ ist aϑ = aϑ . Ist dann B ⊂ A eine Unter-σ-Algebra, so dass ∀d ∈ D ein d ∈ L(B)∩D existiert mit Rd ≤ Rd , dann ist B paarweise suffizient f¨ ur P.

5.3 Unverf¨ alschte Sch¨ atzer und konvexe Verlustfunktionen

5.3.2

151

Unverf¨ alschte Sch¨ atzer

Die L-Unverf¨ alschtheit von Sch¨ atzern ist eine Verallgemeinerung der Erwartungstreue f¨ ur quadratischen Verlust und der Mediantreue f¨ ur Laplace-Verlust. In Gaußschen Schiftexperimenten lassen sich durch einen Zusammenhang mit der Testtheorie optimale Median-unverf¨ alschte Sch¨ atzer bestimmen. Definition 5.3.4 Ein Sch¨atzer d ∈ D heißt L-unverf¨ alscht ⇔ ∀ϑ, ϑ ∈ Θ gilt: L(g(ϑ), d(x)) dPϑ (x)

R(ϑ, d) = ≤

L(g(ϑ ), d(x)) dPϑ (x).

Bzgl. Pϑ liegt ein L-unverf¨alschter Sch¨atzer n¨aher an g(ϑ) (gemessen mit dem Verlust L) als an jedem anderen Wert g(ϑ ). Beispiel 5.3.5 (Laplace-Verlust) Sei L(ϑ; a) := |g(ϑ) − a|, a, g(ϑ) ∈ R1 . d ∈ D ∩ L1 (P) ist dann L-unverf¨alscht ⇔

|d(x) − g(ϑ)| dPϑ (x) ≤

|d(x) − g(ϑ )| dPϑ (x)

∀θ, θ ∈ Θ.

Definition 5.3.6 d ∈ D heißt Median-unverf¨ alscht f¨ ur g, wenn ∀ϑ ∈ Θ: Pϑ (d ≥ g(ϑ)) ≥

1 2

und

Pϑ (d ≤ g(ϑ)) ≥

1 , 2

d.h. g(ϑ) ist ein Median von Pϑd , g(ϑ) ∈ med(Pϑd ). Proposition 5.3.7 Sei L(ϑ, a) = |g(ϑ) − a| und d ∈ D ∩ L1 (P). Dann gilt: d ist L-unverf¨alscht ⇔ d ist Median-unverf¨alscht f¨ ur g. Beweis: ⇐“ ’’

Sei g(ϑ) ∈ med(Pϑd ), ∀ϑ ∈ Θ. Ist g(ϑ ) ≥ g(ϑ), dann folgt

⎧ ⎪ a > g(ϑ ), ⎨g(ϑ ) − g(ϑ), |a − g(ϑ)| − |a − g(ϑ )| = 2a − (g(ϑ) + g(ϑ )), g(ϑ) ≤ a ≤ g(ϑ ), ⎪ ⎩ −(g(ϑ ) − g(ϑ)), a < g(ϑ),  a > g(ϑ), g(ϑ ) − g(ϑ), ≤ −(g(ϑ ) − g(ϑ)), a ≤ g(ϑ).

152

5 Sch¨ atztheorie

Daraus folgt

|d − g(ϑ)| dPϑ −

|d − g(ϑ )| dPϑ

≤ (g(ϑ ) − g(ϑ))Pϑ (d > g(ϑ)) − (g(ϑ ) − g(ϑ))Pϑ (d ≤ g(ϑ))   ≥0

1 1 ≤ (g(ϑ ) − g(ϑ)) − (g(ϑ ) − g(ϑ)) = 0. 2 2 Das Argument im Fall g(ϑ ) ≤ g(ϑ) ist analog. ⇒“ ’’

Ist d L-unverf¨ alscht und g(ϑ ) = g(ϑ) + ε, ε > 0, dann folgt 0 ≥ |d − g(ϑ)| dPϑ − |d − g(ϑ )| dPϑ

≥ εPϑ (d ≥ g(ϑ )) − εPϑ (d < g(ϑ)) − εPϑ g(ϑ) ≤ d < g(ϑ) + ε .   =g(ϑ )

F¨ ur ε → 0 folgt daraus 0 ≥ Pϑ (d > g(ϑ )) − Pϑ (d < g(ϑ)) − Pϑ (d = g(ϑ)) = 1 − 2Pϑ (d ≤ g(ϑ)) 1 ⇒ Pϑ (d ≤ g(ϑ)) ≥ . 2 Ebenso folgt Pϑ (d ≥ g(ϑ)) ≥ 12 . Also ist d Median-unverf¨alscht.

2

F¨ ur den quadratischen Verlust L(g(ϑ), a) = (g(ϑ)−a)2 ist L-Unverf¨alschtheit aquivalent zur Erwartungstreue. ¨ Proposition 5.3.8 Sei L die quadratische Verlustfunktion, g(Θ) offen und d ∈ L2 (P), dann gilt: d ist L-unverf¨alscht ⇔ d ∈ Dg . Beweis: ⇐“ ’’

ur a ∈ R1 Sei d ∈ Dg , dann ist Eϑ d = g(ϑ), ϑ ∈ Θ und daher f¨

Eϑ (d − a)2 = Eϑ (d − g(ϑ) + g(ϑ) − a)2 = Eϑ (d − g(ϑ))2 + (g(ϑ) − a)2 + 2 (g(ϑ) − a)Eϑ (d − g(ϑ))   =0

≥ Eϑ (d − g(ϑ))2 . Also ist d L-unverf¨ alscht. ⇒“ Ist umgekehrt d L-unverf¨ alscht, d.h. ’’ Eϑ (d − g(ϑ))2 ≤ Eϑ (d − g(ϑ ))2 ,

∀ϑ, ϑ ,

5.3 Unverf¨ alschte Sch¨ atzer und konvexe Verlustfunktionen

153

dann folgt



2(g(ϑ ) − g(ϑ)) Daraus folgt:

d dPϑ ≤ (g(ϑ ) − g(ϑ))(g(ϑ ) + g(ϑ)),

d dPϑ ≤

und

∀ϑ, ϑ .

1 (g(ϑ) + g(ϑ )) wenn g(ϑ ) > g(ϑ) 2



1 (g(ϑ) + g(ϑ )) wenn g(ϑ ) < g(ϑ). 2  Da g(Θ) offen ist folgt d dPϑ = g(ϑ), θ ∈ Θ. d dPϑ ≥

2

Bemerkung 5.3.9 Ohne die Annahme, dass g(Θ) offen ist, folgt dass d L-unverf¨alscht ist genau dann,  wenn ϑ → d dPϑ genauso angeordnet ist wie ϑ → g(ϑ). Die Bestimmung von optimalen Median-unverf¨alschten Sch¨atzern ist eng gekoppelt an die Bestimmung von optimalen unverf¨alschten Tests. Wir zeigen diesen Zusammenhang am Beispiel von Gaußschen Shiftexperimenten. Sei (X, A) = (Rn , Bn ), P = {Pϑ , ϑ ∈ Θ} mit Pϑ = εϑ ∗ N der Shift von N = N (0, Σ) einer multivariaten Normalverteilung mit regul¨arer Kovarianzmatrix Σ. Θ ⊂ Rn ist dabei ein linearer Teilraum von Shifts. Mit dem Skalarprodukt x, y! := x Σ−1 y = x, y!Σ und dem standardisierten Lebesguemaß auf (Rn , , !Σ ), λ = det1 Σ λ\n , so dass λ({x : xΣ ≤ 1}) = 1, ist die Dichte von N  ||x||2  dN 1 (x) = , exp − dλ 2 (2π)n/2

x ∈ Rn .

Zu sch¨ atzen ist in dem Gaußschen Shiftexperiment eine lineare Funktion g : Θ → R des Shiftparameters. Wir betrachten eine Verlustfunktion der allgemeinen Form L(|a − g(ϑ)|) mit L : R+ → R+ ↑, messbar, L(0) = 0 und L(∞) := sup L(a). a

Ohne Konvexit¨ atsannahmen betrachten wir als zul¨assige Sch¨atzer alle randomisierten Sch¨ atzer δ ∈ D. Das Risiko von δ ∈ D ist R(ϑ, δ) = L(|a − g(ϑ)|)δ(x, da) dPϑ (x) = L(|a − g(ϑ)|)(δPϑ )(da) mit δPϑ (A) =



δ(x, A) dPϑ (x) die gemittelte Entscheidungsfunktion.

154

5 Sch¨ atztheorie

Definition 5.3.10 (Median-unverf¨ alschte Sch¨ atzer) Eine randomisierte Sch¨atzfunktion δ ∈ D f¨ ur g heißt Median-unverf¨ alscht, wenn δPϑ ([g(ϑ), ∞]) ≥

1 1 und δPϑ ([−∞, g(ϑ)]) ≥ , 2 2

∀ϑ ∈ Θ.

Sei Du = Dgu die Menge aller Median-unverf¨alschten Sch¨atzer f¨ ur g. Die folgende Proposition gibt eine obere Schranke f¨ ur die mittlere Konzentration eines Median-unverf¨ alschten Sch¨ atzers um g(ϑ) an. Das Argument basiert wesentlich auf einem Resultat aus der Testtheorie. Proposition 5.3.11 F¨ ur jeden Median-unverf¨alschten Sch¨atzer δ ∈ Dgu gilt f¨ ur alle α, β > 0:   β 

α  −Φ − , δPϑ (g(ϑ) − α, g(ϑ) + β) ≤ Φ g g

ϑ ∈ Θ,

Φ die Verteilungsfunktion der Standardnormalverteilung N (0, 1). Beweis: Sei e ∈ Θ, e = 1 und sei e orthogonal auf dem Kern(g) bzgl. , ! = , !Σ mit g(e) > 0. e existiert, da dim(Kern g) = n − 1 und es gilt g(e) = g. β α Mit ϑ1 := ϑ − g e, ϑ2 := ϑ + g e gilt g(ϑ1 ) = g(ϑ) − α,

g(ϑ2 ) = g(ϑ) + β

und daher wegen δ ∈ Du

1

1 und δPϑ2 [g(ϑ) + β, ∞] ≥ , δPϑ1 [−∞, g(ϑ) − α] ≥ 2 2

∀ϑ ∈ Θ.

(5.2)

Aus der Testtheorie ben¨ otigen wir nun das folgende Lemma (vgl. Proposition 6.5.1). Lemma 5.3.12 F¨ ur α ∈ [0, 1] und a, b ∈ Θ sei ϕ ∈ Φ eine Testfunktion. Dann gilt: a) Ist Ea ϕ ≤ α, dann ist Eb ϕ ≤ Φ(uα − b − a); b) Ist Ea ϕ ≥ α, dann ist Eb ϕ ≥ Φ(uα + b − a); uα ist das α-Fraktil von N (0, 1) und Φα = 1 − Φ. Angewendet auf obige Ungleichung in (5.2) mit dem Test ϕ1 (x) = δ(x, [−∞, g(ϑ) − α]) bzw. ϕ2 (x) = δ(x, [g(ϑ) + β, ∞]) ergibt sich   @ α @ α  @ @ e@ = Φ − δPϑ ([−∞, g(ϑ) − α]) ≥ Φ − @ g g und

  @ β @ β  @ @ δPϑ ([g(ϑ) + β, ∞]) ≥ Φ − @ e@ = Φ − . g g

5.3 Unverf¨ alschte Sch¨ atzer und konvexe Verlustfunktionen

155

Damit erhalten wir die Konzentrationsschranke   β   α   α  β  −Φ − =Φ −Φ . δPϑ ((g(ϑ) − α, g(ϑ) + β)) ≤ 1 − Φ − g g g g 2 Als Folgerung ergibt sich nun eine universelle untere Schranke f¨ ur das Risiko Median-unverf¨ alschter Sch¨ atzer. Satz 5.3.13 (Untere Risikoschranke f¨ ur Median-unverf¨ alschte Sch¨ atzer) Sei die Verlustfunktion L halbstetig nach unten und sei δ ∈ Dgu Median-unverf¨alscht f¨ ur g. Dann gilt: R(ϑ, δ) ≥

L(g |s|) N (0, 1)(ds).

k Beweis: F¨ ur eine Partition τ = (t0 = 0 < t1 < · · · < tk ) sei Lτ := i=1 (L(ti ) − L(ti−1 ))1(ti ,∞) , dann ist Lτ ≤ L und Lτ → L f¨ ur |τ | = max(ti − ti−1 ) → 0 und tk → ∞. Nach Proposition 5.3.11 folgt L0 (|a − g(ϑ)|)δ(x, da) dPϑ (x) ≥ L0 (g |s|) N (0, 1)(ds). Durch obige Approximation ergibt sich die Behauptung.

2

Bemerkung 5.3.14 Gaußsche Shift-Experimente treten als Limesexperimente in der asymptotischen Statistik auch in unendlichdimensionalen Hilbertr¨aumen auf (Parametrisierung durch ∞-dimensionale Tangentialr¨aume). Die obige Konstruktion von Schranken f¨ ur Median-unverf¨alschte Sch¨atzer l¨asst sich auf diesen Rahmen erweitern und liefert wichtige Schranken f¨ ur asymptotisch unverf¨alschte Sch¨atzer. F¨ ur Details siehe Strasser (1985). Als Konsequenz der unteren Risikoschranke in Satz 5.3.13 ist es nun leicht den optimalen Median-unverf¨ alschten Sch¨ atzer zu bestimmen. Es ist beachtlich, dass dieser unabh¨ angig von der gew¨ ahlten Verlustfunktion L ist. Satz 5.3.15 (Optimaler Median-unverf¨ alschter Sch¨ atzer) Sei P = {Pϑ ; ϑ ∈ Θ} ein Gaußsches Shift-Experiment mit Θ ⊂ Rn ein linearer Teilraum und mit Verlustfunktion L halbstetig nach unten. Sei πΘ : Rn → Θ die Projektion von Rn nach Θ bzgl. dem Skalarprodukt , ! = , !Σ . Dann gilt a) d∗ = g ◦ πΘ ∈ Dgu , d∗ ist Median-unverf¨alschter Sch¨atzer b) d∗ ist bester Median-unverf¨alschter Sch¨atzer f¨ ur g und R(ϑ, d∗ ) = L(g |s|)N (0, 1)(ds).

156

5 Sch¨ atztheorie

Beweis: Sei e ∈ Θ, e = 1, so dass e⊥ Kern(g), g(e) > 0 (vgl. Beweis zu Proposition 5.3.11). Dann ist g ◦ πΘ (x) = x, e!g(e) = x, e!g. F¨ ur die Normalverteilung N = N (0, Σ) gilt bzgl. dem Skalarprodukt dass N ·,e = N (0, 1). Daraus folgt Pϑg◦πΘ = N (g(ϑ), g2 ),

, ! = , !Σ

ϑ ∈ Θ.

Daraus folgt, dass d∗ = g ◦ πΘ ∈ Dg Median-unverf¨alscht f¨ ur g ist. F¨ ur das Risiko von d∗ gilt L(|g ◦ πΘ |) dN R(ϑ, d∗ ) = = L(|g s|)N g◦πΘ (ds) = L(g|s|)N (0, 1)(ds), ϑ ∈ Θ. Es wird also die untere Risikoschranke aus Satz 5.3.13 angenommen. Daher ist d∗ optimaler Median-unverf¨ alschter Sch¨ atzer f¨ ur g. 2

5.4

Fisher-Information, Cram´ er-Rao-Schranken und Maximum-Likelihood-Sch¨ atzer

Ziel dieses Abschnittes ist es die klassische Sch¨atzmethode der Maximum-Likelihood-Sch¨ atzer einzuf¨ uhren und zu motivieren. ML-Sch¨atzer sind historisch schon bei Lambert, Bernoulli, Laplace und Gauß im 18. und fr¨ uhen 19. Jahrhundert angewendet worden. Historische Anmerkungen hierzu finden sich in Pfanzagl (1994). Wir behandeln in diesem Abschnitt die Cram´er-Rao-Schranke und den daraus entwickelten Begriff der asymptotischen Effizienz von Sch¨atzfolgen. Wir zeigen dann Konsistenz, asymptotische Normalit¨at und asymptotische Effizienz des Maximum-Likelihood-Sch¨ atzers in regul¨ aren Modellen und geben eine kurze Einf¨ uhrung in M-Sch¨ atzer und Minimum-Distanzsch¨atzer. F¨ ur die Asymptotik von ML-Sch¨ atzern und f¨ ur den Begriff der asymptotischen Effizienz erweist sich die Fisher-Information als wesentlich. Wir beschreiben diesen Zusammenhang im eindimensionalen Fall unter folgenden Regularit¨atsbedingungen. Sei Θ ⊂ R1 ein offenes Intervall und sei P = {Pϑ ; ϑ ∈ Θ} homogen, Pϑ ∼ μ, ϑ mit fϑ = dP dμ , ϑ ∈ Θ.

5.4 Fisher-Information, Cram´er-Rao-Schranken, . . .

157

P heißt regul¨ ar wenn ∂ fϑ existiert, ist stetig und ∀d ∈ L2 (P) gilt ∂ϑ ∂ ∂ d fϑ dμ = d fϑ dμ, ∂ϑ ∂ϑ   ∂ ln fϑ < ∞ R2) 0 < I(ϑ) := Varϑ ∂ϑ

R1)

R3)

∂2 ln fϑ existiert, ist stetig und 0 = ∂ϑ2 d ∈ L2 (P).

∂2 ∂ϑ2



∀ϑ ∈ Θ

d fϑ dμ =



2

∂ d ∂ϑ ur alle 2 fϑ dμ f¨

Definition 5.4.1 (Fisher-Information) Die Gr¨oße  2 ∂ ln fϑ I(ϑ) = Eϑ ∂ϑ 2  2  ∂ ∂ 1 ln fϑ fϑ dμ = fϑ = dμ ∂ϑ fϑ ∂ϑ heißt Fisher-Information von P in ϑ. Bemerkung 5.4.2 ∂ ¨ ¨ 1) ∂ϑ ln fϑ beschreibt die Anderung der Dichte in Abh¨angigkeit von der Anderung ¨ des Parameters. Ist diese lokale Anderung groß, dann erh¨alt man in Konsequenz aus einer Beobachtung viel ‘Information‘ ¨ uber den Parameter. Dieses motiviert den Begriff der Fisher-Information. 2) Die Fisher-Information ist unabh¨angig vom dominierenden Maß μ definiert. Mit dPϑ dP ∗ ϑ P ∗ ∼ P gilt P ∗  μ und daher dP dμ = dP ∗ dμ . Daraus folgt     dPϑ ∂ dPϑ ∂ ln = ln . ∂ϑ dμ ∂ϑ dP ∗ 3) Exponentialfamilie Ist P = {Pϑ ; ϑ ∈ Θ} eine einparametrische Exponentialfamilie in nat¨ urlicher Parametrisierung, d.h. fϑ (x) = exp(ϑT (x) − Ψ(ϑ)), dann ist ∂ ∂ ln fϑ (x) = T (x) − Ψ(ϑ) = T (x) − Eϑ T. ∂ϑ ∂ϑ Es folgt, dass I(ϑ) = Varϑ (T ). I(ϑ) ist die Varianz des gleichm¨aßig besten erwartungstreuen Sch¨atzers f¨ ur g(ϑ) = Eϑ T . 4) Ist P regul¨ar, dann gilt I(ϑ) =

2 ∂ ∂ϑ fϑ fϑ

 dμ = −Eϑ

 ∂2 ln f ϑ , ∂ϑ2

158

5 Sch¨ atztheorie

denn ⇒

∂2 ∂ϑ2

ln fϑ =

∂2 ∂ϑ2

fϑ

fϑ

−



∂ ∂ϑ fϑ

2 .

fϑ

∂2 Eϑ 2 ln fϑ = 0 − Varϑ ∂ϑ



∂ ln fϑ ∂ϑ

 = −I(ϑ).

Definition 5.4.3 F¨ ur eine Abbildung T : (X, A) → (Y, C) definieren wir fϑT = Fisher-Information von P T = {PϑT ; ϑ ∈ Θ} in ϑ, d.h.  IT (ϑ) :=

∂ ln fϑT ∂ϑ

dPϑT dμT

und IT (ϑ) als

2 dPϑT .

Entsprechend definieren wir f¨ ur eine Unter-σ-Algebra B ⊂ A die Fisher-Information IB (ϑ) als die Fisher-Information von PB = {Pϑ |B ; ϑ ∈ Θ} in ϑ. Die Fisher-Information hat die folgenden typischen Eigenschaften eines Informationsmaßes. Proposition 5.4.4 Sei P ein regul¨ares Modell, dann gilt I1 ) T ist verteilungsfrei f¨ ur P ⇔ IT (ϑ) = 0,

∀ϑ ∈ Θ.

ur P dann gilt IT (ϑ) = I(ϑ), I2 ) Ist T suffizient f¨

ϑ∈Θ

I3 ) Sind T1 , T2 stochastisch unabh¨angig bzgl. Pϑ , ∀ϑ ∈ Θ ⇒ I(T1 ,T2 ) (ϑ) = IT1 (ϑ) + IT2 (ϑ), Beweis: Sei VϑT (x) :=

∂ ∂ϑ

∀ϑ ∈ Θ.

ln fϑT (x).

I1 ) Ist T eine verteilungsfreie Statistik, ⇒ fϑT = fϑT [μ],

∀ϑ, ϑ ∈ Θ

⇒ VϑT = 0 [μ], also gilt IT (ϑ) =

(VϑT )2 dPϑT = 0,

∀ϑ ∈ Θ.

Ist umgekehrt IT (ϑ) = 0, ∀ϑ ∈ Θ, dann folgt wegen Eϑ VϑT = 0  Eϑ Daraus folgt:

∂ ∂ϑ

∂ ln fϑT ∂ϑ

2 = 0.

ln fϑT = 0 [PϑT ], ∀ϑ ∈ Θ, und damit fϑT = fϑT [P T ],

∀ϑ = ϑ .

5.4 Fisher-Information, Cram´er-Rao-Schranken, . . .

159

I2 ) Sei P ∗ ∼ P ein ¨ aquivalentes dominierendes Wahrscheinlichkeitsmaß. Nach dem dPϑ Satz von Halmos-Savage gilt dann: dP ∗ = gϑ ◦ T , ϑ ∈ Θ. Daraus folgt P T  (P ∗ )T

und

dPϑT (t) = gϑ (t) [(P ∗ )T ]. d(P ∗ )T

ln gϑ ◦ T (x) folgt dann 2  ∂ ln gϑ ◦ T I(ϑ) = Varϑ (Vϑ ) = dPϑ ∂ϑ 2  ∂ ln gϑ = dPϑT nach der Transformationsformel ∂ϑ

Mit Vϑ (x) =

∂ ∂ϑ

= Varϑ (VϑT ) = IT (ϑ) (T ,T )

angigkeit von T1 , T2 folgt fϑ 1 2 (t1 , t2 ) = fϑT1 (t1 )fϑT2 (t2 ). Daher I3 ) Aus der Unabh¨ gilt ∂ ∂ ∂ (T ,T ) (T ,T ) Vϑ 1 2 = ln fϑ 1 2 = ln fϑT1 + ln fϑT2 . ∂ϑ ∂ϑ ∂ϑ ∂ ln fϑTi = 0 und wegen der Unabh¨angigkeit der Ti , dass Es folgt wegen Eϑ ∂ϑ (T1 ,T2 )

I(T1 ,T2 ) (ϑ) = Varϑ Vϑ

= Varϑ (VϑT1 ) + Varϑ (VϑT2 ) = IT1 (ϑ) + IT2 (ϑ). 2

Bemerkung 5.4.5 (Bedingte Information) T |T =y Ist IT1 |T2 =y die Fisher-Information der bedingten Verteilung Pϑ 1 2 und ist T |T2 2

IT1 |T2 (ϑ) = Eϑ IT1 |T2 = Eϑ (Vϑ 1

T |T2 =y

) , mit Vϑ 1

=

∂ ∂ϑ

T |T2 =y

ln fϑ 1

, dann gilt:

I(T1 ,T2 ) (ϑ) = IT1 |T2 (ϑ) + IT2 (ϑ). Die Information aus dem Paar (T1 , T2 ) ist gleich der Summe der Information aus T2 und aus der Information von T1 bedingt unter T2 . Mittels der Fisher-Information ergibt sich nun eine untere Schranke f¨ ur die Varianz einer Sch¨ atzfunktion d. Satz 5.4.6 (Cram´ er-Rao-Ungleichung) Sei P regul¨ar und d ∈ L2 (P) mit Ψ(ϑ) = Eϑ d, ϑ ∈ Θ. Dann gilt Varϑ (d) ≥

(Ψ (ϑ))2 , I(ϑ)

ϑ ∈ Θ.

Beweis: Aus den Regularit¨ atsannahmen folgt ∂ ∂ Ψ (ϑ) = Ψ(ϑ) = d fϑ dμ ∂ϑ ∂ϑ ∂ = (d − Ψ(ϑ)) fϑ dμ ∂ϑ ∂ ln fϑ dPϑ . = (d − Ψ(ϑ)) ∂ϑ

160

5 Sch¨ atztheorie

Damit folgt nach der Cauchy-Schwarz-Ungleichung  0   1/2



|Ψ (ϑ)| ≤

(d − Ψ(ϑ)) dPϑ 2

∂ ln fϑ ∂ϑ

11/2

2 dPϑ

= (Varϑ (d))1/2 (I(ϑ))1/2 . 2

Hieraus folgt die Behauptung. Bemerkung 5.4.7 a) Exponentialfamilien Die Gleichheit gilt in der Cram´er-Rao-Ungleichung genau dann, wenn d − Ψ(ϑ) = c(ϑ)

∂ ln fϑ [μ], ∂ϑ

d.h. wenn

∂ 1 ln fϑ = (d − Ψ(ϑ)). ∂ϑ c(ϑ)

Gilt diese Gleichheit f¨ ur alle ϑ ∈ Θ und ist ϑ0 ∈ Θ, dann folgt durch Integration ϑ fϑ 1 (d − Ψ(ϑ )) dϑ ln = ) fϑ0 c(ϑ ϑ0 1 0 ϑ ϑ 1 1 dϑ − Ψ(ϑ ) dϑ = d ) c(ϑ ) c(ϑ ϑ0 ϑ0 = d Q(ϑ) − A(ϑ), d.h. P ist eine Exponentialfamilie. Die Schranke ist also nur in Exponentialfamilien scharf. b) Cram´ er-Rao-Ungleichung und Erwartungstreue Ist g : Θ → R1 eine zu sch¨atzende Funktion, dann heißt f¨ ur einen Sch¨atzer d∈D b(ϑ) := Eϑ d − g(ϑ) der Bias von d. Aus der Cram´er-Rao-Ungleichung folgt: Eϑ (d − g(ϑ))2 = Varϑ (d) + (b(ϑ))2 ≥

(b (ϑ) + g (ϑ))2 + (b(ϑ))2 . I(ϑ)

c) Cram´ er-Rao-Ungleichung und unabh¨ angige Versuchswiederholung Sei das Modell P regul¨ar. Bei n unabh¨angigen Versuchswiederholungen ist dann (n) P (n) = {Pϑ ; ϑ ∈ Θ} das relevante regul¨are Modell. Nach Proposition 5.4.4 ist (n) die Fisher-Information I(Pϑ ) = nI(ϑ). F¨ ur einen Sch¨atzer dn ∈ L2 (P (n) gilt daher die Schranke (Ψ (ϑ))2 Varϑ (dn ) ≥ . nI(ϑ) In einer unabh¨ angigen Modellfolge P (n) erhalten wir aus Bemerkung c) das folgende asymptotische Resultat.

5.4 Fisher-Information, Cram´er-Rao-Schranken, . . .

161

Korollar 5.4.8 Sei P regul¨ar und g : Θ → R. √ F¨ ur die Modellfolge P (n) sei dn ∈ L2 (P (n) ) eine Sch¨atzfolge f¨ ur g mit bn (ϑ) → 0, nbn (ϑ) → 0, mit dem Bias bn (ϑ) := Eϑ dn −g(ϑ). Dann gilt (g (ϑ))2 . lim nEϑ (dn − g(ϑ))2 ≥ I(ϑ) (g (ϑ))2 I(ϑ)

ist also eine asymptotisch untere Schranke f¨ ur den skalierten Sch¨atzfehler nEϑ (dn − g(ϑ))2 . Korollar 5.4.9 Sei zus¨atzlich zu den Voraussetzungen von Korollar 5.4.8 dn asymptotisch normalverteilt √ √ D n(dn − g(ϑ)) → N (0, v(ϑ)), ϑ ∈ Θ und es gelte Var( n(dn − g(ϑ))) −→ v(ϑ), n→∞

ϑ ∈ Θ. Dann gilt f¨ ur die Varianz v(ϑ) die Limesverteilung: v(ϑ) ≥

(g (ϑ))2 . I(ϑ)

Im Allgemeinen folgt aus der Verteilungskonvergenzannahme nur, dass v(ϑ) ≤ lim nVar(dn − g(ϑ)), so dass die zus¨ atzliche Annahme einer gleichgradigen Integrierbarkeitsbedingung entspricht. Die untere Varianzschranke erweist sich in der asymptotischen Statistik als scharf und auf die in Korollar 5.4.9 gestellte Zusatzannahme an Var(dn − g(ϑ)) kann verzichtet werden. Korollar 5.4.9 motiviert die folgende Definition von asymptotisch effizienten Sch¨ atzfolgen. Definition 5.4.10 (Asymptotisch effiziente Sch¨ atzfolgen) Sei P regul¨ar und Pn = P (n) . Eine asymptotisch normale Sch¨atzfolge (dn ) f¨ ur g heißt asymptotisch effizient in ϑ, wenn v(ϑ) =

(g (ϑ))2 . I(ϑ)

Beispiel 5.4.11 a) Sei Pϑ = N (ϑ, σ02 )(n) , ϑ ∈ Θ = R1 , dann ist I(Pϑ ) = nI(N (ϑ, σ02 )) = n Das arithmetische Mittel d(x) = g(ϑ) = ϑ, Eϑ d = d

und

1 n

n i=1

Varϑ (d) =

Varϑ (X − ϑ) n = 2. σ04 σ0

Xi ist erwartungstreuer Sch¨atzer von (g (ϑ))2 σ2 = , n I(ϑ)

ϑ ∈ Θ.

d nimmt also die Varianzschranke der Cram´er-Rao-Ungleichung an und ist daher gleichm¨aßig minimal f¨ ur g.

162

5 Sch¨ atztheorie

b) Sei Pϑ = B(1, ϑ)(n) , ϑ ∈ (0, 1), g(ϑ) = ϑ, dann ist I(Pϑ ) = nI(B(1, ϑ)) = Wieder gilt f¨ ur d(x) =

1 n

n i=1

n . θ(1 − θ)

xi

Varϑ (d) =

1 n = ϑ(1 − ϑ) I(Pϑ )

und d ist gleichm¨aßig minimaler Sch¨atzer. Eine klassische Methode zur Konstruktion von asymptotisch effizienten Sch¨ atzfolgen ist die Methode der Maximum-Likelihood-Sch¨atzer. Sei P  μ und ϑ fϑ = dP dμ , θ ∈ Θ. Die Dichte als Funktion von ϑ heißt Likelihood-Funktion definiert f¨ ur x ∈ X, Lx (ϑ) := fϑ (x) =: L(ϑ, x),

ϑ ∈ Θ.

Sei Θ versehen mit einer σ-Algebra AΘ . Definition 5.4.12 (Maximum-Likelihood-Sch¨ atzer) a) Eine messbare Abbildung ϑ : X → Θ heißt Maximum-Likelihood-Sch¨ atzer (MLS), wenn  Lx (ϑ(x)) = sup Lx (ϑ) [μ] ϑ∈Θ

 = sup ln Lx (ϑ) [μ]. ⇔ ln Lx (ϑ(x)) ϑ∈Θ

ullt ein MLS die Likelib) Ist Θ ⊂ Rk offen, Lx partiell differenzierbar, dann erf¨ hood-Gleichungen ∂  ln Lx (ϑ(x)) = 0, ∂ϑj

1 ≤ j ≤ k [μ].

Die Idee eines MLS ist einfach. Wird x beobachtet, dann ist der Parameter am plausibelsten, f¨ ur den fϑ (x) maximal wird. Beispiel 5.4.13 Einige Beispiele f¨ ur MLS: a) Normalverteilung Θ = R1 × R+ , ϑ = (μ, σ 1 ), Pϑ = ⊗ni=1 N (μ, σ 2 ). Dann ist f¨ u r x ∈ X = Rn 1 0 n 1 1  Lx (ϑ) = n exp − 2 (xi − μ)2 , 2σ i=1 σ (2π)n/2

5.4 Fisher-Information, Cram´er-Rao-Schranken, . . .

also

163

n 1  n n 2 (xi − y)2 . ln Lx (ϑ) = − ln σ − ln(2π) − 2 2 2 2σ i=1

Die Likelihood-Gleichungen n 1  (xi − μ)2 = 0, σ 2 i=1

−

n n 1 1  + (xi − μ)2 = 0 2 σ2 2σ 4 i=1

haben die L¨osungen 1 xi = xn , n i=1 n

μ =

1 (xi − xn )2 . n i=1 n

σ 2 =

ϑ = ( μ, σ 2 ) ist also MLS. Insbesondere folgt, dass MLS nicht notwendig erwartungstreu sind. ϑ ist suffizient f¨ ur P.

(n) 1 m ∼ unabh¨angige Beobachtung b) Taxibeispiel Sei Θ = N, Pm = m i=1 ε{i} von n Taxis. Sei μ das abz¨ahlende Maß auf Nn , dann ist  1 1 ≤ max xi ≤ m, n, Lx (m) = m 0, sonst, ⇒

m  = max xi ist MLS f¨ ur den Parameter m. i≤n

c) Qualit¨ atskontrolle Unter N produzierten Teilen befinden sich M defekte. M ist unbekannt. Um M zu bestimmen wird eine Stichprobe vom Umfang n genommen, in der x defekte Teile gefunden werden. Dann ist die Anzahl D der defekten Teile in der Stichprobe hypergeometrisch verteilt 

M N −M , max(0, n − N + M ) ≤ x ≤ min(n, M ), x n−x fM (x) = 0, sonst, M ∈ Θ = {0, 1, . . . , N }. Es gilt fM (x) M N −M −n+x+1 = >1 fM−1 (x) M −x N −M +1 x(N + 1) ⇔ M< . n Es ergibt sich der MLS C B C ⎧B ⎨ x(Nn+1) , x(Nn+1) + 1, A= M ⎩ x(N +1) , n

wenn

x(N +1) n

∈ N,

wenn

x(N +1) n

∈ N.

164

5 Sch¨ atztheorie

M Es ist ED = n M N . Mit x ∼ ED = n N erhalten wir aus der Momentenmethode den Sch¨atzer D = xN . M n

D ist dem MLS sehr ¨ahnlich. Der Momentensch¨atzer M d) H¨ aufigkeitsmethode Ist Θ = {ϑ = (ϑ1 , . . . , ϑr ) ∈ (0, 1)r ; und Pϑ = M (n, ϑ) die Multinomialverteilung mit Dichte

r j=1

ϑj = 1}

r n! . x ϑj j 1{rj=1 xj =n} fϑ (x) =  r xj ! j=1 j=1

r f¨ ur x ∈ X = Nr . Sei etwa Ω = j=1 Aj eine disjunkte Zerlegung von Ω. Bei einem Versuch liegt das Ergebnis in Aj mit der Wahrscheinlichkeit ϑj = P (Aj ). Bei n unabh¨angigen Versuchen ergibt sich f¨ ur die H¨aufigkeiten xj der Ergebnisse in Aj , j = 1, . . . , r die obige Dichte. Es ist   r−1 r−1   n! . + xj ln ϑj + xr ln 1 − ϑj = f (ϑ1 , . . . , ϑr−1 ). ln Lx (ϑ) = ln xj ! j=1 j=1 Hierdurch ergeben sich als Likelihood-Gleichungen xr xj − = 0, ϑj ϑr

j = 1, . . . , r − 1,

  = · · · = ϑxrr =: a. Wegen n = rj=1 xj = a rj=1 ϑi = a folgt: x Der Vektor ϑ der relativen H¨aufigkeiten ϑj = nj , 1 ≤ j ≤ r ist der MLS. d.h.

x1 ϑ1

=

x2 ϑ2

Bemerkung 5.4.14 1) Im Allgemeinen existiert der MLS nicht. Ist zum Beispiel in Beispiel 5.4.13 d)  Θ = {(ϑ1 , . . . , ϑr ) ∈ (0, 1)r ; ϑj = 1}, dann ist f¨ ur xj = 0, ϑj = 0, also  ϑ ∈ Θ. 2) Explizite Formeln f¨ ur MLS sind nur in einigen Beispielen m¨oglich. Es gibt aber gute numerische Iterationsverfahren (Newton-Raphson-Iteration) zur approximativen Bestimmung des MLS. F¨ ur Θ ⊂ R1 definiert man eine Folge (ϑn ) iterativ: ∂ ln Lx |ϑn ϑn+1 = ϑn − h(ϑn ) ∂ϑ

−1 ∂2 a) F¨ ur h(ϑ) = ∂ϑ ergibt sich ein Iterationsverfahren 2. Ordnung. Es 2 ln Lx ben¨otigt aber eine gute Anfangsn¨aherung.

5.4 Fisher-Information, Cram´er-Rao-Schranken, . . .

165

b) F¨ ur die Skalierungsfunktion h(ϑ) =

−1   2 ∂ ln L Eϑ x ∂ϑ2

= − (I(ϑ))−1

erh¨alt man ein Verfahren erster Ordnung, das robuster gegen¨ uber Anfangswerten ist. Beide Verfahren sind von der Form h(ϑ) =

k(ϑ) n .

Zum Sch¨ atzen von Parameterfunktionalen g f¨ uhren wir den Begriff des MLS f¨ ur g ein. Definition 5.4.15 (MLS f¨ ur Parameterfunktionen) Sei g : Θ → Θ eine surjektive Parameterfunktion und f¨ ur λ ∈ g(Θ) sei Θλ := {ϑ ∈ Θ; g(ϑ) = λ}. Dann heißt M (λ, x) := supϑ∈Θλ Lx (ϑ) = Mx (λ) die auf Θ  : X → Θ heißt induzierte Likelihood-Funktion. Eine messbare Abbildung λ MLS f¨ ur g, wenn  Mx (λ(x)) = sup Mx (λ). λ∈Θ

Proposition 5.4.16 Sei g : Θ → Θ eine surjektive Parameterfunktion und sei ϑ ein MLS f¨ ur ϑ. Dann  ein MLS f¨ ist g(ϑ) ur λ = g(ϑ).  Beweis: F¨ ur x ∈ X ist wegen ϑ(x) ∈ Θλ(x)   Mx (λ(x)) =

sup Lx (ϑ) ϑ∈Θλ(x) 

 ≥ Lx (ϑ(x)) = sup Lx (θ). ϑ∈Θ

Andererseits ist aber  ≤ sup Mx (λ) Mx (λ(x)) λ∈Θ

= sup sup Lx (ϑ). λ∈Θ θ∈Θλ

  = g ◦ ϑ ist MLS f¨ Es folgt damit Mx (λ(x)) = supλ∈Θ Mx (λ), d.h. λ ur g(ϑ).

2

Bemerkung 5.4.17 a) Insbesondere ist also im Bernoulli-Modell Pϑ = B(1, ϑ)(n) mit g(ϑ) = ϑ(1 − ϑ)  ur g. λ(x) = xn (1 − xn ) ein MLS f¨

166

5 Sch¨ atztheorie

Im Modell der Multinomialverteilung (Beispiel 5.4.13 d)) ist x1 xr  λ(x) =g ,..., n n ein MLS f¨ ur g(ϑ1 , . . . , ϑr ). b) MLS in einparametrischen Exponentialfamilien Sei P eine einparametrische Exponentialfamilie in nat¨ urlicher Parametrisierung, d.h. fϑ (x) = exp(ϑT (x) − Ψ(ϑ)),

ϑ ∈ Θ ⊂ R1 , Θ offen.

Dann ist der MLS ϑ f¨ ur ϑ eine L¨osung der Likelihood-Gleichungen. Mit g(ϑ) := Eϑ T gilt T (x) = Ψ (ϑ) = Eϑ T = g(ϑ). Ist g injektiv mit messbarer inverser Funktion g −1 , dann folgt also  ϑ(x) = g −1 (T (x)).

MLS und Suffizienz In den bisherigen Beispielen ergab sich der MLS als Funktion einer suffizienten Statistik (vgl. a) oder b)). Diese Eigenschaft gilt in allgemeiner Form f¨ ur dominierte Modelle P  μ. Nach dem Neyman-Kriterium gilt f¨ ur eine suffiziente Statistik T : (X, A) → (Y, B) fϑ (x) = h(x)gϑ (T (x)). Sei f¨ ur t ∈ T (X), Θt = {ϑ; gϑ (t) = supϑ ∈Θ gϑ (t)}. Wir machen die Messbarkeitsannahme:  M) Es existiert eine messbare Abbildung ϑ : X → Θ so dass ϑ(x) ∈ ΘT (x) . Bedingung M) ist eine schwache Regularit¨atsannahme, die unter Monotonie  (x)) = ϑ(T und Stetigkeitsannahmen an fϑ (x) in ϑ gilt. Offensichtlich gilt, dass ϑ(x) ist, so dass im Fall von Borelr¨ aumen o.E. ϑ als Funktion von T gew¨ahlt werden kann. Damit folgt Proposition 5.4.18 (MLS und Suffizienz) Sei P dominiert, T : (X, A) → (Y, B) eine suffiziente Statistik und seien X und Y Borelr¨aume. Unter der Messbarkeitsbedingung M) existiert dann ein MLS ϑ so, dass   (x)) [P]. ϑ(x) = ϑ(T

Zum Nachweis der Konsistenz und asymptotischen Normalit¨at von MLS in iid Modellen behandeln wir die folgenden vereinfachenden Annahmen:

5.4 Fisher-Information, Cram´er-Rao-Schranken, . . .

167

Sei P = {Pϑ ; d ∈ Θ}, Θ ⊂ R1 regul¨ ar und sei Sϑ = {x; fϑ (x) > 0} unabh¨angig von ϑ ∈ Θ und sei die Parametrisierung identifizierbar, d.h. ϑ1 = ϑ2 ⇒ Pϑ1 = Pϑ2 . Weiter sei der Kullback-Leibler-Abstand fϑ I(Pϑ0 , Pϑ ) = ln 0 dPϑ0 < ∞ fϑ endlich ∀ϑ = ϑ0 . Lemma 5.4.19 a) Eϑ0 ln fϑ < Eϑ0 ln fϑ0 , I(Pϑ0 , Pϑ ) > 0 ∂

ln fϑ stetig differenzierbar, dann ist ϑ → J(ϑ, ϑ0 ) strikt b) Sei J(ϑ, ϑ0 ) := Eϑ0 ∂ϑ antiton in einer Umgebung U (ϑ0 ) und I(ϑ0 ) > 0. Beweis: a) Nach der Jensen-Ungleichung gilt f¨ ur ϑ = ϑ0 Eϑ0 ln

fϑ fϑ < ln Eϑ0 = ln fϑ0 fϑ0

fϑ dμ = 0,

also ist Eϑ0 ln fϑ < Eϑ0 ln fϑ0 und I(Pϑ0 , Pϑ ) > 0. b) Nach a) hat die Abbildung ϑ → Eϑ0 ln fϑ ein striktes Maximum in ϑ0 ⇒ J(ϑ, ϑ0 ) ≤ J(ϑ0 , ϑ0 ) = 0 ∂ ∂2 und wegen der Regularit¨ atsannahme gilt ∂ϑ J(ϑ, ϑ0 ) = Eϑ0 ( ∂ϑ 2 ln fϑ ) ist stetig ∂ ⇒ ∃U (ϑ0 ) : ∂ϑ J(ϑ, ϑ0 ) < 0 ∀ϑ ∈ U (ϑ0 ). / ∂ Insbesondere gilt: ∂ϑ J(ϑ, ϑ0 )/ϑ = −I(ϑ0 ) < 0. 2 0

Satz 5.4.20 (Konsistenz des MLS) Im iid Modell Pn = P (n) mit P = {Pϑ ; ϑ ∈ Θ} sei P regul¨ar. Sei ϑ → J(ϑ, ϑ0 ) ∂2 stetig differenzierbar und sei ϑ → Eϑ0 ∂ϑ 2 ln fϑ stetig und endlich. Dann folgt: Es existiert eine konsistente Sch¨atzfolge ϑn : (X(n) , A(n) ) → (Θ, ΘB 1 ) f¨ ur ϑ, die L¨osung der Likelihood-Gleichungen ist, d.h. n  ∂ ln fϑ (xi ) |ϑ=ϑn (x) = 0. ∂ϑ i=1

n ∂ ∂ ln fϑ (xi ). Da ∂ϑ ln fϑ ∈ L1 (P) Beweis: Sei ϑ0 ∈ Θ und Zn (ϑ, x) := n1 i=1 ∂ϑ folgt nach dem starken Gesetz großer Zahlen   ∂ (∞) Zn (ϑ, ·) → Eϑ0 ln fϑ = J(ϑ, ϑ0 ) f.s. bzgl. Pϑ0 ∂ϑ Nach Lemma 5.4.19 existiert eine Umgebung U (ϑ0 ) ⊂ Θ, so dass J(·, ϑ0 ) strikt antiton in U (ϑ0 ) ist. Sei ε0 > 0 so dass [ϑ0 − ε0 , ϑ0 + ε0 ] ⊂ U (ϑ0 ). Dann folgt f¨ ur

168

5 Sch¨ atztheorie

ε ≤ ε0 :



Zn (ϑ0 − ε) → J(ϑ0 − ε, ϑ0 ) > 0 Zn (ϑ0 − ε) → J(ϑ0 + ε, ϑ0 ) < 0

(∞)

[Pϑ0 ].

(5.3)

∀x = (xi ) ∈ X∞ existiert N = N (x), so dass ∀n ≥ N : Zn (ϑ0 − ε) > 0 und Zn (ϑ0 + ε) < 0,

∀ε ≤ ε0 .

∂ Nach Annahme ist ∂ϑ ln fϑ stetig. Mit Hilfe des Zwischenwertsatzes folgt die   Existenz von ϑn = ϑn (x1 , . . . , xn ) ∈ [ϑ0 − ε, ϑ0 + ε], so dass

1 ∂ ln fϑn (x) (xi ) = 0, Zn (ϑn (x), x) = n i=1 ∂ϑ n

ost die Likelihood-Gleichung und ϑn (x) → 0 [Pϑ0 ], da (5.3) f¨ ur alle ε ≤ ε0 d.h. ϑn l¨ gilt und J(·, ϑ0 ) stetig und strikt monoton ist. 2 (∞)

Bemerkung 5.4.21 ∂2 Ist zus¨atzlich zu den Voraussetzungen von Satz 5.4.20 ∂ϑ 2 ln fϑ (x) stetig in ϑ gleichm¨aßig in x, dann ist jede L¨osung der Likelihood-Gleichung konsistent. Das folgende wichtige Resultat liefert die asymptotische Normalit¨at und die asymptotische Effizienz von ML-Sch¨ atzern f¨ ur ϑ in regul¨aren Modellen. Satz 5.4.22 (Asymptotische Normalit¨ at des MLS) Sei ϑ0 ∈ Θ, sei P regul¨ar und es gelten: 1)

∂ ∂ϑ

ln fϑ und

∂2 ∂ϑ2

ln fϑ ∈ L1 (Pϑ0 ),

2

∂ 2) 0 < Eϑ0 ∂ϑ 2 ln fϑ < ∞

3)

∂2 ∂ϑ2

ln fϑ (x) ist stetig in ϑ gleichm¨aßig in x.

(∞) Dann gilt f¨ ur jede L¨osung (ϑn ) der Likelihood-Gleichungen bzgl. Pϑ0 :   √ 1 D . n(ϑn − ϑ0 ) −→ N 0, I(ϑ0 )

Beweis: Mit ϕ(ϑ, x) = n  i=1

ϕ(ϑ0 , xi ) =

∂ ∂ϑ

n  i=1

ln fϑ (x) gilt nach dem Mittelwertsatz ϕ(ϑn (x), xi ) + (ϑ0 − ϑn (x))

/ n  / ∂ ϕ(ϑ, xi )// ∂ϑ ϑ∗ (x) i=1 n

mit ϑ∗n (x) im Intervall [ϑ0 , ϑn (x)] resp. [ϑn (x), ϑ0 ]. Daraus folgt  A √  n n ϑn (x) − ϑ0 = Bn / n n ∂ mit An = √1n i=1 ϕ(ϑ0 , xi ), Bn = − n1 i=1 ∂ϑ ϕ(ϑ, xi )/ϑ∗ (x) . n

5.4 Fisher-Information, Cram´er-Rao-Schranken, . . .

169

Wegen Eϑ0 ϕ(ϑ0 , ·) = 0, Varϑ0 (ϕ(ϑ0 , ·)) = I(ϑ0 ) folgt nach dem zentralen (∞) Grenzwertsatz (bzgl. Pϑ0 ) D

An −→ N (0, I(ϑ0 )). Wir zerlegen Bn in zwei Teile: 1 ∂ 1 ϕ(ϑ0 , xi ) + −Bn = n i=1 ∂ϑ n i=1 n

n

0

1 / / ∂ ∂ / ϕ(ϑ, xi )/ ϕ(ϑ0 , xi ) . − ∂ϑ ∂ϑ ϑ∗ (x) n

Nach dem starken Gesetz großer Zahlen gilt ∂ 1 ∂ (∞) ϕ(ϑ0 , xi ) → Eϑ0 ϕ(ϑ0 , ·) = −I(ϑ0 ) [Pϑ0 ]. n i=1 ∂ϑ ∂ϑ n

(∞) Aus der Konsistenz von ϑn (vgl. Bemerkung 5.4.21) folgt ϑ∗n → ϑ0 [Pϑ0 ]. Damit folgt  n  1 ∂ ∂ (∞) ∗ ϕ(ϑ0 , xi ) − ϕ(ϑn (x), xi ) → 0 [Pϑ0 ] n i=1 ∂ϑ ∂ϑ

(vgl. Beweis zu Satz 5.4.20). Es folgt Bn → I(ϑ0 ) > 0 f.s., also Bn > 0 f¨ ur n ≥ n0 und daher folgt   An D 1 1 d N (0, I(ϑ0 )) = N 0, . −→ 2 Bn I(ϑ0 ) I(ϑ0 ) Bemerkung 5.4.23√ a) Gilt auch Varϑ0 ( n(ϑn − ϑ0 )) −→ I(ϑ1 0 ) , dann ist der MLS auch asymptotisch effizient im Sinne von Korollar 5.4.9. b) Sch¨atzer mit der asymptotischen Normalverteilung N (0, I(ϑ1 0 ) ) heißen best asymptotic normal (BAN). c) Unter zus¨atzlichen Bedingungen erweist sich, dass der MLS ϑn nicht nur optimal in der Klasse der asymptotisch normalen Sch¨atzer ist (BAN), sondern in der Klasse aller Sch¨atzer dn die asymptotisch lokal gleichm¨aßig konvergieren. D.h. mit Rn (ϑ, dn ) = nEϑ (dn − ϑ)2 gilt lim

sup |ϑ−ϑ0 |≤ √cn

Rn (ϑ, dn ) ≥

1 , I(ϑ0 )

∀c > 0.

d) M -Sch¨ atzer Eine Erweiterung des Maximum-Likelihood-Prinzips sind M -Sch¨atzer. Hier w¨ahlt man eine Kontrastfunktion h(x, ϑ) ∈ L1 (P), d.h. es gilt

h(·, ϑ) dPϑ
0, RgB = k sind die  σ kQS ϑ, 2 beste erwartungstreue Sch¨atzer f¨ ur ϑ, bzw. σ 2 d.h. f¨ ur alle erwartungs2 2  treuen Sch¨atzer d von ϑ und τ f¨ ur σ gilt Cov(ϑ,σ2 ) ϑ ≤psd Cov(ϑ,σ2 ) d und

2 ≤ Var(ϑ,σ2 ) τ2 . Var(ϑ,σ2 ) σ

Beweis: Nach dem Neyman-Kriterium ist T (x) = (x x, B  x) suffizient f¨ ur P. T ist auch vollst¨ andig, da P eine Exponentialfamilie in T ist. F¨ ur jedes a ∈ Rk ist a ϑ dann nach dem Satz von Lehmann-Scheff´e gleichm¨aßig bester erwartungstreuer Sch¨ atzer f¨ ur a ϑ. Es folgt daher f¨ ur jeden erwartungstreuen Sch¨atzer d von a

 = a Cov(ϑ,σ2 ) ϑ a Var(ϑ,σ2 ) (a ϑ)

 ≤ a Cov(ϑ,σ2 ) d a = Var(ϑ,σ2 ) (a d).  Dieses impliziert: Cov(ϑ,σ2 ) ϑ ≤psd Cov(ϑ,σ2 ) d. 2 Das Argument f¨ ur σ  ist analog.

2

Bemerkung 5.5.16 a) Ohne die Regularit¨atsannahme RgB = k gilt eine ¨ahnliche Optimalit¨atsaussage f¨ ur lineare sch¨atzbare Funktionale Lϑ. b) ϑ und σ 2 sind stochastisch unabh¨angig. Denn f¨ ur festes σ 2 ist ϑ suffizient und 2 k σ  ist verteilungsfrei f¨ ur {P(ϑ,σ2 ) ; ϑ ∈ R }. Also sind nach dem Satz von Basu 2  σ  , ϑ stochastisch unabh¨angig.

Kapitel 6

Testtheorie Die Testtheorie hat als Thema die Entscheidung zwischen zwei Hypothesen. Dieses ist eine fundamentale Fragestellung der Statistik und macht insbesondere einen guten Teil der Praxisrelevanz der Statistik aus. Testtheorie macht einen Großteil der T¨ atigkeit von Statistikern aus, sei es bei der Kontrolle und dem Design von medizinischen Studien, bei Medikamenten-Tests in der pharmazeutischen Industrie oder bei der Qualit¨ ats¨ uberpr¨ ufung von Produktionsprozessen. Auch die Entscheidung nach langen Versuchsserien, ob ein neues Elementarteilchen gefunden wurde oder nur ein zuf¨ alliger St¨ oreffekt vorliegt, ist ein Testproblem. Zur Veranschaulichung dieser Bedeutung kann man etwa an folgende Fragestellungen denken: Ist es auf Grund von vorliegenden Daten oder Ergebnissen von Experimenten gesichert, dass • ein neues Medikament (ein neues technisches Instrument) besser wirkt (funktioniert) als das bisher verwendete • eine globale Erw¨ armung durch den Treibhauseffekt stattgefunden hat • in den Cern-Experimenten ein Higgs-Teilchen nachgewiesen wurde • die Daten einer wissenschaftlichen Versuchsreihe zum Einfluss spezifischer Genome auf die Entstehung einer Krankheit u ¨ berzeugend (oder gef¨alscht) sind. Ziel der Testtheorie ist es, ein m¨ oglichst effizientes Entscheidungsverfahren f¨ ur derartige Fragestellungen zu entwickeln und zu begr¨ unden. Der Grundbaustein f¨ ur die Konstruktion von optimalen Tests ist das NeymanPearson-Lemma. Gekoppelt mit weiteren Techniken wie dem monotonen Dichtequotienten, Bayes-Verfahren und ung¨ unstigsten a-priori-Verteilungen erweist es sich als ein besonders effektives Mittel. Nach einigen Existenzaussagen f¨ ur optimale Tests behandeln wir das Neyman-Pearson-Lemma und seine Erweiterung auf Hypothesen mit monotonen Dichtequotienten. Die Mischungsmethode und die Methode bedingter Tests erlauben es, weitere Anwendungsbeispiele, insbesondere in Exponentialfamilien, zu behandeln. Wir stellen einige der klassischen Test wie z.B. den L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_6, © Springer-Verlag Berlin Heidelberg 2014

182

6 Testtheorie

Studentschen t-Test, den Fisher-Test im Zweistichprobenproblem und eine Klasse von Pitman-Tests vor und diskutieren deren Optimalit¨atseigenschaften. Abschließend bestimmen wir optimale unverf¨ alschte Tests in Gaußschen linearen Modellen. Ziel dieses Kapitels ist es, ein Verst¨ andnis f¨ ur die vorhandenen Methoden zur Testtheorie zu entwickeln, das es erlaubt f¨ ur praktische Testprobleme, wie z.B. die oben skizzierten Anwendungsprobleme geeignete Testverfahren zu konstruieren oder anzuwenden.

6.1

Existenz optimaler Tests

Dieser Abschnitt behandelt Aussagen u ug¨ ber die Existenz von optimalen Tests bez¨ lich einiger Optimalit¨ atskriterien. Wesentliches Mittel hierzu sind Abgeschlossenheits- und Kompaktheitseigenschaften der schwachen bzw. schwach-∗-Topologien der Funktionalanalysis (Satz von Banach-Alaoglu, Satz von Mazur) in die kurz eingef¨ uhrt wird. In einem Modell P = {Pϑ ; ϑ ∈ Θ} betrachten wir das Testproblem Θ = Θ0 + Θ1 , wobei Θ0 die Hypothese und Θ1 die Alternative bezeichnet. Φ := {ϕ : (X, A) → ([0, 1], [0, 1]B)} ist die Menge aller Testfunktionen. F¨ ur die Neyman-Pearson-Verlustfunktion mit L0 = L1 = 1 ergibt sich die Risikofunktion  ϑ ∈ Θ0 , Eϑ ϕ, R(ϑ, ϕ) = Eϑ (1 − ϕ), ϑ ∈ Θ1 . Definition 6.1.1 (Gleichm¨ aßig bester Test zum Niveau α) a) F¨ ur α ∈ [0, 1] ist Φα := {ϕ ∈ Φ; Eϑ ϕ ≤ α f¨ ur alle ϑ ∈ Θ0 } die Menge aller Tests zum Niveau α. b) ϕ∗ ∈ Φα heißt gleichm¨ aßig bester Test zum Niveau α (UMP = Uniformly Most Powerful), falls f¨ ur alle ϑ ∈ Θ1 gilt: Eϑ ϕ∗ = sup Eϑ ϕ =: β ∗ (ϑ). ϕ∈Φα ∗

β =

βα∗

heißt envelope power function.

c) ϕ∗ ∈ Φα heißt Maximin-Test zum Niveau α, falls gilt: inf Eϑ ϕ∗ = sup

ϑ∈Θ1

inf Eϑ ϕ.

ϕ∈Φα ϑ∈Θ1

d) ϕ∗ ∈ Φα heißt strenger Test zum Niveau α, falls

sup β ∗ (ϑ) − Eϑ (ϕ∗ ) = inf sup β ∗ (ϑ) − Eϑ ϕ .  ϕ∈Φα ϑ∈Θ1  ϑ∈Θ1 “short coming”

Ein strenger Test minimiert also den maximalen Abstand zum lokal besten Test.

6.1 Existenz optimaler Tests

183

Bemerkung 6.1.2 Ein Test ϕ∗ ∈ Φα ist gleichm¨aßig bester Test zum Niveau α f¨ ur (Θ0 , Θ1 ) ⇔ ϕ∗ ist bester Test f¨ ur (Θ0 , {ϑ1 }), ∀ϑ1 ∈ Θ1 . Es reicht daher optimale Tests f¨ ur einfache Alternativen ϑ1 zu bestimmen, die unabh¨angig von ϑ1 ∈ Θ1 sind. Im Allgemeinen existiert kein gleichm¨ aßig bester Test zum Niveau α, aber unter recht allgemeinen Bedingungen l¨ asst sich die Existenz von Maximin- und strengen Tests zeigen. Die Existenzaussagen nutzen die schwache ∗-Topologie und deren Beziehung zur schwachen Topologie. Die schwache Topologie auf Lp -R¨aumen f¨ ur 1 < p < ∞ hatten wir schon f¨ ur Existenzaussagen bei Sch¨atzproblemen verwendet. Bemerkung 6.1.3 (Schwache und schwach-∗-Topologie) Sei P  μ. Dann ist Φ ⊂ L∞ (μ) := ϕ ∈ L(X, A); es existiert K ∈ R1 , so dass    |ϕ| ≤ K [μ] . Die auf L∞ u ¨ bliche Norm ist ϕ := inf K; |ϕ| ≤ K [μ] = ess sup ϕ. Im Allgemeinen identifizieren wir hier L∞ (μ) L∞ (μ).

μ

Wir betrachten das duale Paar L1 (μ), L∞ (μ) mit der Dualit¨at, d.h. stetigen Bilinearform L1 × L∞ → R, (f, g) → f g dμ. a) schwach-∗-Topologie auf L∞  Zu g ∈ L1 ist πg : L∞ → R, ϕ → ϕg dμ linear und stetig. L1 ⊂ (L∞ )∗ , aber die Inklusion ist i.A. strikt. Die schwach-∗-Topologie σ(L∞ , L1 ) = O(πg , g ∈ L1 ) auf L∞ ist die gr¨ obste Topologie auf L∞ , so dass πg , g ∈ L1 , stetig sind. Eine Umgebungsbasis von σ(L∞ , L1 ) bilden die Mengen Uε (ϕ, g1 , . . . , gn ) = {ψ ∈  ∞ L ; | (ϕ − ψ)gi dμ| ≤ ε, 1 ≤ i ≤ n} f¨ ur gi ∈ L1 (μ), ϕ ∈ L∞ (μ). w∗

Der zugeh¨ orige Konvergenzbegriff −→ der schwach-∗-Konvergenz l¨asst sich wie folgt beschreiben. Es gilt f¨ ur ein Netz (ϕα ): w∗

ϕα −→ ϕ, ϕα konvergiert schwach-∗ gegen ϕ, wenn ϕα g dμ → ϕg dμ, ∀g ∈ L1 (μ). Ein wichtiger Grund f¨ ur die Verwendung der schwach-∗-Topologie ist der Satz von Banach-Alaoglu. Die abgeschlossene Einheitskugel B = {f ∈ L∞ (μ); f ∞ ≤ 1} in L∞ (μ) ist schwach-∗-kompakt. b) schwache Topologie auf L1  Sei zu h ∈ L∞ (μ), πh : L1 → R, πh (f ) = f h dμ. πh ist linear und stetig und es gilt L∞ (μ) = (L1 (μ))∗ , d.h. alle linearen stetigen Funktionale sind von obiger Form (Satz von Riesz). Die schwache Topologie auf L1 ist σ(L1 , L∞ ) = O(πh ; h ∈ L1 (μ)).

184

6 Testtheorie

F¨ ur (fα ) ⊂ L1 (μ) ist der zugeh¨ orige Konvergenzbegriff die schwache Konvergenz w −→: w fα −→ f , fα konvergiert schwach gegen f , wenn fα h dμ → f h dμ, ∀h ∈ L∞ .

Eine n¨ utzliche Eigenschaft der schwachen Topologie ist der Satz von Mazur. Sei A ⊂ L1 eine konvexe Teilmenge. Dann gilt: Der schwache Abschluss von A ist gleich dem Normabschluss A

σ(L1 ,L∞ )

=A

  1

.

Der Satz von Banach-Alaoglu f¨ uhrt zu folgenden Kompaktheitsaussagen f¨ ur die Menge der Testfunktionen. Satz 6.1.4 (Schwach-∗-Kompaktheit der Menge der Testfunktionen) Sei μ ∈ Mσ (X, A). a) Φ ist eine schwach-∗-kompakte Teilmenge von L∞ (μ). b) Φ ist schwach-∗-folgenkompakt, das heißt f¨ ur jede Folge (ϕn ) ⊂ Φ existiert w∗

eine konvergente Teilfolge (ϕnk ) ⊂ Φ, ϕnk → ϕ∗ mit ϕ∗ ∈ Φ. c) Die Menge der G¨ utefunktionen G := {βϕ : Θ → [0, 1]; βϕ (ϑ) = Eϑ ϕ, ϑ ∈ Θ, ϕ ∈ Φ} ist eine kompakte und konvexe Teilmenge von [0, 1]Θ in der Produkttopologie O(πϑ , ϑ ∈ Θ), wobei πϑ (ϕ) = ϕ(θ), ϑ ∈ Θ die Projektionen auf L∞ (μ) bezeichnen. Beweis: a) Nach dem Satz von Banach-Alaoglu ist die Einheitskugel B := {f ∈ L∞ ; f ∞ ≤ 1} schwach-∗-kompakt. Weiterhin ist A := {h ∈ L∞ ; h ≥ 0} abgeschlossen. Da Φ = A ∩ B gilt, ist Φ schwach-∗-kompakt. b) Die Behauptung wird auf Teil a) zur¨ uckgef¨ uhrt. F¨ ur den Fall einer abz¨ ahlbar erzeugten σ-Algebra A ist L1 (X, A, μ) separabel. Damit ist σ(L∞ , L1 ) metrisierbar. Daraus folgt, dass Kompaktheit und Folgenkompaktheit ¨ aquivalent sind. Damit gilt b) f¨ ur den separablen Fall nach a). Allgemeiner Fall: Sei (ϕn )n∈N ⊂ Φ und (Bn ) eine disjunkte messbare Zerlegung ∩Bn ) von X mit 0 < μ(Bn ) < ∞ und sei μn = μ(·μ(B . Dann ist A := σ(ϕn , 1Bn ; n ∈ n) N). A ⊂ A ist abz¨ ahlbar erzeugt. Zur Reduktion auf A definieren wir f¨ ur 1 g ∈ L (A, μ) den bedingten Erwartungswert Eμ (g | A ) :=

 n

Eμn (g | A )1Bn .

6.1 Existenz optimaler Tests

185

 Dann gilt μ = μ(Bn )μn und wir erhalten f¨ ur ϕ ∈ L(A )  μ(Bn ) ϕg1Bn dμn ϕg dμ = n

=

 n

=

ϕEμn (g | A ) 1Bn dμ

  ϕ Eμn (g | A )1Bn dμ = ϕEμ (g | A ) dμ. n

Es gilt also die Radon-Nikod´ ym-Gleichung. Damit l¨asst sich die Behauptung auf den separablen Fall mit der σ-Algebra A reduzieren. c) Kompaktheit der Menge der G¨ utefunktionen: Sei [0, 1]Θ mit der Produkttopologie O(πϑ ; ϑ ∈ Θ) versehen, wobei die πϑ : [0, 1]Θ → [0, 1], f → f (ϑ) die Projektionen sind. Definiere β : Φ → [0, 1]Θ , ϕ → βϕ . Da Φ nach a) schwach-∗-kompakt ist, ist nun zu zeigen, dass β stetig ist. Dann ist G = β(Φ) als stetiges Bild einer kompakten Menge kompakt. Es ergibt sich folgende Sequenz: β

π

ϑ Φ −→ [0, 1]Θ −→ [0, 1]

ϕ −→

βϕ

−→ βϕ (ϑ) =

ϕ

dPϑ dμ. dμ

Dann ist β stetig genau dann, wenn πϑ ◦ β f¨ ur alle ϑ ∈ Θ stetig ist. Wegen  dPϑ 1 ϑ πϑ ◦β(ϕ) = ϕ dP dμ mit ∈ L (μ) folgt dies aus der Definition der schwachdμ dμ ∗-Topologie. Konvexit¨ at: F¨ ur ϕ, ψ ∈ Φ ist auch die Konvexkombination aϕ + (1 − a)ψ ∈ Φ. Daraus folgt: aβϕ + (1 − a)βψ = βaϕ+(1−a)ψ ∈ G. Also ist G konvex. 2 Die Kompaktheitsaussagen aus Satz 6.1.4 erm¨oglichen nun die folgende allgemeine Existenzaussage f¨ ur optimale Tests. Satz 6.1.5 (Existenz optimaler Tests) Sei α ∈ [0, 1], Θ = Θ0 + Θ1 und P = P0 + P1 . Ist P0  μ oder P1  μ, so existieren ein Maximin-Test zum Niveau α und ein strenger Test zum Niveau α. Beweis: a) Wir machen zun¨ achst die Annahme P  μ. Unter dieser Annahme l¨asst sich der Existenzbeweis mit den Standardmitteln der Analysis f¨ uhren. Da P0  μ, ist Φα := {ϕ ∈ Φ; βϕ (ϑ) ≤ α f¨ ur alle ϑ ∈ Θ0 } ⊂ L∞ (μ) und 7 7 {ϕ ∈ Φ; βϕ (ϑ) ≤ α} = (πϑ ◦ β)−1 ([0, α]) ⊂ Φ ist abgeschlossen. Φα = ϑ∈Θ0

ϑ∈Θ0

186

6 Testtheorie

Daher ist Φα als abgeschlossene Teilmenge einer kompakten Menge wieder kompakt bzgl. σ(L∞ , L1 ). Sei nun g : Φα → [0, 1] definiert als: 1) g(ϕ) := inf Eϑ ϕ = inf πϑ ◦ β(ϕ). ϑ∈Θ1

ϑ∈Θ1

Da P1  μ und πϑ ◦ β stetig ist, folgt: g ist halbstetig nach oben (hno), d.h. {g ≤ α} ist abgeschlossen, ∀α. Daher nimmt g sein Supremum auf der kompakten Menge Φα an. Also existiert ein ϕ∗ ∈ Φα so dass g(ϕ∗ ) = supϕ∈Φα g(ϕ). ϕ∗ ist ein Maximin-Test. 2) g(ϕ) := sup (β ∗ (ϑ) − Eϑ ϕ). g ist als Supremum stetiger Funktionen halbstϑ∈Θ1

etig nach unten (hnu). Damit folgt die Existenz eines Tests varphi∗ ∈ Φα so dass g(ϕ∗ ) = inf ϕ∈Φα g(ϕ). ϕ∗ ist ein strenger Test zum Niveau α. b) Wir betrachten nun den allgemeinen Fall. F¨ ur f : Θ1 → R+ definiere das Optimierungsproblem   f ∗ := inf sup f (ϑ) − Eϑ ϕ . ϕ∈Φα ϑ∈Θ1

ur f :≡ 1 Maximin-Tests zum Niveau α, und f¨ ur f := β ∗ L¨ osungen ϕ∗ sind f¨ strenge Tests zum Niveau α. Nach Definition existiert eine Folge (ϕn )n∈N ⊂ Φα so, dass   f ∗ = lim sup f (ϑ) − Eϑ ϕn . n→∞ ϑ∈Θ1

¨ Im Folgenden wird es wichtig zwischen Aquivalenzklassen [ϕ] = {ϕ + g; g ∈ ∞  α := L (μ), g = 0[μ]} von Tests ϕ und den Tests ϕ zu unterscheiden. Sei Φ ∞ ¨ {ϕ  = [ϕ]; ϕ ∈ Φα } ⊂ L (μ) die Menge der Aquivalenzklassen von Φα . Dann ist  α schwach-∗-kompakt und folgenkompakt bzgl. σ(L∞ (μ), L1 (μ)). Es existiert Φ  α , so dass ϕ 0 ∈ Φ n → ϕ 0 in σ(L∞ , L1 ). daher eine Teilfolge (n ) von N und ein ϕ Insbesondere existiert ein Test ϕ0 ∈ ϕ 0 ∩ Φα . 1. Fall: P1  μ F¨ ur ϑ ∈ Θ1 gilt: dPϑ dPϑ dμ → ϕ0 dμ = Eϑ ϕ0 dμ dμ

und damit f ∗ ≥ lim supn f (ϑ) − Eϑ ϕn = f (ϑ) − Eϑ ϕ0 f¨ ur alle ϑ ∈ Θ1 . Nach Definition von f ∗ folgt:



f ∗ ≥ sup f (ϑ) − Eϑ ϕ0 ≥ inf sup f (ϑ) − Eϑ ϕ = f ∗ . ϕ∈Φα ϑ∈Θ1 ϑ∈Θ1

Eϑ ϕn =

ϕn

Also folgt Gleichheit und ϕ0 ist optimal.

6.1 Existenz optimaler Tests

187

2. Fall: P0  μ Sei o.B.d.A. μ ∈ M1 (X, A). F¨ ur alle k ∈ N existiert nk ∈ N, so dass f¨ ur alle n ≥ nk gilt: 1 f ∗ ≥ f (ϑ) − Eϑ ϕn − , ∀ϑ ∈ Θ1 . k Damit ist f¨ ur alle ψ ∈ Ak := co{ϕn ; n ≥ nk }: f ∗ ≥ f (ϑ) − Eϑ ψ −

1 . k

¨ Dieser Ubergang zur konvexen H¨ ulle erweist sich im Folgenden als wichtig. Da σ(L∞ ,L1 )

L∞ ⊂ L1 folgt f¨ ur (ϕ n ) ⊂ L∞ aus ϕ n −−−−−−→ ϕ 0 in der schwachen ∗Topologie, dass σ(L1 ,L∞ )

ϕ n −−−−−−→ ϕ 0 in der schwachen Topologie σ(L1 , L∞ ). σ(L1 ,L∞ )

 · 1

= Ak . Da Ak ⊂ L1 konvex ist, folgt nach dem Satz von Mazur Ak Es existiert also eine Folge (ψn,k )n∈N ⊂ Ak f¨ ur die gilt: ψn,k −→ ϕ 0 in L1 (μ), also insbesondere gilt stochastische Konvergenz. Seien ψn,k ∈ ψn,k , ϕ0 ∈ ϕ 0 so dass ψn,k − → ϕ0 . Also gibt es eine Teilfolge (n ) ⊂ N, so dass f¨ ur alle k ∈ N gilt: μ

ψn,k −→ ϕ0 [μ]. Mit einem Diagonalfolgenargument sei o.E. (n ) unabh¨angig von k. F¨ ur alle k ∈ N existiert eine μ-Nullmenge Nk , so dass: Mit N :=

; k∈N

ψn,k 1Nkc −→ ϕ0 1Nkc ,

μ(Nk ) = 0.

Nk ergibt sich μ(N ) = 0 und es gilt

τn,k := ψn,k 1N c + 1N −→ ϕ0 1N c + 1N =: τ0 punktweise f¨ ur n → ∞. Es gilt τn,k ≥ ψn,k und τ0 ∈ Φα , da P0  μ. Nach dem Satz u ¨ ber majorisierte Konvergenz gilt Eϑ τn,k → Eϑ τ0 f¨ ur alle ϑ ∈ Θ. Daher folgt f¨ ur alle k ∈ N, n ≥ nk und ϑ ∈ Θ1 : 1 da Ψn ,k ∈ Ak f ∗ ≥ f (ϑ) − Eϑ ψn,k − , k 1 da τn ,k ≥ Ψn ,k f¨ ≥ f (ϑ) − Eϑ τn,k − , ur n ≥ n k , k 2 unabh¨angig von n . ≥ f (ϑ) − Eϑ τ0 − , k Das ergibt:   f ∗ ≥ sup f (ϑ) − Eϑ τ0 ϑ∈Θ1   ≥ inf sup f (ϑ) − Eϑ ϕ = f ∗ . ϕ∈Φα ϑ∈Θ1

osung des Optimierungsproblems ist. Aus der Gleichheit folgt, dass τ0 L¨

2

188

6 Testtheorie

Der folgende Satz charakterisiert die Existenz gleichm¨aßig bester Tests durch die Linearit¨ at der envelope power Funktionen βα∗ auf der konvexen H¨ ulle. Satz 6.1.6 (Existenz gleichm¨ aßig bester Tests) Sei P1  μ. Dann gilt: Es existiert ein gleichm¨aßig bester Test zum Niveau α f¨ ur (P0 , P1 ) ⇔

βα∗ ist linear auf co(P1 ), wobei βα∗ (Q) := sup EQ ϕ. ϕ∈Φα

Beweis: n “⇒”: Sei ϕ∗ gleichm¨ aßig bester Test zum Niveau α und i=1 γi Qi ∈ co(P1 ). Dann ist n   ∗ ∗  E γi Qi ϕ = βα γi Q i ≤ =

 

i=1

γi βα∗ (Qi ) γi EQi ϕ∗

= E γi Qi ϕ∗ . Daraus folgt Gleichheit. Also ist βα∗ linear auf co(P1 ). “⇐”: Betrachte die Abbildung  α → [0, 1] A : co(P1 ) × Φ  (Q, ϕ)  → βα∗ (Q) − EQ ϕ. A ist konkav in Q (da linear) und stetig in ϕ.  Die konvexe H¨ ulle co(P1 ) ist  ¨ konvex und Φα , die Menge der Aquivalenzklassen von Φα , ist konvex und  α, schwach-∗-kompakt. Nach dem Minimax-Satz von Ky-Fan existiert ϕ ∗ ∈ Φ ∗ ∗ also auch ein Repr¨ asentant ϕ ∈ ϕ  ∩ Φα , mit     βα∗ (Q) − EQ ϕ∗ = inf βα∗ (Q) − EQ ϕ sup sup ϕ∈Φα Q∈co(P1 )

Q∈co(P1 )

=

sup

inf

Q∈co(P1 ) ϕ∈Φα



 βα∗ (Q) − EQ ϕ = 0.

ur alle Q ∈ P1 . Das heißt ϕ∗ ist gleichm¨aßig Daraus folgt βα∗ (Q) = EQ ϕ∗ f¨ bester Test f¨ ur (P0 , P1 ). Insbesondere folgt: aßig bester Test zum Niveau α f¨ ur (P0 , P1 ) ϕ∗ ist gleichm¨ aßig bester Test zum Niveau α f¨ ur (P0 , co(P1 )). ⇔ ϕ∗ ist gleichm¨

2

6.2 Konstruktion optimaler Tests (Neyman-Pearson-Theorie)

189

Bemerkung 6.1.7 a) Im Allgemeinen ist die Linearit¨at in Beispielen kaum nachpr¨ ufbar, so dass Satz 6.1.6 nur eine strukturelle Aussage f¨ ur βα∗ ist. Ist |P1 | = 1, dann ist die Bedingung allerdings erf¨ ullt. Es ergibt sich als Korollar nochmals die Existenz eines besten Tests zum Niveau α f¨ ur Testprobleme (P0 , P1 ), P1 = {Q} mit einfachen Alternativen b) Ist P1 nicht dominiert, so gilt die Aussage von Satz 6.1.6 i. A. nicht! Betrachte zum Beispiel P0 := {λ\|[0,1] } und P1 := {εx ; x ∈ [0, 1]}.  ur αi εxi ∈ co(P1 ), F¨ ur alle x ∈ R ist βα∗ (εx ) = supϕ∈Φα ϕ(x) = 1. Ebenso ist f¨   βα∗ αi εxi = 1. Also ist βα∗ linear auf co(P1 ). ur (P0 , P1 ). Dann folgt: Sei ϕ∗ ∈ Φα ein gleichm¨aßig bester Test f¨ ur alle x ∈ [0, 1]. 1 = βα∗ (εx ) = Eεx ϕ∗ = ϕ∗ (x) f¨ F¨ ur α < 1 f¨ uhrt aber ϕ∗ ≡ 1 zu einem Widerspruch.  α durch beliebige schwach-∗-kompakte c) Im Beweis von Satz 6.1.6 kann man Φ Teilmengen von Φ ersetzen.

6.2

Konstruktion optimaler Tests (Neyman-Pearson-Theorie)

Das zentrale Mittel zur Konstruktion optimaler Testverfahren ist das NeymanPearson-Lemma f¨ ur einfache Testprobleme. Mit Hilfe des Begriffs des monotonen Dichtequotienten erlaubt es die Konstruktion gleichm¨aßig bester Tests f¨ ur einige wichtige zusammengesetzte Testprobleme. Wir betrachten zun¨ achst einfache Testprobleme. Sei f¨ ur i = 1, 2 Θi = {ϑi }, Pi = Pϑi = fi μ und L := ff10 der Dichtequotient, wobei a0 := ∞ f¨ ur alle 0 a > 0 und 0 := 0. ϕ heißt Likelihood-Quotiententest (LQ-Test), wenn ϕ von der Form ⎧ ⎪ falls L(x) > k, ⎪ ⎨ 1, K L P0 + P1 ϕ(x) = γ(x), falls L(x) = k, ist. ⎪ ⎪ ⎩ 0, falls L(x) < k, k heißt kritischer Wert von ϕ, {L = k} ist der Randomisierungsbereich von ϕ. Sei ? 6 Φα = ϕ ∈ Φ; Eϑ (ϕ) ≤ α f¨ ur alle ϑ ∈ Θ0 = Φα (Θ0 ) die Menge aller Tests ϕ ∈ Φ zum Niveau α.

190

6 Testtheorie

Das grundlegende Neyman-Pearson-Lemma gibt eine explizite Konstruktion optimaler Tests f¨ ur einfache Testprobleme. Satz 6.2.1 (Neyman-Pearson-Lemma) Sei Θi = {ϑi } f¨ ur i = 1, 2 und 0 < α < 1. Dann gilt: a) Es existiert ein LQ-Test ϕ∗ mit γ(x) = γ ∈ [0, 1] und Eϑ0 ϕ∗ = α. b) Ist ϕ∗ LQ-Test mit Eϑ0 ϕ∗ = α, so ist ϕ∗ bester Test zum Niveau α. c) Ist ϕ ein bester Test zum Niveau α, so gilt: 1. ϕ ist ein LQ-Test. 2. Aus Eϑ0 ϕ < α folgt:

Eϑ1 ϕ = 1.

Beweis: a) Sei α ∈ (0, 1). Es ist f0 > 0 [P0 ], das heißt L = ff10 < ∞ [P0 ]. Sei F0 die Verteilungsfunktion von P0L . W¨ ahle den kritischen Wert   k ∗ := F0 −1 (1 − α) = inf y; F0 (y) ≥ 1 − α   = inf y; P0 (L > y) ≤ α als α-Fraktil von P0L . Dann ist P0 (L ≥ k ∗ ) ≥ α ≥ P0 (L > k ∗ ). Bei der Wahl von γ ∗ sind folgende F¨ alle zu unterscheiden: 1. Fall: P0 (L = k ∗ ) = 0. W¨ ahle γ ∗ := 0. α − P0 (L > k ∗ ) . ahle γ ∗ := 2. Fall: P0 (L = k ∗ ) > 0. W¨ P0 (L = k ∗ ) Mit ϕ∗ := ϕγ ∗ ,k∗ ist



Eϑ0 ϕ∗ = P0 L > k ∗ + γ ∗ P L = k ∗ = α.

Das ist auch f¨ ur α ∈ {0, 1} m¨ oglich. b) Sei ϕ∗ LQ-Test mit kritischem Wert k ∗ und Eϑ0 ϕ∗ = α. Dann gilt f¨ ur alle ϕ ∈ Φα : Eϑ1 ϕ∗ − Eϑ1 ϕ = (ϕ∗ − ϕ)f1 dμ = (ϕ∗ − ϕ)(f1 − k ∗ f0 ) dμ + k ∗ (ϕ∗ − ϕ)f0 dμ .     =:A ≥0

Zu zeigen ist:

A ≥ 0 [μ].

1. Fall: Ist ϕ∗ (x) > ϕ(x) ≥ 0, dann folgt: f1 (x) ≥ k ∗ f0 (x) [μ]. 2. Fall: Ist ϕ∗ (x) < ϕ(x) ≤ 1, dann folgt: f1 (x) ≤ k ∗ f0 (x) [μ]. In beiden F¨ allen gilt also A ≥ 0 und damit Eϑ1 ϕ∗ ≥ Eϑ1 ϕ.

6.2 Konstruktion optimaler Tests (Neyman-Pearson-Theorie)

191

c) Sei ϕ bester Test zum Niveau α und sei ϕ∗ LQ-Test mit Eϑ0 ϕ∗ = α (Existenz nach Teil a). Nach Teil b) ist Eϑ1 ϕ∗ = Eϑ1 ϕ und nach dem Beweis von b) folgt:  1. k ∗ (ϕ∗ − ϕ)f0 dμ = 0 2. (ϕ∗ − ϕ)(f1 − k ∗ f0 ) = 0 [μ] Aus 2. folgt {ϕ∗ = ϕ} ⊂ {f1 = k ∗ f0 } [μ], also ist ϕ LQ-Test. Ist Eϑ ϕ < α, so folgt mit 1. k ∗ = 0. Das ergibt ϕ∗ (x) = 1, falls f1 (x) > 0. Daraus folgt, da ϕ bester Test ist, Eϑ1 ϕ∗ = 1 = Eϑ1 ϕ. 2 F¨ ur ein zusammengesetztes Testproblem (Θ0 , Θ1 ) sei (P0 , P1 ) die zugeh¨orige dP Zerlegung von P, P = P0 + P1 , und sei P 0, dann gilt f¨ ur ϑ ≤ ϑ , Q1 (ϑ ) ≥ Q1 (ϑ) und   fϑ (x) C(ϑ ) = exp (Q1 (ϑ ) − Q1 (ϑ)) T1 (x) . fϑ (x) C(ϑ) P hat einen monotonen Dichtequotienten in T1 . Es hat einen streng monotonen Dichtequotienten, wenn Q1 streng monoton ist. b) Ist P = {U (0, ϑ); ϑ > 0} die Menge der Gleichverteilungen auf (0, ϑ), dann gilt: fϑ (x) ϑ = 1[0,ϑ] (x) + ∞ 1(ϑ,∞) (x) [Pϑ + Pϑ ]. Lϑ,ϑ = fϑ (x) ϑ P hat also einen monotonen Dichtequotient in T = idR . Analog hat P (n) = {P (n) ; P ∈ P} einen monotonen Dichtequotienten in T (x) = max xi . 1≤i≤n

c) Sei P die von P0 ∈ M 1 (R1 , B1 ) erzeugte Lokationsfamilie P = {εϑ ∗P0 ; ϑ ∈ R1 } und f0 = dP\01 , dann gilt: dλ P hat einen monotonen Dichtequotienten in T = idR1 ⇔ ln f0 ist konkav. d) P hat einen monotonen Dichtequotienten in T ⇔ P T hat monotonen Dichtequotienten in idR .

192

6 Testtheorie

Verteilungsklassen mit monotonem Dichtequotienten haben die folgende stochastische Monotonieeigenschaft. Proposition 6.2.4 (stochastische Monotonie) P habe monotonen Dichtequotienten in T und sei f : (R1 , B1 ) → (R1 , B1 ) isoton und f ◦ T ∈ L1 (P). Dann gilt: a) Die Abbildung h : Θ → R1 , h(ϑ) = Eϑ f ◦ T ist isoton. b) Ist f streng isoton und hat P einen streng monotonen Dichtequotienten, dann ist h streng isoton. ¨ Beweis: Nach Ubergang von P zu P T hat o.E. P monotonen DQ in T = idR . Sei s(x, y) := f (y) − f (x); dann ist s antisymmetrisch, s(y, x) = −s(x, y) und f¨ ur ϑ ≤ ϑ gilt: Eϑ f − Eϑ f = s(x, y)fϑ (x)fϑ (y)μ(dx) μ(dy) s(x, y)fϑ (x)fϑ (y)μ(dx) μ(dy) + s(x, y)fϑ (x)fϑ (y)μ(dx) μ(dy) = {y>x}

{yx}

s(x, y)(fϑ (x)fϑ (y) − fϑ (y)fϑ (x))μ ⊗ μ(dx, dy).   ≥0

Wegen der Annahme des monotonen DQ von P ist fϑ (x)fϑ (y) − fϑ (y)fϑ (x) ≥ 0. Daraus folgt, dass Eϑ f − Eϑ f ≥ 0. 2 Bemerkung 6.2.5 Proposition 6.2.4 besagt, dass ein monotoner DQ von P in T impliziert, dass die Verteilungsklasse P T stochastisch in ϑ ∈ Θ geordnet ist. Die Umkehrung dieser Aussage gilt i.A. nicht. Die folgende Aussage zur Konstruktion gleichm¨aßig bester Tests ist grundlegend. Einseitige Testprobleme mit monotonen Dichtequotienten erlauben die Konstruktion gleichm¨ aßig bester Tests. Satz 6.2.6 (Konstruktion gleichm¨ aßig bester Tests) Sei Θ eine total geordnete und identifizierbare Parametrisierung (d.h. ϑ → Pϑ ist injektiv). Ferner habe P einen monotonen DQ in T und seien α ∈ [0, 1] und f¨ ur ϑ0 ∈ Θ, Θ0 := {ϑ ∈ Θ; ϑ ≤ ϑ0 }, Θ1 := {ϑ ∈ Θ; ϑ > ϑ0 } = Ø. Dann gilt:

6.2 Konstruktion optimaler Tests (Neyman-Pearson-Theorie)

193

a) Es existiert ein gleichm¨aßig bester Test ϕ  zum Niveau α f¨ ur (Θ0 , Θ1 ) von der Form ⎧ ⎪ ⎪ ⎨ 1, ϕ(x)  := ϕc,γ (x) := γ, ⎪ ⎪ ⎩ 0,

> T (x) = c

mit c ∈ R, γ ∈ [0, 1]

(6.1)


ϑ0 } = Ø und α := Eϑ0 ϕ∗ . Dann ist ϕ∗ gleichm¨aßig bester Test zum Niveau α f¨ ur (Θ 0 , Θ 1 ).  = min{Eϑ ϕ; ϕ ∈ Φ, Eϑ0 ϕ ≥ α}. d) Sei ϑ < ϑ0 ; dann gilt: Eϑ ϕ ϕ  minimiert also auch den Fehler erster Art. Beweis: a) Sei ϑ1 ∈ Θ1 , also ϑ0 < ϑ1 , und sei k := fϑ0 ,ϑ1 (c). Dann ist ϕ  ({ϑ0 }, {ϑ1 }) mit kritischem Wert k, denn ⎧ f (x) ⎪ ⎪ T (x) > c ⇒ fϑ0 ,ϑ1 (T (x)) = fϑ1 (x) ≥ fϑ0 ,ϑ1 (c) = k, ⎪ ⎪ ϑ0 ⎨ T (x) = c ⇒ fϑ1 (x) = kfϑ0 (x), ⎪ ⎪ ⎪ ⎪ ⎩ T (x) < c ⇒ f (x) ≤ kf (x). ϑ1 ϑ0 Damit folgt umgekehrt: ⎧ ⎪ ⎨ fϑ (x) > kfϑ (x) ⇒ 1 0

T (x) > c ⇒ ϕ(x)  = 1,

⎪ ⎩ fϑ1 (x) < kfϑ0 (x)

T (x) < c ⇒ ϕ(x)  = 0.

⇒

LQ-Test f¨ ur

Also ist ϕ  ein LQ-Test.  ist Nach dem NP-Lemma ist ϕ  bester Test zum Niveau α f¨ ur ({ϑ0 }, {ϑ1 }). ϕ aber unabh¨ angig von ϑ1 ∈ Θ1 konstruiert und ist daher gleichm¨aßig bester Test zum Niveau α f¨ ur ({ϑ0 }, Θ1 ). Da ϕ  = f ◦ T mit f (y) := 1(c,∞) (y) + γ1{c} (y) und da f isoton ist, folgt nach Proposition 6.2.4, dass die G¨ utefunktion ϑ → Eϑ ϕ  isoton ist.  ≤ Eϑ0 ϕ  = α d.h. ϕ  ∈ Φα (Θ0 ). Insbesondere gilt f¨ ur ϑ ∈ Θ0 : Eϑ ϕ Daher ist ϕ  gleichm¨ aßig bester Test zum Niveau α f¨ ur (Θ0 , Θ1 ). Denn f¨ ur jeden Test ψ ∈ Φα (Θ0 ) und ϑ1 ∈ Θ1 gilt: ψ ∈ Φα ({ϑ0 }) also Eϑ1 ψ ≤ Eϑ1 ϕ. 

194

6 Testtheorie

b), c) Sei ϑ 0 < ϑ 1 , ϕ∗ := ϕ c ,γ  und α := Eϑ0 ϕ∗ ∈ (0, 1). Dann gilt wie im ∗ ur ({ϑ 0 }{ϑ 1 }). Wegen der identifizierbaren Beweis zu Teil a): ϕ ist LQ-Test f¨ Parametrisierung folgt: Eϑ0 ϕ∗ < Eϑ1 ϕ∗ . Denn angenommen Eϑ1 ϕ∗ = Eϑ0 ϕ∗ = α . Dann folgt: ϕα (x) ≡ α ist bester Test zum Niveau α f¨ ur ({ϑ 0 }{ϑ 1 }). Daher ist ϕα ein LQ-Test. Damit existiert ein kritischer Wert k so dass fϑ1 (x) = k fϑ0 (x),

∀ x.

Also ist k = 1 im Widerspruch zur Identifizierbarkeit. Daher ist die G¨ ute Wie in a) ist dann ϕ∗ gleichm¨aßig bester funktion βϕ∗ strikt isoton auf Θ. Test zum Niveau α f¨ ur (Θ 0 , Θ 1 ). d) Sei ϑ < ϑ0 , dann gilt fϑ0 (x) = fϑ,ϑ0 (T (x)) [Pϑ0 + Pϑ ] mit fϑ,ϑ0 ↑ . fϑ (x) Daraus folgt fϑ (x) 1 = = hϑ0 ,ϑ (T (x)) [Pϑ0 + Pϑ ] mit hϑ0 ,ϑ ↓ . fϑ0 (x) fϑ,ϑ0 (T (x)) Es ergibt sich wie im Beispiel zu a), dass der Test ψ := 1 − ϕ(x)  definiert durch ⎧ ⎪ ⎪ 1, < ⎨  ψ(x) = 1 − ϕ(x)  := 1 − γ, T (x) = c, ⎪ ⎪ ⎩ 0, <  f¨ ur ({ϑ0 }, {ϑ}) ist. ein LQ-Test zum Niveau 1 − α = Eϑ0 (1 − ϕ)   gleichm¨aßig ψ = 1−ϕ  ist unabh¨ angig von ϑ ∈ Θ0 \{ϑ0 } definiert. Also ist 1−ϕ bester Test zum Niveau 1 − α f¨ ur ({ϑ0 }, {ϑ ∈ Θ; ϑ < ϑ0 }). Daraus folgt: ∀ψ ∈ Φ mit Eϑ0 ψ ≤ 1 − α gilt Eϑ ψ ≤ Eϑ (1 − ϕ)  , ∀ ϑ < ϑ0 .    =ψ

Mit ϕ = 1 − ψ folgt: ∀ ϕ ∈ Φ mit Eϑ0 ϕ ≥ α gilt: Eϑ ϕ  ≤ Eϑ ϕ, Dieses impliziert die Behauptung.

∀ ϑ < ϑ0 .

6.2 Konstruktion optimaler Tests (Neyman-Pearson-Theorie)

195

Bemerkung 6.2.7 Es gilt eine teilweise Umkehrung von Satz 6.2.6. Unter der Annahme paarweiser ¨aquivalenter Maße Pϑ impliziert die Existenz eines gleichm¨aßig besten Tests zu jedem Niveau α ∈ (0, 1) die Existenz eines monotonen Dichtequotienten (Pfanzagl, 1962) bzgl. einer geeigneten Anordnung des Parameterraumes. Beispiel 6.2.8 a) Einstichproben Gaußtest Sei Θ = R1 , Pϑ = ⊗ni=1 N (ϑ, 1), Θ0 = (−∞, ϑ0 ], Θ1 = (ϑ0 , ∞). Dann ist der Einstichproben Gaußtest ⎧ ⎪ ⎨1 ≥ uα ∗ x ∈ Rn ϕ (x) := xn ϑ0 + √ , ⎪ n ⎩0 < gleichm¨ aßig bester Test zum Niveau α f¨ ur (Θ0 , Θ1 ). uα = Φ−1 (1 − α) ist das αFraktil von N (0, 1). 



1 Beweis: Pϑ = fϑ λ\n mit fϑ (x) = (√2π) eϑ xi − 2 ϑ e− 2 xi , hat einen monon ∗ tonen DQ in T (x) = xn und Eϑ0 ϕ = α. Die Behauptung folgt daher nach Satz 6.2.6. 2 n

2

1

2

b) χ2 -Test

n Sei Θ = R+ , Pϑ = i=1 N (μ0 , σ 2 ), ϑ = σ ∈ Θ und Θ0 := [0, σ0 ], Θ1 := (σ0 , ∞). Dann hat die Verteilungsklasse P einen monotonen Dichtequotienten in Tn (x) = n xi −μ0 2 ur σ 2 = σ02 gilt PσT0n = χ2n ist die χ2 -Verteilung mit n Freiheitsi=1 ( σ0 ) . F¨ graden und damit Pσ0 (Tn ≥ χ2n,α ) = α. Nach Satz 6.2.6 ist daher der χ2 -Test ⎧ ⎨1, ≥ ϕ∗ (x) = Tn (x) χ2n,α ⎩0, < gleichm¨ aßig bester Test zum Niveau α f¨ ur das Testproblem (Θ0 , Θ1 ).

c) Optimale Testverfahren in Normalverteilungsmodellen In den folgenden Tabellen werden ‘optimale’ Testverfahren f¨ ur einige Standardtestprobleme in Normalverteilungsmodellen zusammengestellt.

196

6 Testtheorie

c1) Einstichprobenprobleme: X = Rn , ϑ = (μ, σ 2 ), Pϑ = N (μ, σ 2 )(n) , x =

1 n

n 

xj , σ 2 =

j=1

Test

Hypothesen

1)

Gauß-Test zur Pr¨ ufung eines Mittelwerts

Θ0 : μ ≤ μ0 , Θ1 : μ > μ0 ; σ 2 = σ02 > 0 bekannt

2)

t-Test zur Pr¨ ufung eines Mittelwerts

Θ0 : μ ≤ μ0 , Θ1 : μ > μ0 ; σ 2 > 0 bekannt

2

2

1 n−1

n 

(xi − x)2

j=1

Teststatistik T (x)

σ02 ,

2

√

√

3)

χ -Test zur Pr¨ ufung einer Varianz

Θ0 : σ ≤ Θ1 : σ > μ = μ0 bekannt

4)

χ2 -Test zur Pr¨ ufung einer Varianz

Θ0 : σ 2 ≤ σ02 , Θ1 : σ 2 > σ02 ; μ ∈ R unbekannt

n

x − μ0 σ0

uα

n

x − μ0 σ  (x)

tn−1;α



σ02 ;

kritische Werte

(xj − μ0 )2 σ02

χ2n;α

(xj − x)2 σ02

χ2n−1;α



c2) Zweistichprobenprobleme: X = Rn1 × Rn2 , x = (x1,1 , . . . , x1,n1 , x2,1 , . . . , x2,n2 , ), ϑ = (μ, ν, σ 2 , τ 2 ), Pϑ = n1 n2    N (μ, σ 2 )(n1 ) ⊗ N (ν, τ 2 )(n2 ) , x1· = n11 x1,j , x2· = n12 x2,j , σ 2 = (xij − j=1

xi· )2 /(n1 + n2 − 2) Test

j=1

Hypothesen

Teststatistik T (x) 

5) Gauß-Test zum Vergleich zweier Mittelwerte

Θ0 : μ ≤ ν, Θ1 : μ > ν; σ 2 = τ 2 = σ02 > 0 bekannt

6) t-Test zum Vergleich zweier Mittelwerte

Θ0 : μ ≤ ν, Θ1 : μ > ν; σ 2 = τ 2 > 0 unbekannt

7) F -Test zum Vergleich zweier Varianzen



2

2

2

2

2

2

2

2

Θ0 : σ ≤ τ , Θ1 : σ > τ ; μ = μ0 , ν = ν0 bekannt

8) F -Test zum Vergleich zweier Varianzen

Θ0 : σ ≤ τ , Θ1 : σ > τ ; μ ∈ R, ν ∈ R unbekannt

9) Behrens-FisherProblem

Θ0 : μ ≤ ν, Θ1 : μ > ν; σ 2 , τ 2 > 0 unbekannt

kritische Werte

n1 n2 x1· − x2· n1 + n2 σ0

uα

n1 n2 x1· − x2· n1 + n2 σ 0

tn1 +n2 −2;α

1 n1 1 n2



(x1j − μ0 )2  (x2j − ν0 )2

1 n1 −1 1 n2 −1

Fn1 ,n2 ;α



(x1j − x1· )2



(x2j − x2· )2

x1· − x2·  2 s1 s2 + n22 n1

Fn1 −1,n2 −1;α

∼ uα n1 , n2 ≥ 30

6.3 Zusammengesetzte Hypothesen

197

In den vorhergehenden Listen von Ein- und Zweistichprobenproblemen im Normalverteilungsmodell ergibt sich die Optimalit¨at der Tests in 1), 3), 5) und 7) aus Satz 6.2.6 u ¨ber monotonen Dichtequotienten. Die Optimalit¨at des χ2 -Tests in 4) wird mit der folgenden Mischungsmethode behandelt. Die t-Tests in 2) und 6) erweisen sich als gleichm¨ aßig beste unverf¨ alschte Tests. Sie ben¨otigen die Methode bedingter Tests in Kapitel 6.4. Die Optimalit¨at des F -Tests in 8) basiert auf der Reduktion durch Invarianz (vgl. Kapitel 8.4). Die Existenz eines gleichm¨aßig besten Tests in 9) ist ein offenes Problem.

6.3

Zusammengesetzte Hypothesen

Die Mischungsmethode verfolgt die Idee, die Hypothese und die Alternative durch Mischungen auf einfache Hypothesen zu reduzieren, die dann dem Neyman-PearsonLemma zug¨ anglich sind. Geeignete Mischungsverteilungen machen das reduzierte Testproblem so schwer wie m¨ oglich (ung¨ unstigste a-priori-Verteilungen). Im Fall endlicher Hypothesen und einfacher Alternative l¨asst sich diese Methode explizit handhaben (verallgemeinertes Neyman-Pearson-Lemma). Sie f¨ uhrt zu der Konstruktion einer Reihe f¨ ur die Praxis wichtiger Tests in Exponentialfamilien. Eine wichtige duale Darstellung des Maximin-Risikos von Baumann (1968) erm¨oglicht die einheitliche Konstruktion ung¨ unstigster Paare f¨ ur eine Reihe von Testproblemen. Wir geben eine detaillierte Anwendung auf Fortsetzungsmodelle. Diese enthalten eine Reihe von relevanten Beispielklassen. F¨ ur zusammengesetzte Testprobleme Θ = Θ0 + Θ1 resp. P = P0 + P1 gilt allgemein das folgende Reduktionsprinzip. Wir ben¨otigen hier nur die Suffizienz im Unterschied zur starken Suffizienz in Satz 4.1.24. Satz 6.3.1 (Reduktion durch Suffizienz) Sei T : (X, A) → (Y, B) suffizient f¨ ur P. Dann sind die Testprobleme (P0 , P1 ) und (P0T , P1T ) ¨aquivalent d.h. {βϕ ; ϕ ∈ Φ(P0 , P1 )} = {βψ ; ψ ∈ Φ(P0T , P1T )}. Beweis: Zu ϕ ∈ Φ(P0 , P1 ) definiere den Test ψ als faktorisierte bedingte Erwartung von ϕ ψ := E· (ϕ | T = ·). Wegen der Suffizienz von T ist ψ P f.s. eindeutig definiert und ψ ∈ Φ(P0T , P1T ). Es gilt βψ (ϑ) = Eϑ ψ ◦ T = Eϑ ϕ = βϕ (ϑ), ϑ ∈ Θ. ψ und ϕ haben dieselbe G¨ utefunktion. Die Umkehrung ist trivial.

2

198

6 Testtheorie

Als Folgerung ergibt sich: Korollar 6.3.2 Ist T suffizient f¨ ur P und ψ ‘bester’ Test f¨ ur (P0T , P1T ), dann ist ϕ := ψ ◦ T ‘bester’ Test f¨ ur (P0 , P1 ).

Zur Einf¨ uhrung der Mischungsmethode betrachten wir zun¨achst den Fall, dass Θ1 = {ϑ1 } einelementig ist, Θ0 beliebig. Sei α ∈ [0, 1], Pϑ = fϑ μ, ϑ ∈ Θ und sei Θ × X → R+ , (ϑ, x) → fϑ (x) produktmessbar.  0 := M 1 (Θ0 , AΘ0 ) auf Θ0 betrachten wir das Zu einer a-priori-Verteilung λ ∈ Θ einfache Testproblem ({Pλ }, {Pϑ1 }) wobei Pϑ dλ(ϑ) Pλ := Θ0

 die λ-Mischung u ¨ ber Θ0 ist. Es gilt Pλ = hλ μ mit hλ (x) = Θ0 fϑ (x) dλ(ϑ). ur ({Pλ }, {Pϑ1 }) und βλ := βλ,α (ϑ1 ) = Sei ϕλ := ϕλ,α bester Test zum Niveau α f¨ Eϑ1 ϕλ die G¨ ute von ϕλ . Von besonderer Bedeutung sind ung¨ unstigste a-priori-Verteilungen die die Mischung Pλ m¨ oglichst ¨ ahnlich zu Pϑ1 machen. Definition 6.3.3  0 heißt ung¨ λ∈Θ unstigste a-priori-Verteilung zum Niveau α,   wenn ∀λ ∈ Θ0 gilt: βλ,α ≤ βλ,α  . ur Mischungen Die folgende Mischungsmethode besagt, dass die Tests ϕλ f¨ bzgl. einer ung¨ unstigsten a-priori-Verteilung gute Kandidaten f¨ ur beste Tests zum Niveau α sind. Satz 6.3.4 (Mischungsmethode)  0 so dass ϕ ∈ Φα (Θ0 ). Dann gilt: Sei λ ∈ Θ λ ur (Θ0 , {ϑ1 }) a) ϕλ ist bester Test zum Niveau α f¨ b) λ ist ung¨ unstigste a-priori-Verteilung zum Niveau α. Beweis: a) Sei ϕ ∈ Φα (Θ0 ), dann folgt nach dem Satz von Fubini:

ϕ dPλ =

ϕ hλ dμ =



 ϕ(x)fϑ (x) dμ(x) dλ(ϑ) ≤ α,

Θ0

da Eϑ ϕ ≤ α f¨ ur ϑ ∈ Θ0 . Also ist ϕ ∈ Φα ({Pλ }) und daher folgt Eϑ1 ϕ ≤ Eϑ1 ϕλ .

6.3 Zusammengesetzte Hypothesen

199

∈Θ  0 eine a-priori-Verteilung, dann folgt: b) Sei λ    ϕλ dPλ = ϕλ (x)fϑ (x) dμ(x) dλ(ϑ) ≤ α, Θ0   ≤α

d.h. ϕλ ∈ Φα ({Pλ }). Daraus folgt aber, dass βλ = Eϑ1 ϕλ ≤ Eϑ1 ϕλ = βλ . 2

Also ist λ eine ung¨ unstigste a-priori-Verteilung.

Bemerkung 6.3.5 a) Die Mischungsmethode stellt einen Zusammenhang von besten Tests zum Niveau α zu Bayes-Tests her. Am einfachsten ist die Mischungsmethode anwendbar, wenn ein Punktmaß eine ung¨ unstigste a-priori-Verteilung ist (vgl. S¨atze 6.2.6 und 6.3.18 und Kapitel 9.1). Die ung¨ unstigste a-priori Verteilung λ l¨asst sich auch durch die Eigenschaft beschreiben, dass bzgl. geeigneter Metriken d gilt: ∈Θ  0. d(Pλ , Pϑ1 ) ≤ d(Pλ , Pϑ1 ), ∀λ b) Ist ϕλ ∈ Φα (Θ0 ) und Eλ ϕλ = α, dann gilt ⎧ ⎪ ⎨ 1, > fϑ1 (x) fϑ (x) dλ(ϑ) [μ]. ϕλ (x) = k ⎪ Θ0 ⎩ 0, < Aus

α=

ϕλ dPλ = Θ0







ϕλ (x)fϑ (x) dμ(x)  

dλ(ϑ)

≤α

ϕλ (x)fϑ (x) dμ(x) = α [λ],

folgt:

d.h. auf dem Tr¨ager von λ ist der Test ϕλ “α-¨ahnlich”. Beispiel 6.3.6 (χ2 -Test) Sei Θ = R × R+ , ϑ = (a, σ 2 ), Pϑ = N (a, σ 2 )(n) . Wir betrachten das Testproblem (Θ0 , Θ1 ) mit: Θ0 = {(a, σ 2 ); σ 2 ≤ σ02 } =: {σ 2 ≤ σ02 }, Θ1 = {σ 2 > σ02 }. Der Mittelwert a ist ein sogenannter “nuisance Parameter”. Testprobleme dieser Art treten z.B. auf, wenn die Pr¨azision eines technischen Ger¨ates (z.B. einer optischen Linse) bestimmt werden soll. n  2 T Sei T (x) := (xi − xn ) , dann gilt: P(a,1) = χ2n−1 , die zentrale χ2n−1 i=1

Verteilung mit der Dichte fn−1 (x) =

2

n−1 2

n−1 x 1 n−1 x 2 −1 e− 2 , Γ 2

x ≥ 0.

200

6 Testtheorie

Behauptung: Der Test ϕ∗ (x) :=

⎧ ⎪ ⎨ 1,

n 

⎪ ⎩ 0,

i=1

(xi − xn )2

≥

σ0 χ2n−1,α


σ02 . Wir betrachten die a-prioriVerteilung   σ 2 − σ02 0 ⊗ εσ02 ∈ Θ λ := N a1 , 1 n Der Tr¨ ager von λ ist S(λ) = R1 × {σ02 }. Mit Hilfe der Faltungsformel       σ2 − σ02 σ2 σ2 = N 0, 1 N 0, 0 ∗ N 0, 1 n n n erh¨ alt man die Faktorisierungen fλ (x) = fϑ (x) dλ(ϑ) √  − 12 − n2 (xn −a)2 (xi −xn )2 1 n 1 2σ 0 √ = √ √ e e 2σ1 ,

n−1 n 2 π σ1 2 π σ0  n−1 √  (xi −xn )2 − 12 − n 2 (xn −a1 )2 n 1 1 2 σ1 2 σ1 √ + e e . fa1 ,σ12 (x) = √ n 2 π σ1 2 π σ12 Daher ergibt sich f¨ ur den Dichtequotienten die Darstellung 0 n 1  fa1 ,σ12 (x) 2 =g (xi − xn ) fλ (x) i=1 mit einer stetigen, streng monoton wachsenden Funktion g. 2) Analog zum Beweis von Satz 6.2.6 folgt, dass ϕ∗ bester Test zum Niveau α ist f¨ ur ({Pλ }, {Pϑ1 }). Denn ϕ∗ ist LQ-Test und ϕ∗ dPλ = α. ur (a, σ 2 ) ∈ Θ0 – also σ 2 ≤ σ02 – 3) ϕ∗ ∈ Φα (Θ0 ). Denn es gilt f¨ 0 n 1  2 ∗ 2 2 Ea,σ2 ϕ = Pa,σ2 (xi − xn ) ≥ σ0 χn−1,α i=1

0 n   xi − xn 2

σ2 = Pa,σ2 ≥ 02 χ2n−1,α σ σ i=1 0 n  1  xi − xn 2 2 ≤ Pa,σ2 ≥ χn−1,α , σ i=1 = α.

1

da

σ02 ≥1 σ2

6.3 Zusammengesetzte Hypothesen

201

Also ist ϕ∗ ∈ Φα (Θ0 ) und

Also gilt



Eϑ ϕ∗ = α ⇐⇒ σ 2 = σ02 . ur ({Pλ }, {Pϑ1 }). ϕ∗ dPλ = α. Nach dem NP-Lemma ist ϕ∗ bester Test f¨

ur Nach der Mischungsmethode in Satz 6.3.4 ist ϕ∗ gleichm¨aßig bester Test f¨ (Θ0 , {ϑ1 }). Da ϕ∗ unabh¨ angig von ϑ1 definiert ist, folgt die Behauptung. 2 Im Fall, dass Θ0 = {ϑ1 , . . . , ϑm } endlich ist, ist eine verallgemeinerte Form der Mischungsmethode auch notwendig f¨ ur die Konstruktion optimaler Tests. Sei Θ1 = {ϑm+1 }, fk :=

dPϑ k dμ

, 1 ≤ k ≤ m + 1 und f¨ ur α = (α1 , . . . , αm ) ∈ Rm sei

Φ[α] := {ϕ ∈ Φ; Eϑi ϕ = αi , 1 ≤ i ≤ m} und Φ(α) := {ϕ ∈ Φ; Eϑi ϕ ≤ αi , 1 ≤ i ≤ m}. Definition 6.3.7 ϕ ∈ Φ heißt (verallgemeinerter) LQ-Test ⇐⇒ ∃ c1 , . . . , cm ∈ R, γ ∈ Φ, so dass ⎧ ⎪ ⎪ 1, ⎪ ⎪ ⎨ ϕ(x) = γ(x), fm+1 (x) ⎪ ⎪ ⎪ ⎪ ⎩ 0,

f¨ ur (Θ0 , Θ1 )

>

m 

=

ck fk (x) [μ] .

k=1




m 

fm+1 (x) =

ck fk (x) [μ],

k=1


0.

6.3 Zusammengesetzte Hypothesen

203

4) Sei nun ϕ∗ ∈ Φ[α] ein nach a.) existierender optimaler Test in Φ[α] mit ci Eϑm+1 ϕ∗ = β ∗ und definiere ci := − cm+1 , 1 ≤ i ≤ m. Dann folgt aus (6.2) Eϑm+1 ϕ −

m 

ci Eϑi ϕ ≤ β ∗ −

i=1

m 

ci αi ,

∀ϕ ∈ Φ.

i=1

Daraus ergibt sich f¨ ur alle ϕ ∈ Φ:

m m       ci fi dμ ≤ ϕ∗ fm+1 − ci fi dμ. ϕ fm+1 − i=1

k=1

Hieraus folgt aber: ∗

ϕ =

⎧ ⎪ ⎨ 1, ⎪ ⎩ 0,

fm+1

m > 


m

i=1 ci gi (x)


0, ci f i falls ϕ1 (x) = ⎪ ⎩ α0 , i=1 ≤ 0. Nach Definition von ϕ1 ist dann

m   ci fi ≤ 0 μ-f.s. (α0 − ϕ1 ) i=1

Damit erh¨ alt man aus obiger Ungleichung m   (α0 − ϕ) ci fi dμ = 0. m

i=1

≤ 0 μ-f.s.  m W¨ ahle nun ϕ2 ≡ 0. Dann ist α0 ( i=1 ci fi ) dμ ≥ 0. m Hieraus folgt: i=1 ci fi = 0 [μ]. Also sind Pϑ1 , . . . , Pϑm linear unabh¨angig. 2 Folglich ergibt sich

i=1 ci fi

6.3 Zusammengesetzte Hypothesen

205

Beispiel 6.3.11 (Zweiseitige Hypothesen in einparametrischen Exponentialfamilien) Sei (Θ, ≤) total geordnet, Pϑ = fϑ μ mit fϑ (x) = C(ϑ) exp(Q(ϑ)T (x)), Q strikt isoton und T : (X, A) → (R1 , B1 ), d.h. P ist eine einparametrische Exponentialfamilie. Seien 0 < α < 1 und der Tr¨ager des Bildmaßes μ habe mehr als 2 Punkte, |S(μ )| > 2. Dann ist P identifizierbar. Wir betrachten beispielhaft das zweiseitige Testproblem ‘außen’ gegen ‘innen’ (vgl. Abbildung 6.1): Θ0 := {ϑ ∈ Θ; ϑ ≤ ϑ1 } ∪ {ϑ ∈ Θ; ϑ ≥ ϑ2 } Θ1 := (ϑ1 , ϑ2 ) = Ø wobei ϑ1 , ϑ2 ∈ Θ, ϑ1 < ϑ2 .

Θ0

ϑ1

ϑ2

Θ1

Θ0

Abbildung 6.1 Toleranzbereich (ϑ1 , ϑ2 ) einer Maschine

Satz 6.3.12 a) Es existiert ein gleichm¨aßig bester Test zum Niveau α ∈ (0, 1) f¨ ur (Θ0 , Θ1 ) von der Form ⎧ ⎪ ⎪ ⎪ 1, c1 < T (x) < c2 , ⎪ ⎨ ϕ∗ (x) = γi , T (x) = ci , i = 1, 2, ⎪ ⎪ ⎪ ⎪ ⎩ 0, T (x) < c1 oder T (x) > c2 , mit c1 ≤ c2 endlich und γi so, dass Eϑi ϕ∗ = α, i = 1, 2. b) ∀ϕ ∈ Φα mit Eϑi ϕ = α, i = 1, 2 gilt Eϑ ϕ∗ ≤ Eϑ ϕ,

∀ϑ ∈ Θ0 ,

d.h. ϕ∗ minimiert auch den Fehler erster Art. Beweis: Sei ϑ ∈ Θ1 , d.h. ϑ1 < ϑ < ϑ2 . Wir betrachten das Hilfsproblem

(HP)

⎧ ⎪ ⎨ Eϑ ϕ = max, ⎪ ⎩ Eϑi ϕ = α, i = 1, 2.

Da |S(μ )| > 2 und Q streng isoton ist, folgt {Pϑ1 , Pϑ2 } sind linear unabh¨angig ◦ und daher ist nach Lemma 6.3.10 (α, α) ∈ Q2 .

206

6 Testtheorie

Nach Proposition 6.3.9 existiert eine L¨osung von (HP) von der Form ⎧ ⎪ ⎪ < ⎨ 1, ∗ ϕ (x) =  c f (x) +  c f (x) fϑ (x) 1 ϑ1 2 ϑ2 ⎪ ⎪ ⎩ 0, > ⎧ ⎪ ⎪ < ⎨ 1, b1 T (x) b2 T (x) = a e + a e 1 1 2 ⎪ ⎪ ⎩ 0, > 1) c1 C(ϑ mit b1 := Q(ϑ1 ) − Q(ϑ ) < 0, b2 := Q(ϑ2 ) − Q(ϑ ) > 0 und a1 :=  C(ϑ ) , 2) a2 :=  c2 C(ϑ C(ϑ ) .

Es gilt: a1 > 0, a2 > 0. Denn angenommen a1 ≤ 0, a2 ≤ 0, dann folgt ϕ ≡ 1, also α = 1 ein Widerspruch. Falls: a1 > 0, a2 ≤ 0 oder a1 ≤ 0, a2 > 0, dann ist der Dichtequotient a1 eb1 T (x) + a2 eb2 T (x) streng monoton in T (x) (einmal isoton, einmal antiton). Daraus folgt aber Eϑ1 ϕ < Eϑ2 ϕ oder Eϑ1 ϕ > Eϑ2 ϕ im Widerspruch zur Annahme Eϑi ϕ = α, i = 1, 2. Also gilt a1 > 0, a2 > 0. Die Funktion f (y) := a1 eb1 y + a2 eb2 y ist konvex und f (y) → ∞ f¨ ur y → ±∞. Also ist {y; f (y) < 1} ein Intervall (c1 , c2 ) und damit (vgl. Abbildung 6.2) a1 eb1 y

a1 eb1 y + a2 eb2 y

a2 eb2 y

c1

c2 Abbildung 6.2

ϕ∗ (x) =

⎧ ⎪ ⎨ 1, c1 < T (x) < c2 , ⎪ ⎩ 0, T (x) < c1 oder T (x) > c2 .

Weiter existieren γi , ci so dass mit ϕ∗ (x) = ci , wenn T (x) = ci gilt Eϑi ϕ∗ = α,

i = 1, 2.

ci , γi lassen sich aus dieser Bedingung umgekehrt auch ermitteln.

6.3 Zusammengesetzte Hypothesen

207

Der so konstruierte Test ϕ∗ ist unabh¨ angig von ϑ ∈ Θ1 ; also ist ϕ∗ gleichm¨ aßig bester Test f¨ ur ({ϑ1 , ϑ2 }, Θ1 ) in Φ[(α, α)]. Wegen a1 > 0, a2 > 0 sind auch c1 > 0,   c2 > 0 und daher ist ϕ∗ auch optimaler Test in Φ((α, α)) = Φα ({ϑ0 , ϑ1 }). Wir zeigen nun: ϕ∗ ∈ Φα (Θ0 ). Dazu betrachte f¨ ur ϑ < ϑ1 oder ϑ > ϑ2 das Testproblem ⎧ ⎪ ⎨ Eϑ ϕ = inf, (P) ⎪ ⎩ Eϑ1 ϕ = Eϑ2 ϕ = α. (P) hat als L¨ osung denselben Test ϕ∗ wie in Teil a). Daher ist ϕ∗ besser als der Test ϕα ≡ α, d.h. ϕ∗ ∈ Φα (Θ0 ) und ϕ∗ minimiert auch den Fehler zweiter Art. 2 Bemerkung 6.3.13 Testprobleme der Form (Θ0 = Θ \ {ϑ0 }, {ϑ0 }) mit einelementiger Alternative bei einparametrigen Exponentialfamilien sind nicht sinnvoll. Die Abbildung ϑ (→ Eϑ ϕ ist stetig. Ist ϕ∗ ∈ Φα (Θ0 ), d.h. Eϑ ϕ ≤ α f¨ ur alle ϑ = ϑ0 , dann folgt Eϑ0 ϕ ≤ α. Infolgedessen ist ϕ ≡ α gleichm¨aßig bester α-Niveau-Test. F¨ ur das Testproblem ‘innen’ gegen ‘außen’ ergibt sich entsprechend zu Satz 6.3.12 ein bester unverf¨alschter Test zum Niveau α (vgl. Kapitel 6.4). Ein gleichm¨aßig bester Test zum Niveau α existiert f¨ ur dieses Testproblem nicht. Wenn kein gleichm¨ aßig bester Test zum Niveau α existiert, dann kann man lokal optimale Tests betrachten. Wir behandeln exemplarisch das einseitige Testproblem in Dimension d = 1, Θ = R1 , Θ0 = (−∞, ϑ0 ], Θ1 = (ϑ0 , ∞). Wir treffen die folgende Differenzierbarkeits-Annahme: (D)

∀ϕ ∈ Φ ist βϕ (ϑ) = Eϑ ϕ in ϑ0 differenzierbar und ∂ / βϕ (ϑ0 ) = ϕ fϑ /ϑ dμ. 0 ∂ϑ

Definition 6.3.14 (Lokale Optimalit¨ at, d = 1) ϕ∗ ∈ Φα heißt lokal optimal in ϑ0 zum Niveau α, wenn 1.) Eϑ0 ϕ∗ = α 2.) ∀ϕ ∈ Φα mit Eϑ0 ϕ = α gilt:

βϕ ∗ (ϑ0 ) ≥ βϕ (ϑ0 )

Ein lokal optimaler Test maximiert die Steigung der G¨ utefunktion in ϑ0 . Er l¨ asst sich wie folgt konstruieren:

208

6 Testtheorie

Proposition 6.3.15 Es gelte die Differenzierbarkeits-Annahme (D). ⎧ ⎪ > ⎨1, / ∂ / Sei ϕ∗ (x) := γ, ln f (x) = k, ϑ ∂ϑ ϑ0 ⎪ ⎩ 0, < ∗ ∗ ein Test mit Eϑ0 ϕ = α und es sei ϕ ∈ Φα . Dann ist ϕ∗ lokal optimal in ϑ0 zum Niveau α. Beweis: Aus dem verallgemeinerten Neyman-Pearson-Lemma in Proposition 6.3.9 folgt: ⎧ ∂ / ⎪ ⎪ ϕ fϑ / dμ = sup, ⎨ ∂ϑ ϑ0 ϕ∗ ist L¨ osung von ⎪ ⎪ ⎩ ϕfϑ0 dμ = α, genau dann, wenn Eϑ0 ϕ∗ = α und ϕ∗ von der folgenden Form ist

ϕ∗ (x) =

⎧ ⎪ ⎨1, ⎪ ⎩

/

>

∂ / ∂ϑ fϑ (x) ϑ0

0,

kfϑ0 (x). < 2

Dieses impliziert die Behauptung.

Bemerkung 6.3.16 (zweiseitige Tests) F¨ ur zweiseitige Tests f¨ ur das Testproblem ({ϑ0 }, Θ \ {ϑ0 }) in Dimension d = 1 definiert man analog lokale Optimalit¨at durch ⎧ ⎪ ⎪βϕ (ϑ0 ) = sup, ⎨ βϕ (ϑ0 ) = α, ⎪ ⎪ ⎩β (ϑ ) = 0, ϕ

0

d.h. die Kr¨ ummung der G¨ utefunktion wird maximal in ϑ0 . Wieder l¨asst sich mit Proposition 6.3.9 die L¨osung ‘explizit’ angeben.

α Kr¨ ummung maximal in ϑ0 ϑ0

Θ1

In Dimension d ≥ 2 betrachtet man analog das Problem, die Gaußsche Kr¨ ummung der G¨ utefunktion in ϑ0 zu maximieren.

6.3 Zusammengesetzte Hypothesen

209

Gaußsche Kr¨ ummung = max!

ϑ0

F¨ ur eine Erweiterung der Mischungsmethode auf zusammengesetzte Hypothesen und Alternativen P0 , P1 ⊂ M 1 (X, A) betrachten wir das Maximin-Risiko zum Niveau α β(α, P0 , P1 ) = sup inf EQ ϕ. ϕ∈Φα (P0 ) Q∈P1

Folgende Erweiterung des Begriffes der ung¨ unstigsten a-priori-Verteilung (Definition 6.3.3) erweist sich als n¨ utzlich. Definition 6.3.17 (ung¨ unstigste Paare) Seien Pi ∈ M 1 (X, A), i = 0, 1. Dann heißt (P0 , P1 ) ung¨ unstigstes Paar f¨ ur das w∗

Testproblem (P0 , P1 ) zum Niveau α, wenn Pi ∈ co Pi , i = 0, 1 – die Pi liegen im schwach-∗-Abschluss der konvexen H¨ ulle von Pi – und es gilt β(α, P0 , P1 ) = β(α, P0 , P1 ). unstigsten Paare f¨ ur (P0 , P1 ) zum Niveau α. Sei LFα (P0 , P1 ) die Menge der ung¨ (P0 , P1 ) ist genau dann ein ung¨ unstigstes Paar in LFα (P0 , P1 ) zum Niveau α, wenn ein bester Test f¨ ur (P0 , P1 ) zum Niveau α existiert, der Maximin-Test f¨ ur (P0 , P1 ) ist. Ung¨ unstigste Paare entsprechen den Mischungen von ung¨ unstigsten a-prioriw∗ Verteilungen. Im Allgemeinen sind die Elemente von co Pi nur endlich additiv. Man k¨ onnte, wie der folgende Satz zeigt, in sinnvoller Weise auch allgemeiner ung¨ unstigste Paare von Inhalten zulassen. Die folgende duale Darstellung des Maximin-Risikos ist eine Erweiterung der entsprechenden Formel f¨ ur einfache oder endliche Hypothesen. Sie beruht auf einem allgemeinen Dualit¨ atssatz von Baumann (1968), den wir ohne Beweis angeben. Satz 6.3.18 (duale Darstellung des Maximin-Risikos, Baumann (1968)) Seien P0 , P1 dominierte Hypothesen und α ∈ [0, 1]. Dann hat das Maximin-Risiko zum Niveau α die folgende duale Darstellung:  w∗ w∗  . β(α, P0 , P1 ) = min αk + (Q − kP )+ (X); k ≥ 0, P ∈ co P0 , Q ∈ co P1 (Q − kP )+ (X) ist dabei der positive Teil der Jordan-Hahn-Zerlegung des signierten Maßes Q − kP .

210

6 Testtheorie

Bemerkung 6.3.19 a) Das Infimum der rechten Seite wird angenommen, im Allgemeinen aber f¨ ur zwei endlich additive Maße (P0 , Q0 ). Definieren wir βα (P0 , Q0 ) = inf{αk + (Q0 − kP0 )+ (X); k ≥ 0} als Sch¨arfe des besten Tests f¨ ur die endlich additiven Maße P0 , Q0 , so sieht man an Satz 6.3.18, dass (P0 , Q0 ) ung¨ unstigste endlich additive Maße zum Niveau α sind. Sind P0 , Q0 ∈ M 1 (X, A), dann sind P0 , Q0 ung¨ unstigste Paare zum Niveau α, (P0 , Q0 ) ∈ LFα (P0 , Q0 ), d.h. β(α, P0 , P1 ) = β(α, P0 , Q0 ). Eine interessante Frage ist daher, unter welchen Bedingungen ung¨ unstigste Paare P0 , Q0 im Raum der Maße existieren. b) (ung¨ unstigste Paare – minimale Distanzen) Wir definieren die folgende (nicht symmetrische) Distanz dk auf dem Raum der signierten endliche additiven Maße ba(X, A) durch dk (P, Q) := Q − kP  = sup{Q(A) − kP (A) − (Q(B) − kP (B)); A, B ∈ A}, dann gilt

1 1−k + dk (P, Q). 2 2 Wir erhalten also die folgende ‘metrische‘ Form von Satz 6.3.18: (Q − kP )+ (X) =

? 6 1−k 1 w∗ w∗ + dk (P, Q); k ≥ 0, P ∈ co P0 , Q ∈ co P1 . β(α, P0 , P1 ) = min αk+ 2 2 (6.3) Man sieht, dass ung¨ unstigste Paare (P0 , Q0 ) ∈ LFα (P0 , P1 ) – sofern sie existieren – die Distanz dk0 (P, Q) auf P0 × P1 minimieren, wobei k0 eine Minimumstelle der rechten Seite von (6.3) ist. Wir beschreiben im Folgenden eine Anwendung der allgemeinen Mischungsmethode in Satz 6.3.18 auf Fortsetzungsmodelle. Definition 6.3.20 (Fortsetzungsmodelle) Sei A0 ⊂ A eine Unter-σ-Algebra von A. F¨ ur P ∈ M 1 (X, A0 ) sei E(P ) = {Q ∈ M 1 (X, A); Q|A0 = P0 } die Menge der Fortsetzungen von P auf A. ; F¨ ur P ⊂ M 1 (X, A0 ) sei E(P) = P ∈P E(P ) die Menge der Fortsetzungen von P. Eine Teilklasse Q ⊂ E(P) heißt Fortsetzungsmodell von P.

6.3 Zusammengesetzte Hypothesen

211

Relevante Beispiele von Fortsetzungsmodellen sind a) Modelle ‘schwacher Information‘: Sind Q0 , Q1 ⊂ M 1 (X, A) und T : (X, A) → (Y, B) eine Statistik. Hat man als Beobachtung nur die Werte von T (x) vorliegen (schwache Information), so kann man mit A0 = σ(T ), Pi = Qi |A0 , i = 0, 1, Qi als Fortsetzungsmodell von Pi auffassen. Eine interessante Frage ist, ob ‘optimale‘ Tests f¨ ur (P0 , P1 ), d.h. solche, die nur auf T basieren, auch ‘optimal‘ f¨ ur (Q0 , Q1 ) sind. b) invariante Modelle: Sei G eine Gruppe von messbaren bijektiven Transformationen von (X, A) und A0 = I(G) die σ-Algebra der ; G-invarianten Menge (siehe ; Kapitel 8). Seien P0 , P1 ⊂ M 1 (X, A) und Q0 = P0 ∈P0 {P0g ; g ∈ G}, Q1 = P1 ∈P1 {P1g ; g ∈ G} die erzeugten G-Modelle (z.B. Lokationsfamilien, wenn G die Translationsgruppe ist). Dann sind Q0 , Q1 Fortsetzungsmodelle der Restriktionen P0 |A0 , P1 |A0 . Die Frage nach der Optimalit¨at von besten invarianten Tests unter allen Tests ist von Interesse. Sie wird durch den Satz von Hunt-Stein (in Kapitel 8) beantwortet. c) nuisance Parameter: Seien Qi = {P(ϑ,η) ; ϑ ∈ Θi , η ∈ Γ}. Wir betrachten das Testproblem (Θ0 , Θ1 ). η ∈ Γ ist also ein nuisance Parameter. Angenommen, man findet eine Unter-σ-Algebra A0 ⊂ A mit P(ϑ,η) |A0 = Pϑ ist unabh¨angig T von η ∈ Γ; z.B. eine Statistik T mit P(ϑ,η) = Qϑ ist unabh¨angig von η ∈ Γ. Dann ist eine interessante Frage, ob A0 ‘suffizient‘ f¨ ur das Testproblem (Θ0 , Θ1 ) ist, d.h. der nuisance Parameter auf diese Weise eliminiert werden kann. Eine wichtige Klasse von Fortsetzungen konstruiert der folgende Satz. Satz 6.3.21 (Konstruktion von Fortsetzungen) Sei μ ∈ M (X, A) und μ|A0 σ-endlich und sei P ∈ M 1 (X, A0 ), P  μ|A0 . Definiere  dP Pμ (A) := A dμ| dμ, A ∈ A und (E(P ))μ := {Q ∈ E(P ); Q  μ} die Menge A0 aller von μ dominierten Fortsetzungen. Dann gilt: a) Pμ ∈ E(P ) ∀Q ∈ (E(P ))μ  c) (E(P ))μ = hμ; h ∈ L+ (X, A), Eμ (h | A0 ) =

b) Q  Pμ ,

dP dμ|A0

 .

Beweis: ym-Gleichung. a) folgt direkt nach Definition von Pμ aus der Radon-Nikod´ b) Ist Q ∈ (E(P ))μ und Pμ (A) = 0, A ∈ A, dann folgt 1A [Q]. Da

dP dμ|A0

dP dμ|A0

= 0 [μ], also auch

> 0 [P ], also auch [Q], folgt 1A = 0 [Q]; d.h. q  Pμ .

212

6 Testtheorie

c) Ist Q = hμ mit Eμ (h | A0 ) =

dP dμ|A0

, dann gilt

dQ|A0 = 1, also Q|A0 = P |A0 dP |A0 und daher Q ∈ (E(P ))μ . Ist umgekehrt Q ∈ (E(P ))μ , dann existiert nach dem Satz von Radon-Nikod´ ym eine Dichte h ∈ L+ (X, A), so dass Q = hμ. Daraus folgt f¨ ur A0 ∈ A0 : dP Q(A0 ) = h dμ = P (A0 ) = dμ. dμ| A0 A0 A0 Eμ (h | A0 ) =

Daraus ergibt sich:

dP dμ|A0

2

[μ|A0 ].

Als Korollar ergibt sich die folgende einfache Konstruktionsmethode, die es erm¨ oglicht eine große Klasse von Fortsetzungen zu konstruieren. Korollar 6.3.22 Sei Q ∈ E(P ) und f ∈ L1+ (A, Q) mit EQ (f | A0 ) > 0. Sei h = Q

(f )

:= hQ, dann ist Q

(f )

∈ E(P ).

f EQ (f |A0 )

und

Insbesondere folgt, dass die Existenz einer Fortsetzung die Existenz von vielen Fortsetzungen impliziert. Wir bestimmen nun den dk -Abstand von Fortsetzungsklassen. Proposition 6.3.23 Seien Pi ⊂ M 1 (X, A0 ) und E(P ) = Ø, ∀P ∈ Pi , i = 0, 1. Dann gilt f¨ ur k ≥ 0 a) F¨ ur Pi ∈ Pi und μ ∈ M (X, A) mit μ|A0 ∈ Mσ (X, A0 ) sei Pi  μ|A0 , i = 0, 1. Dann gilt dk (P0 , P1 ) = dk (P0,μ , P1,μ ). b) dk (P0 , P1 ) = dk (E(P0 ), E(P1 )). Beweis: a) Mit der Darstellung dk (P0 , P1 ) = P1 − kP0  = k − 1 + 2(P1 − kP0 )+ (X) dP1 dP0 ≥ k dμ| } gilt mit A := { dμ| A A 0

0

(P1 − kP0 )+ (X) = (P1 − kP0 )(A) = (P1,μ − kP0,μ )(A), also Behauptung a).

6.3 Zusammengesetzte Hypothesen

213

b) F¨ ur Pi ∈ Pi und Qi ∈ E(Pi ), i = 0, 1, gilt P1 − kP0  ≤ Q1 − kQ0 . Nach a) gilt Gleichheit f¨ ur Qi = Pi,μ . Daraus folgt die Behauptung.

2

Der folgende Satz gibt nun eine hinreichende Bedingung daf¨ ur, dass ein Maximin-Test f¨ ur P0 , P1 ein Maximin-Test f¨ ur die Fortsetzungsmodelle Q0 , Q1 ist, sofern die Fortsetzungsklassen gen¨ ugend groß sind. Satz 6.3.24 (Fortsetzung von Optimalit¨ atseigenschaften) Seien Pi  μ und Qi ⊂ E(Pi ) Fortsetzungsmodelle, i = 0, 1. Sei f¨ ur alle k ≥ 0 dk (co Q0 , co Q1 ) = dk (co P0 , co P1 ), dann gilt β(α, Q0 , Q1 ) = β(α, P0 , P1 ). Ein Maximin-Test ϕ0 f¨ ur P0 , P1 zum Niveau α ist auch Maximin-Test f¨ ur die Fortsetzungsmodelle Q0 , Q1 . Insbesondere gilt die Gleichheit f¨ ur Qi = E(Pi ). Beweis: Wir verwenden zum Beweis Satz 6.3.18 u ¨ ber die duale Darstellung des Maximin-Risikos. F¨ ur alle ε > 0 existiert μ  ∈ Mσ (X, A) mit dk ((co Q0 )μ , (co Q1 )μ ) ≤ dk (co Q0 , co Q1 ) + ε nach Definition des Infimums. Damit erhalten wir aus Satz 6.3.18 β(α, Q0 , Q1 ) ≤ β(α, (Q0 )μ , (Q1 )μ ) ? 6 1−k 1 + dk (co(Q0 )μ , co(Q1 )μ ) = inf αk + 2 2 6 ? 1−k 1 + dk ((co Q0 )μ , (co Q1 )μ ) = inf αk + 2 2 6 ? 1−k 1 + dk (co Q0 , co Q1 ) + ε ≤ inf αk + 2 2 6 ? 1−k 1 + dk (co P0 , co P1 ) + ε = inf αk + 2 2 = β(α, P0 , P1 ) + ε, ∀ε > 0.

2

Satz 6.3.25 (Ung¨ unstigste Paare f¨ ur Fortsetzungsmodelle) Sei (P0 , P1 ) ∈ LFα (P0 , P1 ) und es existieren Qi ∈ co(Qi ) dass A0 suffizient f¨ ur (Q0 , Q1 ) ist, dann gilt:

w∗

∩ E(Pi ), i = 0, 1, so

a) (Q0 , Q1 ) ∈ LFα (Q0 , Q1 ) b) ∃ bester Test ϕα f¨ ur (P0 , P1 ), der Maximin-Test zum Niveau α f¨ ur Q0 , Q1 ist. ur (P0 , P1 ) Beweis: Sei (P0 , P1 ) ∈ LFα (P0 , P1 ), dann existiert ein bester Test ϕα f¨ zum Niveau α, der Maximin-Test f¨ ur (P0 , P1 ) ist. Daraus folgt ϕα ∈ Φα (Q0 , A).

214

6 Testtheorie

Zu einem Test ϕ ∈ Φα (Q0 , A) definiere ψ = E{Q0 ,Q1 } (ϕ | A0 ). Dann ist inf EQ ϕ ≤ EQ1 ϕ, da Q1 ∈ co Q1

w∗

Q∈Q1

und weiter EQ1 ϕ = EQ1 ψ = EP1 ψ. Da ψ ∈ Φα (P0 , A0 ), folgt EP1 ψ ≤ EP1 ϕα = inf EP ϕα = β(α, Q0 , Q1 ). P ∈P1

Also ist (Q0 , Q1 ) ∈ LFα (Q0 , Q1 ) und ϕα ist ein Maximin-Test f¨ ur (Q0 , Q1 ).

2

Als Korollar ergibt sich insbesondere die folgende Konstruktion von Maximin-Tests f¨ ur die vollen Fortsetzungsmodelle. Korollar 6.3.26 (Maximin-Tests f¨ ur volle Fortsetzungsmodelle) Sind (P0 , P1 ) ∈ LFα (P0 , P1 ) und ist ϕα ein bester Test zum Niveau α f¨ ur (P0 , P1 ) der Maximin-Test f¨ ur (P0 , P1 ) ist. Dann ist ϕα Maximin-Test f¨ ur (E(P0 ), E(P1 )). Dieses Korollar l¨ asst sich insbesondere auf die eingangs erw¨ahnten Beispiele f¨ ur Fortsetzungsmodelle anwenden. Weitere Beispiele und Anwendungen auf die Konstruktion von gleichm¨ aßig besten Tests in Fortsetzungsmodellen finden sich in Plachky und R¨ uschendorf (1987).

6.4

Unverf¨ alschte, ¨ ahnliche und bedingte Tests

Wenn keine gleichm¨ aßig besten Tests existieren, ist es naheliegend (analog zur Sch¨ atztheorie), sich auf ‘sinnvolle‘ Teilklassen aller Test einzuschr¨anken. Eine gut motivierte Reduktion ist die Klasse der unverf¨alschten Tests, d.h. der Tests, die besser sind als der triviale Test ϕα ≡ α. Die Methode der bedingten Tests erlaubt es, optimale unverf¨ alschte Tests zu konstruieren. Dazu wird durch eine geeignete Zerlegung des Grundraums in die Fasern einer vollst¨andig suffizienten Statistik das zusammengesetzte Testproblem auf ein System einfacher Testprobleme auf den Fasern reduziert. Diese Methode hat eine F¨ ulle von wichtigen Anwendungen, z.B. auf die Optimalit¨ at des t-Tests, der exakten Tests von Fisher oder auch von Tests f¨ ur nichtparametrische Hypothesen wie den Pitman-Permutationstest. Nur unverf¨ alschte Tests, d.h. solche, die besser als der triviale Test ϕα sind, werden zugelassen. Definition 6.4.1 (unverf¨ alschte Tests) a) Ein Test ϕ ∈ Φ heißt unverf¨ alscht zum Niveau α, wenn ϕ ∈ Φα und Eϑ ϕ ≥ α, ∀ϑ ∈ Θ1 . Sei Uα := {ϕ ∈ Φ; ϕ unverf¨alscht zum Niveau α} die Menge der unverf¨alschten Tests zum Niveau α.

6.4 Unverf¨ alschte, ¨ ahnliche und bedingte Tests

215

b) Sei J ⊂ Θ. Ein Test ϕ ∈ Φ heißt α-¨ ahnlich auf J, wenn Eϑ ϕ = α, ∀ϑ ∈ J. Sei ΦJ,α := {ϕ ∈ Φ; Eϑ ϕ = α, J.

∀ϑ ∈ J} die Menge der α-¨ahnlichen Tests auf

α

Θ0

J

Θ1

F¨ ur J wird typischerweise der gemeinsame Rand von Hypothese und Alternative gew¨ ahlt. Dann lassen sich unverf¨ alschte Tests auf α-¨ahnliche Tests reduzieren. Proposition 6.4.2 Sei (Θ, O) ein topologischer Raum und f¨ ur alle ϕ ∈ Φ sei die G¨ utefunktion βϕ : Θ → [0, 1], βϕ (ϑ) = Eϑ ϕ stetig. Dann gilt: Uα ⊂ ΦJ,α mit J := Θ0 ∩ Θ1 (falls J = Ø). Bemerkung 6.4.3 Ist speziell Θ = P versehen mit der Totalvariationsmetrik, dann ist f¨ ur alle ϕ ∈ Φ βϕ : P → [0, 1], P → EP ϕ stetig. Ist J = P 0 ∩ P 1 = Ø, dann ist Uα ⊂ ΦJ,α . Korollar 6.4.4 Unter der Voraussetzung von Proposition 6.4.2 sei ϕ∗ ∈ Φα . Ist ϕ∗ gleichm¨aßig bester α-¨ahnlicher Test f¨ ur (Θ0 , Θ1 ), dann ist ϕ∗ auch gleichm¨aßig bester unverf¨alschter Test zum Niveau α. Die Bestimmung gleichm¨ aßig bester unverf¨alschter Tests l¨asst sich mit Korollar 6.4.4 auf die Bestimmung gleichm¨ aßig bester α-¨ahnlicher Tests auf J zur¨ uckf¨ uhren. Die folgende Charakterisierung der α-¨ahnlichen Tests auf dem Rand PJ := {Pϑ ; ϑ ∈ J} ist hierf¨ ur das zentrale Hilfsmittel. Satz 6.4.5 (Tests mit Neyman-Struktur) Sei V : (X, A) → (Y, B) beschr¨ankt vollst¨andig und suffizient f¨ ur PJ und ϕ ∈ Φ. Dann gilt ϕ ∈ ΦJ,α ⇔ E· (ϕ | V ) = α [PJ ]. Der Test ϕ hat Neyman-Struktur bzgl. V .

216

6 Testtheorie

Beweis: Es ist α = EP ϕ = EP E· (ϕ | V ), ⇔

∀P ∈ PJ

EP ( α − E· (ϕ | V ) ) = 0,  

∀P ∈ P.

=:Ψ(V )

Da Ψ(V ) eine beschr¨ ankte Funktion von V ist, ist diese Bedingung wegen der beschr¨ ankten Vollst¨ andigkeit von V ¨ aquivalent mit der Neyman-Strukturbedingung E· (ϕ | V ) = α [PJ ]

2

Die Idee zur Konstruktion eines besten α-¨ahnlichen Tests f¨ ur (PJ , {Pϑ1 }) ist es nun, aus den besten Tests ϕv f¨ ur die bedingten Verteilungen auf den Fasern {V = v} von V einen Test f¨ ur (PJ , {Pϑ1 }) zusammenzusetzen. Auf den Fasern {V = v} reduziert sich die zusammengesetzte Hypothese J auf eine einelementige π|V =v bedingte Hypothese {P· }. Dieses erm¨ oglicht die Anwendung des NeymanPearson-Lemmas f¨ ur einfache Hypothesen.

V =v F¨ ur die Durchf¨ uhrung dieser Idee ben¨otigt man einige Regularit¨atsannahmen: A1) Es existiert eine beschr¨ ankt vollst¨ andige, suffiziente Statistik V f¨ ur PJ . A2) Es existieren regul¨ are bedingte Verteilungen π|V =v

Pϑ1

π|V =v

f¨ ur P ∈ PJ

, P·

f¨ ur alle v ∈ V (X) mit π = idX . Bemerkung 6.4.6 Bedingung A2) gilt, wenn (X, A) ein Borelscher Raum ist. Unter der Annahme der Existenz regul¨arer bedingter Verteilungen folgt aus dem Einsetzungssatz (A)

π|V =v

P·

({V = v}) = 1 [PJV ]

und

π|V =v

Pϑ1

({V = v}) = 1 [PϑV1 ].

Sei nun ϕ∗v ∈ Φ bester Test zum Niveau α f¨ ur das reduzierte Testproblem f¨ ur die bedingten Verteilungen auf den Fasern, d.h. f¨ ur π|V =v π|V =v {P· }, {Pϑ1 } ,

v ∈ V (X).

6.4 Unverf¨ alschte, ¨ ahnliche und bedingte Tests

217

A3) Es gelte die Inklusion der Nullmengen NPJV ⊂ NPϑV . 1

A4) ∃ ϕ∗ ∈ Φ, so dass ϕ∗ (x) = ϕ∗V (x) (x)[PJ ]. ute Bedingung A3) erlaubt es, Tests auf PJV Nullmengen abzu¨andern ohne die G¨ unter PϑV1 zu ver¨ andern. A4) folgt aus der Messbarkeit von (x, v) → ϕv (x), die typischerweise gegeben ist. Satz 6.4.7 (Konstruktion bester α-¨ ahnlicher Tests) Unter den Voraussetzungen A1)–A4) ist der bedingte Test ϕ∗ aus A4) bester αur (PJ , {Pϑ1 }). ¨ahnlicher Test f¨ Beweis: Nach Satz 6.4.5 u ¨ ber die Neyman-Struktur α-¨ahnlicher Tests ist ΦJ,α = {Ψ ∈ Φ; E· (Ψ | V = v) = α [PJV ]}. Also ist mit Hilfe von A3) ϕ bester α-¨ ahnlicher Test, wenn ϕ das Testproblem (P1) l¨ ost: ⎧ ⎪ ⎨ Eϑ Ψ = Eϑ Eϑ (Ψ | V = v) = sup 1 1 1 (P1) : ⎪ ⎩ E· (Ψ | V = v) = α [P V ]. J Wir betrachten nun zwei Varianten von (P1): ⎧ ⎪ ⎨ Eϑ (Ψ | V = v) = sup [P V ], 1 ϑ1 (P2) : ⎪ ⎩ E· (Ψ | V = v) = α [P V ] J und (P3) :

⎧  ⎪ ⎨ ΨdP π|V =v = sup [P V ], ϑ1 ϑ1  ⎪ π|V =v ⎩ ΨdP = α [PJV ]. ·

Wegen A2) sind (P2) und (P3) ¨ aquivalent. Aus (P2) folgt offensichtlich (P1). ∗ osung von (P3) ist. Nach A4) und A3) ex. Wir zeigen nun, dass ϕ eine L¨ N ∈ NPJV ⊂ NPϑV so dass f¨ ur alle v ∈ N c und f¨ ur alle x mit V (x) = v gilt: 1

ϕ∗ (x) = ϕ∗v (x) = ϕ∗V (x) (x). Daraus folgt mit Hilfe von A2) π|V =v π|V =v ϕ∗ dP· = ϕ∗V (x) (x)dP· (x) π|V =v = α [PJV ], = ϕ∗v dP·

218

6 Testtheorie

π|V =v

da P·

({V = v}) = 1 [P V ] f¨ ur alle P ∈ PJ . Da PϑV1 (N ) = 0 ist, folgt: π|V =v π|V =v ϕ∗ dPϑ1 = ϕ∗v dPϑ1 = sup [PϑV1 ],

d.h. ϕ∗ l¨ ost (P3). Damit ist ϕ∗ bester α-¨ ahnlicher Test.

2

Als erste Anwendung der Methode bedingter Tests behandeln wir im folgenden Beispiel den Studentschen t-Test. Beispiel 6.4.8 (Studentscher t-Test) Sei Pϑ := ⊗ni=1 N (μ, σ 2 ), ϑ = (μ, σ 2 ) ∈ R × R+ = Θ. Wir betrachten das Testen einseitiger Hypothesen Θ0 = {μ ≤ μ0 }, Θ1 = {μ > μ0 }. Die Varianz σ 2 ist ein nuisance Parameter. Satz 6.4.9 (Studentscher t-Test f¨ ur einseitige Hypothesen) F¨ ur das einseitige Testproblem Θ0 = {μ ≤ μ0 }, Θ1 = {μ > μ0 } ist der Studentsche t-Test ⎧ ⎪ ⎪ > ⎨ 1, ∗ ∗ ϕ (x) = T (x) tn−1,α , ⎪ ⎪ ⎩ 0, ≤ gleichm¨aßig bester unverf¨alschter Test zum Niveau α. Dabei ist T ∗ (x) :=

√ nH

xn − μ0  (xi − xn )2

1 n−1

und tn−1,α das α-Fraktil der tn−1 -Verteilung. Beweis: 1) Die Dichte von Pϑ ist 1 fϑ (x) = C(ϑ)e− 2σ2

n

2 i=1 (xi −2μxi )

h(x).

   Nach Reduktion durch Suffizienz ur P. Daher ist T (x) = ( xi , x2i ) suffizient f¨ T betrachten wir daher das reduzierte Testproblem f¨ ur Pϑ := Pϑ = fϑ (λ\1 ⊗ λ\1+ ) mit den Dichten fϑ (t1 , t2 ) = C(ϑ)e σ2 t1 − 2σ2 t2  h(t1 , t2 ), t1 ∈ R1 , t2 ≥ 0. μ

1

Die Klasse P = {Pϑ ; ϑ ∈ Θ} ist eine zweiparametrische Exponentialfamilie mit Q1 (ϑ) = σμ2 , Q2 (ϑ) = − 2σ1 2 und π(t1 , t2 ) = (t1 , t2 ). 2) O.E. sei μ0 = 0. Die Abbildung Θ → P, ϑ → Pϑ ist stetig und daher Uα ⊂ ΦJ,α mit J = Θ0 ∩ Θ1 = {(0, σ 2 ); σ 2 > 0}. PJ ist eine einparametrische Exponentialfamilie und die Statistik V (t1 , t2 ) = t2 ist vollst¨andig und suffizient f¨ ur PJ .

6.4 Unverf¨ alschte, ¨ ahnliche und bedingte Tests

219

Nach der Formel f¨ ur bedingte Dichten hat die bedingte Verteilung von π unter V (t1 , t2 ) = t2 die Gestalt   μ π|V =t2 =  ct2 (ϑ)e σ2 t1 νt2 ⊗ ε{t2 } Pϑ mit einem σ-endlichen Maß νt2 auf R1 . Die Voraussetzungen A1)–A3) aus Satz 6.4.7 gelten f¨ ur (PJ , {Pϑ1 }) mit ϑ1 = (μ, σ 2 ) ∈ Θ1 , d.h. μ > 0 und der Test ⎧ ⎪ ⎪ > ⎨ 1, ∗ ϕt2 (t1 , t2 ) = γ (t2 ), t1 = c∗ (t2 ), ⎪ ⎪ ⎩ 0, < ahlt, dass EP π|V =t2 ϕt2 = α, ist bester Test zum Niveau mit γ ∗ (t2 ), c∗ (t2 ) so gew¨ π|V =t2

α f¨ ur ({P·

π|V =t2

}, {Pϑ1

·

}) und damit bester α-¨ahnlicher Test f¨ ur (PJ , {Pϑ1 }).

Diese Form des bedingten Tests kann durch eine geeignete Transformation wesentlich vereinfacht werden. √ 3) Transformation auf nichtbedingte Tests Sei ht2 (t1 ) := n − 1 √ t1 2 , nt2 −t1

dann gilt: a) ht2 ist strikt isoton auf {t1 ; nt2 > t21 } b) {(t1 , t2 ); nt2 ≤ t21 } ist eine P-Nullmenge, denn Pϑ ({(t1 , t2 ); nt2 − t21 ≤ 0 }) 6 ?   x2i − n2 x2n = n (xi − xn )2 ≤ 0 = Pϑ x; n = Pϑ ({x; x1 = · · · = xn }) = 0. Also gilt: ⎧ ⎪ ⎪ ⎪ ⎨ 1, (t , t ) = ϕt2 1 2 γ ∗ (t2 ), ⎪ ⎪ ⎪ ⎩ 0,

√ n−1 √

t1 nt2 −t21

> =

c(t2 ), 


0}, {(μ, σ 2 ); σ 2 > 0, μ > 0}), denn ϕ∗ ist unabh¨angig von der Alternative ϑ1 . 4) Es bleibt zu zeigen, dass ϕ∗ ∈ Φα (Θ0 ); dann folgt die Behauptung nach Korollar 6.4.4. F¨ ur μ ≤ 0 gilt aber Pμ,σ2 ({T ∗ > tn−1,α }) ⎫⎞ ⎛⎧ √ √ ⎬ ⎨ n(xn − μ) nμ ⎠ H = Pμ,σ2 ⎝ H > t − n−1,α   ⎩ 1 1 2 2⎭ − μ − (x − μ)) − x ) (x (x i n i n n−1 n−1 ⎫⎞ ⎛⎧ √ ⎬ ⎨ nμ ⎠ ≤ α. = P0,σ2 ⎝ T ∗ > tn−1,α − H 2  ⎩ 1 (x − x )2 ⎭ n−1

i

n

Bedingte Tests in Exponentialfamilien Die Aussage und der Beweis aus Beispiel 6.4.8 u ¨ber den Studentschen t-Test u ¨ bertr¨ agt sich direkt auf folgende allgemeinere Situation. Sei Θ ⊂ Rk , ϑ = (η, ζ), ◦ η ∈ I ⊂ R1 , ζ ∈ U ⊂ Rk−1 mit einem Intervall I und U = Ø. Sei fϑ (x) = C(ϑ) exp{ηU (x) + ζ, V (x)!}, ϑ = (η, ζ) ν-Dichte einer k-parametrischen Exponentialfamilie. Dann ist T (x) = (U (x), V (x)) ¨ eine suffiziente Statistik. Ubergang zu den Bildmaßen unter T f¨ uhrt zu den ν T Dichten T f(η,ζ) (u, v) = C(η, ζ) exp{ηu + ζ, v!}. F¨ ur das einseitige Testproblem mit η0 ∈ I, Θ0 := {η ≤ η0 },

Θ1 := {η > η0 } = Ø

gilt dann: J = {η0 } = {(η0 , ζ); ζ ∈ Rk−1 } und τ (u, v) := v ist vollst¨andig und suffizient f¨ ur PJ . Satz 6.4.10 (optimale unverf¨ alschte einseitige Tests in Exponentialfamilien) F¨ ur das Testproblem (Θ0 , Θ1 ) existiert ein Test der Form ϕ∗ = Ψ∗ (U, V ) mit Ψ∗ (u, v) = 1(c(v),∞) (u) + γ(v)1{c(v)} (u) und es existieren c(v), γ(v) so, dass π|V =v Ψ∗ dP· = α,

∀v ∈ V (X).

Der Test ϕ∗ ist gleichm¨aßig bester auf J = {η = η0 } α-¨ahnlicher Test und ϕ∗ ist gleichm¨aßig bester unverf¨alschter Test zum Niveau α f¨ ur die einseitigen Testprobleme (Θ0 , Θ1 ).

6.4 Unverf¨ alschte, ¨ ahnliche und bedingte Tests

221

Wir geben zwei Beispiele f¨ ur die Anwendung von Satz 6.4.10. Beispiel 6.4.11 (Exakter Test von Fisher f¨ ur das Zweistichprobenproblem) Zum Vergleich zweier Stichproben sei X = {0, 1}n, n = n1 + n2 , z = (x1 , . . . , xn1 , y1 , . . . , yn2 ) ∈ {0, 1}n ein Bernoulliexperiment mit Pϑ := B(1, ϑ1 )(n1 ) ⊗ B(1, ϑ2 )(n2 ) ,

ϑ = (ϑ1 , ϑ2 ) ∈ Θ := (0, 1)2 .

Wir betrachten das Testproblem: Θ0 = {ϑ1 ≤ ϑ2 }, Θ1 := {ϑ1 > ϑ2 }. Dann gilt: 

xi

(1 − ϑ1 )n1 −







(1 − ϑ2 )n2 − yi    ϑ1 ϑ2 n1 n2 . = (1 − ϑ1 ) (1 − ϑ2 ) exp + yi log xi log 1 − ϑ1 1 − ϑ2

Pϑ ({z}) = ϑ1

xi

ϑ2

yi

P ist eine zweiparametrische Exponentialfamilie mit      ϑ1 ϑ2 und T (z) = , log yj . Q(ϑ) = (Q1 (ϑ), Q2 (ϑ)) = log xj , 1 − ϑ1 1 − ϑ2 Das Testproblem (Θ0 , Θ1 ) hat noch nicht die Form eines einseitigen Testproblems aus Satz 6.4.10. Sei daher η(ϑ) := Q1 (ϑ) − Q2 (ϑ) = log

ϑ1 1 − ϑ2 , 1 − ϑ1 ϑ2

ζ(ϑ) := Q2 (ϑ).

In der neuen Parametrisierung   (η, ζ)  gilt dann: Θ0 = {η ≤ 0}, Θ1 = {η > 0} und mit (U (z), V (z)) := ( xj , xj + yj ) gilt c(ϑ) exp{η(ϑ)U (z) + ζ(ϑ)V (z)}. Pϑ (z) =  Es gilt: J = Θ0 ∩ Θ1 = {η = 0} und V ist vollst¨andig und suffizient f¨ ur PJ . Die bedingte Verteilung unter V = v ist die hypergeometrische Verteilung U |V =v

P·

({u}) = hn,n1 ,v (u),

denn wir haben in der Gesamtstichprobe n = n1 + n2 , n1 Experimente vom Typ I   (n1 rote Kugeln) und v = xj + yj erfolgreiche Experimente. Wir interessieren uns f¨ ur die Anzahl u der Erfolge vom Typ I unter allen v Erfolgen – das wird aber gerade durch die hypergeometrische Verteilung beschrieben. Nach Satz 6.4.10 ist der Test     Ψ∗ (x, y) := 1(c(v),∞) xj + γ(v)1{c(v)} xj   mit v = xj + yj und c(v) als α-Fraktil von hn,n1 ,v , gleichm¨aßig, bester unverf¨ alschter Test zum Niveau α f¨ ur (Θ0 , Θ1 ). Ψ∗ heißt exakter Test von Fisher f¨ ur das Zweistichprobenproblem.

222

6 Testtheorie

Zur Durchf¨ uhrung des Tests stelle man die zugeh¨orige 2 × 2 Feldertafel auf, die ein derartiges Zweistichprobenexperiment beschreibt bei gegebenen Parametern n1 , n2 , v, n in der Form:

I II

+  xj  yj

−  n1 − xj  n2 − y j

v

n−v

n1

2 × 2 Feldertafel

n2

Das Versuchsergebnis (bzw. die zugeh¨orige 2 × 2 Feldertafel) ist mit dem kritischen Wert c(v) zu vergleichen. Beispiel: Sei n1 = 8, n2 = 11 und u = 7, v = 11, d.h. in der ersten Versuchsreihe 7 Erfolge bei 8 Versuchen, in der zweiten Versuchsreihe 4 Erfolge bei 11 Versuchen. 7 1 4

8 11

7

11 8 Dann ist f¨ ur α = 0,05 das α-Fraktil h19,8,11,α = 6 = c(v) und γ(v) = 0,076. Dazu betrachte 2 × 2 Feldertafeln mit gleichen Randh¨aufigkeiten u

h19,8,11 (u):



8 8 0 3 8

 

0,0022

7 7 1 4 7

 

0,0349







0,037

6 6 2 5 6



0,1712

... ···



0 0 8 11 0



13·10−6

 0,2083

Also  ist c(v) = 6 und γ(11) = 0,076. Folglich gilt Ψ∗ (x, y) = 1, da u = xj = 7 > c(v) = 6, d.h. Methode I ist signifikant besser als Methode II beim Fehlerniveau α = 0,05. Bei nur 6 Erfolgen von 8 Versuchen w¨ are keine eindeutige Entscheidung m¨oglich. Der Fishertest lehnt also die Hypothese ab. Methode I ist signifikant besser als Methode II. Der Fishertest Ψ∗ l¨ asst sich auf einen approximativ nichtbedingten Test  (x, y) = transformieren. Bei gegebenem v = V (x) ist eine ¨aquivalente Pr¨ ufgr¨oße U

6.4 Unverf¨ alschte, ¨ ahnliche und bedingte Tests

xn1 − yn1 , d.h.

⎧ ⎪ ⎨ 1, ∗ Ψ (x, y) = γ(v), ⎪ ⎩ 0,

223

>  (x, y) = U
hϑ1 (z) = c∗ (v),
c∗ (v)} (n+m)! 1 # {z ∈ {V = v}; hϑ1 (z) = c∗ (v)} = α + γ ∗ (v) (n+m)! π|V =v

π|V =v

bester Test zum Niveau α f¨ ur ({P· }, {Pϑ1 }). Der induzierte Test ϕ∗ (z) = ϕ∗V (z) (z) ist unverf¨alscht auf Θ0 und daher bester Test zum Niveau α f¨ ur Θ0 , {ϑ1 }. Der Test ϕ∗ heißt Permutationstest, da er auf dem Vergleich der Dichten auf den Permutationen der Stichprobe z basiert. Die Durchf¨ uhrung solcher Test ist rechenintensiv. Es gibt f¨ ur bestimmte Teilklassen der Alternative gleichm¨aßig beste unverf¨ alschte Tests. Diese Teilklassen m¨ ussen auf den Permutationen {V = v} dieselbe Ordnung erzeugen wie Pϑ1 . Wir betrachten als Beispiel eine einparametrische Klasse von normalverteilten Translationsalternativen P = N (a + ', σ 2 )(n) ⊗  1 = {P ; ' > 0} ⊂ Θ1 . Dann gilt N (a, σ 2 )(m) , Θ h (x, y) = ce− 2σ2 ( 1



x2j +



yi2 )+ σa2 (



Dann ist der Permutationstest ϕ∗ gegeben ⎧ ⎪ > ⎪ ⎨ 1, ϕ∗v (z)

=

⎪ ⎪ ⎩

∗

γ (v), 0,

x = c(v)
x − y = c∗ (v),
c∗ (v)} (n + m)! 1 # {z; V (z) = v; S(x) = c∗ (v)} = α + γ ∗ (v) (n + m)! und mit S(x) = x − y. ϕ∗ = ϕ∗V ist gleichm¨aßig bester unverf¨alschter Test zum  1 ). ϕ∗ heißt Pitman-Zweistichprobentest. Das α-Fraktil Niveau α f¨ ur (Θ0 , Θ kann wieder approximativ aus der Limes-Normalverteilung unbedingt bestimmt werden.

6.5

Unverf¨ alschte Tests in Linearen Modellen

Im abschließenden Kapitel 6.5 der Testtheorie behandeln wir die Konstruktion von gleichm¨ aßig besten unverf¨ alschten Tests in Gaußschen Shift-Modellen, d.h. die Hypothesen sind Shifts einer multivariaten Normalverteilung. Solche Hypothesen treten insbesondere h¨ aufig als asymptotische Form von Testproblemen f¨ ur Funktionale

6.5 Unverf¨ alschte Tests in Linearen Modellen

225

auf, aber sie sind auch typisch f¨ ur Testprobleme in linearen Modellen (vgl. Kapitel 8.4). Der Nachweis der Optimalit¨ at eines naheliegenden Testverfahrens basiert auf einer einfachen Testschranke f¨ ur einfache Hypothesen. Sei (X, A) = (Rn , B n ), P = {Pϑ ; ϑ ∈ Θ} mit Pϑ = εϑ ∗ N der Shift von N = N (0, Σ) einer multivariaten Normalverteilung mit regul¨arer Kovarianzmatrix Σ. Θ ⊂ Rn sei ein linearer Teilraum von Shifts. Bez¨ uglich dem Skalarprodukt 1/2 x, y! = x Σ−1 y = x, y!Σ der zugeh¨ origen Norm x = x = x, x! auf Rn n 1 und dem normierten Lebesguemaß λ = det Σ λ\ hat dann N die Dichte  x2  1 dN (x) = , exp − dλ 2 (2π)n/2

x ∈ Rn .

Das obige Lineare Modell P heißt Gaußsches Shift-Modell (Lineares Modell). Wir betrachten f¨ ur eine lineare Funktion g : Θ → R1 die einseitigen Hypothesen Θ0 = {ϑ ∈ Θ; g(ϑ) ≤ 0},

Θ1 = {ϑ ∈ Θ; g(ϑ) > 0}.

¨ Zu beachten ist, dass die Alternative trotz der formalen Ahnlichkeit zur Hypothese nur eindimensional ist. Das folgende Lemma gibt Schranken f¨ ur Tests zwischen zwei einfachen Hypothesen a, b ∈ Θ an. Es wurde schon im Beweis zu Proposition 5.3.8 zur Herleitung von Schranken f¨ ur Median-unverf¨alschte Sch¨atzer verwendet. Proposition 6.5.1 (Testschranken f¨ ur einfache Hypothesen) F¨ ur α ∈ [0, 1] und a, b ∈ Θ sei ϕ ∈ Φ eine Testfunktion. Dann gilt: ¯ α − b − a), Φ ¯ = 1 − Φ. a) Ist Ea ϕ ≤ α, dann ist Eb ϕ ≤ Φ(u ¯ α + b − a) b) Ist Ea ϕ ≥ α, dann ist Eb ϕ ≥ Φ(u mit dem α-Fraktil uα von N (0, 1), uα = Φ−1 (1 − α). Beweis: Pϑ = fϑ λ hat die Dichte   1 1 exp − x − ϑ2 n/2 2 (2π)   1 1 1 2 2 x ϑ = . exp − + x, ϑ! − 2 2 (2π)n/2

fϑ = f0 (x − ϑ) =

Daraus ergibt sich   dPb 1 (x) = exp b − a, x! − (b2 − a2 dPa 2

226

6 Testtheorie

a) Sei ϕ∗ der Neyman-Pearson-Test f¨ ur (Pa , Pb ) mit Ea ϕ∗ = α. Ist Ea ϕ ≤ α, dann folgt: Eb ϕ ≤ Eb ϕ∗ . ϕ∗ hat die Form ϕ∗ (x) =

⎧ ⎪ ⎨ 1, ⎪ ⎩

0,

> b − a, x!

b − a, a! + b − auα , ≤

denn wenn X ∼ N , dann ist a, X! ∼ N (0, a2). Also gilt  b − a, x − y!  > uα = α. Ea ϕ∗ = Pa b − a Damit folgt Eb ϕ ≤ Eb ϕ∗ = Pb ( b − a, x! > b − a, a! + uα b − a) = Pb ( b − a, x − b! > −b − a2 + b − auα )  b − a, x!  > uα − b − a = P0 b − a ¯ α − b − a), Φ ¯ = 1 − Φ. = Φ(u b) Ist Ea ϕ ≥ α ⇒ Ea (1 − ϕ) ≤ 1 − α. ¯ 1−α − b − a). Nach a) folgt daher Eb (1 − ϕ) ≤ Φ(u Daraus folgt

Eb ϕ ≥ Φ(u1−α − b − a) ¯ α + b − a). = Φ(u

2

Sei nun πΘ : Rn → Θ die Projektion von Rn nach Θ bzgl. dem Skalarprodukt , ! = , !Σ . Dann erweist sich der folgende intuitiv naheliegende Test als gleichm¨ aßig bester unverf¨ alschter Test. Satz 6.5.2 (Gleichm¨ aßig bester unverf¨ alschter Test im Gaußschen ShiftModell) F¨ ur die einseitigen Hypothesen Θ0 = {ϑ ∈ Θ; g(ϑ) ≤ 0}, Θ1 = {ϑ ∈ Θ; g(ϑ) > 0} im Gaußschen Shiftmodell ist der Test ϕ∗ , ⎧ ⎪ > ⎨ 1, ϕ∗ (x) = g ◦ πΘ (x) g uα, x ∈ Rn , ⎪ ⎩ 0, ≤ ein gleichm¨aßig bester unverf¨alschter Test zum Niveau α. Beweis: Sei e ∈ θ, e = 1, e⊥ Kern(g) und g(e) > 0. Dann gilt g = g(e) und g ◦ πΘ (x) = x, e!g, denn Θ = Kern(g) ⊕ e!.

6.5 Unverf¨ alschte Tests in Linearen Modellen

227

Es gelten die folgenden Schranken f¨ ur ϕ ∈ Uα (Θ0 ): ¯ α + | a, e!|) f¨ 1) Ea ϕ ≥ Φ(u ur a ∈ Θ0 ¯ α − | a, e!|) f¨ 2) Ea ϕ ≤ Φ(u ur a ∈ Θ1 Zum Beweis zerlegen wir a = a, e!e + b,

b ∈ Kern(g),

also gilt g(a) g(e) = a, e!. Da g(b) = 0, ist b im Rand der Hypothesen b ∈ J := ∂Θ0 ∩ ∂Θ1 . Daher gilt wegen der Unverf¨ alschtheit von ϕ Eb ϕ = α. Damit folgt nach den Ungleichungen in Proposition 6.5.1 ¯ α − | a, e!|). ¯ α + | a, e!|) ≤ Ea ϕ ≤ Φ(u Φ(u F¨ ur a ∈ Θ0 ist

g(a) g

= a, e! ≤ 0, also ist −| a, e!| =

g(a) g

und wir erhalten

Ea ϕ∗ = Pa ({x ∈ Rn ; g ◦ πΘ (x) > uα g}) = Pa ({x ∈ Rn ; x, e!g > uα g}) ¯ α − a, e!). = Φ(u Also gilt Ea ϕ∗ ≤ α, d.h. ϕ∗ ∈ Φα (Θ0 ). F¨ ur a ∈ Θ1 gilt: g(a) 0≤ = a, e! = | a, e!|. g Daher folgt aus 2) und obiger Rechnung ¯ α − | a, e!|) ≥ Ea ϕ. Ea ϕ∗ = Φ(u Es gilt also die Behauptung.

2

Kapitel 7

Konfidenzbereiche Ziel der Konstruktion von Konfidenzbereichen ist es, basierend auf einer Beobachtung x ∈ X einen Bereich C(x) anzugeben, der bei vorliegendem Parameter ϑ einen interessierenden Parameterfunktionswert g(ϑ) mit großer Wahrscheinlichkeit ≥ 1 − α enth¨ alt, d.h. Pϑ ({x : g(ϑ) ∈ C(x)}) ≥ 1 − α. C(x) kann also als ‘Sch¨ atzbereich‘ f¨ ur g(ϑ) angesehen werden. Ein verwandtes Problem ist die Prognose oder Bestimmung von Prognosebereichen f¨ ur zuf¨ allige Gr¨ oßen Y . Ist X eine beobachtete Zufallsvariable, dann soll unabh¨ angig vom Parameter ϑ ∈ Θ, C(X) die Variable Y gut vorhersagen in dem Sinne, dass unabh¨ angig von ϑ ∈ Θ Pϑ ({Y ∈ C(X)}) ≥ 1 − α. Sei z.B. Y = f (X  ϑ) + σN ein Regressionsmodell mit der beobachteten Kovariablen (Prediktor) X ∈ Rk , dem unbekannten Parameter ϑ ∈ Rk , σ > 0, einer unabh¨ angigen normalverteilten Fehlervariablen N , und einer (bekannten) reellen Regressionsfunktion f . Dann ist der bedingte Erwartungswert E(Y | X = x) = f (x ϑ) die beste L2 -Vorhersage von Y bei Beobachtung von X = x. Gelingt es auf Grund von n unabh¨ angigen Beobachtungsdaten (Lernpaaren) (X1 , Y1 ), . . . , (Xn , Yn ) mit (Xi , Yi ) ∼ (X, Y ) einen Sch¨ atzer ϑ f¨ ur θ zu konstruieren, z.B. den kleinsten Qua als Prognosevariable f¨ dratesch¨ atzer, dann ist es naheliegend Y = f (X, ϑ) ur Y  zunehmen und Prognosebereiche C(X) = C(Y , X) basierend auf Y und X zu konstruieren. Im Folgenden beschr¨ anken wir uns auf die Konstruktion von Konfidenzbereichen f¨ ur (deterministische) Parameterfunktionen. Die Konstruktion von Prognosebereichen ist ¨ ahnlich, verlangt aber wie oben beschrieben einen zus¨atzlichen Schritt L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_7, © Springer-Verlag Berlin Heidelberg 2014

230

7 Konfidenzbereiche

zur Sch¨ atzung von ϑ. Eine detaillierte Darstellung von Prognoseverfahren in (parametrischen und nichtparametrischen) nichtlinearen Regressionsmodellen findet sich in Devroye, Gy¨ orfi und Lugosi (1996). Probleme der Erkennung und Klassifikation von Mustern (Pattern recognition and classification) werden dort als zentrale Anwendungen behandelt.

7.1

(Approximative) Konfidenzbereiche und Pivotstatistiken

Ein Konfidenzbereich f¨ ur eine zu sch¨ atzende Funktion g : Θ → Γ (typischerweise Γ ⊂ Rk ) ist eine Abbildung C : X → P(Γ). Es gibt verschiedene sich teilweise widersprechende Zielvorstellungen: 1. Der Konfidenzbereich soll mit hoher Wahrscheinlichkeit den Parameter γ = g(ϑ) enthalten. 2. Der Konfidenzbereich sollte m¨ oglichst klein sein und m¨oglichst wenig ‘falsche‘ Werte u ¨ berdecken. Was falsche Werte sind, h¨ angt von der Fragestellung ab. Ist z.B. die Frage: ‘wie viel % der Stimmen bekommt Partei A bei der n¨achsten Wahl?‘, so ist eine Angabe etwa der Form: ‘mit Wahrscheinlichkeit ≥ 0,95 erh¨alt Partei A zwischen 26 und 28 % der Stimmen‘ erw¨ unscht. Ist aber die Frage ‘wie viele % der Stimmen erh¨ alt Partei A mindestens‘, so hat eine sinnvolle Antwort etwa die Form ‘mit Wahrscheinlichkeit ≥ 0,95 erh¨ alt Partei A mindestens 27 % der Stimmen‘. Im ersten Fall sind alle Werte γ = g(ϑ) oder γ ∈ [g(ϑ) − ε, g(ϑ) + ε] ‘falsche Werte‘, im zweiten Fall sind nur γ ≤ g(ϑ) oder γ ≤ g(ϑ) − ε ‘falsche Werte‘. Ziel der Analyse von Parameterfunktionen mit Hilfe von Konfidenzbereichen ist es, Aussagen der Art zu treffen, dass g(ϑ) mit großer Wahrscheinlichkeit ≥ 1 − α in dem angegebenen Konfidenzbereich liegt. Wir behandeln in diesem Abschnitt die Konstruktion von Konfidenzbereichen basierend auf Pivotstatistiken. Deren Anwendungsbereich wird stark erweitert durch die Verwendung von asymptotischen Methoden (approximative Pivots). Wir behandeln auch Konfidenzbereiche zum Niveau 1 − α mit minimalem Volumen und die Konstruktion optimaler ¨ aquivarianter Konfidenzbereiche fester L¨ange. Unsere erste (vorl¨ aufige) Definition des Konfidenzbereichs ber¨ ucksichtigt noch nicht die Unterscheidung nach ‘falschen‘ Werten. Definition 7.1.1 (Konfidenzbereich) Sei g : Θ → Γ eine zu sch¨atzende Funktion. a) Eine Abbildung C : X → P(Γ) heißt Bereichssch¨ atzfunktion (BSF) oder Konfidenzbereich f¨ ur g, wenn A(γ ) := {x ∈ X; γ ∈ C(x)} ∈ A, ∀γ ∈ Γ. Sei E die Menge aller BSF f¨ ur g.

7.1 (Approximative) Konfidenzbereiche und Pivotstatistiken

231

b) Sei α ∈ [0, 1] und sei C eine BSF. Dann heißt C BSF f¨ ur g zum Konfidenzniveau 1 − α, wenn ∀ϑ ∈ Θ gilt: Pϑ ({x ∈ X; g(ϑ) ∈ C(x)}) ≥ 1 − α. ur g zum Konfidenzniveau 1 − α. Sei E1−α die Menge aller BSF f¨ Beispiel 7.1.2 (Normalverteilungsmodell) Sei P = {Pϑ ; ϑ ∈ Θ = R} mit Pϑ = N (ϑ, σ02 )(n) und g(ϑ) = ϑ. σ0 a) Sei C1 (x) = [xn − √ u , ∞), x ∈ Rn ein einseitiges Konfidenzintervall mit n α −1 uα = Φ (1 − α) das α-Fraktil der Standard-Normalverteilung. Dann gilt f¨ ur alle ϑ ∈ R1 6 ? σ0 Pϑ ({x ∈ Rn ; ϑ ∈ C1 (x)}) = Pϑ ϑ ≥ xn − √ uα n 6√ x − ϑ ? n = Pϑ = 1 − α. n ≤ uα σ0

Also ist C1 ∈ E1−α . Bzgl. des Parameters ϑ sind nur die Werte ϑ < ϑ falsche Werte, die nicht ¨ uberdeckt werden sollen. σ0 σ0 b) Zweiseitiges Konfidenzintervall Sei C2 (x) = [xn − √ u , xn + √ u ], n α/2 n α/2 1 x ∈ R, ein zweiseitiges Konfidenzintervall. Dann gilt f¨ ur alle ϑ ∈ R 6 ? √ xn − ϑ − uα/2 ≤ n Pϑ ({x ∈ Rn ; ϑ ∈ C2 (x)}) = Pϑ ≤ uα/2 σ0 α α = Φ(uα/2 ) − Φ(−uα/2 ) = 1 − − = 1 − α. 2 2

Also ist C2 ∈ E1−α . C2 ¨ uberdeckt ‘falsche‘ Werte außerhalb einer symmetrischen Umgebung von ϑ nur mit Wahrscheinlichkeit ≤ α. Das Konstruktionsverfahren in obigem Beispiel l¨asst sich mit dem Begriff der Pivotstatistik verallgemeinern. Definition 7.1.3 (Pivotstatistik) Sei g : Θ → Γ. Eine messbare Abbildung T : X × Γ → Γ heißt Pivotstatistik (f¨ ur g), wenn: T (·,g(ϑ))

1) Q = Pϑ

h¨angt nicht von ϑ ∈ Θ ab.

2) F¨ ur B ∈ AΓ und ϑ ∈ Θ ist {x ∈ X; T (x, g(ϑ)) ∈ B} ∈ A. CB (x) := {γ ∈ Γ; T (x, γ) ∈ B} heißt die durch B und T induzierte BSF. Es gilt f¨ ur ϑ ∈ Θ: {g(ϑ) ∈ CB (·)} = {T (·, g(ϑ)) ∈ B} ∈ A.

232

7 Konfidenzbereiche

Die Pivotstatistik verallgemeinert den Begriff der verteilungsfreien Statistik. Diese Verallgemeinerung erlaubt die Konstruktion von Konfidenzbereichen CB . Die Wahl von B bestimmt die geometrische Form und das Konfidenzniveau von CB . Beispiel 7.1.4 (Erweitertes Normalverteilungsmodell) Sei Θ = R × R+ und Pϑ = N (μ, σ 2 )(n) f¨ ur ϑ = (μ, σ 2 ). a) g(ϑ) = μ Im Normalverteilungsmodell mit bekannter Varianz σ 2 = σ02 in Beispiel 7.1.2 ist √ xn −μ eine Pivotstatistik gegeben durch T (x, μ) = n σ0 . In unserem erweiterten Modell ist E F n F 1  √ xn − μ T (x, μ) = n mit sn = G (xi − xn )2 sn n − 1 i=1 T (·,μ)

eine Pivotstatistik mit Pϑ

= tn−1 , die t-Verteilung mit n−1 Freiheitsgraden.

1) Einseitiges Konfidenzintervall f¨ ur μ sn Sei C1 (x) = [xn − √ t , ∞), t das α-Fraktil der tn−1 -Verteilung. n−1,α n−1,α n Dann ist f¨ ur ϑ ∈ Θ Pϑ ({μ ∈ C1 }) = Pϑ ({T (·, μ) ≤ tn−1,α , }) = 1 − α. C1 ist also ein einseitiges Konfidenzintervall f¨ ur μ zum Niveau 1 − α. 2) Zweiseitiges Konfidenzintervall f¨ ur μ sn sn α,x √ α ], dann gilt: Sei C2 (x) = [xn − √ t + t n−1, n n 2 n n−1,1− 2 Pϑ ({μ ∈ C2 }) = Pϑ ({T (·, μ) ∈ [tn−1,1− α2 , tn−1, α2 ]}) = 1 − α C2 ist also ein zweiseitiges Konfidenzintervall f¨ ur μ zum Niveau 1 − α. ur σ 2 b) g(ϑ) = σ 2 , Konfidenzintervall f¨ 2 2 Eine Pivotstatistik f¨ ur g(ϑ) = σ ist T (x, σ 2 ) = sσn und es gilt T (·,σ2 )

Pϑ

= χ2n−1 , die χ2n−1 -Verteilung.

Ein einseitiges Konfidenzintervall f¨ ur σ 2 zum Niveau 1 − α ist   n  1 2 C1 (x) = 0, 2 (xi − xn ) . χn−1,1−α i=1 Es gilt f¨ ur alle ϑ ∈ Θ

Pϑ ({σ 2 ∈ C1 }) = 1 − α.

Ein entsprechendes zweiseitiges Konfidenzintervall f¨ ur σ 2 ist   n n   1 1 2 2 C2 (x) = (xi − xn ) , 2 (xi − xn ) χ2n−1, α i=1 χn−1,1− α i=1 2

2

7.1 (Approximative) Konfidenzbereiche und Pivotstatistiken

233

und es gilt Pϑ ({σ 2 ∈ C2 }) = 1 − α. Beispiel 7.1.5 (Lokations- und Skalenfamilien) Sei P = {Pϑ ; ϑ ∈ Θ} ein Lokationsmodell, Θ = R1 , Pϑ = εϑ·1 ∗ P mit P ∈ M 1 (Rn , B n ). Zu sch¨ atzen ist der Lokationsparameter g(ϑ) = ϑ. T : Rn → R heißt ¨ aquivariante Statistik, wenn T (x + ϑ · 1) = T (x) + ϑ, ∀ϑ ∈ R1 (vgl. Kap. 8). Jede ¨ aquivariante Statistik T erzeugt eine Pivotstatistik T (x, ϑ) := T (x) − ϑ. T (·,ϑ)

T (·,0)

= P0 =: Q. Sei uα = aα (Q) das α-Fraktil von Q. Es gilt: Pϑ Wie in Beispiel 7.1.2 sind daher C1 (x) = [T − uα , ∞) bzw.

C2 (x) = [T − u α2 , T − u1− α2 ]

einseitige bzw. zweiseitige Konfidenzintervalle f¨ ur ϑ zum Niveau 1 − α. Es gilt Pϑ ({ϑ ∈ C1 }) = Pϑ ({T − uα ≤ ϑ}) = P0 ({T ≤ uα }) = 1−α Pϑ ({ϑ ∈ C2 }) = Pϑ ({ϑ ∈ [T − u α2 , T − u1− α2 ]}) = P0 ({T ∈ [u1− α2 , u α2 ]}) α α = 1 − − = 1 − α. 2 2 Wir nehmen an, dass die Verteilung Q stetig in den Randpunkten ist; andernfalls ist eine Stetigkeitskorrektur n¨ otig. Z.B. kann man zu T := T +V mit V unabh¨angig von T und gleichverteilt auf [0, ε] u ¨bergehen. und

Der Anwendungsbereich der Pivotmethode l¨asst sich stark erweitern durch Anwendung von zentralen Grenzwerts¨ atzen und approximativen Pivots. Sei Pn = {Pn,ϑ ; ϑ ∈ Θ} ein asymptotisches Modell auf (Xn , An ), z.B. Pn = P (n) , (Xn , An ) = (X, A)(n) und sei g : Θ → Γ eine Parameterfunktion. Definition 7.1.6 (Approximativer Konfidenzbereich) a) Eine Folge (Cn ) von BSF, Cn ∈ E(Xn , An ) heißt approximative BSF f¨ ur g zum Konfidenzniveau 1 − α, wenn f¨ ur alle ϑ ∈ Θ limPn,ϑ ({g(ϑ) ∈ Cn }) ≥ 1 − α. b) Eine Folge von Statistiken Tn : Xn × Γ → Γ, Γ ⊂ Rk heißt approximative Pivotstatistik f¨ ur g, wenn f¨ ur ein Q ∈ M 1 (Γ, AΓ ) gilt: T (·,g(ϑ))

1) Pϑ n

D

−→ Q f¨ ur alle ϑ ∈ Θ.

2) F¨ ur B ∈ AΓ und ϑ ∈ Θ ist {x ∈ Xn ; Tn (x, g(ϑ)) ∈ B} ∈ An . Cn,B (x) := {γ ∈ Γ; Tn (x, γ) ∈ B} heißt die durch B und Tn induzierte BSF.

234

7 Konfidenzbereiche

F¨ ur eine durch B und Tn induzierte BSF gilt also f¨ ur ϑ ∈ Θ: {g(ϑ) ∈ Cn,B } = {Tn (·, g(ϑ)) ∈ B} ∈ An . Mit approximativen BSF l¨ asst sich die Konstruktion im erweiterten Normalverteilungsmodell stark verallgemeinern. Sei P0 ⊂ {P ∈ M 1 (R1 , B 1 ); E(P ) = 0, Var(P ) = 1} und definiere f¨ ur Θ = R × R+ , ϑ = (μ, σ 2 ) ∈ Θ, Pϑ = P Sϑ mit Sϑ (x) = μ + σx. Dann ist P = {Pϑ ; ϑ ∈ Θ, P ∈ P0 } die von P0 erzeugte Lokations- und Skalenklasse. Wir betrachten das asymptotische Modell Pn = P (n) , (Xn , An ) = (Rn , B n ). Ziel ist die Konstruktion von approximativen Konfidenzintervallen f¨ ur μ und σ 2 . Nach dem zentralen Grenzwertsatz gilt f¨ ur E F n F 1  √ xn − μ Tn (x, μ) = n , sn = G (xi − xn )2 sn n − 1 i=1 T (·,μ)

n Pn,ϑ

D

−→ Q = N (0, 1),

ur μ. d.h. Tn ist ein approximativer Pivot f¨ Satz 7.1.7 (Approximatives Konfidenzintervall f¨ ur μ) Im asymptotischen Lokations- und Skalenmodell Pn sind C B  B sn sn sn C1,n = xn − √ uα , ∞ und C2,n = xn − √ u α2 , xn − √ u1− α2 , n n n mit uα = φ−1 (1 − α) und u1− α2 = φ−1 ( α2 ) die α- bzw. 1 − α2 -Fraktile von N (0, 1), approximative einseitige bzw. zweiseitige Konfidenzbereiche f¨ ur μ zum Niveau 1−α. Beweis: Es gilt f¨ ur alle ϑ ∈ Θ Pn,ϑ ({μ ∈ C1,n ) = Pn,ϑ ({Tn (·, μ) ≤ uα }) −→ P ({N (0, 1) ≤ uα }) = 1 − α. Ebenso gilt Pn,ϑ ({μ ∈ C2,n }) = Pn,ϑ ({u1− α2 ≤ Tn (·, μ) ≤ u α2 }) α α −→ P ({u1− α2 ≤ N (0, 1) ≤ u α2 }) = 1 − − = 1 − α. 2 2

2

Bemerkung 7.1.8 (Approximative Konfidenzintervalle f¨ ur σ 2 ) Ebenso erh¨alt man im asymptotischen Lokations- und Skalenmodell (Pn ) approximative Konfidenzintervalle f¨ ur σ 2 . Eine approximative Pivotstatistik ist  n  1  (xi − xn )2 2 Tn (x, σ ) = √ −1 . σ2 n i=1

7.1 (Approximative) Konfidenzbereiche und Pivotstatistiken

235

Es gilt D

Tn (·, σ 2 ) −→ N (0, m4 ) wobei m4 das zentrale vierte Moment von N (0, 1) ist. Damit sind 9 1 n  1 2 √ √ (xi − xn ) , ∞ C1,n = uα n m4 + 1 i=1 und 9

C2,n

  1 1 √ √ √ √ = (xi − xn )2 , (xi − xn )2 u α2 n m4 + 1 i=1 u1− α2 n m4 + 1 i=1 n

n

:

einseitige bzw. zweiseitige approximative Konfidenzintervalle f¨ ur σ 2 zum Niveau 1 − α. F¨ ur die Konstruktion von approximativen Pivots ist in einigen Beispielen die δ-Methode n¨ utzlich. Satz 7.1.9 (δ-Methode) Sei Tn eine Folge von reellen Statistiken, so dass f¨ u r ϑ ∈ R1 √ D n(Tn − ϑ) −→ N (0, σ 2 ),

σ 2 = σ 2 (ϑ).

Sei h : R1 → R1 differenzierbar in ϑ, dann folgt √ D n(h(Tn ) − h(ϑ)) −→ h (ϑ)N (0, σ 2 ). Sind z.B. (Xi ) iid mit EXi = μ = μ(ϑ), VarXi = σ 2 = σ 2 (ϑ), dann ist nach dem zentralen Grenzwertsatz √ D n(X n − μ) −→ N (0, σ 2 ) Es folgt also √

D

n(h(X n ) − h(μ)) −→ h (μ)N (0, σ 2 ) ∼ N (0, (h (μ))2 σ 2 )

Definition 7.1.10 (Varianzstabilisierende Transformation) In obiger Situation heißt h varianzstabilisierende Transformation, wenn f¨ ur eine Konstante c ∈ R+ gilt

2 h (μ(ϑ)) σ 2 (ϑ) = c,

∀ϑ ∈ Θ.

Varianzstabilisierende Transformationen induzieren approximative Pivots. Es gilt: √ Ist h eine varianzstabilisierende Transformation, dann ist T (x, ϑ) = n(h(xn ) − h(μ)) ein approximativer Pivot f¨ ur μ mit Q = N (0, c).

236

7 Konfidenzbereiche

Beispiel 7.1.11 (Poissonverteilung) Sei Pϑ = P(ϑ) die Poissonverteilung mit Parameter ϑ > 0, dann ist μ(ϑ) = σ 2 (ϑ) = ϑ. Ist h : R+ → R+ varianzstabilisierend und monoton wachsend, dann √ c 2 gilt (h (ϑ)) ϑ = c, ∀ϑ > 0, also h (ϑ) = √ϑ , und damit √ √ h(ϑ) = 2 c ϑ + d, d ≥ 0. √ Insbesondere ist h(ϑ) = ϑ varianzstabilisierend. Es folgt im asymptotischen Mo(n) dell Pn,ϑ = Pϑ √ √ √ D n( xn − ϑ) −→ N (0, 14 ). √ √ √ Daher gilt: Pϑn ({−u α2 ≤ 2 n( xn − ϑ) ≤ u α2 }) → 1 − α,    √ n = √xn − √1 u α d.h. C , xn + 2√1 n u α2 ist ein approximatives zweiseitiges 2 n 2 + √ Konfidenzintervall f¨ ur ϑ, zum Niveau 1 − α. Damit ist 9 2  2 : √ √ 1 1 Cn = xn − √ u α2 , xn + √ u α2 2 n 2 n + ein approximatives zweiseitiges Konfidenzintervall zum Niveau 1 − α f¨ ur ϑ. ur ϑ, Sei Θ ⊂ Rk ein Gebiet und T : X × Θ → Rk eine Pivotstatistik f¨ T (·,ϑ) d.h. Pϑ = Q, ∀ϑ ∈ Θ. Wir betrachten die Menge aller durch T induzierten Konfidenzbereiche der Form   ET := C(·) = {ϑ ∈ Θ; h(T (·, ϑ)) ∈ B}, B ∈ B 1 , h : (Rk , B k ) → (R1 , B) . ET,1−α bezeichnet die Menge aller C ∈ ET zum Niveau 1 − α. Mit h ◦ T (·, ϑ) = 1B (T (·, ϑ)) sind damit insbesondere die in Definition 7.1.3 angegebenen durch T induzierten Konfidenzbereiche in ET enthalten. F¨ ur C ∈ ET ist das Konfidenzniveau βC = Pϑ ({ϑ ∈ C}) = Q({h ∈ B}) unabh¨ angig von ϑ ∈ Θ. Unser Ziel ist es, zu gegebenem Konfidenzniveau 1 − α einen Konfidenzbereich in ET mit minimalem Volumen zu konstruieren. Dazu machen wir die folgende Differenzierbarkeitsannahme: (D) Sei T (x, ·) : Θ → Θ bijektiv und stetig differenzierbar mit konstanter Funktionaldeterminante cx = | det DT (x, ·)|, x ∈ X. Satz 7.1.12 (Konfidenzbereiche mit minimalem Volumen) Sei Θ ⊂ Rk ein Gebiet und T = T (x, ϑ) eine Pivotstatistik mit Pivotverteilung Q = f λ\k . Sei qα = qα (Qf ) das α-Quantil von Qf und sei die Differenzierbarkeitsbedingung (D) erf¨ ullt. Dann ist C ∗ (x) = {ϑ ∈ Θ; f (T (x, ϑ)) ≥ qα } ∈ ET,1−α

7.1 (Approximative) Konfidenzbereiche und Pivotstatistiken

237

und f¨ ur alle Konfidenzbereiche C ∈ ET,1−α gilt λ\k (C ∗ (x)) ≤ λ\k (C(x)),

∀x ∈ X,

ur ϑ. d.h. C ∗ hat minimales Volumen unter allen Konfidenzbereichen in ET,1−α f¨ Beweis: Es ist βC ∗ = Qf ([qα , ∞)) = 1 − α, d.h. C ∗ ∈ ET,1−α . Sei C ∈ ET mit βC ≥ βC ∗ = 1 − α; o.E. ist C von der Form C = {x ∈ X; h(T (x, ϑ)) ≥ c }. Dann ist f¨ ur ϑ ∈ Θ Pϑ ({ϑ ∈ C}) = Pϑ ({x ∈ X; h(T (x, ϑ)) ≥ c }) = Q({t ∈ Rk ; h(t) ≥ c }) = Q({h ≥ c }) = βC ≥ βC ∗ = Q({t ∈ Rk ; f (t) ≥ qα }) = Q({f ≥ qα }). Daraus ergibt sich aber   λ\k ({h ≥ c }) − λ\k ({f ≥ qα }) qα = (1{h≥c } − 1{f ≥qα } )(qα − f + f )dλ\k Θ = (1{h≥c } − 1{f ≥qα } )(qα − f )dλ\k + (Q({h ≥ c }) − Q({f ≥ qα })). Θ

Der zweite Term ist nach Annahme ≥ 0. Der Integrand des ersten Integrals ist nach Konstruktion ≥ 0; also ist auch der erste Term ≥ 0 und wir erhalten λ\k ({h ≥ c }) ≥ λ\k ({f ≥ qα }). Es gilt f¨ ur x ∈ X nach dem Transformationssatz k ∗ \ λ (C (x)) = dλ\k {ϑ∈Θ; f (T (x,ϑ))≥qα } 1 = dλ\k (t) c {t∈Θ; f (t)≥qα } x 1 k λ\ ({f ≥ qα }). = cx Ebenso ist λ\k (C(x)) =

1 \k cx λ ({h

≥ c }) und es folgt

λ\k (C ∗ (x)) ≤ λ\k (C(x)).

2

Zur Anwendung obiger Aussage ben¨ otigen wir Pivotstatistiken mit konstanter Funktionaldeterminante cx = | det DT (x, ·)|, x ∈ X. Beispiel 7.1.13 Sei Θ = R × R+ , ϑ = (μ, σ 2 ), Pϑ = N (μ, σ 2 )(n) . Dann ist (xn , s2n ) suffizient f¨ ur P und xn , s2n sind nach Basu stochastisch unabh¨angig.

238

7 Konfidenzbereiche

 , dann ist T1 ∼ N (0, 1) und T2 ∼ χ2n−1 .   3  2 ∗ ∗ gilt F¨ ur die Transformation T (x, ϑ) = (T1 , T2 ) = T1 , T12 √

Sei (T1 , T2 ) =

n(xn −μ) , σ



(xi −xn )2 σ2

/  ∗ / / ∂Ti // | det DT (x, ·)| = //det ∂ϑj / / ⎛ √ ⎞/ √ / n(xn −μ) // n / − , − 2σ3 ⎜ σ / ⎟/ = /det ⎝ ⎠/ / / 3σ 0, 3 / / 2 2((n−1)s ) 2 √ 3 n = − ist unabh¨angig von ϑ 3 = cx 2((n − 1)s2 ) 2 und es ist

T (·,ϑ)

Q = Pϑ mit

= f λ\2

f (t∗1 , t∗2 ) = ϕ(t∗1 )(t∗2 )− 3 (g(t∗2 ))− 3 5

2

wobei ϕ und g Dichten von N (0, 1) bzw. χ2n−1 sind. Es ist also C ∗ (x) = {(t∗1 , t∗2 ); f (t∗1 , t∗2 ) ≥ qα } eine BSF zum Niveau 1 − α f¨ ur ϑ basierend auf (T1∗ , T2∗ ) mit minimalem Volumen. Durch Aufl¨ osung nach den Variablen t1 , t2 , d.h. t1 = t∗1 , t2 = (t∗2 )2/3 erh¨alt man einen a quivalenten Bereich basierend auf (T1 , T2 ). ¨ F¨ ur Lokationsmodelle ist es sinnvoll nach optimalen BSF mit vorgegebe(n) ner L¨ ange zu fragen. Sei P ∈ M 1 (R1 , B 1 ), Θ = R1 , P = f λ\ und P = {Pϑ ; ϑ ∈ R1 } das erzeugte Lokationsmodell mit Pϑ = εϑ ∗ P . F¨ ur einen ¨ aquivarianten Sch¨ atzer d : (Rn , B n ) → (R1 , B 1 ), d.h. d(x + ϑ · 1) = d(x) + ϑ, ∀x, ∀ϑ ist dann Cd (x) = Cd,ε (x) = [d(x) − ε, d(x) + ε] eine ¨ aquivariante BSF der L¨ ange 2ε, d.h. Cd (x + ϑ · 1) = ϑ + Cd (x). Sei Ea,ε die Menge aller ¨ aquivarianten BSF der L¨ ange 2ε f¨ ur ϑ. ¨ Es gilt dann: Die Uberdeckungswahrscheinlichkeit (n)

(n)

β(Cd ) = Pϑ ({ϑ ∈ Cd }) = P0 ({0 ∈ Cd }) ist unabh¨ angig von ϑ. ¨ Gesucht ist eine Bereichssch¨ atzfunktion d∗ ∈ Ea,ε , die die Uberdeckungswahrscheinlichkeit maximiert, d.h. β(Cd∗ ) = sup{β(Cd ); Cd ∈ Ea,ε }.

7.1 (Approximative) Konfidenzbereiche und Pivotstatistiken

239

Proposition 7.1.14 (Schranke f¨ ur ¨ aquivariante BSF) n . (n) (n) f (xj −ε) dPε(n) Sei L(x) = (n) (x) = f (xj +ε) der Dichtequotient von P−ε zu Pε . Dann gilt dP−ε

j=1

f¨ ur alle ¨aquivarianten Sch¨atzfunktionen d (n)

β(Cd ) ≤ 1 − P−ε ({L > 1}) − Pε(n) ({L ≤ 1}). Beweis: Es ist f¨ ur eine ¨ aquivariante Sch¨ atzfunktion d (n)

(n)

1 − β(Cd ) = P0 ({d ≥ ε}) + P0 ({d < −ε}) (n)

= P−ε ({d ≥ 0}) + Pε(n) ({d < 0}) = E−ε ϕ + Eε (1 − ϕ) mit dem Test ϕ = 1{d≥0} . Damit ist 12 (1 − β(Cd )) gleich dem Bayes-Risiko des Tests ϕ zur a-priori-Verteilung ( 12 , 12 ) f¨ ur das Testproblem ϑ1 = −ε, ϑ2 = +ε. Das Bayes-Risiko wird minimiert durch den Bayes-Test ϕ = 1{L>1} . Daraus folgt, dass (n)

1 − β(Cd ) ≥ P−ε ({L > 1}) + Pε(n) ({L ≤ 1}).

2

Es stellt sich die Frage, f¨ ur welche Dichten f und ¨aquivarianten Sch¨atzer die obige Schranke angenommen wird. Zur Beantwortung dieser Frage ben¨otigen wir das folgende Resultat aus der Analysis (vgl. Hewitt und Stromberg (1975, 18.43)). Proposition 7.1.15 Sei f eine streng unimodale Dichte auf R, d.h. ∃ offenes Intervall I ⊂ R, so dass {f > 0} = I und ln f ist konkav und endlich auf I. Dann gilt: a) f ist lokal absolut stetig. Es gibt eine Version f der Ableitung, so dass

f f

↓.

b) F¨ ur ε > 0 und z ∈ R ist mit Ψε (z) := ln ff (z−ε) (z+ε) die Abbildung t → Ψε (z + t) monoton wachsend.

Sei

S(x) := ln L(x) =

n j=1

Ψε (xj )

und d∗ (x) := sup{t ∈ R; S(x − t1) > 0}. ∗ Die Definition von d ist sinnvoll, da t → Ψε (z + t) monoton wachsend ist.

240

7 Konfidenzbereiche

Satz 7.1.16 (Optimale a ange) ¨quivariante BSF fester L¨ Sei f streng unimodal und ε > 0, dann gilt a) d∗ ist ein ¨aquivarianter Sch¨atzer f¨ ur ϑ b) C ∗ (x) = [d∗ (x) − ε, d∗ (x) + ε] = Cd∗ (x) ist beste ¨aquivariante BSF der L¨ange 2ε, d.h. ∀Cd ∈ Ea,ε gilt β(Cd ) ≤ β(C ∗ ). Beweis: a) F¨ ur alle x ∈ Rn und ϑ ∈ R1 gilt d∗ (x + ϑ · 1) = sup{t ∈ R; S(x − (t − ϑ) · 1) > 0} = ϑ + sup{t ∈ R; S(x − t · 1) > 0} = ϑ + d∗ (x). aquivariant. Also ist d∗ ¨ b) Wegen der Monotonie von S gilt nach Proposition 7.1.15 {x; d∗ (x) > 0} ⊂ {x; S(x) > 0} ⊂ {x; d∗ (x) ≥ 0}. aquivariant ist und P (n)  λ\n folgt: Da d∗ ¨ Die obigen Mengen sind P (n) f.s. gleich {d∗ > 0} = {S > 0} = {L > 1} [P (n) ]. (n)

(n)

ur {P−ε }, {Pε } zur VorbewerDaraus folgt: 1{d∗ >0} = 1{L>1} ist Bayes-Test f¨ tung ( 12 , 12 ) und β(Cd∗ ) nimmt die obere Schranke in Proposition 7.1.14 an. Es gilt also 2 β(Cd ) ≤ β(Cd∗ ), f¨ ur alle a ¨quivarianten Sch¨atzer d.

7.2

Konfidenzbereiche und Tests

Eine systematische Beschreibung von Optimalit¨atseigenschaften von BSF zum Konfidenzniveau 1 − α wird m¨ oglich durch die Herstellung eines Zusammenhangs mit Testproblemen. Mittels eines solchen Zusammenhangs wurden schon in Satz 7.1.16 optimale ¨ aquivariante BSF konstanter L¨ ange (d.h. mit einer geometrischen Vorgabe) bestimmt. Wir betrachten Parameterfunktionen g : Θ → Γ und Konfidenzbereiche C : X → P(Γ). Um anzugeben, dass C(x) bei Vorliegen des Parameters ϑ ‘falsche‘ Werte γ m¨ oglichst nicht enthalten soll, z.B. γ < g(ϑ) bei einseitigen Konfidenzintervallen oder γ ∈ [g(ϑ) − ε, g(ϑ) + ε]c bei zweiseitigen Konfidenzintervallen,  ϑ ⊂ Γ ∼ ‘richtige‘ Werte von γ und K ϑ ⊂ Γ definieren wir f¨ ur ϑ ∈ Θ Teilmengen H     ∼ ‘falsche‘ Werte von γ, Hϑ ∩ Kϑ = Ø. Wir nennen das System (Hϑ , Kϑ ), ϑ ∈ Θ, Formhypothesen zu g. Wir erweitern nun unsere vorl¨aufige Definition 7.1.1 der BSF zum Niveau 1 − α, indem wir obige Formanforderungen mit ‘falschen‘ und ‘richtigen‘ Werten formuliert einbringen.

7.2 Konfidenzbereiche und Tests

241

Definition 7.2.1 (Optimale BSF zum Niveau 1 − α) ϑ , K  ϑ ), ϑ ∈ Θ vorgegebene Formhypothesen zu g. Seien (H a) Eine BSF C heißt BSF f¨ ur g zum Konfidenzniveau 1 − α  ϑ , ∀ϑ ∈ Θ. ⇔ Pϑ ({γ ∈ C}) ≥ 1 − α, ∀γ ∈ H ϑ , K  ϑ )ϑ∈Θ ) die Menge aller BSF zum Niveau Wieder bezeichne E1−α = E1−α ((H 1 − α. b) C ∗ ∈ E1−α heißt gleichm¨ aßig beste BSF zum Niveau 1 − α  ϑ , ∀ϑ ∈ Θ. ⇔ Pϑ ({γ ∈ C ∗ }) = inf{Pϑ ({γ ∈ C ∗ }); C ∈ E1−α }, ∀γ ∈ K alschte BSF zum Niveau 1 − α f¨ ur g c) C ∈ E1−α heißt unverf¨  ϑ , ∀ϑ ∈ Θ. ⇔ Pϑ ({γ ∈ C}) ≤ 1 − α, ∀γ ∈ K Sei E1−α,u die Menge aller unverf¨alschten BSF zum Niveau 1 − α f¨ ur g. aßig beste unverf¨ alschte BSF zum Niveau 1 − α d) C ∗ ∈ E1−α,u heißt gleichm¨ f¨ ur g  ϑ , ∀ϑ ∈ Θ. ⇔ Pϑ ({γ ∈ C ∗ }) = inf C∈E1−α,u Pϑ ({γ ∈ C}), ∀ϑ ∈ K  ϑ = Θ\{ϑ}, ϑ ∈ Θ, dann  ϑ = {ϑ}, K Sind f¨ ur g(ϑ) = ϑ die Formhypothesen H werden alle Parameter γ ∈ Θ, γ = ϑ als falsch angesehen und eine optimale BSF C ∗ sollte wenig falsche Parameter γ = ϑ u ¨berdecken, d.h. C ∗ sollte eine Umgebung von g(ϑ) mit m¨ oglichst kleinem Volumen sein. Sei  ein Volumenmaß auf (Θ, AΘ ) mit ({ϑ}) = 0, ∀ϑ ∈ Θ. Wir nehmen an, dass {ϑ} ∈ AΘ , ∀ϑ ∈ Θ. Dann ist vol (C) :=

(C(x)) dPϑ (x) = vol (C, ϑ)

das mittlere Volumen von C(x) und

Pϑ ({ϑ ∈ C}) d(ϑ ) = β (C, ϑ)

β (C) := Θ\{ϑ}

¨ die mittlere mit gewichtete Uberdeckungswahrscheinlichkeit von falschen Werten γ = ϑ. Es gilt die Gleichheit dieser Gr¨oßen. Satz 7.2.2 (Satz von Pratt (1961)) Sei C eine BSF f¨ ur g(ϑ) = ϑ mit C(x) ∈ AΘ , ∀x ∈ X. F¨ ur die Formhypothesen   Hϑ = {ϑ}, Kϑ = Θ \ {ϑ} und das Volumenmaß  wie oben gilt f¨ ur ϑ ∈ Θ: vol (C) = β (C).

242

7 Konfidenzbereiche

Beweis: Mit dem Satz von Fubini folgt vol (C) = (C(x)) dPϑ (x) 1C(x) (ϑ ) d(ϑ ) dPϑ (x) =  X Θ  = 1C(x) dPϑ (x) d(ϑ ) Θ\{ϑ} X Pϑ ({ϑ ∈ C}) d(ϑ ) = β (C). =

2

Θ\{ϑ}

Eine gleichm¨ aßig beste BSF f¨ ur ϑ zum Niveau 1 − α minimiert also auch das mittlere Volumen von C(x). Zur Herstellung eines Zusammenhangs der Optimalit¨at von BSF C zum Niveau 1 − α mit der Optimalit¨at in assoziierten Testproblemen definieren wir Testhypothesen f¨ ur γ ∈ Γ:  Hγ  := {ϑ ∈ Θ; γ ∈ Hϑ }, die Menge der ϑ ∈ Θ f¨ ur die γ ein ‘richtiger‘  ϑ }, die Menge der ϑ ∈ Θ, f¨ Sch¨ atzwert f¨ ur g(ϑ) ist und Kγ  := {ϑ ∈ Θ; γ ∈ K ur die γ ein ‘falscher‘ Sch¨ atzwert f¨ ur g(ϑ) ist. Wir betrachten die folgende Zuordnung:

E1−α → Φnr α (Hγ  ) γ  ∈Γ

(7.1)

von der Menge der BSF zum Niveau 1−α zu der Familie der nichtrandomisierten Tests Φnr ur das Testproblem (Hγ  , Kγ  ), γ ∈ Γ. α (Hγ  ) zum Niveau α f¨ ur γ ∈ Γ 1) Ist C ∈ E1−α , dann definiere f¨ AC (γ ) := {x ∈ X; γ ∈ C(x)}. ϑ Dann ist f¨ ur alle ϑ ∈ Hγ  oder a ur alle γ ∈ H ¨quivalent f¨ Pϑ (AC (γ )) = Pϑ ({γ ∈ C}) ≥ 1 − α, d.h. ϕC,γ  = 1(AC (γ  ))c ∈ Φα (Hγ  ),

∀γ ∈ Γ.

AC (γ ) ist also der Annahmebereich des nichtrandomisierten Tests ϕC,γ  zum Niveau α f¨ ur (Hγ  , Kγ  ). 2) Ist umgekehrt 1(A(γ  ))c ∈ Φnr α (Hγ  ), γ ∈ Γ, dann ist

C(x) = {γ ∈ Γ; x ∈ A(γ )} eine BSF zum Niveau 1 − α, d.h. C ∈ E1−α .  ϑ , gilt Denn f¨ ur alle ϑ ∈ Hγ  , ¨ aquivalent f¨ ur alle γ ∈ H Pϑ ({γ ∈ C}) = Pϑ (A(γ )) ≥ 1 − α,

∀ϑ ∈ Θ.

7.2 Konfidenzbereiche und Tests

243

Die obige Zuordnung 1), 2) in (7.1) ist bijektiv. Damit korrespondieren auch die Optimalit¨ at von BSF C und Familien von nichtrandomisierten Tests. C ist genau dann eine gleichm¨ aßig beste (unverf¨alschte) BSF zum Niveau 1 − α, wenn mit A(γ ) = {γ ∈ C} gilt: 1(A(γ  ))c ist ein gleichm¨aßig bester (unverf¨ alschter) nichtrandomisierter Test zum Niveau α f¨ ur (Hγ  , Kγ  ), ∀γ ∈ Γ. Das Problem der Bestimmung optimaler BSF wird damit zur¨ uckgef¨ uhrt auf das Problem der Bestimmung einer Klasse von optimalen nichtrandomisierten Tests. Satz 7.2.3 (Korrespondenzsatz) C ∗ ∈ E1−α ist eine gleichm¨aßig beste (unverf¨alschte) BSF zum Niveau 1 − α f¨ ur g ⇔ ∀γ ∈ Γ ist 1(AC ∗ (γ  ))c ein gleichm¨aßig bester (unverf¨alschter) nichtrandomisierter Test zum Niveau α f¨ ur das Testproblem (Hγ  , Kγ  ). Insbesondere gilt: Ist A∗ (γ ) Annahmebereich eines ‘optimalen‘ nichtrandomisierten Tests f¨ ur (Hγ  , Kγ  ) zum Niveau α f¨ ur γ ∈ Γ, dann ist C ∗ (x) := {γ ∈ ∗ Γ; x ∈ A (γ )} eine ‘optimale‘ BSF zum Niveau 1 − α. Als Anwendungsbeispiel f¨ ur den Korrespondenzsatz behandeln wir die Bestimmung optimaler ein- und zweiseitiger Konfidenzbereiche im Normalverteilungsmodell. Beispiel 7.2.4 (Optimale ein- und zweiseitige Konfidenzintervalle im Normalverteilungsmodell) Sei Θ = R1 , Pϑ = N (ϑ, σ02 )(n) , ϑ ∈ Θ, g(ϑ) = ϑ. ϑ = a) F¨ ur einseitige Konfidenzbereiche verwenden wir die Formhypothesen H  ϑ = (−∞, ϑ), d.h. al[ϑ, ∞), d.h. alle Parameter γ ≥ ϑ sind ‘richtig‘ und K le Parameter γ < ϑ sind ‘falsch‘. Dann sind die zugeordneten Testhypothesen:  ϑ } = (−∞, ϑ ], Hϑ = {ϑ ∈ Θ; ϑ ∈ H

Kϑ = (ϑ , ∞).

Es existiert ein gleichm¨ aßig bester nichtrandomisierter Test ϕ∗ zum Niveau α f¨ ur (Hϑ , Kϑ ), n¨ amlich der Gaußtest mit Annahmebereichen   √ n(xn − ϑ ) ∗ n ≤ uα , ϑ ∈ R. A (ϑ ) = x ∈ R ; σ0 Nach Satz 7.2.3 folgt: C ∗ (x) = {ϑ ∈ R; x ∈ A∗ (ϑ )}   √ n(xn − ϑ ) = ϑ ∈ R; ≤ uα σ0   σ0 = xn − √ uα , ∞ n σ0 u ist gleichm¨ aßig beste (einseitige) BSF zum Niveau 1−α, d.h. ϑ(x) := xn − √ n α ist ‘gleichm¨ aßig beste untere Konfidenzschranke‘ zum Niveau 1 − α f¨ ur ϑ.

244

7 Konfidenzbereiche

 ϑ = {ϑ}, b) F¨ ur zweiseitige Konfidenzbereiche w¨ ahlen wir die Formhypothesen H  ϑ = R \ {ϑ}. Die zugeordneten Testhypothesen sind K  ϑ } = {ϑ }, Hϑ = {ϑ ∈ Θ; ϑ ∈ H

Kϑ = R \ {ϑ }.

Es gibt einen gleichm¨ aßig besten nichtrandomisierten unverf¨alschten Test zum Niveau α mit den Annahmebereichen   √ n|xn − ϑ | ≤ u α2 , ϑ ∈ R. A∗ (ϑ ) = x ∈ Rn ; σ0 Nach Satz 7.2.3 folgt

  √ n|xn − ϑ | α C (x) = ϑ ; ≤ u2 σ0   σ0 σ0 α α = xn − √ u 2 , xn + √ u 2 n n ∗

ist gleichm¨ aßig beste unverf¨ alschte (zweiseitige) BSF zum Niveau 1 − α. Mit dem Korrespondenzsatz ist es nun m¨oglich die bekannten Konstruktionsverfahren f¨ ur optimale Tests auf solche f¨ ur optimale BSF zu u ¨ bertragen. Insbesondere die Konstruktion f¨ ur Klassen mit monotonen Dichtequotienten u ¨bertragen sich. Satz 7.2.5 (Gleichm¨ aßig beste untere Konfidenzschranken) Sei Θ eine vollst¨andig geordnete abgeschlossene Parametermenge. P habe einen monotonen Dichtequotienten in T , identifizierbaren Parameter und PϑT sei stetig, ϑ ∈ Θ. Sei c(ϑ ) = uα (PϑT ), dann ist c ↑, und c−1 (t) = inf{ϑ ∈ Θ; c(ϑ) ≥ t} ist wohldefiniert. Sei A(ϑ ) Annahmebereich des gleichm¨aßig besten Tests zum Niveau α f¨ ur das Testproblem Hϑ = {ϑ ∈ Θ; ϑ ≤ ϑ }, Kϑ = {ϑ ∈ Θ; ϑ > ϑ }. Dann gilt C ∗ (x) = {ϑ ∈ Θ; x ∈ A(ϑ )} = {ϑ ∈ Θ; T (x) ≤ c(ϑ )} = {ϑ ∈ Θ; c(x) ≤ ϑ } mit c(x) := c−1 (T (x)), ist gleichm¨aßig beste BSF zum Niveau 1 − α. Beweis: Der Annahmebereich A(ϑ ) des gleichm¨aßig besten Tests zum Niveau α f¨ ur (Hϑ , Kϑ ) hat die Form A(ϑ ) = {x ∈ X; T (x) ≤ c(ϑ )}. Da der Parameter ϑ identifizierbar ist, ist die G¨ utefunktion streng isoton. Daraus folgt Pϑ ({T > c(ϑ )}) > α f¨ ur ϑ > ϑ und daher c(ϑ) > c(ϑ ), d.h. c ist streng isoton. Die gleichm¨ aßig beste BSF ist nach dem Korrespondenzsatz gegeben durch C ∗ (x) = {ϑ ∈ Θ; T (x) ≤ c(ϑ )} = {ϑ ∈ Θ; ϑ ≥ ϑ(x)} = [ ϑ(x), ∞)

oder

= ( ϑ(x), ∞)

7.2 Konfidenzbereiche und Tests

245

mit ϑ(x) := c−1 (T (x)). Wegen der Stetigkeit von PϑT ist also [ϑ(x), ∞) gleichm¨aßig bestes Konfidenzintervall zum Niveau 1 − α. 2 Bemerkung 7.2.6 Die untere optimale Konfidenzschranke ϑ(x) kann man folgendermaßen bestimmen: Ist f¨ ur x ∈ X, ϑ(x) ∈ Θ so, dass 

FϑT(x) (T (x)) = 1 − α,

(7.2)



dann gilt: ϑ = ϑ. Denn FϑT (t) ist streng antiton in ϑ. Also existiert h¨ochstens eine 

L¨ osung ϑ(x) von (7.2). Andererseits ist: FϑT (c(ϑ )) = 1 − α, ∀ϑ . Daraus folgt: 

T Fϑ(x) (c(ϑ(x))) = 1 − α mit ϑ(x) = c−1 (T (x)).

Wegen c(ϑ(x)) = T (x) folgt daher T (T (x)) = 1 − α = FϑT(x) (T (x)), Fϑ(x) 

∀x ∈ X,

also die Behauptung. Beispiel 7.2.7 (Binomialverteilung) Sei Θ = [0, 1], Pϑ = B(n, ϑ), ϑ ∈ [0, 1], das Binomialverteilungsmodell. Zur Bestimmung einer unteren Konfidenzschranke von ϑ definieren wir Pϑ = Pϑ ∗ U (0, 1), ϑ ∈ [0, 1].  = {Pϑ ; ϑ ∈ [0, 1]} hat einen monotoDas gegl¨ attete Binomial-Modell P in T (v) = v mit Pϑ = PϑT stetig, Pϑ = f λ\ mit f (v) =

Dichtequotienten nen n [v] n−[v] (1 − ϑ) 1[0,n+1] (v). [v] ϑ Es ist Fϑ (v) =

[v]−1 

 i=0

   n i n n−i ϑ (1 − ϑ) + (v − [v]) ϑ[v] (1 − ϑ)n−[v] , i [v]

0 ≤ v < n + 1,

Fϑ (v) ist antiton und stetig in ϑ ∈ [0, 1] und es gilt Fϑ (v) −→ max(0, v − n), ϑ→1

Fϑ (v) −→ min(1, v). ϑ→0

∀α ∈ (0, 1), v ∈ (1 − α, n + 1 − α) existiert ϑ(v)

: Fϑ(v) (v) = 1 − α.

∀v ∈ (α, n + α) existiert genau ein ϑ(v)

: Fϑ(v) (v) = α.

aßig beste untere bzw. obere Konfidenzschranken ϑ(v), ϑ(v) sind gleichm¨  zum Niveau 1 − α f¨ ur ϑ bzgl. P. osungen von algebraischen Gleichungen n-ten Grades ϑ(v), ϑ(v) sind als L¨ zu bestimmen.

246

7 Konfidenzbereiche

F¨ ur das Binomial-Modell P sind sie nach Konstruktion Konfidenzschranken zum Niveau 1 − α und approximativ optimal. Beispiel 7.2.8 (Konfidenzbereich f¨ ur die Varianz) F¨ ur ϑ = R × R+ , ϑ = (μ, σ 2 ) sei Pϑ = N (μ, σ 2 )(n) und g(ϑ) = σ 2 . F¨ ur zweiseitige BSF betrachten wir die Testprobleme Hσ02 = {σ 2 = σ02 }, Kσ02 = {σ 2 = σ02 }, σ02 > 0. Der gleichm¨ aßig beste unverf¨ alschte Test zum Niveau α hat den Annahmebereich  n 1  ∗ 2 n 2 2 2 A (σ0 ) = x ∈ R ; χn−1,1− α2 ≤ 2 (xi − xn ) ≤ χn−1, α2 σ0 i=1 mit χ2n−1,α das α-Fraktil der χ2n−1 -Verteilung. Nach dem Korrespondenzsatz 7.2.3 folgt : 9 n n 2 2 (x − x ) (x − x ) i n i n i=1 C ∗ (x) = , i=12 χ2n−1, α χn−1,1− α 2

2

ist gleichm¨ aßig beste unverf¨ alschte BSF zum Niveau 1 − α f¨ ur σ 2 . F¨ ur nicht stetig verteilte Statistiken T wie z.B. im Binomial-Modell in Beispiel 7.2.7 ist eine M¨ oglichkeit zur Konstruktion gleichm¨aßig bester BSF zum Niveau 1−α die R¨ ander der BSF zu randomisieren, d.h. nur mit gewisser Wahrscheinlichkeit geh¨ ort ϑ(x) zu C(x). Formal f¨ uhrt das zu dem Begriff der randomisierten BSF. Definition 7.2.9 (Randomisierte BSF) Sei g : Θ → Γ. Eine Abbildung ϕ : (X × Γ, A ⊗ AΓ ) → ([0, 1], [0, 1]B 1) heißt ¨ randomisierte BSF f¨ ur g. Eϑ ϕ(·, γ) heißt Uberdeckungswahrscheinlichkeit von γ f¨ ur γ ∈ Γ. Bemerkung 7.2.10 (Interpretation von randomisierten BSF) a) Sei Qϑ := Pϑ ⊗ U (0, 1) und Cϕ (x, u) = {γ ∈ Γ, u ≤ ϕ(x, γ)}. Bei Beobachtung x ∈ X w¨ahle U ∼ U (0, 1). Ist U ≤ ϕ(x, γ), dann ist γ ∈ Cϕ (x, U ). Es gilt Qϑ ({(x, u); γ ∈ Cϕ (x, u)}) = Qϑ ({(x, u); u ≤ ϕ(x, γ)}) du dPϑ (x) = X [0,ϕ(x,γ)] = ϕ(x, γ) dPϑ (x) = Eϑ ϕ(·, γ). Eine randomisierte BSF ϕ(x, γ) l¨asst sich also auch als nichtrandomisierte BSF ¨ Cϕ auf einem erweiterten Grundraum auffassen, in dem eine Uberdeckung von γ randomisiert geschieht. b) Ist ϕ(x, γ) = 1C(x) (γ), dann ist ϕ eine nichtrandomisierte BSF C. c) ϕ ist eine randomisierte BSF zum Niveau 1 − α, wenn Eϑ ϕg(ϑ) ≥ 1 − α, ∀ϑ ∈ Θ, mit ϕg(ϑ) = ϕ(·, g(ϑ)). Die erweiterte Definition von Bereichssch¨atzfunktionen

7.2 Konfidenzbereiche und Tests

247

zum Niveau 1 − α basierend auf Formhypothesen ¨ ubertr¨agt sich direkt auf randomisierte BSF. Damit l¨asst sich auch die Formulierung von optimalen BSF ubertragen. ¨ d) Mit dem Begriff der randomisierten BSF l¨asst sich der Korrespondenzsatz erweitern: ‘optimale‘ randomisierte BSF zum Niveau 1 − α entsprechen eindeutig ‘optimalen‘ Familien von randomisierten Tests ϕγ  f¨ ur (Hγ  , Kγ  ), γ ∈ Γ zum Niveau α. Dieses erlaubt dann auch f¨ ur diskrete Verteilungen ‘optimale‘ randomisierte BSF mit Hilfe der zugeh¨origen Testtheorie zu konstruieren.

Kapitel 8

¨ Invarianz und Aquivarianz In den vorangegangenen Kapiteln wurden mehrere Reduktionsprinzipien behandelt. Entscheidungstheoretisch gut begr¨ undet ist die Reduktion durch Suffizienz, d.h. die Einschr¨ ankung auf Verfahren, die nur von der suffizienten Statistik abh¨angen und die ohne Informationsverlust vorgenommen werden k¨onnen. Aber auch die Reduktion auf erwartungstreue Sch¨ atzer, auf α-¨ ahnliche und unverf¨alschte Tests sind gut motivierte Reduktionsprinzipien, die gewisse Klassen von Entscheidungsfunktionen nicht zum Vergleich in Betracht ziehen. In diesem Kapitel wird eine neue Form von Reduktionsprinzipien behandelt. Es wird verlangt, dass die Test- oder Sch¨atzverfahren Invarianzeigenschaften des statistischen Modells unter einer Gruppe von Transformationen in nat¨ urlicher Weise widerspiegeln und respektieren. So sollen z.B. Sch¨atzverfahren f¨ ur einen Lageparameter unabh¨ angig von der (additiven oder multiplikativen) Skala sein, in der die Daten gemessen werden. Es zeigt sich, dass unter dieser Reduktion eine allgemeine L¨ osung f¨ ur das Sch¨ atzproblem in Lokations- und Skalenfamilien gegeben werden kann, der Pitman-Sch¨ atzer. F¨ ur Sch¨ atz- und Testprobleme in allgemeinen gruppeninduzierten Modellen wird die Reduktion auf ¨ aquivariante Sch¨ atzer bzw. invariante Tests durch die S¨atze von Girshik-Savage und von Hunt und Stein entscheidungstheoretisch begr¨ undet. Dieser Teil der Statistik hat einen engen Zusammenhang mit der algebraischen Gruppentheorie, insbesondere mit der Strukturtheorie von lokalkompakten Gruppen. Wir behandeln eine Einf¨ uhrung in diesen reizvollen Zusammenhang, insbesondere zum Begriff der ‘amenable groups‘. Wir diskutieren auch den Zusammenhang ¨ der Reduktion durch Aquivarianz und Invarianz mit anderen Reduktionsprinzipien wie Suffizienz und Erwartungstreue. Im abschließenden Abschnitt 8.4 behandeln wir Anwendungen auf die f¨ ur die statistische Praxis besonders wichtige Klasse von linearen Modellen (Ein- und Mehrfaktormodelle, Varianz- und Kovarianzanalyse, Varianzkomponenten etc.) und geben insbesondere Herleitungen der χ2 - und F -Tests der linearen Hypothesen, des Satzes von Gauß-Markov u ¨ ber optimale lineare Sch¨atzer und von Hotellings T 2 -

L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_8, © Springer-Verlag Berlin Heidelberg 2014

¨ 8 Invarianz und Aquivarianz

250

Test, einer Verallgemeinerung des t-Tests. Dieser l¨asst sich sowohl als LikelihoodQuotiententest als auch als gleichm¨ aßig bester invarianter Test charakterisieren.

8.1

¨ Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

Wir bestimmen in Lokations- und in Skalenmodellen den besten ¨aquivarianten Sch¨ atzer, den Pitman-Sch¨ atzer. Es zeigt sich, dass das Prinzip der Reduktion auf atzer mit dem der Reduktion auf erwartungstreue Sch¨atzer ver¨aquivariante Sch¨ tr¨ aglich ist. Der Satz von Girshik-Savage gibt eine entscheidungstheoretische Rechtfertigung dieser Reduktion. Das arithmetische Mittel ist Pitman-Sch¨atzer nur in Gaußschen Lokationsmodellen. Wir diskutieren auch Resultate von Kagan u ¨ ber die partielle Suffizienz von xn sowie Varianten des Satzes von Basu f¨ ur Lokationsfamilien von Denny, Takeuchi und Bondesson. Der Stichprobenraum in diesem Abschnitt ist X = Rn . Zu P ∈ M 1 (Rn , Bn ), ϑ ∈ Θ = R sei Pϑ = εϑ·1 ∗ P , also Pϑ (B) = P (B − ϑ · 1). P = {Pϑ ; ϑ ∈ Θ = R} ist die von P erzeugte Lokationsfamilie. Sei Q := {Sϑ ; ϑ ∈ R}, Sϑ (x) := x + ϑ · 1 die Gruppe der von Θ erzeugten Translationen auf Rn . Dann gilt: Pϑ = P Sϑ . Wir betrachten zun¨achst das Sch¨atzproblem f¨ ur g(ϑ) := ϑ, ϑ ∈ Θ und fordern, dass Sch¨atzer skalenunabh¨angig sind. Definition 8.1.1 (¨ aquivariante Sch¨ atzer) a) d : (Rn , Bn ) → (R1 , B1 ) heißt ¨ aquivarianter Sch¨ atzer, wenn d(x + ϑ · 1) = d(x) + ϑ,

∀ x ∈ Rn , ϑ ∈ R

d.h. d ◦ Sϑ = ϑ + d. Sei E (D) die Menge aller ¨aquivarianten Sch¨atzer. b) k ∈ L(Rn , Bn ) heißt (translations-)invariant, wenn k ◦ Sϑ = k, ∀ϑ ∈ R. Sei I(D) die Menge aller invarianten Sch¨atzfunktionen. Werden Beobachtungen in einer um ϑ verschobenen Skala gemessen, so soll der sich dann ergebende Sch¨ atzwert d(x + ϑ · 1) mit d(x) + ϑ, d.h. der Verschiebung um ϑ von d(x) u ur eine invariante Sch¨atzfunktion wird der ¨bereinstimmen. F¨ Sch¨ atzwert dagegen durch eine Verschiebung nicht beeinflusst. ¨ Proposition 8.1.2 (Aquivarianz, Invarianz und Erwartungstreue) Sei e ∈ E(D), S ∈ I(D), dann gilt: a) E(D) = e + I(D) b) Ist e ∈ L1 (P ), dann ist  g, d∗ := e − EP (e | S) ∈ D ur g. d.h. d∗ ist erwartungstreu f¨

¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

251

c) T (x) := x − e(x) · 1 ist maximalinvariant bzgl. Q, d.h. f¨ ur x, y ∈ Rn gilt: T (x) = T (y) ⇔ ∃ϑ ∈ R : y = Sϑ (x).

Bahn von Q

x

crosssection ∼ T

Abbildung 8.1 Auf verschiedenen Bahnen hat T verschiedene Werte. T entspricht einer ‘cross section‘

Beweis: a) Sei d ∈ E (D), dann ist d = e + k mit k := d − e. Nach Definition ist k ∈ I(D), denn: k(x + ϑ · 1) = d(x + ϑ · 1) − e(x + ϑ · 1) = d(x) − e(x) = k(x). Also ergibt sich: E (D) ⊂ e + I(D). Die umgekehrte Inklusion E (D) ⊃ e + I(D) ist aber offensichtlich. b) Die Funktion h(S) := EP (e | S) ist invariant, d.h. h(S) ∈ I(D). Nach a) ist daher d∗ ¨ ur ϑ ∈ R aquivariant d∗ ∈ E (D). Weiter ist f¨ Eϑ d∗ = Eϑ e − Eϑ h(S) = (EP e) + ϑ − EP h(S) = ϑ  g. Also ist d∗ ∈ D

da EP h(S) = EP e.

¨ 8 Invarianz und Aquivarianz

252

c) T ist invariant, denn f¨ ur alle ϑ ∈ R gilt: T (x + ϑ · 1) = x + ϑ · 1 − e(x + ϑ · 1) · 1 = x + ϑ · 1 − (e(x) + ϑ) · 1 = T (x). Aus T (x) = T (y) folgt: x − e(x) · 1 = y − e(y) · 1 und daher y = x + (e(y) − e(x)) · 1 = x + ϑ · 1 = Sϑ (x) mit ϑ := e(y) − e(x). Also ist T maximalinvariant.

2

Im Lokationsmodell haben a atzer konstante Risikofunktionen. ¨quivariante Sch¨ Proposition 8.1.3 (¨ aquivariante Sch¨ atzer haben konstantes Risiko) Im Lokationsmodell P gilt: a) Ist d ∈ E (D) und ist d ∈ L2 (P ), dann gilt d hat konstanten Bias: Eϑ d − ϑ = EP d, ∀ϑ ∈ R und d hat konstante Varianz: Varϑ (d) = VarP (d), ∀ϑ ∈ R. b) Sei L0 : (R2 , B2 ) → (R+ , B+ ) und L(ϑ, a) := L0 (a − ϑ) die zugeh¨orige invariante Verlustfunktion. Dann gilt f¨ ur d ∈ E (D)+ mit L0 (d) ∈ L1 (P ): d hat konstantes Risiko, R(ϑ, d) = R(0, d) =: R0 (d),

∀ϑ ∈ R.

Beweis: a) F¨ ur ϑ ∈ R1 und d ∈ E (D) ∩ L2 (P ) gilt: Eϑ d − ϑ = EP d ◦ Sϑ − ϑ = EP (d + ϑ) − ϑ = EP d. Ebenso ist Varϑ (d) = Eϑ (d − Eϑ d)2 = E0 (d + ϑ − E0 (d + ϑ))2 = VarP d. b)

R(ϑ, d) = Eϑ L0 (d − ϑ) = E0 L0 (d ◦ Sϑ − ϑ) = E0 L0 (d + ϑ − ϑ) = E0 L0 (d) = R(0, d)

f¨ ur alle ϑ ∈ R.

2

Bemerkung 8.1.4 a) Als Folgerung aus Proposition 8.1.3 ergibt sich, dass lokale Optimalit¨at von d ∈ E (D) bzgl. E (D) in ϑ = 0 ¨aquivalent ist mit gleichm¨aßiger Optimalit¨at von d bzgl. E (D). Es reicht daher, von besten ¨aquivarianten Sch¨atzern zu sprechen.

¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

253

b) Beispiele ¨aquivarianter Funktionen sind e1 (x) = x1 , e2 (x) = xn oder e3 (x) =

n 

ai xi mit

i=1

n 

ai = 1.

i=1

Zugeh¨orige maximalinvariante Statistiken sind T1 (x) = (x2 − x1 , . . . , xn − x1 ) T2 (x) = (x1 − xn , . . . , xn − xn ),

(formal (0, x2 − x1 , . . . , xn − x1 )),

T3 (x) = x − Σai xi · 1. Es ist σ(T1 ) = σ(T2 ) =: I die σ-Algebra der invarianten Mengen und es gilt: h ∈ I(D) ⇔ h ∈ L(I) ⇔ Es existieren ki ∈ L(Rn ) : h = ki ◦ Ti , i = 1, 2. ¨ Die zweite Aquivalenz ergibt sich aus dem Faktorisierungssatz. c) Nach einem Satz von Dynkin und Denny sind in Lokationsfamilien suffiziente, ¨aquivariante Sch¨atzer stochastisch unabh¨angig von verteilungsfreien Sch¨atzern. Als optimale ¨ aquivariante Sch¨ atzer werden sich im Folgenden die PitmanSch¨ atzer erweisen. Wir w¨ ahlen eine konstruktive Definition des Pitman-Sch¨atzers und zeigen im folgenden Satz, dass Pitman-Sch¨atzer ¨aquivalent auch als optimale aquivariante Sch¨ atzer definiert werden k¨ onnen. ¨ Definition 8.1.5 (Pitman-Sch¨ atzer) Sei e ∈ E (D) und T : (Rn , Bn ) → (Y, B) eine maximalinvariante Statistik mit {y} ∈ ur alle y ∈ Y . Sei h∗ ∈ L(Y, B) so, dass h∗ (t) Minimumstelle von  B f¨ a → L0 (z + a)P e|T =t (dz) ist, P T fast sicher in t ∈ Y . Dann heißt d∗ := e + h∗ ◦ T Pitman-Sch¨ atzer. Bemerkung 8.1.6 a) Die Definition des Pitman-Sch¨atzers h¨angt von e ab. Es wird sich jedoch erweisen, dass diese Abh¨angigkeit nur formaler Natur ist. b) Ist L0 (z) = z 2 die quadratische Verlustfunktion und e ∈ L2 (P ), dann gilt h∗ (t) = −E(e | T = t)[P T ] und h∗ ist P T f.s. eindeutig; d.h. d∗ = e − E(e | T ). Denn f¨ ur eine Zufallsvariable X ∼ P e|T =t gilt E(X + a)2 ≥ E(X − EX)2 und Gleichheit gilt genau dann, wenn a = −EX = −E(e | T = t).

¨ 8 Invarianz und Aquivarianz

254

Ist L0 (z) = |z| die Laplacesche Verlustfunktion, dann ist jeder bedingte Median eine Minimumstelle, h∗ (t) = − med(e | T = t) und d∗ = e − med(e | T ) ist Pitman-Sch¨atzer. Satz 8.1.7 (Optimalit¨ at von Pitman-Sch¨ atzern) Sei e ∈ E (D) und L(ϑ, a) = L0 (a − ϑ) eine invariante Verlustfunktion mit R0 (e) < ∞. a) Existiert ein Pitman-Sch¨atzer d∗ = e + h∗ ◦ T , so ist d∗ bester ¨aquivarianter Sch¨atzer. Ist d ein bester ¨aquivarianter Sch¨atzer, so ist d Pitman-Sch¨atzer. b) Sei L(ϑ, a) = (ϑ − a)2 , dann gilt: 1) Es existiert ein Pitman-Sch¨atzer d∗ . d∗ ist P f.s. eindeutig und unabh¨angig von e definiert und d∗ ist erwartungstreu f¨ ur g, d∗ ∈ Dg . ¨ damit ist: 2) Ist d bester ¨aquivarianter Sch¨atzer, dann ist d = d∗ [P ]. Aquivalent e) < ∞ und d = e − EP ( e | T )[P ]. ∃ e ∈ E (D) mit R0 ( 3) Ist P = f λ\n , dann gilt  ϑf (x − ϑ · 1)dϑ [P ]. d (x) =  f (x − ϑ · 1)dϑ ∗

Beweis: atzer. Zu zeigen ist: a) Sei d∗ = e + h∗ ◦ T Pitman-Sch¨ R0 (d∗ ) = inf{R0 (d); d ∈ E (D)} = inf{EL0 (e + k); k ∈ I(D)} = inf{EL0 (e + h ◦ T ); h ∈ L(Y, B)}. Der Erwartungswert l¨ asst sich EL0 (e + h ◦ T ) = = ≥

bedingt unter T berechnen: L0 (z + h(t)) dP (e,T ) (z, t)   e|T =t L0 (z + h(t)) dP (z) dP T (t)   ∗ e|T =t (z) dP T (t) L0 (z + h (t)) dP

= EL0 (e + h∗ ◦ T ) = R0 (d∗ ). aquivarianter Sch¨ atzer. Also ist d∗ ein bester ¨

¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

255

b) Nach Bemerkung 8.1.6 existiert ein Pitman-Sch¨atzer, n¨amlich d∗ = e − EP (e | T ). Ist nun d ∈ E (D) ein bester ¨ aquivarianter Sch¨atzer, dann gilt nach Pro  position 8.1.2 d = e − h ◦ T. F¨ ur quadratischen Verlust und nach der Argumentation zu a) ist aber der Pitman-Sch¨atzer zu e eindeutig definiert und d = e − h∗ ◦ T = d∗ [P T ]. e) < ∞: Insbesondere gilt ∀ e ∈ E (D) mit R0 ( de = e − E( e | T ) ist unabh¨ angig von e definiert und de = d∗ , d∗ ∈ Dg nach Proposition 8.1.2 b). c) Sei e(x) := x1 und T (x) = (x2 − x1 , . . . , xn − x1 ) die zugeh¨orige maximalinvariante Statistik. Dann ist: H(x) := (e(x), T (x)) = Ax, mit A = (aij ), aii = 1, ai1 = −1, aij = 0 sonst. Es ist det A = 1 und nach der Transformationsformel gilt mit t = (t2 , . . . , tn ) dP (e,T ) (z, t) dλ\n = f (H −1 (z, t)) · 1 = f (z, z + t2 , . . . , z + tn )[λ\n ].

f(e,T ) (z, t) =

Daraus folgt: dP e|T =t (z) dλ\ f (z, z + t2 , . . . , z + tn ) . =  f ( z , z + t2 , . . . , z + tn ) dλ\( z)

fe|T =t (z) =

Weiter folgt:  zf (z, z + t2 , . . . , z + tn ) dλ\(z) E(e | T = t) =  . f (z, z + t2 , . . . , z + tn ) dλ\(z) Mit der Substitution z = x1 − ϑ, tj = xj − x1 erh¨alt man daraus: d∗ (x) = x1 − E(e | T = T (x))  ϑf (x1 − ϑ, . . . , xn − ϑ)dϑ . =  f (x1 − ϑ, . . . , xn − ϑ)dϑ

2

Beispiel 8.1.8 (n) Sei P = Qn , Q = f λ\, dann ist Pϑ = Qϑ mit Qϑ = f (· − ϑ)λ\. a) Normalverteilung: Sei Q = N (0, σ02 ), σ02 > 0, die Normalverteilung e(x) := xn und T (x) := x − xn · 1. Dann sind nach dem Satz von Basu e, T stochastisch unabh¨angig. Daher gilt: EP (e | T ) = EP xn = 0 und daher ist d∗ (x) = xn Pitman-Sch¨atzer und also auch bester ¨aquivarianter Sch¨atzer.

¨ 8 Invarianz und Aquivarianz

256

b) Exponentialverteilung: Ist Q = E (1) die Exponentialverteilung mit Dichte f (z) = e−z 1(0,∞) (z) [λ\], dann ist nach Satz 8.1.7 b)  −Σ(x −ϑ) i ϑe π1(0,∞) (xi − ϑ)dϑ ∗ d (x) =  −Σ(x −ϑ) i e π1(0,∞) (xi − ϑ)dϑ  x(1) nϑ ϑe dϑ 1 = x(1) − . = −∞ x(1) nϑ n e dϑ −∞ Die letzte Gleichheit ergibt sich durch partielle Integration. Nach Proposition 8.1.2 ist ein Pitman-Sch¨atzer d∗ erwartungstreu. d∗ ist sogar gleichm¨ aßig bester erwartungstreuer Sch¨atzer falls ein solcher existiert. F¨ ur den Beweis dieser Aussage ben¨ otigen wir die folgende maßtheoretische Aussage, die wir erst in Kapitel 8.2 beweisen werden (vgl. Satz 8.2.8). Satz 8.1.9 (Fast sicher invariante Statistiken) Sei Q eine Gruppe von messbaren Transformation von (X, B) nach (X, B). Sei P eine Q-invariante Verteilungsklasse (d.h. P q ∈ P, ∀P ∈ P, ∀q ∈ Q). Sei weiter AQ eine σ-Algebra auf Q, so dass: 1) (q, x) → qx ist (AQ ⊗ B, B) messbar 2) A ∈ AQ , q ∈ Q ⇒ Aq ∈ AQ 3) ∃ ν ∈ M 1 (Q, AQ ) so dass ν(A) = 0 ⇒ ν(Aq) = 0, ∀q ∈ Q. Sei T : (X, B) → (R, B) P fast invariant (d.h. ∀q ∈ Q : ∃N ∈ NP : T (x) = T (qx), ∀x ∈ N c ), dann existiert T ∈ I(D) so, dass T = T [P]. Bemerkung 8.1.10 a) Obige Bedingungen sind insbesondere erf¨ ullt, wenn ein (rechts-)invariantes σendliches Maß (¨aquivalent ein Haarsches Maß) auf Q existiert. Haarsche Maße existieren auf lokal kompakten Gruppen Q. Ist Q σ-kompakt, dann existieren σ-endliche invariante Maße. b) Die Bedingungen in Satz 8.1.9 k¨onnen ¨aquivalent auch in der Form mit Multiplikation von links formuliert werden. ¨ Das Prinzip der Aquivarianz ist mit dem der Erwartungstreue vertr¨aglich. Satz 8.1.11 (Erwartungstreue Sch¨ atzer und ¨ aquivariante Sch¨ atzer) Sei P ein Lokationsmodell und es sei e ∈ E (D) mit R0 (e) < ∞ bei quadratischem Verlust und zugeh¨origem Pitman-Sch¨atzer d∗ . Existiert ein gleichm¨aßig bester erwartungstreuer Sch¨atzer d ∈ Dg , dann gilt d = d∗ [P].

¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

257

Beweis:  ∀ϑ ∈ Θ.  g und daher gilt Varϑ d∗ ≥ Varϑ d, 1. Nach Satz 8.1.7 ist d∗ ∈ D 2. F¨ ur d ∈ D und a ∈ R sei da (x) := d(x + a · 1) − a, x ∈ Rn . Dann gilt:  g ⇔ da ∈ D g, d∈D denn Eϑ da = Eϑ+a d − a = (ϑ + a) − a = ϑ,

∀a ∈ R, ∀ϑ. Daher gilt auch

Varϑ da = Eϑ d2a − ϑ2 = Eϑ+a (d − a)2 − ϑ2 = Eϑ+a d2 − 2a(ϑ + a) + a2 − ϑ2 = Eϑ+a d2 − (ϑ + a)2 = Varϑ+a d.

(8.1)

3. F¨ ur den besten erwartungstreuen Sch¨ atzer d folgt hieraus: Varϑ da = Varϑ+a d = inf Varϑ+a d d∈Dg

= inf Varϑ (da ) = inf Varϑ (d) da ∈Dg

d∈Dg

 = inf Varϑ (d) = Varϑ d, d∈Dg

nach 2.)

∀ϑ ∈ Θ = R.

aßig bester erwartungstreuer Sch¨atzer. Wegen der EinAlso ist auch da gleichm¨ deutigkeit von gleichm¨ aßig besten erwartungstreuen Sch¨atzern gilt daher da = d [P],  d.h. ∀a ∈ R : ∃Na ∈ NP so dass da (x) = d(x), ∀x ∈ Nac .  + a · 1) = d(x)  + a, ∀x ∈ N c . Also gilt: d(x a

Da d∗ ∈ E (D) ist auch d∗a ∈ E (D). Daraus folgt:  + a · 1) − d∗ (x + a · 1) = d(x)  − d∗ (x), d(x f¨ ur alle x ∈ Nac , d.h. h := d − d∗ ist P-f.s. invariant. Nach Satz 8.1.9, angewendet auf das Lokationsmodell P existiert ein invarianter Sch¨ atzer h ∈ I(D), so dass h = h [P]. Daraus folgt aber, dass d(x) := d∗ (x) + h(x) ∈ E (D) und es ist d = d [P]. Es folgt Varϑ d = Varϑ d = R0 (d) ≥ R0 (d∗ )

da d∗ Pitman-Sch¨atzer

= Varϑ (d∗ ),

∀ϑ ∈ R.

Also gilt =“, da d gleichm¨ aßig bester erwartungstreuer Sch¨atzer ist und d = ” d∗ [P]. 2

¨ 8 Invarianz und Aquivarianz

258

Da das Risiko von ¨ aquivarianten Sch¨atzern unabh¨angig von ϑ ist, ist es naheliegend zu vermuten, dass ein Pitman-Sch¨atzer auch Minimax-Sch¨atzer ist. F¨ ur zwei Typen von Verlustfunktionen wird diese Vermutung im folgenden Satz von Girshik-Savage best¨ atigt: Satz 8.1.12 (Girshik-Savage) Sei P ein Lokationsmodell, L(ϑ, a) = L0 (a − ϑ) und sei 1) L0 messbar und beschr¨ankt oder sei 2) L0 (z) = z 2 und R0 (e) < ∞ f¨ ur ein e ∈ E (D). Dann gilt: sup inf

a)

 d∈E (D) μ∈Θ

r(μ, d) = inf sup r(μ, d)  d∈D μ∈Θ

= inf sup R(ϑ, d) = d∈D ϑ∈Θ

inf

R0 (d)

d∈E (D)

b) Ist d∗ Pitman-Sch¨atzer, dann ist d∗ Minimax-Sch¨atzer bzgl. D. Beweis: Wir f¨ uhren den Beweis nur f¨ ur den Fall L0 (z) = z 2 und P = f λ\n nach der Limes-Bayes-Methode. Sei πT = U (−T, T ) die Gleichverteilung auf (−T, T ), T > 0.  und sei rT := inf d∈D r(d, πT ) das Bayes-Risiko zu πT . πT ∈ Θ Wir zeigen, dass rT → r∗ := E0 (d∗ )2 gilt. Dann folgt die Behauptung nach dem Satz von Hodges und Lehmann (Satz 2.2.10). Es reicht zu zeigen, dass lim rT ≥ r∗ . Sei da,b Bayes-Sch¨ atzer zu U (a, b), dT := d−T,T . Nach der Formel f¨ ur BayesSch¨ atzer als Erwartungswert der a-posteriori-Verteilung folgt da,b (x + c · 1) = da−c,b−c (x) + c. Daraus ergibt sich: Eϑ (dT − ϑ)2 = E0 (d−T −ϑ,T −ϑ )2 und f¨ ur 0 < ε < 1 ergibt sich f¨ ur das Bayes-Risiko rT =

1 2T



T −T

E0 (d−T −ϑ,T −ϑ )2 dϑ ≥ (1 − ε)

inf

|ϑ|≤(1−ε)T

E0 (d−T −ϑ,T −ϑ )2 ,

= denn f¨ ur |ϑ| ≤ (1 − ε)T ist −T − ϑ ≤ −εT , T − ϑ ≥ εT , so dass sich mit 2T (1−ε) 2T 1 − ε bei Einschr¨ ankung auf diesen Bereich obige Absch¨atzung ergibt. Daraus folgt: rT ≥ (1 − ε) inf E0 d2a,b . a≤−εT b≥εT

Wegen lim

inf h(a, b) = lim h(a, b) folgt

T →∞ a≤−T b≥T

a→−∞ b→∞

 lim rT ≥ E0

T →∞

lim a→−∞ b→∞

d2a,b

 .

¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

259

Weiter gilt aber nach Satz 8.1.7 b a

uf (x − u · 1) du

da,b (x) =  b a

f (x − u · 1) du

∞ −→

a→−∞ b→∞

−∞ ∞

uf (x − u · 1) du

−∞ f (x − u · 1) du

= d∗ (x).

Der Pitman-Sch¨ atzer d∗ ist also ein Limes-Bayes-Sch¨atzer. Die Existenz der unbeschr¨ ankten Integrale folgt nach Satz 8.1.7. Damit folgt aber lim rT ≥ E0 (d∗ )2 = r∗ .

T →∞

2

Nach einem Resultat von Stein sind Pitman-Sch¨atzer in Dimension d = 1, 2 zul¨ assig, i.A. aber nicht f¨ ur d ≥ 3. Bemerkung 8.1.13 (Das Skalenmodell) ¨ Ahnliche Invarianz¨ uberlegungen f¨ uhren auch im Skalenmodell zur Konstruktion ¨ von optimalen ¨ aquivarianten Sch¨ atzern. Die Uberlegungen sind weitgehend analog und werden daher in dieser Bemerkung nur skizziert. Sei P ∈ M 1 (Rn+ , Bn+ ), Pϑ (B) = P ( ϑ1 B), ϑ ∈ Θ = (0, ∞) und P := {Pϑ ; ϑ ∈ (0, ∞)} das induzierte Skalenmodell. Weiter sei Q = {Sϑ ; ϑ ∈ (0, ∞)} mit Sϑ (x) := ϑ · x, x ∈ Rn , die Gruppe der Skalentransformationen und es sei g = idΘ zu sch¨ atzen. e : (Rn+ , Bn+ ) −→ (R+ , B+ ) heißt ¨ aquivariant ⇔ e(ϑ · x) = ϑ · e(x), ∀x ∈ Rn+ . Beispiele sind etwa: e(x) = x1 , xn oder Σai xi mit Σai = 1. Sei E (D) die Menge der ¨ aquivarianten Sch¨ atzer, I(D) die Menge der invarianten Sch¨ atzer. Ist e ∈ E (D), dann gilt: E (D) = eI(D). T (x) :=

1 e(x)

· x ist maximalinvariante Statistik bzgl. Q. Damit folgt:

k ∈ I(D) ⇔ ∃ messbare Abbildung h, so dass k = h ◦ T. Die ¨ aquivarianten Sch¨ atzer sind also von der Form: d = e h ◦ T. Jede messbare Abbildung L0 = R+ → R+ induziert eine invariante Verlustfunktion a L(ϑ, a) := L0 , ϑ d.h. es gilt: L(ϑ, a) = L(σϑ, σa), ∀σ ∈ Q.

¨ 8 Invarianz und Aquivarianz

260

0

1

Abbildung 8.2 Verlustfunktion

Jeder ¨ aquivariante Sch¨ atzer d ∈ E (D) hat konstantes Risiko bei invarianter Verlustfunktion. ∀ϑ ∈ Θ gilt:     1 1 R(ϑ, d) = Eϑ L0 · d = L0 · d dPϑ ϑ ϑ    1 ·x dPϑ (x) = L0 (d) dP = L0 d ϑ = R(1, d) =: R1 (d). F¨ ur d = e h ◦ T ∈ E (D) erhalten wir damit R1 (d) = L0 (zh(t)) dP (e,T ) (z, t)   e|T =t = L0 (zh(t)) dP (z) dP T (t). Wir definieren nun

Qt (a) :=

L0 (za) dP e|T =t (z).

Sei h∗ eine messbare Funktion, so dass h∗ (t) = arg min Qt [P T ], dann heißt d∗ = e h∗ (T ) Pitman-Sch¨ atzer. Als Konsequenz ergibt sich nun die zu Satz 8.1.7 analoge Aussage im Skalenmodell. Satz 8.1.14 (Pitman-Sch¨ atzer im Skalenmodell) Sei L(ϑ, a) = L0 ( ϑa ) eine invariante Verlustfunktion im Skalenmodell P. Sei e ∈ E (d) mit R1 (e) < ∞. Dann gilt: aquivarianter Sch¨atzer im Skalenmodell. a) Ein Pitman-Sch¨atzer d∗ ist bester ¨

¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

261

b) F¨ ur quadratischen Verlust L0 (z) = (z − 1)2 ist d∗ = e c) Ist P = f λ\n+ , dann gilt ∗

E(e | T ) [P ] E(e2 | T )

∞

d (x) =  ∞0 0

ϑn f (ϑx1 , . . . , ϑxn )dϑ [λ\n+ ]. ϑn+1 f (ϑx1 , . . . , ϑxn )dϑ

Beweis: a) folgt aus den Vor¨ uberlegungen zu Satz 8.1.14 analog zum Beweis von Satz 8.1.7.

2

2 b) Es ist L(ϑ, a) = ϑa − 1 = a−ϑ und e ∈ L2 (P ). Deshalb gilt: ϑ Qt (a) = L0 (za) dP e|T =t (z) 2  1 z 2 dP e|T =t (z). = a− z Um eine Minimumstelle von Ht zu finden, definieren wir das Wahrscheinlichkeitsmaß z 2 P e|T =t (dz) μt (dz) =  2 e|T =t . z P (d z)

 Dann ist arg min Qt = arg min Gt mit Gt (a) := a − z1 μt (dz). Die Minimumstelle von Gt ist aber eindeutig und gegeben durch 1 E(e | T = t) ∗ μt (dz) = . h (t) = z E(e2 | T = t) E(e|T ) Damit ist d∗ = e h∗ (T ) = e E(e atzer. 2 |T ) Pitman-Sch¨   c) Ist P = f λ\n+ , dann gilt mit e(x) = x1 , T (x) = xx21 , . . . , xxn1 nach dem Transformationssatz

fe|T =t (z) =

dP e|T =t (z) dλ\1+

z n−1 f (z, zt2 , . . . , ztn ) =  ∞ n−1 .  f ( z , zt2 , . . . , ztn )d z 0 z Mit der Substitution z = ϑx1 , ti = xx1i folgt daraus  ∞ n−1 f (z, zt2, . . . , ztn )dz ∗ 0 zz d (x) = x1  ∞ 2 n−1 z z f (z, zt2 , . . . , ztn )dz  ∞0 n ϑ f (ϑx1 , . . . , ϑxn )dϑ [λ\n+ ]. =  ∞0 n+1 ϑ f (ϑx , . . . , ϑx )dϑ 1 n 0

2

¨ 8 Invarianz und Aquivarianz

262

Es folgen einige Anmerkungen zum Pitman-Sch¨atzer in Skalenmodellen: a) Im Allgemeinen ist der Pitman-Sch¨ atzer im Skalenmodell nicht erwartungstreu. b) Mit Hilfe der Kovarianzmethode, angewendet auf die Klasse der ¨aquivarianten Sch¨ atzer, ergibt sich:  −1 E(e | T ) E(e | T )  d := e Ee E(e2 | T ) E(e2 | T ) ∗ d = ist bester erwartungstreuer a¨quivarianter Sch¨atzer. EP d∗ Der Pitman-Sch¨ atzer d∗ ist also erwartungstreu ⇔ EP d∗ = 1. c) Ist P = Q(n) mit Q = f λ\, f (x) = e−x 1(0,∞) (x) die Exponentialverteilung, dann sind e(x) = xn und T nach dem Lemma von Basu stochastisch unabh¨angig. Daher gilt: Ee d∗ = e 2 , Ee = Exn = 1 und Ee 1 Ee2 = E(xn )2 = Var(xn ) + 1 = Var(x1 ) + 1 n 1 1 1 = (Ex21 − 1) + 1 = (2 − 1) + 1 = 1 + . n n n ∗ Also ist d∗ = 1 1 xn Pitman-Sch¨ atzer und d = d ∗ = xn ist bester erwarEP d

1+ n

tungstreuer ¨ aquivarianter Sch¨ atzer. d) Die Aussagen gelten analog f¨ urH Skalenmodelle auf Rn . Sei z.B. Pσ = N (0, σ 2 )(n) , n 1 2 aquivariant. Nach dem Lemma σ > 0. Der Sch¨ atzer e(x) = i=1 xi ist ¨ n Ee von Basu folgt e, T sind stochastisch unabh¨angig. Daher ist d∗ = e Ee 2 = eEe 2 Pitman-Sch¨ atzer f¨ ur σ, E = E1 der Erwartungswert bez¨ uglich σ = 1.

¨ Hier endet die Bemerkung zu den Skalenmodellen. Die Uberlegungen lassen sich auf allgemeine gruppeninvariante Verteilungsklassen u ¨bertragen (vgl. Witting (1985, S. 444 f.)). 2 Im folgenden Beispiel werden f¨ ur einige Lokations- und Skalenfamilien Pitman-Sch¨ atzer angegeben. Beispiel 8.1.15 Bei quadratischem Verlust erh¨alt man folgende Pitman-Sch¨atzer a) Pϑ = N (ϑ, σ02 )(n) , dann ist d∗ (x) = xn Pitman-Sch¨atzer f¨ ur ϑ. b) Pϑ = U (ϑ − 12 b, ϑ + 12 b), ϑ ∈ R = Θ, b > 0 eine (feste) positive Zahl, dann ist: d∗ (x) =

min xi + max xi 2

Pitman-Sch¨atzer f¨ ur ϑ.

¨ 8.1 Aquivariante Sch¨ atzer in Lokations- und Skalenfamilien

263

H  n 1 2 aquivariant. Nach Basu ist c) Pσ = N (0, σ 2 )(n) , dann ist e(x) = i=1 xi ¨ n daher Ee d∗ = e 2 = eEe Pitman-Sch¨atzer f¨ ur σ, E = E1 . Ee Im Lokationsmodell gilt bei quadratischem Verlust, dass der Pitman-Sch¨atzer

d∗ = e − EP (e | T ), T (x) = (x2 − x1 , . . . , xn − x1 )

unabh¨ angig von e ∈ E (D) ist. Insbesondere gilt: e ist Pitman-Sch¨ atzer ⇔ EP (e | T ) = 0 [P ]. ¨ Mit dieser Aquivalenz lassen sich statistische Modelle dadurch charakterisieren, dass ein ¨ aquivarianter Sch¨ atzer e Pitman-Sch¨atzer ist. Wir betrachten den Fall e = xn . Satz 8.1.16 (arithmetisches Mittel und Normalverteilung) (n) Im  Lokationsmodell  2 mit quadratischem Verlust und P = Q , n ≥ 3, so dass x dQ(x) = 0, x dQ(x) < ∞ gilt: d∗ (x) = xn

ist Pitman-Sch¨atzer ⇐⇒ ∃ σ 2 ≥ 0

so dass Q = N (0, σ 2 ).

Beweis: ⇐“ vgl. Beispiel  8.1.15. ” ⇒“ Sei ϕ(t) = ϕQ (t) = eitx dQ(x) die charakteristische Funktion von Q. Dann ” ist ϕ (t) = i xeitx dQ(x). Aus der Annahme, dass d∗ (x) = xn Pitman-Sch¨atzer ist, folgt: EP (xn | T ) = 0. Daraus ergibt sich 0 = EP EP (xn | T )ei

n j=2

tj (xj −x1 )

n

= EP xn ei j=2 tj (xj −x1 ) n n n 1 = EP xk ei j=2 tj xj e−i( j=2 tj )x1 n k=1   n      1 −i( n tj )x1 i n tj xj i n tj xj −i( n tj )x1 j=2 j=2 j=2 j=2 x1 e = EP e + xk e e n k=2 9  :  n    n n n  n . . i =− ϕ − tj ϕ(tj ) + ϕ − tj ϕ (tk ) ϕ(tj ) . n j=2 j=2 j=2 j=2 k=2

Es gibt ein ε > 0 so, dass ϕ(t) = 0 f¨ ur |t| < ε. Dann gilt  n   n . tj ϕ(tj ) = 0 falls |tj | < ϕ − j=2

j=2

j=k

ε . n−1

¨ 8 Invarianz und Aquivarianz

264

Daraus folgt

Sei g(t) :=

   n n ϕ − j=2 tj  ϕ (tj )  +   = 0, n ϕ(tj ) ϕ − j=2 tj j=2

ϕ (t) ϕ(t) ,

|t|
=
β('0 ) = α f¨ ur alle ' ≥ '1 . Insbesondere gilt die Minimax-Aussage in (8.6) nicht f¨ ur dieses Beispiel. Die Gruppe Q ist in diesem Beispiel ‘zu groß‘. Die in (8.5) hergeleitete Ungleichung ist grundlegend f¨ ur das weitere Vorgehen. Proposition 8.3.3 Sei das Testproblem (P0 , P1 ) invariant unter der Gruppe Q und 1) es existiere ein Maximintest ϕ zum Niveau α und 2) ∀ϕ ∈ Φ : ∃ ϕ ∈ J so dass ∀ϑ ∈ Θ inf Eπϑ ϕ ≤ Eϑ ϕ ≤ sup Eπϑ ϕ.

π∈Q

π∈Q

Dann gilt: Ist ϕ∗ ∈ Jα Maximintest zum Niveau α bzgl. Jα = Φα (Q), der Klasse aller Qinvarianten Tests zum Niveau α, dann ist ϕ∗ auch Maximintest bzgl. Φα . Beweis: Sei ϕ∗ ∈ Jα Maximintest zum Niveau α bzgl. der Klasse Jα der Qinvarianten Tests zum Niveau α. Sei ϕ ∈ Φα und ϕ ∈ J ein invarianter Test mit der Eigenschaft 2). Dann ist ϕ ∈ Jα und f¨ ur alle ϑ ∈ Θ1 gilt Eϑ ϕ ≥ inf Eπϑ ϕ. π∈Q

Daraus folgt: sup

inf Eϑ ϕ ≤ sup

ϕ∈Φα ϑ∈Θ1

inf Eϑ ϕ.

ϕ∈Jα ϑ∈Θ1

Also gilt Gleichheit und die Behauptung von Proposition 8.3.3 folgt hieraus.

2

Definition 8.3.4 Sei Q eine Gruppe mit σ-Algebra AQ . Eine Folge (λn ) ⊂ M 1 (Q, AQ ) heißt asymptotisch (rechts-)invariant auf Q, wenn f¨ ur alle A ∈ AQ und alle π ∈ Q gilt: lim (λn (Aπ) − λn (A)) = 0.

n→∞

Bemerkung 8.3.5 Sei Q eine Gruppe, O eine Topologie auf Q, so dass Q eine topologische Gruppe ist, d.h. die Abbildung Q×Q → Q, (π1 , π2 ) → π1 ◦π2−1 ist stetig. Auf einer lokalkompakten, Hausdorffschen topologischen Gruppe mit Borelscher σ-Algebra existiert ein bis auf Normierung eindeutig bestimmtes rechtsinvariantes Maß λ ∈ M (Q, AQ )

8.3 Der Satz von Hunt und Stein

279

λ = 0 mit λ(K) < ∞ ∀K kompakt. λ heißt rechtsinvariantes Haarsches Maß.1 Es gilt: λ ist endliches Maß ⇔ Q ist kompakte Gruppe λ ∈ Mσ (Q, AQ ) ⇔ Q ist σ-kompakt. Auf der lokalkompakten, σ-kompakten Gruppe Q = GL(n, R) ist das Haarsche Maß gegeben durch dλ 1 . 2 (A) = n |det A|n dλ\ F¨ ur die multiplikative Gruppe Q = (0, ∞) gilt dλ 1 (x) = 1(0,∞) (x). \ dλ x Ist λ σ-endlich, dann existiert in vielen F¨allen eine Folge Kn ↑ Q kompakter Mengen, so dass λ(A ∩ Kn ) λn (A) := , A ∈ AQ λ(Kn ) asymptotisch rechtsinvariant ist. Definition 8.3.6 Eine lokalkompakte Gruppe ist amenable, wenn es ein asymptotisch rechtsinvariantes Netz (λα ) ⊂ M 1 (Q, B(Q)) gibt. Eine lokalkompakte, σ-kompakte Gruppe Q heißt amenable, wenn es eine asymptotische (rechts-)invariante Folge (λn ) ⊂ M 1 (Q, B(Q)) gibt. Bemerkung 8.3.7 a) Ist Q lokalkompakte, σ-kompakte Gruppe und existiert Kn ↑ Q, Kn kompakt, so dass λ(Kn 'Kn q) = 0, ∀q ∈ Q, lim n→∞ λ(Kn ) dann folgt / / / / / / / λ(Aq ∩ K ) λ(A ∩ K ) / / n n / lim sup / − / = 0, λ(Kn ) λ(Kn ) / n→∞ A∈B(Q) / / /    / / =:λn (Aq)

∀q ∈ Q.

=λn (A)

Q ist also amenable mit asymptotisch rechtsinvarianter Folge (λn ). 1 Analog

gibt es dazu auch ein linksinvariantes Maß κ. Es gilt dκ (π) = δ(π), δ ist ein dλ   f (xa)δ(a)dλ(x) = f (x)dλ(x) und stetiger Gruppenhomomorphismus G → R∗+ so dass   f (x−1 δ(x−1 ))dλ(x) = f (x)dλ(x).

¨ 8 Invarianz und Aquivarianz

280

b) Die Amenabilit¨at von Q ist ¨aquivalent dazu, dass ein (rechts-)invariantes Mittel M auf L∞ (Q) existiert, d.h.: M ist ein endlich additives Funktional auf L∞ (Q), so dass M (fq ) = M (f ),

fq (x) = f (xq), q ∈ Q.

Sie ist weiter ¨aquivalent zu einer Fixpunkteigenschaft: Jede Darstellung von Q als Transformationsgruppe hat einen Fixpunkt (vgl. Pier (1984)). c) Beispielklassen amenabler Gruppen sind kompakte Gruppen, abelsche Gruppen und aufl¨osbare Gruppen. Nicht amenable sind z.B. F2 , die freie Gruppe von 2 Erzeugern und GL(n, R), n ≥ 3. d) Es gibt eine umfangreiche Strukturtheorie von amenablen Gruppen. Ein zentrales Resultat: Ist Q lokalkompakt und fast zusammenh¨angend (d.h. G \ G0 ist kompakt, wobei G0 die Zusammenhangskomponente von e ist), dann gilt: G ist amenable ⇔ G ist fast aufl¨osbar (d.h. G/ rad G ist kompakt) ⇔ G enth¨alt keine freie Gruppe F2 von zwei Erzeugern. Jede nichtkompakte, zusammenh¨angende halbeinfache Lie-Gruppe (d.h. das Radikal (= gr¨oßtes aufl¨osbares Ideal) von G ist trivial, r(G) = {e}) enth¨alt F2 und ist daher nicht amenable. Die Strukturtheorie solcher Gruppen basiert wesentlich auf der Iwasawa-Zerlegung von halbeinfachen, zusammenh¨angenden Lieschen Gruppen: G = KAN mit einer maximalkompakten Gruppe K, einer abelschen Gruppe A und einer nilpotenten Gruppe N . Wir verweisen hierzu auf die umfangreiche Spezialliteratur, insbesondere auf Pier (1984). Beispiel 8.3.8 a) Sei Q die Gruppe der Translationen auf R, Q = R, πq (x) = x + q, q ∈ R. Dann ist das Lebesguesche Maß λ\ invariant auf Q (d.h. λ\ = λ ist Haarsches Maß auf Q). λ\ ist σ-endlich. Mit Kn = [−n, n] ist das normierte Maß λn = λ\(· ∩Kn ) 1 \ λ\(Kn ) die Gleichverteilung auf Kn . Es gilt λn (A) = 2n λ (A ∩ [−n, n]) und supA∈B1 |λn (A) − λn (A + q)| ≤ |q| n → 0, ∀q ∈ R. Also ist (λn ) asymptotisch (rechts-)invariant und Q ist amenable.

b) Ist Q = Rn die Gruppe der Translationen auf Rn (oder allgemeiner auf einem endlich-dimensionalen Hilbertraum H), πq (x) = x+q, q ∈ Q, dann ist f¨ ur α > 0, Kα := {x ∈ Rn ; x ≤ α} kompakt und nach der Minkowski-Ungleichung folgt K√n + Kn−√n ⊆ Kn .

8.3 Der Satz von Hunt und Stein

281

Daraus folgt: Kn−√n ⊆ Kn − t, ∀t ∈ K√n . Damit gilt f¨ ur das Haarsche Maß (Lebesgue-Maß) λ(Kn − Kn−√n ) λ(Kn \(Kn − t)) ≤ lim n→∞ λ(Kn ) λ(Kn )   λ(Kn−√n ) = 0. = lim 1 − λ(Kn ) lim

Also ist λn :=

λ(·∩Kn ) λ(Kn )

asymptotisch rechts-invariant und Q ist amenable.

c) F¨ ur die multiplikative Gruppe Q = (0, ∞) ist das Haarsche Maß λ gegeben durch dλ −1 1(0,∞) (v) und Q ist amenable. F¨ ur die allgemeine lineare Gruppe dλ\+ (v) = v Q = GL(n, R) ist das Haarsche Maß λ gegeben durch ist nicht amenable f¨ ur n ≥ 3.

dλ dλ\n×n (A)

=

1 | det A|n .

Q

d) Die freie Gruppe F2 von zwei Erzeugern a, b ist gegeben durch ur fast alle i} F2 = {ak1 bk2 ak3 . . . , bk1 ak2 bk3 . . . ; ki ∈ Z0 , k1 = 0, ki = 0 f¨ (Darstellung minimaler L¨ ange) F2 ist nicht amenable. Denn angenommen, M ist ein normiertes links-invariantes Mittel auf F2 , dann sei A := {ak1 bk2 ak3 . . . ; ki ∈ Z0 , k1 = 0} die Menge der Elemente, die mit a oder a−1 anfangen. Dann sind A, bA, b2 A disjunkt und daher gilt 3M (A) = M (A) + M (bA) + M (b2 A) ≤ M (F2 ) = 1, also M (A) ≤

1 . 3

Andererseits ist aber A ∪ aA = F2 , und daher 1 = M (F2 ) ≤ 2M (A), d.h. M (A) ≥ 12 ; ein Widerspruch. Also existiert kein (links-)invariantes Mittel auf F2 und F2 ist nicht amenable. Diese Eigenschaft hat einen engen Zusammenhang mit dem Banach-TarskiParadoxon. Denn es l¨ asst sich zeigen, dass die Gruppe Q = SO(3, R), die von ⎛ ⎛ ⎞ ⎞ 0 0⎟ ⎜1 ⎜ 0 1 0⎟ √ ⎟ ⎜ ⎜ ⎟ 1 3 ⎟ a = ⎜ 1 0 0 ⎟ und b = ⎜ 0 − 2 2 ⎠ ⎝ ⎝ ⎠ √ 0 0 −1 0 − 23 − 21 erzeugte freie Gruppe F2 enth¨ alt und damit nicht amenable ist. Daraus l¨asst sich folgern, dass kein orthogonal invarianter Inhalt auf R3 existiert und dass (wie oben gezeigt) paradoxe Zerlegungen von R3 existieren. Die grundlegende Beziehung (8.5) f¨ ur den Fall endlicher Gruppen l¨asst sich unter der Annahme der Existenz einer asymptotisch invarianten Folge (λn ) verallgemeinern.

¨ 8 Invarianz und Aquivarianz

282

Satz 8.3.9 (Reduktionsprinzip) Sei Q eine Gruppe messbarer Transformationen auf (X, A) und sei P Q-invariant, P  μ. Existiert eine asymptotisch (rechts-)invariante Folge (λn ) ⊂ M 1 (Q, AQ ) und ist ϕ ∈ Φ, dann existiert ein P-fast Q-invarianter Test ϕ  ∈ Φ, so dass inf Eπϑ ϕ ≤ Eϑ ϕ  ≤ sup Eπϑ ϕ,

π∈Q

∀ϑ ∈ Θ.

π∈Q

 Beweis: Sei ϕn (x) := Q ϕ(πx)dλn (π), n ∈ N. Wegen der schwach ∗-Folgenkom ∈ Φ so paktheit von Φ existiert eine Teilfolge N0 ⊂ N und es existiert ein Test ϕ dass lim ϕn dPϑ = ϕ  dPϑ , ∀ϑ ∈ Θ, ∀A ∈ A. Es ist Eϑ ϕn =



N0

A

Eϑ ϕ ◦ πdλn (π) =



A

Eπϑ ϕdλn (π). Daher folgt

inf Eπϑ ϕ ≤ Eϑ ϕn ≤ sup Eπϑ ϕ,

π∈Q

∀ϑ ∈ Θ.

π∈Q

 ist P fast Q-invariant. Denn sei zu x ∈ X, 0 ≤ j ≤ m Beh.: ϕ   j Am,j := π ∈ Q; j−1 m < ϕ(πx) ≤ m . m  Dann ist ϕn (x) = j=1 Am,j ϕ( π x)dλn ( π ) und es gilt 0≤

m  j=1

ϕ( π x)dλn ( π) − Am,j

Ebenso gilt ϕn (πx) =

m  j−1 j=1

m  j=1

Am,j ◦π −1

m

λn (Am,j ) ≤

1 . m

ϕ( π x)dλn ( π)

und damit 0≤

m  j=1

Am,j ◦π −1

ϕ( π x)dλn ( π) −

m  j−1 j=1

m

λn (Am,j ◦ π −1 ) ≤

1 . m

Aus diesen beiden Absch¨ atzungen folgt m  / j − 1 // 1 λn (Am,j ◦ π −1 ) − λn (Am,j )/ + |ϕn (πx) − ϕn (x)| ≤ m m j=1

− −−−→ n→∞ n∈N0

1 f¨ ur alle m ∈ N, da λn asymptotisch rechtsinvariant ist. m

Daraus folgt, dass f¨ ur alle x ∈ X, π ∈ Q ϕn (πx) − ϕn (x) → 0,

n → ∞, n ∈ N0 .

8.4 Invariante Tests in Linearen Modellen

283

Nach dem Satz u ¨ber majorisierte Konvergenz folgt (ϕn (πx) − ϕn (x)) dPϑ (x) −−−−→ 0 f¨ ur alle A ∈ A, π ∈ Q, ϑ ∈ Θ. n∈N0

A

F¨ ur den schwach ∗ H¨ aufungspunkt ϕ  von (ϕn ) folgt daher ϕ(πx)  dPϑ (x) = ϕ(x)  dPϑ (x), ∀A ∈ A, π ∈ Q, ϑ ∈ Θ. A

A

Damit folgt aber: ϕ(πx)  = ϕ(x)  [P], ∀π ∈ Q; d.h. ϕ  ist P -fast Q-invariant.

2

Als Korollar ergibt sich nun aus Satz 8.3.9 und Proposition 8.3.3 Satz 8.3.10 (Reduktion durch Invarianz, Satz von Hunt-Stein) F¨ ur ein Q-invariantes Testproblem (P0 , P1 ) mit P = P0 + P1  μ gelten die Voraussetzungen 1)–3) von Satz 8.2.8 f¨ ur Q und existiere eine asymptotisch rechtsinvariante Folge (λn ) ⊂ M 1 (Q, AQ ). Existiert ein Maximintest ϕ ∈ Φα , dann existiert auch ein invarianter Maximintest ϕ zum Niveau α, ϕ ∈ Jα . Bemerkung 8.3.11 a) Die Reduktion durch Invarianz bedeutet also keine Einschr¨ankungen f¨ ur die Bestimmung von Maximintests. Insbesondere f¨ ur amenable Gruppen sind die Voraussetzungen von Satz 8.3.10 an Q erf¨ ullt. b) Die Existenz eines Maximintests ist gesichert wenn P0 oder P1 dominiert ist. Der invariante Maximintest minimiert nach Satz 8.3.9 sogar das maximale Risiko auf allen Q-Bahnen der Alternative. c) Auch f¨ ur allgemeine Entscheidungsprobleme lassen sich entsprechende Aussagen zur Reduktion durch Invarianz beweisen.

8.4

Invariante Tests in Linearen Modellen

In diesem Abschnitt betrachten wir invariante Tests f¨ ur lineare Hypothesen. Viele wichtige Beispiele in den Anwendungen werden durch solche lineare Hypothesen beschrieben (vgl. Bemerkung 8.4.9). Lineare Hypothesen bestehen darin, dass sich der Erwartungswertvektor eines Experimentes in einem linearen Teilraum des im Experiment zugrunde liegenden Grundraums befindet. Durch diese Hypothesenstruktur erh¨ alt das Experiment auf nat¨ urliche Weise eine Invarianzstruktur aufgepr¨ agt. Viele der Standardtestprobleme in Ein- und Mehrfaktormodellen lassen sich als Spezialfall von Tests in linearen Modellen auffassen und die Hauptresultate u at des χ2 -Tests und des F -Tests der linearen Hypothesen (Satz ¨ ber die Optimalit¨ 8.4.8) hierauf anwenden. Wir diskutieren auch kurz die Sch¨atztheorie in Linearen Modellen (Satz von Gauß-Markov, Satz 8.4.10). Allgemein ist ein Lineares Modell folgendermaßen beschrieben. Sei H ein (endlichdimensionaler) euklidischer Raum mit Skalarprodukt , !; typischer Fall ist

¨ 8 Invarianz und Aquivarianz

284

H = Rn mit dem Standardskalarprodukt. Sei O(H) die orthogonale Gruppe von H und L ⊂ H ein linearer Teilraum von H. Zu P ∈ M 1 (H, B(H)) sei Pa := εa ∗ P der Shift von P mit a ∈ H und es sei P isotrop, d.h. P π = P , ∀π ∈ O(H). Wir betrachten das von L erzeugte Lineare Modell P = {Pa ; a ∈ L}. F¨ ur einen linearen Teilraum L0 ⊂ L heißt dann (L0 , L \ L0 ) Testproblem mit linearen Hypothesen. Sei OL (H) := {A ∈ O(H); AL ⊂ L}. F¨ ur A ∈ OL (H) gilt dann AL = L, AL⊥ = L⊥ . Wir identifizieren Teilr¨ aume von H mit den zugeh¨origen Translationen auf H, z.B. OL (H) × L = {πA,b : H → H; A ∈ OL (H), b ∈ L} mit πA,b (x) = Ax + b. Das Testproblem der linearen Hypothesen (L0 , L \ L0 ) hat die folgende Invarianzstruktur. Lemma 8.4.1 (Testproblem mit linearen Hypothesen) a) Das lineare Modell P ist invariant bzgl. Q := OL (H) × L. b) Sei OL0 ,L (H) := {A ∈ O(H); AL ⊂ L, AL0 ⊂ L0 }, dann ist das Testproblem (L0 , L \ L0 ) invariant bzgl. Q0 := OL0 ,L (H) × L0 . Beweis: a) F¨ ur (A, b) ∈ OL (H) × L und π = πA,b gilt Paπ = PAa+b , ∀a ∈ L. Denn wenn X eine Zufallsvariable ist mit Verteilung P , d.h. X ∼ P , dann ist X + a ∼ Pa ⇒ A(X + a) + b = AX + Aa + b ∼ X + (Aa + b) ∼ PAa+b . 2

b) ist analog zu a). Sei pL : H → L die orthogonale Projektion von H auf L, dann gilt: Lemma 8.4.2 (Darstellung von OL0 ,L (H)) a) Ist A ∈ OL0 ,L (H), dann gilt: ApL = pL A,

ApL0 = pL0 A

b) OL0 ,L (H) hat eine Darstellung als direkte Summe OL0 ,L (H) = {ApL0 ⊕ B(pL − pL0 ) ⊕ C(idH −pL ); ⊥ A ∈ O(L0 ), B ∈ O(L⊥ 0 ∩ L), C ∈ O(L )}.

8.4 Invariante Tests in Linearen Modellen

285

Beweis: a) F¨ ur x ∈ H, y ∈ L gilt pL Ax, y! = Ax, pL y! = Ax, y! = x, A y!

da pL -Projektion

= pL x, A y! = ApL x, y!.

da A y ∈ L

Die Aussage f¨ ur L0 ist analog. b) Die Inklusion ⊃“ ist offensichtlich. Umgekehrt sei D ∈ OL0 ,L (H), dann erh¨alt ” man eine Darstellung von D wie in b) beschrieben mit A := D|L0 ,

B := D|L⊥ 0 ∩L

und

C := D|L⊥ .

2

Im n¨ achsten Schritt bestimmen wir eine Maximalinvariante. Proposition 8.4.3 (Maximalinvariante) Die Abbildung S : H → R2 , S = (S1 , S2 ) mit S1 (x) := x − pL (x), S2 (x) := pL (x) − pL0 (x) ist maximalinvariant bzgl. Q0 := OL0 ,L (H), L0 !, der von OL0 ,L (H) und den Translationen aus L0 erzeugten Gruppe. ur x ∈ H: Beweis: Sei π = πA,b ∈ Q0 mit A ∈ OL0 ,L (H), b ∈ L0 , dann gilt f¨ S1 (πx) = πx − pL (πx) = Ax − pL (Ax) + b − pL (b)    =0

= Ax − pL Ax = Ax − ApL x = x − pL x

nach Lemma 8.4.2 da A ∈ O(H)

= S1 (x);

also ist S1 invariant. Ebenso gilt f¨ ur S2 : S2 (πx) = pL (πx) − pL0 (πx) = pL (Ax) − pL0 (Ax) + pL (b) − pL0 (b)    =0

= ApL x − ApL0 x = pL x − pL0 x = S2 (x);

da b ∈ L0 und nach Lemma 8.4.2 da A ∈ O(H)

¨ 8 Invarianz und Aquivarianz

286

also ist S2 invariant. Zum Nachweis der Maximalinvarianz von S sei Sx = Sy. Dann folgt:  x − pL x  = y − pL y,   ∈L⊥

 pL x − pL0 x  = pL y − pL0 y.   ∈L⊥ 0 ∩L

⊥ Daher existieren B ∈ O(L⊥ 0 ∩ L), C ∈ O(L ), so dass

B(pL x − pL0 x) = pL y − pL0 y

und

C(x − pL x) = y − pL y.

Wir definieren nun: A := pL0 ⊕ B(pL − pL0 ) ⊕ C(idH −pL ) b := pL0 y − pL0 x, dann ist A ∈ OL0 ,L (H), b ∈ L0 und πA,b x = Ax + b = pL0 x + B(pL x − pL0 x) + C(x − pL x) + pL0 y − pL0 x = pL0 y + (pL y − pL0 y) + (y − pL y) = y. Daraus folgt die Maximalinvarianz von S.

2

Bemerkung 8.4.4 Insbesondere erh¨alt man folgende Spezialf¨alle: a) L = H, L0 = {0}, dann ist S(x) = x maximalinvariant bzgl. O(H) b) L = H, L0 ⊂ H, dann ist S(x) = x − pL0 x maximalinvariant bzgl. OL0 (H) und c) L0 = {0}, L ⊂ H, dann ist S(x) = (x − pL (x), pL (x)) maximalinvariant bzgl. OL (H). Sei nun NH das standard Gaußsche Maß auf H mit der Dichte x2 dim H dNH (x) = (2π)− 2 e− 2 dλH

bzgl. dem Haarschen Maß λH auf H. Wir betrachten im Folgenden von P = NH erzeugte Lineare Modelle. Proposition 8.4.5 (Verteilung der Maximalinvariante) Sei P = NH , dann gilt a) S1 , S2 sind stochastisch unabh¨angig. b) PaS1 = χ2n− mit n = dim H,  = dim L PaS2 = χ2−0 (a − pL0 a2 ), a ∈ L, mit 0 = dim L0 und χ2k (δ) die nicht zentrale χ2k -Verteilung.

8.4 Invariante Tests in Linearen Modellen

287

Beweis: Sei e1 , . . . , en eine ON -Basis von H, so dass e1 , . . . , e0 ON -Basis von L0 und e1 , . . . , e ON -Basis von L ist. Dann gilt: 1 0 n    ei , x!2 , ei , x!2 , x ∈ H. S(x) = i=+1

i=0 +1

Seien Xi (x) := ei , x!, 1 ≤ i ≤ n, x ∈ H die Koordinatenfunktionen, X = (X1 , . . . , Xn ), dann folgt nach Definition von NH , dass bzgl. P Xi ∼ N (0, 1) und X ∼ N (0, I) mit der n-dimensionalen Einheitsmatrix I = In . Insbesondere sind X1 , . . . , Xn iid N (0, 1)-verteilt. F¨ ur a ∈ H folgt PaXi = N ( a, ei !, 1), und daher folgt f¨ ur a ∈ L

n

PaS1 = Pa

i=+1

Xi2

=P

1 ≤ i ≤ n,

n i=+1

Xi2

= χ2n− ,

da a, ei ! = 0 f¨ ur i ≥  + 1. Weiter ist 

Pa

i=0 +1

Xi2

= χ2−0 (δ 2 )

 

mit δ 2 :=

a, ei !2 .

2

i=0 +1

Wir lassen nun zus¨ atzlich einen Skalenparameter σ ∈ R+ zu und betrachten das Lokations-Skalenmodell P , P := {Pa,σ ; a ∈ L, σ ∈ R+ } mit Pa,σ (B) := P ({x ∈ H; πa,σ x = σx + a ∈ B}), B ∈ B(H). P ist invariant unter der Gruppe Q := R+ × OL (H) × L definiert durch π = πτ,A,b ∈ Q , dann π(x) := τ Ax + b. Es gilt f¨ ur π = πτ,A,b : π Pa,σ = Pτ Aa+b,στ .

Da f¨ ur A ∈ OL (H) und a ∈ L, Aa ∈ L und daher auch τ Aa ∈ L folgt, dass P Q -invariant ist. Im Lokations-Skalenmodell nimmt die lineare Hypothese die Form (L0 × R+ , (L \ L0 ) × R+ ) an, wobei L0 ⊂ L ein linearer Teilraum ist. Die lineare Hypothese (als Testproblem) ist invariant bzgl. der Unterguppe Q 1 := R+ × OL0 ,L (H) × L0

von Q .

Proposition 8.4.6 (Maximalinvariante) Sei  = dim L < n = dim H, dann ist die Abbildung S definiert durch ⎧ pL x−pL0 x ⎪ ⎪ ⎪ ⎪ x−pL x , x − pL x = 0, d.h. x ∈ H \ L, ⎨ S(x) := ∞, x − pL x = 0, pL x = pL0 x, d.h. x ∈ L \ L0 , ⎪ ⎪ ⎪ ⎪ ⎩ 0, x ∈ L0 , maximalinvariant bzgl. Q 1 .

¨ 8 Invarianz und Aquivarianz

288

Beweis: F¨ ur σ > 0, A ∈ OL0 ,L (H) und b ∈ L0 sei π = πσ,A,b , dann gilt: pL πx − pL0 πx = pL (σAx + b) − pL0 (σAx + b) da pL b = pL0 b = b = σpL (Ax) − pL0 (Ax) = σApL x − ApL0 x = σpL x − pL0 x

da A ∈ OL0 ,L (H).

ur x ∈ H \ L folgt daher die Invarianz. Ebenso gilt: πx − pL πx = σx − πL x. F¨ F¨ ur x ∈ L \ L0 ist S(x) = ∞ und πx = σAx + b ∈ L \ L0 , also auch S(πx) = ∞. F¨ ur x ∈ L0 ist S(x) = 0 und πx = σAx + b ∈ L0 , also auch S(x) = 0. Damit ist S Q 1 -invariant. Sei nun umgekehrt S(x) = S(y). Falls S(x) ∈ R+ , dann existiert α > 0 so, dass αpL x − pL0 x = pL y − pL0 y αx − pL x = y − pL y. ur Mit A := pL0 + αB(pL − pL0 ) + αC(idH −pL ) und b := pL0 y − pL0 x folgt dann f¨ π = πα,A,b , πx = y. Die anderen F¨ alle sieht man direkt aus der Definition. 2 Mit S ist auch S 2 maximalinvariant. Die Verteilung von S 2 wird durch eine nichtzentrale F -Verteilung Fn,m (δ 2 ) beschrieben, die definiert wird durch Fn,m (δ 2 ) ∼

X , Y

wobei X, Y stochastisch unabh¨ angige Zufallsvariable sind mit nX ∼ χ2n (δ 2 ), mY ∼ 2 χm . Korollar 8.4.7 (Verteilung der Maximalvariante) Sei  = dim L < n = dim H, dann gilt: ur a ∈ L0 und σ 2 > 0: a) Ist P  λH , dann gilt f¨ S(x) =

pL x − pL0 x [Pa,σ ]. x − pL x

b) F¨ ur P = NH gilt f¨ ur a ∈ L n− −0 Pa,σ

S2

= F−0 ,n− (δ 2 ) mit δ 2 :=

a − pL0 a2 . σ2

Beweis: a) gilt, da λH (L) = 0 ist. b) folgt nach Definition der F -Verteilung aus Proposition 8.4.5.

2

8.4 Invariante Tests in Linearen Modellen

289

Als Folgerung ergeben sich nun im Lokationsmodell der χ2 -Test und im Lokations-Skalenmodell der F -Test der linearen Hypothese als optimale invariante Tests. Satz 8.4.8 (beste invariante Tests von linearen Hypothesen) Sei α ∈ [0, 1] und P = NH , dann gilt f¨ ur das Testen der linearen Hypothesen: a) χ2 -Test der linearen Hypothese Der Test ⎧ ⎪ ⎨ 1, > ∗ 2 ϕ (x) := p (x) − p (x) χ2n− , L L0 ⎪ ⎩ 0, ≤ ist gleichm¨aßig bester Q0 -invarianter Test f¨ ur die lineare Hypothese (L0 , L \ L0) im Lokationsmodell P. b) F -Test der linearen Hypothese Der Test ⎧ ⎪ ⎪ > ⎨ 1, 1 ∗ −0 pL x−pL0 x ϕ (x) := F−0 ,n−h,α , 1 2 ⎪ n− x−pL x ⎪ ⎩ 0, ≤ ur die lineare Hypothese (L0 × R+ , ist gleichm¨aßig bester Q 1 -invarianter Test f¨ (L \ L0 ) × R+ ) im Lokations-Skalenmodell P . ur ϕ∗ . c) Q0 und Q 1 sind amenable Gruppen; es gilt also das Hunt-Stein-Theorem f¨ ∗ Insbesondere ist ϕ ein Maximin-Test zum Niveau α. Beweis: 2 2 2 ur P S = P (S1 ,S2 ) . Nach Reduktion durch Suffizia) Die Statistik S22 ist suffizient f¨ S2

S2

enz reicht es also, den besten Test f¨ ur ({Pa 2 ; a ∈ L0 }, {Pa 2 ; a ∈ L\L0 }) zu bestimmen. Nach Proposition 8.4.5 ist aber PaS2 = χ2−0 (δ 2 ) mit δ 2 = a−PL0 a2 . Damit gilt P S2 = {χ2−0 (δ 2 ); δ 2 ≥ 0} und die Hypothese ist identifizierbar mit δ 2 = 0. P S2 hat einen monotonen Dichtequotienten in T (y) = y (vgl. den Abschnitt u ¨ber χ2 -Tests). Daraus folgt: ⎧ ⎪ ⎨ 1, > ∗ Ψ (y) = y χ2−0 ,α , ⎪ ⎩ 0, ≤ ist gleichm¨ aßig bester Test f¨ ur ({δ 2 = 0}, {δ 2 > 0}). Daraus folgt Behauptung a). b) Der Beweis zu b) ist analog. c) Q0 und Q 0 sind amenable (vgl. Beispiel 8.3.8).

2

¨ 8 Invarianz und Aquivarianz

290

Bemerkung 8.4.9 a) In der Literatur findet man eine große F¨ ulle von wichtigen Anwendungsbeispielen f¨ ur lineare Modelle wie Ein- und Mehrfaktormodelle mit oder ohne Wechselwirkungen. Ist etwa EXij = μ + ai ,

1 ≤ i ≤ m, 1 ≤ j ≤ n;

so bezeichnet μ den allgemeinen Effekt, ai den Effekt der i-ten Behandlung. So ist etwa die Hypothese gleicher Effekte a1 = · · · = am gegeben durch einen linearen Teilraum L0 . Bei 2 Faktormodellen hat man eine Darstellung der Form EXijk = μ + ai + bj + vij ,

1 ≤ i ≤ m, 1 ≤ j ≤ n, 1 ≤ k ≤ nij

mit zwei Faktoren ai , bj und einem Wechselwirkungsterm vij . Lineare Hypothesen betreffen etwa das Fehlen von Wechselwirkungen vij = 0 oder das Fehlen einer Faktorwirkung bj = 0, ∀j usw. Diese Beispiele betreffen f¨ ur die Anwendung besonders bedeutsame und h¨aufig vorkommende Testprobleme. Weitere Beispiele f¨ ur lineare Modelle finden sich in der Regressions- und Kovarianzanalyse sowie in Varianzkomponentenmodellen. F¨ ur eine detaillierte Darstellung dieser linearen Modelle vgl. Witting (1985, Kapitel 4). b) Varianzanalyse Z¨ ahler und Nenner der F -Teststatistik erh¨alt man aus (einfacher) Varianzanalyse x − pL0 2 = x − pL (x)2 + pL (x) − pL0 (x)2 . Dem entspricht die orthogonale Zerlegung x = pL (x) + (pL (x) − pL0 (x)) + (x − pL (x)). Z.B. in einem Einfaktormodell mit k-Stufen xij = μi + σeij = μ + μi + σeij ,

1 ≤ i ≤ k, j = 1, . . . , ni

haben wir eine Zerlegung Lk = L1 ⊕ Lk−1 . Damit ergibt sich die F -Statistik 

∗

T (x) =

∼

k 1 i=1 ni (xi − x k−1  ni k 1 j=1 (xij − i=1 n−k

·

·· )2 xi· )2

Streuung zwischen den Gruppen . Streuung in den Gruppen

c) In allgemeiner Form lassen sich solche linearen Modelle auch darstellen in der Form Y = AX + b (8.7)

8.4 Invariante Tests in Linearen Modellen

291

mit einem zuf¨ alligen Beobachtungsvektor Y ∈ Rn , einem “Einflussvektor” k X ∈ R mit stochastischen und/oder deterministischen Komponenten, einer “Designmatrix” A ∈ Rn×k und b ∈ Rk . E(Y | X = x) = Ax + b

(8.8)

beschreibt also den linearen Einfluss der Regressorvariablen x auf den Beobachtungsvektor Y . Auf diese Weise ist es mittels Transformation x = x(t), also X = X(T ) m¨ oglich, auch nichtlineare Abh¨angigkeit in einer beobachtbaren Einflussgr¨ oße T zu beschreiben. d) Sch¨ atztheorie in linearen Modellen Sei = {Pa,σ2 ; a ∈ L, σ ∈ R+ } ein lineares Modell Pa,σ2 ∼ a + σX, a ∈ L, σ ∈ R+ , X ∼ P . Der kleinste Quadrate-Sch¨ atzer  a(x) f¨ ur a wird definiert durch x −  a(x)2 = min{x − a2 ; a ∈ L}, x ∈ Rn . (8.9) σ 2 (x) =

1 x −  a(x)2 ,  = dim L n−

(8.10)

ist der zugeh¨ orige Residualsch¨ atzer f¨ ur σ 2 . Mit einer Designmatrix A ∈ Rn× l¨ asst sich dann L in der Form L = ARd , a = Aγ, γ ∈ R darstellen.  a hat dann die folgende Form:  a(x) = A γ (x) mit γ (x) = (AT A)−1 AT x,

(8.11)

d.h.  a(x) = px mit der Projektionsmatrix p = A(AT A)−1 AT . Ist A A nicht regul¨ ar, dann ist (A A)−1 durch die verallgemeinerte Inverse (A A)− zu ersetzen. Mit Hilfe der Kovarianzmethode folgt, dass kleinste Quadrat-Sch¨atzer im Normalverteilungsmodell gleichm¨ aßig beste erwartungstreue Sch¨atzer sind (vgl. auch Kapitel 5.1). Satz 8.4.10 (Satz von Gauß-Markov) Ist P = N (0, I), dann sind  a, σ 2 stochastisch unabh¨angige erwartungstreue Sch¨at2 zer von a ∈ L und σ ∈ R+ mit gleichm¨aßig kleinster Kovarianzmatrix bzw. Varianz unter allen erwartungstreuen Sch¨atzern, d f¨ ur a bzw σ 2 , d.h. ∀a ∈ L, σ 2 ∈ R+ gilt a ≤psd Cova,σ2 d, Cova,σ2  und

2 ≤ Vara,σ2 σ

Vara,σ2 d.

≤psd bezeichnet dabei die positiv semidefinite Halbordnung. Die analogeAussage  gilt auch im Normalverteilungsmodell mit bekannter Kovarianzmatrix = 0.

¨ 8 Invarianz und Aquivarianz

292

Hotellings T 2 -Test Im abschließenden Teil diese Kapitels leiten wir Hotellings T 2 -Test u ¨ ber zwei unterschiedliche Methoden her; einmal als Likelihood-Quotiententest und zum anderen als besten invarianten Test. Sei X = (Rp )n , Θ = Rp × Sp+ , Sp+ die Menge der positiv definiten p × pMatrizen, und Pϑ = N (μ, Σ)(n) , ϑ = (μ, Σ). Wir betrachten das Testproblem Θ0 = {μ = μ0 },

Θ1 = {μ = μ0 },

die Verallgemeinerung f¨ ur p ≥ 1 des zweiseitigen Studentschen t-Tests. O.E. sei μ0 = 0. n Mit S(μ) := j=1 (xj − μ)(xj − μ) ist die Likelihoodfunktion  1  np n Lx (ϑ) = fϑ (x1 , . . . , xn ) = (2π)− 2 (det Σ)− 2 exp − tr Σ−1 S(μ) . 2 Es gibt zwei Herleitungen von Hotellings T 2 -Test. a) Likelihood-Quotiententest Sei g(Σ) := − 21 n ln det Σ − 12 tr(Σ−1 S), Σ ∈ Sp+ , dann gilt mit S = S(μ): Lemma 8.4.11 Die Abbildung g hat ein Maximum in Sg , d.h.   S , ∀Σ ∈ Sp+ g (Σ) ≤ g n Beweis:

1

1 1 ln det Σ−1 S − tr Σ−1 S − n ln det S 2 2 2  1  1  1  1 1 1 1 = n ln det S 2 Σ−1 S 2 − tr S 2 Σ−1 S 2 − n ln det S 2 2 2 p  1 1 = (n ln λi − λi ) − n ln det S. 2 i=1 2

g (Σ) =

Dabei bezeichnen λi die Eigenwerte von S 2 Σ−1 S 2 oder ¨aquivalent die von Σ−1 S. 1

1

f (λ) := n ln λ − λ hat ein max in λ = n. Daher ist g(Σ) ≤ 12 np ln n− 12 pn− 12 n ln det S und es gilt Gleichheit genau dann, wenn λi = n, ∀i, d.h.

S 2 Σ−1 S 2 = nI ⇔ Σ = 1

1

1 n S.

Als Konsequenz von Lemma 8.4.11 erhalten wir    − n2  1 1 − np 2 S(μ0 ) det exp − np , 1. max Lx (ϑ) = (2π) ϑ∈Θ0 n 2 mit Maximumstelle Σ∗ = n1 S(μ0 )

2

8.4 Invariante Tests in Linearen Modellen

293

2. Die Maximumstelle von Lx (ϑ), d.h. der Maximum-Likelihoodsch¨ n antzer von ϑ ∈ Θ, ist ϑ∗ = (μ∗ , Σ∗ ) mit μ∗ = xn = n1 j=1 xj und Σ∗ = n1 j=1 (xj − xn )(xj − xn ) = Sn . Es ist max Lx (ϑ) = (2π)− ϑ∈Θ

np 2

− n2    1 1 det S exp − np . n 2

Der verallgemeinerte Likelihood-Quotiententest basiert auf der Statistik supΘ0 Lx (ϑ) λ := . supΘ Lx (ϑ) F¨ ur ‘kleine‘ Werte von λ entscheidet sich der Likelihood-Quotiententest f¨ ur die Alternative, f¨ ur ‘große‘ Werte von λ f¨ ur die Hypothese. Im obigen Fall ergibt sich  λ=

det S det S(μ0 )

9

 n2 =

det S

det S + n(xn − μ0 )(xn − μ0 )

∗

: n2

= (1 + n(xn − μ0 ) S −1 (xn − μ0 ))− 2

n

= g(n(xn − μ0 ) S −1 (xn − μ0 )) mit g ↓ . Zum Nachweis von (∗) verwenden wir das folgende Lemma. Lemma 8.4.12 Sei A eine p × q- und B eine q × p-Matrix. Dann gilt: det(Ip + AB) = det(Iq + BA). Beweis: Aus der Beziehung ⎤ ⎡ ⎤⎡ ⎤ ⎡ ⎢Ip + AB A ⎥ ⎢ Ip A ⎥ ⎢Ip 0 ⎥ ⎦=⎣ ⎦⎣ ⎦ ⎣ 0 Iq −B Iq B Iq ⎡ folgt

⎤

⎢ Ip A ⎥ det(Ip + AB) = det ⎣ ⎦. −B Iq ⎡

Ebenso folgt

⎤

⎢ Ip A ⎥ det(Iq + BA) = det ⎣ ⎦ aus −B Iq ⎤⎡ ⎤ ⎤ ⎡ ⎡ A ⎥ ⎢Ip 0 ⎥ ⎢ Ip A ⎥ ⎢Ip ⎦⎣ ⎦. ⎦=⎣ ⎣ 0 Iq + BA B Iq −B Iq

¨ 8 Invarianz und Aquivarianz

294

2

Daraus ergibt sich Lemma 8.4.12. Insbesondere folgt aus Lemma 8.4.12 mit A = S −1 x, B = x det(I + S −1 xx ) = 1 + x S −1 x. Dann erh¨ alt man mit der T 2 -Statistik T 2 := n(n − 1)(xn − μ0 ) S −1 (xn − μ0 ). Der LQ-Test f¨ ur (Θ0 , Θ1 ) ist von der Form ⎧ ⎨1, ≥ ϕ∗ (x) = T2 cα , ⎩0,
0}). Die Verteilung von T 2 hat in

T2 n−1

 1+

T2 n−1

−1

einen monotonen Dichtequoti-

2

enten; also auch in T . Daraus folgt: Der T 2 -Test ist gleichm¨ aßig bester Q-invarianter Test f¨ ur Q = GL(p, R). aßig bester invarianter Test) Satz 8.4.15 (T 2 -Test als gleichm¨ Der T 2 -Test von Hotelling ist gleichm¨aßig bester GL(p, R)-invarianter Test zum Niveau α f¨ ur das Testproblem ({μ = 0}), {μ = 0}).

Kapitel 9

Robuste Tests Robuste Tests und Sch¨ atzer haben das Ziel bei einem Sch¨atz- oder Testproblem den Einfluss einer kleinen Anzahl von Fehlern (Messfehler, Rundungsfehler, . . . ) auf das Ergebnis des Entscheidungsproblems gering zu halten. Da diese Art von Fehlern in Anwendungen h¨ aufig auftreten, ist dieses ein relevantes Problem. Im Unterschied zur Risikomessung und Extremwerttheorie – deren Ziel es ist, untypisches extremes Verhalten zu ermitteln – ist es das Ziel der robusten Statistik Sch¨atz- und ¨ Testverfahren zu konstruieren, die insensitiv gegen lokale Anderungen, Ausreißer ¨ u.A. sind und die gleichzeitig im Vergleich zu nichtrobusten Tests und Sch¨atzer m¨ oglichst effizient sind. Beim Sch¨ atzen eines Funktionals T der zugrunde liegenden Verteilungsklasse P bzw. der zugeh¨ origen Verteilungsfunktionen F ist es aus diesem Blickwinkel nur ¨ sinnvoll robuste, d.h. gegen¨ uber lokalen Anderungen insensitive, Funktionale T (F ) zu sch¨ atzen. Zur Beschreibung der Robustheitseigenschaften eines Funktionals T dient der Begriff der Influence Curve (IC, Influenzkurve) definiert f¨ ur F0 ∈ F , x ∈ X durch T ((1 − ε)F0 + εδx ) − T (F0 ) . IC(x, F0 , T ) = lim ε→0 ε ¨ von F0 durch ein EinIC(x, F0 , T ) beschreibt den Einfluss einer lokalen Anderung punktmaß in x. Ein Funktional ist qualitativ robust, wenn es eine beschr¨ankte Influenzkurve hat. Ersetzt man in der Definition von IC F0 durch die empirische Verteilungsfunktion F0 = Fn , so erh¨ alt man die Definition der Robustheit von Sch¨ atzern T = T (Fn ). Ist z.B. atzer, d.h. T (x1 , . . . , xn ) minimiert ein Funktional der  T ein M -Sch¨ Form J = ni=1 (xi , t) (vgl. Abschnitt u ¨ ber ML-Sch¨atzer, Kapitel 5.4), dann ist unter Regularit¨ atsannahmen T L¨ osung der Gleichung  ∂J ∂ = Ψ(xi , t) = 0 mit Ψ(xj , t) = (xj , t). ∂t ∂t i=1 n

L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_9, © Springer-Verlag Berlin Heidelberg 2014

298

9 Robuste Tests

Ist T ¨ aquivariant und S ein robuster Skalensch¨atzer, z.B. S = M AD = med{|xi − med{xj , j ≤ n}|; 1 ≤ i ≤ n} der Median der absoluten Abweichungen vom Median, dann lassen sich Ψ und  als Funktionen der Residuen ri = xiS−t schreiben, d.h.     xi − t xi − t , (xi , t) =  Ψ(xi , t) = Ψ(ri ) = Ψ S S und die Influenzkurve von T reduziert sich mit F0 = Fn zu   (F0 ) S(F0 )Ψ x−T S(F0 )   IC(x, F0 , T ) =  . (F0 ) dF0 (x) Ψ x−T S(F0 ) Wir konzentrieren uns in den folgenden Abschnitten auf die Konstruktion von robusten Tests. Die Robustheit der Testverfahren wird dadurch erzwungen, dass die Hypothese und die Alternative erweitert werden zu Umgebungsmodellen, die m¨ ogliche Fehler beschreiben. Die Maximin-Tests f¨ ur diese Umgebungsmodelle sind dann die robusten Tests f¨ ur das Testproblem. Zur Bestimmung der optimalen robusten Tests f¨ uhren wir eine im Vergleich zu Kapitel 6.3 st¨ arkeren Begriff von ung¨ unstigsten Paaren ein. Dieser Begriff des ung¨ unstigsten Paars ist unabh¨ angig von dem Testniveau. Seine Bestimmung f¨ uhrt auf eine Verallgemeinerung des Satzes von Radon–Nikod´ ym f¨ ur Kapazit¨aten. Als Anwendung behandeln wir die Bestimmung von optimalen robusten Tests f¨ ur Umgebungsmodelle einfacher Hypothesen. Kapitel 9.3 beinhaltet ein robustes Testproblem, bei dem die Umgebungsmodelle von zwei einfachen Hypothesen durch alle m¨ oglichen Abh¨ angigkeitsstrukturen definiert werden. Dieses f¨ uhrt auf das Problem der gegen Abh¨ angigkeit robusten Tests, d.h. der Tests, die den Einfluss stochastischer Abh¨ angigkeiten in den Daten negieren. Eine detaillierte Darstellung der allgemeinen Theorie robuster Tests findet sich in Rieder (1994).

9.1

Ungu aten ¨nstigste Paare und Kapazit¨

F¨ ur ein Testproblem P = P0 + P1 geht die folgende Definition eines ung¨ unstigsten Paars auf Huber-Strassen zur¨ uck. Im Unterschied zu dem Begriff der ung¨ unstigsten a-priori-Verteilung ist das ung¨ unstigste Paar nicht abh¨angig vom Testniveau α. Definition 9.1.1 1 Seien Pi ∈ Pi , i = 0, 1 und  ∈ dP unstigstes Paar (im dP0 . (P0 , P1 , ) heißt ung¨ Sinne von Huber-Strassen) f¨ ur das Testproblem (P0 , P1 ) mit Dichtequotienten  ⇔ ∀s ∈ (0, ∞) gilt: P0 ( > s) = sup P ( > s) und P1 ( > s) = inf P ( > s). P ∈P0

P ∈P1

9.1 Ung¨ unstigste Paare und Kapazit¨ aten

299

Bemerkung 9.1.2 ¨ a) Aquivalent ist es, obige Beziehungen f¨ ur { ≥ s} statt { > s} zu fordern. b) Der Test ϕ(x) = 1{>s} (x) + γ 1{=s} (x) = γ 1{≥s} (x) + (1 − γ)1{>s} (x) = ϕs,γ (x) ist ein LQ-Test f¨ ur (P0 , P1 ). Es gilt f¨ ur alle P ∈ P0 , und alle Q ∈ P1 : EP ϕ ≤ EP0 ϕ ≤ EP1 ϕ ≤ EQ ϕ. Beispiel 9.1.3 (Monotoner Dichtequotient) P = {Pϑ ; ϑ ∈ Θ} habe einen monotonen Dichtequotienten in T , (Θ, ≤) sei vollst¨andig geordnet. Sei P0 = {Pϑ ; ϑ ≤ ϑ0 }, P1 = {Pϑ ; ϑ ≥ ϑ1 } mit ϑ0 < ϑ1 . dP Dann ist  = dPϑϑ1 = Lϑ0 ,ϑ1 ◦ T , Lϑ0 ,ϑ1 ↑. Nach Proposition 6.2.4 ist P stochastisch 0 geordnet in T . Daraus folgt f¨ ur ϑ ≤ ϑ0 , ϑ ≥ ϑ1 Pϑ ({ > s}) ≤ Pϑ0 ({ > s}) ≤ Pϑ1 ({ > s}) ≤ Pϑ ({ > s}). (Pϑ0 , Pϑ1 , ) ist also ein ung¨ unstigstes Paar f¨ ur (P0 , P1 ) mit Dichtequotienten . Definition 9.1.4 (r-Risiko) a) F¨ ur eine stetige, monoton wachsende Funktion r : [0, 1]2 → R und einen Test ϕ ∈ Φ heißt R(P0 , P1 , ϕ) := r(E0 ϕ, 1 − E1 ϕ) das r-Risiko von ϕ. ur (P0 , P1 ), wenn b) ϕ∗ ∈ Φα ({P0 }) heißt r-optimal zum Niveau α f¨ R(P0 , P1 , ϕ∗ ) =

inf

ϕ∈Φα ({P0 })

R(P0 , P1 , ϕ).

Bemerkung 9.1.5 Ist α = 1 und r(u, v) = max{L0 u, L1 v}, dann ist ‘r-optimal‘ ¨aquivalent zu Minimax. F¨ ur r(u, v) = λL0 u + κL1 v, erhalten wir den Bayes-Test zur a-prioriVerteilung (λL0 , κL1 ). Ist α ∈ (0, 1), r(u, v) = v, dann erhalten wir den besten Test zum Niveau α. Wie beim Neyman-Pearson-Lemma gilt folgende Optimalit¨atsaussage f¨ ur LQ-Tests: Proposition 9.1.6 (r-optimale Tests) a) Es gibt einen r-optimalen Test ϕ  zum Niveau α. b) Sei ϕ∗ (x) = 1{>s} (x) + γ 1{=s} (x) mit E0 ϕ∗ = E0 ϕ.  Dann ist ϕ∗

r-optimal zum Niveau α.

300

9 Robuste Tests

Beweis: a) Φα ({P0 }) ist schwach ∗-kompakt und das Funktional R(P0 , P1 , ϕ) ist stetig in ϕ, da r stetig. Daraus folgt die Existenz eines r-optimalen Tests zum Niveau α. b) Nach Definition ist ϕ∗ ∈ Φα ({P0 }), da ϕ  ∈ Φα . Da ϕ∗ ein LQ-Test ist, folgt  1 − E1 ϕ∗ ≤ 1 − E1 ϕ. Die Monotonie von r impliziert daher  1 − E1 ϕ).  r(E0 ϕ∗ , 1 − E1 ϕ∗ ) ≤ r(E0 ϕ,

2

Definition 9.1.7 (r-optimaler Test f¨ ur (P0 , P1 )) Sei (P0 , P1 ) ein Testproblem und ϕ∗ ∈ Φα = Φα (P). ϕ∗ heißt r-optimaler Test f¨ ur (P0 , P1 ) zum Niveau α, wenn sup{R(P, Q, ϕ∗ ); P ∈ P0 , Q ∈ P1 } = inf sup{R(P, Q, ϕ); P ∈ P0 , Q ∈ P1 }. ϕ∈Φα

r-optimale Tests enthalten als Spezialfall Maximin- und Minimax-Tests zum Niveau α. Ung¨ unstigste Paare erlauben die Konstruktion von r-optimalen Tests. Satz 9.1.8 (Ung¨ unstigste Paare und r-optimale Tests) Ist (P0 , P1 , ) ein ung¨ unstigstes Paar mit DQ  f¨ ur das Testproblem (P0 , P1 ) und α ∈ [0, 1], dann gilt: Jeder r-optimale Test f¨ ur (P0 , P1 ) zum Niveau α ist ein roptimaler Test f¨ ur (P0 , P1 ) zum Niveau α. Beweis: F¨ ur α < 1 ist jeder r-optimale Test f¨ ur (P0 , P1 ) zum Niveau α ein LQTest. Daraus folgt nach Definition des ung¨ unstigsten Paars f¨ ur P ∈ P0 EP ϕ∗ ≤ EP0 ϕ∗ ≤ α, und

d.h. ϕ∗ ∈ Φα (P0 ).

EQ (1 − ϕ∗ ) ≥ EP1 (1 − ϕ∗ ),

∀Q ∈ P1 .

Damit ergibt sich f¨ ur alle P ∈ P0 , Q ∈ P1 : R(P, Q, ϕ∗ ) ≤ R(P0 , P1 , ϕ∗ ) = inf R(P0 , P1 , ϕ) ϕ∈Φα (P0 )

≤ Also ist ϕ∗

inf

ϕ∈Φα (P0 )

R(P0 , P1 , ϕ).

r-optimal f¨ ur (P0 , P1 ) zum Niveau α.

2

Lemma 9.1.9 Sei (P0 , P1 ) ung¨ unstigstes Paar und ϕ∗ zugeh¨origer LQ-Test zum Niveau α f¨ ur (P0 , P1 ). Sei (Q0 , Q1 ) ebenfalls ung¨ unstigstes Paar und ψ ∗ zugeh¨origer LQ-Test zum Niveau α f¨ ur (Q0 , Q1 ). Dann gilt: βα,ϕ∗ (P1 ) = βα,ψ∗ (Q1 ).

9.1 Ung¨ unstigste Paare und Kapazit¨ aten

301

Beweis: Da (P0 , P1 ) ung¨ unstigstes Paar ist gilt f¨ ur den zugeh¨origen LQ-Test ϕ∗ EQ0 ϕ∗ ≤ EP0 ϕ∗

und EQ1 ϕ∗ ≥ EP1 ϕ∗ .

Ebenso gilt f¨ ur (Q0 , Q1 ) und den zugeh¨ origen LQ-Test ψ ∗ EP0 ψ ∗ ≤ EQ0 ψ ∗ ≤ α

und EP1 ψ ∗ ≥ EQ1 ψ ∗ .

Ist EP1 ϕ∗ < EQ1 Ψ∗ , dann folgt EP1 ψ ∗ ≥ EQ1 ψ ∗ > EP1 ϕ∗ . Daraus folgt aber, dass ψ ∗ ein besserer Test zum Niveau α f¨ ur das Testproblem (P0 , P1 ) ist als der LQ-Test ϕ∗ ; ein Widerspruch. Ebenso folgt aus EQ1 ψ ∗ < EP1 ϕ∗ , dass ϕ∗ besser als ψ ∗ f¨ ur das Testproblem (Q0 , Q1 ) ist; wiederum ein Widerspruch. Es folgt also die Behauptung. 2 Mit obigem Lemma ergibt sich die folgende Eindeutigkeitsaussage f¨ ur ung¨ unstigste Paare. Satz 9.1.10 (Eindeutigkeit ung¨ unstigster Paare) Sei (P0 , P1 ) ein Testproblem mit P0 ∩ P1 = Ø und seien (P0 , P1 , ), (Q0 , Q1 , g) ung¨ unstigste Paare mit DQ , g. Dann gilt: a)

P0 = Qg0 , P1 = Qg1 ,

b)

 = g [P0 + P1 + Q0 + Q1 ].

Beweis: a) Sei f¨ ur s ∈ (0, ∞) ϕ∗s := 1{>s} , ψs∗ := 1{g>s} . ur (P0 , P1 ) zur Vorbewertung Dann ist ϕ∗s ein nichtrandomisierter Bayes-Test f¨ s 1 ( 1+s , 1+s ). Ebenso ist ψs∗ ein nichtrandomisierter Bayes-Test f¨ ur (Q0 , Q1 ) zur s 1 Vorbewertung ( 1+s , 1+s ). Daraus folgt: EP0 ϕ∗s = P0 ({ > s}) = min{sα − βα,ϕ∗s (P1 ); α ∈ [0, 1]}. Ebenso erh¨ alt man: EQ0 ψs∗ = Q0 ({g > s}) = min{sα − βα,ψs∗ (Q1 ); α ∈ [0, 1]}. Nach Lemma 9.1.9 folgt also EP0 ϕ∗ = EQ0 ψ ∗ , ∀s ∈ (0, ∞), also P0 = Qg0 . Ebenfalls nach Lemma 9.1.9 ergibt sich EP1 ϕ∗ = P1 ( > s) = βϕ∗ (P1 ) = βψ∗ (Q1 ) = EQ1 ψ ∗ = Q1 (g > s), ∀s ∈ (0, ∞). Daher gilt auch: P1 = Qg1 . b) Es gilt

P0 ( > s) = Q0 (g > s) ≥ P0 (g > s),

∀s,

P1 ( > s) = Q1 (g > s) ≤ P1 (g > s),

∀s.

und

302

9 Robuste Tests

Daraus folgt: sP0 (g > s) − P1 (g > s) ≤ sP0 ( > s) − P1 ( > s) = inf ws (A), A∈A

mit ws (A) := sP0 (A) − P1 (A)

wegen der Bayes-Eigenschaft von LQ-Tests. Also ist {g > s} auch Minimumstelle f¨ ur ws und daher folgt:  = g [P0 + P1 ]. Analog folgt  = g [Q0 + Q1 ]. 2 ur die ein ung¨ unstigstes Paar (P0 , P1 , ) F¨ ur reichhaltige Hypothesen P0 , P1 , f¨ existiert, ist der DQ nach oben bzw. unten beschr¨ankt. Proposition 9.1.11 (Beschr¨ anktheit von ) Sei (P0 , P1 , ) ein ung¨ unstigstes Paar f¨ ur das Testproblem (P0 , P1 ). a) Wenn b) Wenn

inf

sup P (A) > 0, dann existiert ein s0 > 0 so dass { > s0 } ∈ NP0 .

inf

sup P (A) > 0, dann existiert ein ε > 0, so dass { < ε} ∈ NP1 .

A∈A P ∈P0 A∈NP0 A∈A P ∈P1 A∈NP1

Beweis: a) Wenn { > s} ∈ NP0 , ∀s > 0, dann folgt P0 ( > s) = sup P ( > s) ≥ P ∈P0

inf P (A) =: η0 > 0,

A∈NP0

∀s > 0.

Daraus folgt aber P0 ( = ∞) = lim P0 ( > s) ≥ η0 > 0, s↑∞

ein Widerspruch, denn P0 ( = ∞) = 0. 2

b) Der Beweis zu b) ist analog.

Die Beschr¨ anktheit des Dichtequotienten  eines ung¨ unstigsten Paares in robusten Umgebungsmodellen impliziert qualitative Robustheit des zugeh¨origen LQ-Tests (vgl. die Einleitung von Kapitel 9). Im Folgenden behandeln wir die Bestimmung von ung¨ unstigsten Paaren in Produktmodellen. Proposition 9.1.12 (Ung¨ unstigste Paare in Produktmodellen) Seien (P0,j , P1,j ) Testprobleme in (Xj , Aj ) mit ung¨ unstigsten Paaren (P0,j , P1,j , j ), n

n

n

j=1

j=1

1 ≤ j ≤ n. Im Produktmodell (X, A) = ⊗ (Xj , Aj ), P0 = ⊗ P0,j , P1 = ⊗ P1,j ist dann



n

n

j=1

j=1

j=1

⊗ P0,j , ⊗ P1,j , (n) , mit (n) (x) =

mit Dichtequotienten (n) .

n . j=1

j (xj ), ein ung¨ unstigstes Paar

9.1 Ung¨ unstigste Paare und Kapazit¨ aten

303

Beweis: Der Beweis folgt durch Induktion nach n. F¨ ur den Induktionsschluss erhalten wir nach Induktionsannahme und mit Fubini ∀Q = Q0,(n+1) ∈ P0 = P0,(n+1) P0,(n+1) ((n+1) > s) = P0,(n+1) ((n+1) > s, n+1 > 0)  s  dP0,n+1 P0,(n) (n) > = n+1 {n+1 >0}  s  dP0,n+1 ≥ Q0,(n) (n) > n+1  s  dQ0,(n) = P0,n+1 n+1 > (n)  s  dQ0,(n) ≥ Q0,n+1 n+1 > (n) = Q0,(n+1) ((n+1) > s) Ebenso ergibt sich P1,(n+1) ((n+1) > s) ≤ Q1,(n+1) ((n+1) > s),

∀Q1 = Q1,(n+1) ∈ P1 = P1,(n+1) .2

Der Dichtequotient  eines Paares (P0 , P1 ) l¨asst sich charakterisieren u ¨ ber die Minimumstellen Ds = {l > s} der Abbildung A → ws (A) = sP0 (A) − P1 (A). Zur Bestimmung des DQ  f¨ ur ein (unbekanntes) ung¨ unstigstes Paar (P0 , P1 ) ersetzen wir P0 durch supP ∈P0 P und P1 durch inf P ∈P1 P . Definition 9.1.13 (Obere und untere Wahrscheinlichkeiten) F¨ ur eine Teilmenge P ⊂ M 1 (X, A) heißt v(A) := vP (A) := sup P (A), A ∈ A obere Wahrscheinlichkeit von P und P ∈P

u(A) := uP (A) := inf P (A), A ∈ A untere Wahrscheinlichkeit von P. P ∈P

F¨ ur obere und untere Wahrscheinlichkeiten gilt die folgende Beziehung: uP (A) = 1 − sup P (Ac ) = 1 − vP (Ac ), P ∈P

A ∈ A.

Die oberen und unteren Wahrscheinlichkeiten v und u haben die folgenden grundlegenden Eigenschaften, die direkt aus deren Definition folgen. Proposition 9.1.14 Sei P ⊂ M 1 (X, A) und seien v = vP , u = uP die obere bzw. untere Wahrscheinlichkeit von P. Dann gilt f¨ ur v: a) v(Ø) = 0 b) v(X) = 1

304

9 Robuste Tests

c) v ist monoton wachsend, d.h. A1 ⊂ A2 ⇒ v(A1 ) ≤ v(A2 ). d) v ist stetig von unten, d.h. An ↑ A ⇒ v(An ) ↑ v(A). Ebenso gilt f¨ ur u: a ) u(Ø) = 0 b ) u(X) = 1 c ) u ist monoton wachsend, d.h. A1 ⊂ A2 ⇒ u(A1 ) ≤ u(A2 ). d ) u ist stetig von oben, d.h. An ↓ A ⇒ u(An ) ↓ u(A).

Bemerkung 9.1.15 a) Kapazit¨ aten: Ist v ein Funktional, v : A → R mit den Eigenschaften a)–d), dann l¨asst sich v auf P(X) fortsetzen, so dass die Eigenschaften a)–d) erhalten bleiben. Definiere v : P(X) → R durch v(B) = inf{v(A); A ∈ A, A ⊃ B}. at auf P(X). Dann erf¨ ullt v die Bedingungen a)–d). v ist eine Kapazit¨ u(B) = 1 − v(B c ), B ∈ P(X) erf¨ ullt die Bedingungen a’)–d’). u heißt die zu v duale Kapazit¨ at. Eine grundlegende Frage ist: Unter welchen Bedingungen existiert zu einer Kapazit¨at v eine erzeugende Teilmenge P ⊂ M 1 (X, A), so dass v = vP ? b) Ung¨ unstigste Paare und Dichtequotienten: Paar (P0 , P1 , ) von (P0 , P1 ), dann ist P0 ( > t) = v0 ( > t), v0 = vP0

und

Existiert ein ung¨ unstigstes

P1 ( > t) = u1 ( > t), u1 = uP1 . (9.1)

Aus (9.1) folgt, dass tv0 ( > t) − u1 ( > t) ≤ tP0 (A) − P1 (A) ≤ tv0 (A) − u1 (A),

∀A ∈ A. (9.2)

ur t > 0 die Mengenfunktion wt (A) := Daraus folgt, dass Dt := { > t} f¨ tv0 (A) − u1 (A) minimiert. Es stellt sich bei gegebenen Kapazit¨ aten v0 und u1 die Frage, wann es eine Funktion  : X → R+ gibt, so dass Dt = { > t} eine Minimumstelle von wt ist.  ist dann ein Kandidat f¨ ur den Dichtequotienten eines ung¨ unstigsten Paares.

9.1 Ung¨ unstigste Paare und Kapazit¨ aten

305

Definition 9.1.16 (Verallgemeinerte Ableitung von Kapazit¨ aten) Seien v0 , v1 Kapazit¨aten auf (X, A).  ∈ L+ (X, A) heißt verallgemeinerte Ableitung von v1 nach v0 , wenn ∀t > 0, Dt = { > t} eine Minimumstelle von wt (A) = tv0 (A) − u1 (A) ist, wobei u1 die zu v1 duale Kapazit¨at ist. Schreibweise:

=

dv 1 dv 0

Die entscheidende Eigenschaft zur Beantwortung obiger Frage ist die Eigenschaft ‘zweifach alternierend‘ bzw. ‘zweifach monoton‘. Definition 9.1.17 (Zweifach alternierende Kapazit¨ at) e) Eine Kapazit¨at v auf (X, A) heißt zweifach alternierend, wenn v(A1 ∪ A2 ) + v(A1 ∩ A2 ) ≤ v(A1 ) + v(A2 ). e ) Eine duale Kapazit¨at u heißt zweifach monoton, wenn u(A1 ∪ A2 ) + u(A1 ∩ A2 ) ≥ u(A1 ) + u(A2 ). Satz 9.1.18 (Verallgemeinerter Dichtequotient) Seien v0 und u1 eine zweifach alternierende bzw. eine zweifach monotone Kapazit¨at mit zugeh¨origen dualen Kapazit¨aten v1 und u0 und sei f¨ ur t ≥ 0, wt := tv0 − u1 . Dann gilt a) ∀t ∈ R+ existieren Dt ∈ A mit Dt = ∪t t und B ⊂ C gilt ws (B) − wt (B) ≤ ws (C) − wt (C)

306

9 Robuste Tests

4) ws − wt  = sup{|ws (A) − wt (A)|; a ∈ A} ≤ |s − t| Eigenschaften 3) und 4) folgen aus ws (A) − wt (A) = (s − t)v0 (A). 1) und 2) folgen direkt nach Definition. a) Sei (εn ) ⊂ (0, 1) so dass



n εn

< ∞ und sei ηt := inf wt (A). A∈A

F¨ ur t ∈ (0, ∞) und ∀k ∈ N : ∃Ak ∈ A mit wt (Ak ) ≤ ηt + εk . Daraus folgt nach 1): 2ηt ≤ wt (An ∪ Am ) + wt (An ∩ Am ) ≤ wt (An ) + wt (Am ) ≤ 2ηt + εn + εm . Wegen wt (An ∩ Am ) ≥ ηt folgt wt (An ∪ Am ) ≤ ηt + εn + εm ,

∀n, m ∈ N.

Durch Induktion ergibt sich hieraus  <   Am ≤ ηt + εm , ηt ≤ wt n≤m≤j

∀n, j ∈ N.

n≤m≤j

F¨ ur erst j → ∞ und dann n → ∞ folgt hieraus 7 <  Am ≤ ηt , ηt ≤ wt n m≥n





:=Ct

also ηt = wt (Ct ),

∀t > 0.

Sei T = {tn } dicht in [0, ∞) und definiere Dt := in t und mit 3) und 1) folgt f¨ ur 0 < t < s:

; tn ∈T

Ctn . Dann ist Dt antiton

wt (Ct ∪ Cs ) − ws (Ct ∪ Cs ) ≤ wt (Ct ) − ws (Cs ) und ws (Ct ∪ Cs ) + ws (Ct ∩ Cs ) ≤ ws (Ct ) + ws (Cs ). Hieraus folgt durch Addition nach Definition von ηt ηt + ηs ≤ ws (Ct ∪ Cs ) + ws (Ct ∩ Cs ) ≤ wt (Ct ) + ws (Cs ) = ηt + ηs ⇒ wt (Ct ∪ Cs ) = ηt

9.1 Ung¨ unstigste Paare und Kapazit¨ aten

307

Mit Induktion ergibt sich:  ws1




t

 ηt ≤ wt (Dt ) = wt

≤ lim wt


t

≤ lim (ηt∗n + wt∗n − wt ) n→∞

≤ lim ηt∗n + lim |t∗n − t| = ηt . Daraus folgt a). Insbesondere ist Dt antiton in t. b) folgt aus a) nach Definition von . c) Sei 0 < t < s < ∞, dann gilt 0 ≤ (s − t)v0 (Ds ) = ws (Ds ) − wt (Ds ) ≤ ws (Ds ) − wt (Dt ) ≤ ws (Dt ) − wt (Dt ) ≤ (s − t)v0 (Dt ). Wegen |v0 (A)| ≤ 1, ∀A ∈ A folgt v0 (Ds ) ≤

ws (Ds ) − wt (Dt ) ≤ v0 (Dt ). s−t

Also ist h Lipschitz-stetig. ur s ↓ t folgt weiter Wegen Ds ↑ Dt f¨ ur s ↓ t, v0 (Ds ) ↑ v0 (Dt ) f¨ d.h. t → wt (Dt ) ist in t rechtsseitig differenzierbar mit rechtsseitiger Ableitung v0 (Dt ). Also ist v0 (Dt ) λ\ f.s. die rechtsseitige Ableitung von h und es gilt die Integraldarstellung. d) Nach a) ist t → Dt antiton, also ist k(t) := v0 (Dt ) eine antitone Abbildung.

308

9 Robuste Tests

Wegen v0 ≥ 0 ist h isoton und f¨ ur t < s < r gilt s 1 h(s) − h(t) 1 = k(u)du = k(t + (s − t)u)du s−t s−t t 0 r 1 1 k(t + (r − t)u)du = k(u)du ≥ r−t t 0 h(r) − h(t) . = r−t 2

Daraus folgt, dass h konkav ist.

Sind also die obere Wahrscheinlichkeit v0 = vP0 und die untere Wahrscheinlichkeit u1 = uP1 f¨ ur ein Testproblem (P0 , P1 ) zweifach alternierende bzw. zweifach monotone Kapazit¨ aten, dann existiert die verallgemeinerte Ableitung  = Jedes Paar (P0 , P1 ) ∈ P0 × P1 mit  = quotienten .

9.2

dP1 dP0

dv 1 dv 0

.

ist ein ung¨ unstigstes Paar mit Dichte-

Umgebungsmodelle und robuste Tests

Als Anwendung der ung¨ unstigsten Paare aus Abschnitt 9.1 behandeln wir in diesem Abschnitt Umgebungsmodelle und robuste Tests f¨ ur einfache Hypothesen. Definition 9.2.1 (ε − δ Umgebungsmodell) Zu einem Wahrscheinlichkeitsmaß P1 ∈ M 1 (X, A) und ε, δ ∈ [0, 1] mit 0 < ε+δ < 1 heißt  P = Pε,δ (P1 ) = P ∈ M 1 (X, A); ((1 − ε)P1 (A) − δ) ∨ 0  ≤ P (A) ≤ ((1 − ε)P1 (A) + ε + δ) ∧ 1, ∀A ∈ A ε − δ Umgebungsmodell von P1 . Bemerkung 9.2.2 Sind P0 , P1 ∈ M 1 (X, A) und P0 , P1 die ε − δ Umgebungsmodelle von P0 , P1 , dann ist f¨ ur ε = 0, P ∈ Pi ⇔ P − Pi  ≤ δ,   die Supremumsnorm, d.h. P liegt in einer δ-sup-Norm-Umgebung von Pi . F¨ ur δ = 0 gilt: P ∈ Pi ⇔ ∃Q ∈ M 1 (X, A), so dass P = (1 − ε)Pi + εQ. Das Umgebungsmodell Pε,0 (Pi ) heißt auch ‘gross error‘ Modell. Mit Wahrscheinlichkeit ε wird eine ‘Beobachtung‘ nach einer von Pi verschiedenen Verteilung ermittelt, z.B. ein Ausreißer. Damit P0 ∩ P1 = Ø ist, ist die Bedingung ε+2δ 1−ε < P1 − P0  an ε, δ sinnvoll. Ein moderater Typ von Umgebungsmodellen ist von der Form Pi = {P ; d(P, Pi ) ≤ ε}

9.2 Umgebungsmodelle und robuste Tests

309

mit einer Metrik, die die Verteilungskonvergenz beschreibt, wie z.B. der ProhorovMetrik. Hier erlaubt man nur kleine Abweichungen (Messfehler) im Umgebungsmodell. Die ε − δ Umgebungsmodelle f¨ uhren zu zweifach alternierenden Kapazit¨aten. Satz 9.2.3 (Obere und untere Wahrscheinlichkeit von ε − δ Umgebungsmodellen) Seien Pi = Pε,δ (Pi ), i = 0, 1, ε − δ Umgebungsmodelle von Pi .  ((1 − ε)Pi (A) + ε + δ) ∧ 1, A = Ø, a) Sei vi (A) := 0, A = Ø, dann gilt: vi sind obere Wahrscheinlichkeiten zu den ε − δ Umgebungsmodellen Pi , d.h. vi = vPi . vi sind zweifach alternierend und ∀A ∈ A existieren P ∈ Pi mit P (A) = vi (A). b) Sei ui (A) := 1 − vi (Ac ) die duale Kapazit¨at. Dann ist  ((1 − ε)Pi (A) − δ) ∨ 0, A = X, ui (A) = 1, A = X, ui = uPi , und f¨ ur alle A ∈ A existieren P ∈ Pi mit P (A) = ui (A). ui sind zweifach monotone Kapazit¨aten. c)

Pi = {P ∈ M 1 (X, A); P (A) ≤ vi (A), ∀A ∈ A} = {P ∈ M 1 (X, A); P (A) ≥ ui (A), ∀A ∈ A}

Beweis: ahle P = Pi . Ist Pi (A) ∈ (0, 1), dann gilt f¨ ur a), b) Ist A = Ø oder Pi (A) = 1, dann w¨ P := (1 − ε)Pi + ε δx mit x ∈ A und δx das Einpunktmaß in x: P (A) ∈ (0, 1). P (B) := vi (A)P (B | A) + (1 − vi (A))P (B | Ac ),

B∈A

definiert ein Wahrscheinlichkeitsmaß auf (X, A) mit P (A) = vi (A). Durch Fallunterscheidung vi (A) < 1 bzw. vi (A) = 1 sieht man, dass P ∈ Pi . Es folgt damit vi = vPi . Zu zeigen bleibt: vi ist zweifach alternierend. Dazu sei f (a) = ((1 − ε)a + ε + δ) ∧ 1. Dann ist f konkav und f¨ ur a, b, c, d ≥ 0 mit a ≤ b, c ≤ d und a + d = b + c gilt f (a) + f (d) ≤ f (b) + f (c). Dieses impliziert nach Definition von vi , dass vi zweifach alternierend ist. Die Aussagen f¨ ur ui sind analog.

310

9 Robuste Tests

c) Nach a) ist vi = vPi , also P (A) ≤ vi (A), ∀P ∈ Pi , ∀A ∈ A. Aber P ≤ vi ist ¨ aquivalent zu P ≥ ui . Daher ist P ≤ vi ¨aquivalent zu P ∈ Pi . 2 Das folgende einfache Lemma gibt eine notwendige und hinreichende Bedingung daf¨ ur, dass P0 ∩ P1 = Ø (vgl. auch Bemerkung 9.2.2). Lemma 9.2.4 ¨ Aquivalent sind a) P0 ∩ P1 = Ø b) (1 − ε)P1 (A) + ε + δ ≥ (1 − ε)P0 (A) − δ, c) P0 − P1  ≤

∀A ∈ A

ε+2δ 1−ε

Die folgende Proposition gibt eine Spezialisierung der Aussagen von Satz 9.1.18 zur Bestimmung von Dichtequotienten ung¨ unstigster Paare (verallgemeinerte Ableitungen der zugeh¨ origen Kapazit¨ aten) auf den Fall von ε − δ-Umgebungsmodellen. Proposition 9.2.5 Sei Dt Minimumstelle von wt = tv0 − u1 , t ∈ (0, ∞), dann gilt: a) h(t) = wt (Dt ) ist isoton und konkav und es ⎧ ⎪ ⎨t − 1, h(t) = strikt isoton ⎪ ⎩ 0, b) Mit v :=

ε+δ 1−ε ,

w :=

δ 1−ε

und L =

dP1 dP0

gibt 0 < t0 < t1 < ∞, so dass 0 < t ≤ t0 , t0 ≤ t < t1 , t1 ≤ t.

sind t0 , t1 ∈ (0, ∞) L¨osung von

t0 P (L < t0 ) − P1 (L < t0 ) = v + wt0 , P1 (L < t1 ) − t1 P0 (L > t1 ) = vt1 + w. c)

Dt = X,

0 < t ≤ t0 und Ø ⊂ Dt ⊂· X, d.h. Dt ist eine echte Teilmenge von X f¨ u r t0 ≤ t < t 1 .

Dt = Ø

f¨ ur t1 ≤ t < ∞.

Mit diesen Vorbereitungen erhalten wir nun die verallgemeinerte Ableitung der Kapazit¨ aten und damit den Dichtequotienten der ung¨ unstigsten Verteilungen. Dieser ergibt sich als nach oben und unten abgeschnittener Dichtequotient von P1 nach P0 . Dieses liefert dann die Pr¨ ufgr¨ oße des optimalen robusten Tests.

9.2 Umgebungsmodelle und robuste Tests

311

Satz 9.2.6 (Verallgemeinerter Dichtequotient) ε+δ δ Seien v := 1−ε , w := 1−ε , dann gilt:  ist verallgemeinerte Ableitung von v1 nach v0 ,  ∈ ⇔ ∃L ∈

dP1 dP0 ,

dv1 dv0

,

so dass  = t0 ∨ L ∧ t1 mit t0 , t1 aus Proposition 9.2.5 b).

Beweis: Mit wt = tv0 − u1 ist  definiert durch { > t} = Dt , t > 0, mit wt (Dt ) = inf A∈A wt (A). Nach Proposition 9.2.5c) gilt: { > t} = X f¨ ur t < t0 ⇒ (x) ≥ t0 ,

∀x

ur t ≥ t1 ⇒ (x) ≤ t1 , und { > t} = Ø f¨

∀x.

Behauptung: Mit Wt := tP0 − P1 gilt wt (Dt ) = (1 − ε)Wt (Dt ) + t(ε + δ) + δ,

t0 ≤ t < t1

Zum Beweis dieser Behauptung verwenden wir die Darstellung von v0 , u1 und erhalten f¨ ur t0 ≤ t < t1 wt (Dt ) ≤ wt (A) = tv0 (A) − u1 (A) = (1 − ε)Wt (A) + t(ε + δ) + δ,

A ∈ A.

Andererseits ist f¨ ur t < t1 , Dt = Ø und daher v0 (Dt ) = ((1 − ε)P0 (Dt ) + ε + δ) ∧ 1. Ist f¨ ur ein t > t0 , v0 (Dt ) = 1, dann folgt wegen wt (Dt ) = tv0 (Dt ) − u1 (Dt ) < t − 1, dass u1 (Dt ) > 1; ein Widerspruch. Also ist v0 (Dt ) = (1 − ε)P0 (Dt ) + ε + δ. Ebenso ist u1 (Dt ) = (1 − ε)P1 (Dt ) − δ f¨ ur t0 < t < t1 . Daraus folgt die Teilbehauptung. t → wt (Dt ) ist nach Proposition 9.2.5 a) konkav, also stetig. F¨ ur t ↓ t0 folgt daher wt (Dt ) = tP0 (Dt ) − P1 (Dt ) → t0 P0 (Dt0 ) − P1 (Dt0 ) = wt0 (Dt0 ), ur t = t0 . F¨ ur t ∈ [t0 , t1 ) sind also die da Dt ↑ Dt0 . Also gilt die Formel auch f¨ Minimumstellen von wt gleich der Minimumstellen von Wt . Daraus folgt ur t ∈ [t0 , t1 ]. { > t} = {L > t} [P0 + P1 ] f¨ Daraus folgt nach dem Eindeutigkeitssatz ur t0 ≤ L(x) < t1 . (x) = L(x) [P0 + P1 ] f¨

2

Schließlich bestimmen wir ein ung¨ unstigstes Paar (Q0 , Q1 , ) mit Dichtequotienten . Dieses erlaubt dann die Festlegung kritischer Werte f¨ ur r-optimale Tests insbesondere f¨ ur Minimax- und Maximin-Tests zum Niveau α.

312

9 Robuste Tests

Satz 9.2.7 (Ung¨ unstigste Paare f¨ ur das ε − δ Umgebungsmodell) Seien Pi = fi μ, i = 0, 1, dann gilt: unstigstes Paar f¨ ur (P0 , P1 ) mit DQ , wenn a) (Q0 , Q1 , ) ist ein ung¨ 1) Q0 , Q1  μ, Qi = qi μ 2) ∃L ∈

dP1 dP0

und

q1 = q0

mit (x) = t0 ∨ L(x) ∧ t1 [P0 + P1 ]

3) q0 (x) = (1 − ε)f0 (x) [μ] f¨ ur L(x) ∈ [t0 , t1 ] ≤ q0 (x) ≤ (1 − ε) f1t(x) [μ] f¨ ur L(x) > t1 4) (1 − ε) f1t(x) 0 1 5) (1 − ε)f0 (x) ≤ q0 (x) ≤ (1 − ε) f1t(x) [μ] f¨ ur L(x) > t1 1 6) Q0 (L < t0 ) = (1 − ε)P0 (L < t0 ) − δ oder ¨aquivalent 7) Q0 (L > t1 ) = (1 − ε)P0 (L > t1 ) + ε + δ unstigstes b) Bedingungen 1)–6) sind auch notwendig daf¨ ur, dass (Q0 , Q1 ) ein ung¨ Paar ist. c) Es gibt ein ung¨ unstigstes Paar (Q0 , Q1 , ) gegeben ⎧ 1−ε ⎪ (vf0 (x) + wf1 (x)), ⎪ ⎨ v+wt0 q0 (x) = (1 − ε)f0 (x), ⎪ ⎪ ⎩ 1−ε vt1 +w (wf0 (x) + vf1 (x)), ⎧ (1−ε)t 0 ⎪ (vf0 (x) + wf1 (x)), ⎪ ⎨ v+wt0 q1 (x) = (1 − ε)f1 (x), ⎪ ⎪ ⎩ (1−ε)t1 vt1 +w (wf0 (x) + vf1 (x)), mit v :=

ε+δ 1−ε ,

durch L(x) < t0 , t0 ≤ L(x) ≤ t1 , L(x) > t1 , L(x) < t0 , t0 ≤ L(x) ≤ t1 , L(x) > t1 ,

δ 1−ε .

w :=

Beweis: a) Q0 ∈ P0 . Zum Nachweis dazu verwenden wir Q0 (A) = Q0 (A ∩ {L < t0 }) + Q0 (A ∩ {t0 ≤ L ≤ t1 }) + Q0 (A ∩ {L > t1 }). Aus 4) und 3) folgt Q0 (A ∩ {L < t0 }) ≤ (1 − ε)P0 (A ∩ {L < t0 }) und Q0 (A ∩ {t0 ≤ L ≤ t1 }) = (1 − ε)P0 (A ∩ {t0 ≤ L ≤ t1 }). Aus 5) ergibt sich Q0 (Ac ∩ {L > t1 }) ≥ (1 − ε)P0 (Ac ∩ {L > t1 })

9.2 Umgebungsmodelle und robuste Tests

313

und aus 7) erhalten wir Q0 (A) ≤ ((1 − ε)P0 (A) + ε + δ) ∧ 1 = v0 (A),

∀A ∈ A.

Daher folgt Q0 ∈ P0 . ur t ∈ [t0 , t1 ). Aus 6) und Es ist (x) ∈ [t0 , t1 ], ∀x ∈ X und { > t} = {L > t} f¨ 3) folgt: Q0 (L > t) = (1 − ε)P0 (L > t) + ε + δ, t ∈ [t0 , t1 ). Nach Definition von v0 und Satz 9.2.3 gilt Q0 (L > t) ≥ v0 (L > t) = sup P (L > t), P ∈P0

t ∈ [t0 , t1 );

also gilt die Gleichheit. Ebenso gilt Q1 (L > t) = (1 − ε)P1 (L > t) − δ,

t ∈ [t0 , t1 ),

so dass nach Satz 9.2.3 folgt: Q1 (L > t) ≤ u1 (L > t) = inf P (L > t), P ∈P1

t ∈ [t0 , t1 ).

Daraus folgt a). b) Die Notwendigkeit der Bedingungen 1)–6) folgt aus Lemma 9.2.4, Proposition 9.2.5 und Satz 9.2.6. Wir verzichten auf die Details. c) Zum Nachweis von c) pr¨ uft man nach, dass das konstruierte Paar (Q0 , Q1 ) die hinreichenden Bedingungen 1)–6) aus a) erf¨ ullt. 2 Bemerkung 9.2.8 (Optimaler robuster Test) a) Der ‘optimale’ robuste Test f¨ ur das einfache Testproblem (P0 , P1 ) zum Niveau α ist definiert als der ‘optimale’ Test zum Niveau α f¨ ur die ε−δ-Umgebungsmodelle (P0 , P1 ). Er hat die Form ⎧ ⎪ > ⎨1, ∗ ϕ (x) = γ, (x) = k0 , ⎪ ⎩ 0 < mit k0 , γ so, dass EQ0 ϕ∗ = α.  ist der verallgemeinerte Dichtequotient aus Satz 9.2.6. b) Der optimale robuste Test f¨ ur (P0 , P1 ) zum Niveau α verwendet als Teststatistik die abgeschnittene Likelihood-Funktion (x) = t0 ∨ L(x) ∧ t1 . Dieses entspricht der in Proposition 9.1.11 gezeigten Beschr¨anktheit der verallgemeinerten Ableitung in reichhaltigen Modellen. c) Die Konstruktion optimaler robuster Tests l¨asst sich in ¨ahnlicher Form verallgemeinern auf zusammengesetzte Hypothesen, sofern deren Umgebungsmodelle Pi durch zweifach alternierende Kapazit¨aten definiert werden (vgl. Rieder (1994)).

314

9.3

9 Robuste Tests

Robuste Tests gegen Abh¨ angigkeit

F¨ ur einige interessante Umgebungsmodelle ist das Konzept f¨ ur ung¨ unstigste Paare von Huber und Strassen in Definition 9.1.1 zu stark und das schw¨achere Konzept ung¨ unstigster Paare LFα (P0 , P1 ) aus Proposition 6.3.15 ist besser geeignet. Als Beispielklasse behandeln wir Robustheit gegen Abh¨angigkeit. Sei (X, A) = ⊗ni=1 (Xi , Ai ) und f¨ ur Pi , Qi ∈ M 1 (Xi , Ai ) sei M1 = M (P1 , . . . , Pn ) = {P ∈ M 1 (X, A); P πi = Pi , 1 ≤ i ≤ n} und M2 = M (Q1 , . . . , Qn ) = {Q ∈ M 1 (X, A); Qπi = Qi , 1 ≤ i ≤ n}, mit den Projektionen πi auf die i-te Komponente. M1 , M2 sind Umgebungsmodelle von ⊗ni=1 Pi , ⊗ni=1 Qi , die alle Wahrscheinlichkeitsmaße enthalten, die Pi bzw. Qi als Randverteilungen haben, die aber eine beliebige Abh¨angigkeitsstruktur haben. M1 , M2 haben kein ung¨ unstigstes Paar im Sinne von Huber und Strassen. Zur Bestimmung von ung¨ unstigsten Paaren in LFα (M1 , M2 ) nach Proposition 6.3.15 ben¨ otigen wir die folgende Bestimmung des dk -Abstandes, dk (P, Q) = sup{(Q(A)− kP (A)); A ∈ A}. Proposition 9.3.1 (dk -Abstand von M1 , M2 ) F¨ ur k ≥ 0 gilt dk (M1 , M2 ) = max dk (Pi , Qi ) 1≤i≤n

Beweis: Die obige Formel ist ¨ aquivalent zu sup{|kP ∧ Q|; P ∈ M1 , Q ∈ M2 } = min |kPi ∧ Qi |. 1≤i≤k

Dabei ist kP ∧ Q das verbandstheoretische Infimum, (kP ∧ Q)(A) = inf{kP (AB) + Q(AB c ); B ∈ A} und |kP ∧ Q| = (kP ∧ Q)(X) der Betrag. Seien Si = kPi ∧ Qi und sei o.E. |S1 | = min1≤i≤n |Si | Dann existiert ein endliches Maß R ∈ M (X, A) so dass Rπ1 = S1 und Rπi ≤ Si , 2 ≤ i ≤ n. Mit kPi = kPi − Rπi , Q i = Qi − Rπi , gilt |kPi | = kPi (Xi ) − Rπi (Xi ) = kP1 (X1 ) − R(X) = |kP1 | − Rπ1 (X1 ) = |kP | − |kP1 ∧ Q1 | und ebenso R1

|Q i | = |Q1 | − |kP1 ∧ Q1 |, M (P1 , . . . , Pn ),

R2

1 ≤ i ≤ n.

M (Q 1 , . . . , Q n )

Seien ∈ ∈ und definiere R1 = R + kR1 , R2 = R+R2 . Dann gilt R ≤ Ri , i = 1, 2, R1 ∈ M (P1 , . . . , Pn ), R2 ∈ M (Q1 , . . . , Qn ) und |kR1 ∧ R2 | ≥ |R| = min |kPi ∧ Qi |. 1≤i≤n

9.3 Robuste Tests gegen Abh¨ angigkeit

315

Andererseits folgt f¨ ur P ∈ M1 , Q ∈ M2 nach Definition |kP ∧ Q| ≤ min |kPi ∧ Qi |. 1≤i≤n

In Konsequenz gilt |R1 ∧ R2 | = |R| = min |kPi ∧ Qi |. 1≤i≤n

2

Daraus folgt die Behauptung. Sei nun Lk (M1 , M2 ) = {(R1 , R2 ) ∈ M1 × M2 ;

dk (M1 , M2 ) = dk (R1 , R2 )}

und hα (k) := αk + max dk (Pi , Qi ). 1≤i≤n

Lk (M1 , M2 ) sind die bzgl. der Distanz dk minimalen Paare in M1 , M2 . Mit einem Approximationsargument wie im Beweis zu Satz 6.3.25 l¨asst sich die Darstellungformel von Satz 6.3.18 u ¨ ber die duale Darstellung des Maximin-Risikos auf den nichtdominierten Fall u ¨ bertragen und es gilt w∗

w∗

β(α, M1 , M2 ) = inf{αk + dk (M 1 , M 2 );

k ≥ 0}.

Nach Proposition 9.3.1 und demselben Approximationsargument ist w∗

w∗

dk (M 1 , M 2 ) = dk (M1 , M2 ) = max dk (Pi , Qi ). 1≤i≤n

Daraus folgt β(α, M1 , M2 ) = min hα (k) k≥0

und wir erhalten den folgenden Satz. Satz 9.3.2 (Maximin-Test, Robustheit gegen Abh¨ angigkeit) F¨ ur α ∈ [0, 1] ist a) β(α, M1 , M2 ) = min{hα (k); k ≥ 0} b) Sei k ∗ ≥ 0 eine Minimumstelle von hα und sei (R1 , R2 ) ∈ Lk∗ (M1 , M2 ), dann gilt: 1) (R1 , R2 ) ∈ LFα (M1 , M2 ). 2) Es existiert ein LQ-Test ϕ∗ zum Niveau α f¨ ur R1 , R2 mit kritischem Wert k ∗ so dass ϕ∗ ein Maximin-Test zum Niveau α f¨ ur M1 , M2 ist.

316

9 Robuste Tests

Beweis: Teil a) folgt aus der dualen Darstellung des Maximinrisikos in Proposition 9.3.1 und den Vor¨ uberlegungen zu Satz 9.3.2. b) Ist (R1 , R2 ) ∈ Lk∗ (M1 , M2 ), dann ist dk∗ (R1 , R2 ) = max1≤i≤n dk∗ (Pi , Qi ) und daher β(α, M1 , M2 ) = hα (k ∗ ) = αk ∗ + max dk∗ (Pi , Qi ) i

= αk ∗ + dk∗ (R1 , R2 ) ≥ inf{αk + dk (R1 , R2 ); k ≥ 0} = β(α, R1 , R2 ). Da nach Definition β(α,M1 ,M1 ) ≤ β(α,R1 ,R2 ), folgt die Gleichheit und (R1 ,R2 ) ∈ LFα (M1 ,M2 ). Damit folgt die Behauptung in Teil b). 2 Im Allgemeinen ist die Maximinsch¨ arfe f¨ ur das Testproblem M1 , M2 zum Niveau α gr¨ oßer als die maximale Sch¨ arfe der Tests, die die einzelnen Komponenten testen. Dieses Resultat erscheint auf den ersten Blick zu u ¨berraschen, da ja alle m¨ oglichen Abh¨ angigkeiten in den Umgebungen zugelassen sind. Modelle bei denen Marginalverteilungen bekannt sind aber die Abh¨angigkeitsstruktur v¨ollig unbekannt ist, sind z.B. relevant in der Risikoanalyse von großen Versicherungsunternehmen. F¨ ur Beispiele hierzu siehe R¨ uschendorf (1985, 2013).

Kapitel 10

Sequentielle Tests Das Ziel sequentieller Tests ist es, f¨ ur ein Testproblem Beobachtungskosten mit zu ber¨ ucksichtigen und eine Entscheidung zwischen zwei Hypothesen mit einer m¨ oglichst geringen Anzahl an Beobachtungen herbeizuf¨ uhren. In ‘klaren‘ Beobachtungssituationen lassen sich Beobachtungen einsparen, ‘unklare‘ Situationen erfordern eine h¨ ohere Anzahl an Beobachtungen. Sind Beobachtungen mit hohen Kosten oder Risiken verbunden, wie etwa in medizinischen oder pharmazeutischen Versuchsreihen, dann ist diese Zielsetzung von großer Bedeutung. Zur Beschreibung des Experiments verwenden wir unendliche Produktr¨aume. Wir behandeln den Fall von iid Beobachtungen. Zentrale Resultate dieses Kapitels sind der Nachweis der Optimalit¨at des sequential probability ratio tests (SPRT) von Wald und Wolfowitz, Aussagen zur Struktur optimaler sequentieller Bayes-Tests, Approximationen f¨ ur die mittlere Anzahl von ben¨ otigten Stichproben (ASN = average sample number) und f¨ ur Stoppschranken, und die Konstruktion von Tests der Sch¨arfe 1, die die G¨ ultigkeit der Alternative ohne Fehler entdeckt; eine besonders reizvolle Anwendung des Gesetzes vom iterierten Logarithmus. Die moderne Theorie des Sequentialanalyse begann, motiviert durch Probleme aus der Qualit¨ atskontrolle mit dem Buch ‘Sequential Analysis‘ von Wald (1947). Wir beschr¨ anken uns in dieser Einf¨ uhrung im Wesentlichen auf die klassischen und besonders sch¨ onen Resultate dieser Theorie f¨ ur einfache statistische Hypothesen. Weiterentwicklungen dieser Theorie waren stark motiviert durch Anwendungen aus klinischen Studien aus der Survivalanalyse und durch den Zusammenhang mit sequentiellen Verfahren des ‘experimental designs‘. Das strukturelle Hauptresultat dieses Abschnittes besagt, dass ein Bayessches sequentielles Testproblem in zwei Anteile zerlegt werden kann: Ein Stoppproblem, das das Design der Analyse ausmacht, und ein terminales Entscheidungsproblem. Eine umfangreiche Darstellung dieser Theorie, ihrer Anwendungen und mathematischen Zusammenh¨ange (insbesondere mit (nichtlinearer) Erneuerungstheorie, Brownscher Bewegung und boundary crossing findet sich in Siegmund (1985)).

L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_10, © Springer-Verlag Berlin Heidelberg 2014

318

10 Sequentielle Tests

Sei (X, A, P) ein Grundraum mit P = {Pϑ ; ϑ ∈ Θ} und sei Θ = Θ0 + Θ1 ein Testproblem. Bei (potentiell unendlich vielen) iid Beobachtungen verwenden wir als Stichprobenraum (E, B, Q) = (X(∞) , A(∞) , P (∞) ) mit P (∞) = {P (∞) ; P ∈ P}. F¨ ur sequentielle Tests verwenden wir gelegentlich auch die Darstellung mit Zufallsvariablen, insbesondere f¨ ur die Anwendung von Grenzwerts¨atzen aus der Wahrscheinlichkeitstheorie. Sei An := σ(π1 , . . . , πn ) = {B × X(∞) ; B ∈ A(n) ⊂ B} die σ-Algebra der ersten n Beobachtungen , πi die Projektionen auf X(∞) , A0 := {Ø, X(∞) }, und sei Φn := {ϕ ∈ Φ = Φ(E, B); ϕ An -messbar} = {ϕ ∈ Φ; ϕ(x) = ϕ(x1 , . . . , xn ), x ∈ E}. die Menge der Tests basierend auf n Beobachtungen. Ein sequentieller Test hat zwei Bestandteile: 1) Eine Regel, die sagt, wie viele Beobachtungen genommen werden, d.h. eine Stoppzeit. 2) Eine Entscheidungsregel. Definition 10.1 (Stoppzeit, sequentieller Test) a) N : (X(∞) , A(∞) ) → (N0 , P(N0 )) heißt Stoppzeit ⇔ ∀n ∈ N0 gilt: {N = n} ∈ An . b) Sei ϕ = (ϕn )n∈N0 mit ϕn ∈ Φn , n ∈ N0 und sei N eine Stoppzeit. Dann heißt (ϕ, N ) ein sequentieller Test. c) ϕN (x) := ϕN (x) (x) heißt terminale Entscheidungsfunktion von (ϕ, N ) d) β(ϑ) := Eϑ ϕN , die G¨ utefunktion von ϕN heißt Operationscharakteristik (OC-Funktion). A(ϑ) := Eϑ N , der erwartete Stichprobenumfang, heißt ASNFunktion. Bemerkung 10.2 Ist (ϕ, N ) ein sequentieller Test, dann bestimmt die Stoppzeit N den Stichprobenumfang. Die Entscheidung {N = n} h¨angt nur von den Beobachtungen in der Vergangenheit ab. Man kann nicht in die Zukunft sehen. ϕN (x) ist dann die terminale Entscheidungsfunktion f¨ ur die Hypothese oder die Alternative. Wir behandeln im Folgenden den Fall einfacher Hypothesen Θ0 = {ϑ0 }, Θ1 = {ϑ1 } und setzen Pi := Pϑi , i = 0, 1. Das folgende Beispiel f¨ uhrt den sequential probability ratio test (SPRT) ein. Im Anschluss werden dann einige Eigenschaften dieses grundlegenden sequentiellen Tests hergeleitet. Beispiel 10.3 (SPRT – sequential probability ratio test) n n . . Sei P0 = f μ, P1 = gμ, fn (x) = f (xi ), gn (x) = g(xi ) und Ln = i=1 (n)

Dichtequotient, Ln =

dP1

(n)

dP0

i=1

gn fn

. F¨ ur 0 < A0 < 1 < A1 < ∞ definiere die Stoppzeit

N = NA0 ,A1 = inf{n ∈ N; Ln ∈ (A0 , A1 )}

der

10 Sequentielle Tests

319

und f¨ ur n ∈ N

 ϕn = ϕn,A0 ,A1 =

1, 0,

Ln ≥ A1 , Ln ≤ A0 .

F¨ ur Ln ∈ (A0 , A1 ) ist ϕn nicht festgelegt. Dann ist ⎧ ⎪ ≥ A1 , ⎨1, ϕN = falls LN ⎪ ⎩ 0, ≤ A0 , die terminale Entscheidungsfunktion. (ϕ, N ) heißt SPRT mit Schranken A0 , A1 .

Θ1

A1

A0 Θ0

N

Abbildung 10.1 SPRT (in stetiger Zeit)

Den Begriff sequentieller Tests kann man so erweitern, dass auch N = ∞ zugelassen wird, d.h. f¨ ur bestimmte Situationen l¨asst man die Entscheidung offen. (∞) F¨ ur den SPRT ist aber N < ∞ [Pi ], i = 0, 1. Dazu beachte, dass   n (∞)  g ∞ ∞ [P1 ] Ln → ⇔ ln Ln (x) = ln (xi ) → (∞) f 0 −∞ [P0 ] i=1 Sind Xi iid Zufallsvariablen mit EXi = 0, dann folgt nach dem starken Gesetz großer Zahlen n / / / / limn→∞ / Xi / = ∞ f.s. i=1

Ist EXi = 0 und Xi ≡ 0, dann gilt nach dem Satz von Chung und Fuchs limn→∞

n  i=1

Xi = ∞ f.s.

320

10 Sequentielle Tests

In beiden F¨ allen ist also mit Xi = fg ◦ πi die Stoppzeit N des SPRT fast sicher endlich. Eine genauere Analyse der Stoppzeit N des SPRT gibt der folgende Satz von Stein. Er impliziert insbesondere die Endlichkeit von EN unter der Annahme P0 = P1 . Satz 10.4 (Exponentielle Schranken f¨ ur Stoppzeiten) Seien X1 , X2 , . . . iid reelle Zufallsvariablen auf (Ω, A, P ) mit P (X1 = 0) > 0. F¨ ur a < b sei j  Xi . σ := inf{j ∈ N; Sj ∈ (a, b)}, Sj := i=1

Dann folgt: P (σ ≥ j) ≤ γj , j ∈ N.

a) ∃γ > 0,  ∈ (0, 1) mit

b) Eσ n < ∞, ∀n ∈ N; insbesondere ist σ < ∞ [P ]. Beweis: O.E. sei a < 0 < b. Wegen P (X1 = 0) > 0 existiert ein ε > 0: P (X1 > ε) > 0 oder P (X1 < −ε) > 0. Sei m ∈ N mit mε > b − a, dann folgt m 7  {Xi > ε} = (P ({X1 > ε}))m P (Sm > b − a) ≥ P i=1

und P (Sm < −(b − a)) ≥ P

m 7

 {Xi < −ε} = (P ({X1 < −ε}))m .

i=1

Damit gilt :

P (|Sm | > b − a) ≥ (P (X1 > ε))m + (P (X1 < −ε))m =: δ. (10.1)

F¨ ur alle i ∈ N ist {|X(i−1)m+1 + · · · + Xim | > b − a} ⊂ {σ ≤ im}. ;k Mit Ai := {|X(i−1)m+1 + · · · + Xim | > b − a} gilt i=1 Ai ⊂ {σ ≤ km}. Daraus folgt P (σ > km) ≤ P

k 7

Aci



i=1

=

k .

P ({|X(i−1)m+1 + · · · + Xim | ≤ b − a})

i=1

≤ (1 − δ)k

mit δ aus (10.1).

F¨ ur δ = 1 ist P (σ > m) = 0. F¨ ur δ ∈ (0, 1) und (k − 1)m < j ≤ km gilt P (σ ≥ j) ≤ P (σ > (k − 1)m) km 1 1  (1 − δ) m ≤ (1 − δ)k−1 = 1 − δ   =:

≤ γj

1 . mit γ := 1−δ

2

10 Sequentielle Tests

321

Die exakte Bestimmung der Kenngr¨ oßen A0 , A1 der OC-Funktion und der ASN des SPRT bei vorgegebenen Fehlerschranken ist im Allgemeinen schwierig. Es gibt aber auf Wald zur¨ uckgehende Approximationen f¨ ur obige Gr¨oßen. Waldsche Approximationen a) Approximative Schranken Seien α0 , α1 vorgegebene Fehlerschranken. Die Aufgabe ist es, Grenzen (boundaries) A0 , A1 f¨ ur den SPRT so zu bestimmen, dass die vorgegebenen Fehlerschranken eingehalten werden, E0 ϕNA

0 ,A1

= α0 ,

E1 (1 − ϕNA

0 ,A1

) = α1

(exakte Schranken).

Diese Schranken exakt einzuhalten ist schwierig oder sogar nicht m¨oglich. Es gibt aber approximative Schranken A 0 , A 1 mit E0 ϕN

A ,A 0 1

= α 0 ∼ α0

und E1 (1 − ϕN

A ,A 0 1

Proposition 10.5 (Approximative Schranken) α1 F¨ ur die approximativen Schranken A 0 := 1−α , A 1 = 0 A 0 ≤ A0 ,

) = α 1 ∼ α1 .

1−α1 α0

gilt:

A 1 ≥ A1 .

F¨ ur die Fehler α 0 , α 1 des zugeh¨origen SPRT ϕN

A0 ,A1

gilt:

α0 α1 , α 1 ≤ . 1 − α1 1 − α0 Beweis: Sei (ϕ, N ) der SPRT mit exakten Schranken A0 , A1 und sei Rn := {x ∈ X(∞) ; Lk (x) ∈ (A0 , A1 ), 1 ≤ k ≤ n − 1, Ln (x) ≥ A1 } = {N = n, ϕN = 1} der Ablehnungsbereich der Hypothese. Dann gilt: ∞ ∞   α0 = P0 (Rn ) = fn dμ(n) α 0 ≤

n=1

n=1

Rn

∞ 1  ≤ gn dμ(n) , A1 n=1 Rn

da auf Rn :

gn ≥ A1 fn

1 − α1 . A1 Ebenso ergibt sich mit =

Wn := {N = n, ϕn = 0} = {N = n, Ln ≤ A0 } ∞  fn dμ(n) 1 − α0 = E0 (1 − ϕN ) = n=1

Wn

∞ 1  α1 ≥ gn dμ(n) = . A0 n=1 Wn A0

Es folgt: A0 ≥

α1 1−α0

= A 0 und A1 ≤

1−α1 α0

= A 1 .

322

10 Sequentielle Tests

F¨ ur den approximativen SPRT ϕNA ,A mit Fehlerschranken α 0 , α 1 gilt eben0

so:

1

α 1 A 0 ≥ , 1 − α 0

A 1 ≤

1 − α 1 . α 0

α0 , 1 − α1

α 1 ≤

α1 . 1 − α0

Dieses impliziert α 0 ≤

2

Bemerkung 10.6 1) Da typischerweise α0 , α1 klein sind, z.B. 0,01, sind die approximativen Fehlerschranken gute Approximationen; z.B. f¨ ur α0 = α1 = 0,01 ist α 0 , α 1 ≤ 0,0101. 2) Exzess und overshoot Die Ungleichung in Proposition 10.5 entsteht durch den oberen Exzess (LN − A1 )+ bzw. den unteren Exzess (A0 − LN )+. Durch Logarithmieren ergibt sich auf Wn der overshoot n  i=1

ln

n−1  g(xi ) g(xi ) ≥ ln A1 > ln . f (xi ) f (x ) i=1   i =:Vi

Der overshoot betr¨agt also maximal Vn und l¨asst sich in dieser Form gut analysieren. Beispiel 10.7 (Sequentieller Binomialtest) Seien Pi = B(1, pi ), i = 0, 1 mit p0 < p1 , dann ist n

xj

n

p j=1 (1 − p1 )n− j=1 xj gn (x) = 1n x = n j fn (x) p0 j=1 (1 − p0 )n− j=1 xj



q1 q0

n 

p1 q0 p0 q1

nj=1 xj

mit qi = 1 − pi . Sind z.B. die Erfolgswahrscheinlichkeiten p0 = 0,05, p1 = 0,17 und die vorgegebenen Fehlerschranken α0 = 0,05, α1 = 0,1, dann sind die approximativen Fehlerschranken α 0 = 0,031, α 1 = 0,099. Mit den approximativen Grenzen A 0 , A 1 gilt f¨ ur den SPRT N = NA0 ,A1 : E0 N = 31,4, E1 N = 30,0. Im Unterschied dazu ben¨otigt der beste Test bei festem Stichprobenumfang zum Niveau α0 = 0,05, α1 = 0,1 den Stichprobenumfang n = 57. Der SPRT ben¨otigt also sowohl unter der Hypothese als auch unter der Alternative im Mittel eine deutlich geringere Anzahl an Beobachtungen. b) approximative ASN Zur approximativen Bestimmung der ASN Ei N f¨ ur die Stoppzeit N = NA0 ,A1 des SPRT   n  g(xj ) (10.2) N = inf n ∈ N; Vj ∈ (ln A0 , ln A1 ) , Vj = ln f (xj ) j=1 ben¨ otigen wir das

10 Sequentielle Tests

323

Optional Sampling Theorem (OS-Theorem): Sei (M  j )j∈N ein Martingal und τ eine Stoppzeit, so dass EMτ existiert und sei limj→∞ {τ >j} |Mj | dP = 0. Dann gilt:

EMτ = Eτ EM1 .

Die Bedingungen des OS-Theorems gelten bei gleichgradig integrierbaren Martingalen f¨ ur alle Stoppzeiten. F¨ ur iid Folgen ur eine Stoppn(Xi ) mit EXi = 0, f¨ zeit τ mit Eτ < ∞ und das Martingal Sn := j=1 Xj ergibt sich eine Anwendung auf das Problem der approximativen Bestimmung der ASN f¨ ur die obige Darsteli) lung (10.2) der Stoppzeit des SPRT mit den Zufallsvariablen Xi = Vi = ln fg(x (xi ) . Seien nun (Xi ) iid integrierbare Zufallsvariable auf (Ω, A, P ). Unter Vernachl¨ assigung des overshoots erhalten wir die folgenden Approximationen. Proposition 10.8 (Approximative Bestimmung der ASN) Sei σ := inf{j ∈ N; Sj ∈ (a, b)}. a) Sei EX1 = 0 und h = 0 mit EehX1 = 1; dann gilt 1 − eha ehb − 1 , P (S ≤ a) ≈ σ ehb − eha ehb − eha hb ha 1 a(e − 1) + b(1 − e ) 2) Eσ ≈ EX1 ehb − eha 1) P (Sσ ≥ b) ≈

b) Ist EX1 = 0 und a < 0 < b, dann gilt 1) 2)

−a , b−a

b b−a −ab . Ist Var(X1 ) < ∞, dann gilt: Eσ ≈ Var(X1 ) P (Sσ ≥ b) ≈

P (Sσ ≤ a) ≈

Beweis: a) (ehSj ) ist ein Martingal bzgl. (Aj ) = (σ(X1 , . . . , Xj )). Nach dem Optional Sampling Theorem folgt: EehSσ = EehX1 = 1, d.h.

 {Sσ ≤a}

ehSσ dP +

 {Sσ ≥b}

ehSσ dP = 1.

Unter Vernachl¨ assigung des Exzesses (overshoots) ist ehSσ ≈ eha

bzw. ehSσ ≈ ehb

und wir erhalten eha P (Sσ ≤ a) + ehb P (Sσ ≥ b) = (eha − ehb )P (Sσ ≤ a) + ehb ≈ 1. Dieses impliziert 1).

324

10 Sequentielle Tests

n Mit dem Martingal ( j=1 (Xj − EX1 )) gilt nach dem OS-Theorem ESσ = EσEX1 . Wieder unter Vernachl¨ assigung des Exzesses folgt EσEX1 = ESσ ≈ aP (Sσ ≤ a) + bP (Sσ ≥ b) = (a − b)P (Sσ ≤ a) + b. Daraus folgt 2) unter Verwendung von 1). b) 1) Ist EX1 = 0, dann ist (Sj ) ein Martingal und nach dem OS-Theorem gilt ESσ = 0. Unter Vernachl¨ assigung des Exzesses gilt aP (Sσ ≤ a) + bP (Sσ ≥ b) ≈ 0. Daraus folgt P (Sσ ≥ b) ≈

−a , b−a

P (Sσ ≤ a) ≈

b . b−a

2) Ist Var(X1 ) < ∞, dann ist (Sj2 − jVar(X1 )) ein Martingal. Nach dem OSTheorem folgt: ESσ2 = EσVar(X1 ). Unter Vernachl¨ assigung des Exzesses folgt EσVar(X1 ) = ESσ2 ≈ a2 P (Sσ ≤ a) + b2 P (Sσ ≥ b). Mit 1) folgt daraus Eσ ≈

−ab Var(X1 ) .

2

Bemerkung 10.9 Eine Bestimmung der Genauigkeit der obigen Approximationen erfordert eine Analyse des Exzesses (overshoots) des random walks Sn bzw. von ehSn . Mit Hilfe von Erneuerungstheorie wird eine solche Analyse in Shiryaev (1974) und Siegmund (1985) gegeben. Sind die Xi beschr¨ankte Zufallsvariable, dann k¨onnen einfache Schranken angegeben werden. Der folgende Satz von Wald-Wolfowitz besagt die Optimalit¨at des SPRT. F¨ ur alle sequentiellen Tests mit kleineren Fehlerschranken als die eines SPRT ben¨otigt man im Mittel mehr Beobachtungen als beim SPRT. Satz 10.10 (Optimalit¨ at des SPRT, Satz von Wald-Wolfowitz) Sei (ϕ, N ) ein SPRT mit Schranken A0 < 1 < A1 . Sei (Ψ, σ) ein sequentieller Test mit E0 σ < ∞, E1 σ < ∞ und E0 Ψσ ≤ E0 ϕN , E1 Ψσ ≥ E1 ϕN . Dann gilt: E0 N ≤ E0 σ,

E1 N ≤ E1 σ.

10 Sequentielle Tests

325

Der Beweis von Satz 10.10 ben¨ otigt einige Vorbereitungen. Als erstes zeigen wir, dass der SPRT ein sequentieller Bayes-Test ist. Sei (π, 1 − π) eine a-prioriVerteilung auf {0, 1}. Zu einem sequentiellen Test δ = (Ψ, σ) definieren wir das sequentielle Bayes-Risiko bzgl. π r(π, δ) := π(w0 E0 Ψσ + cE0 σ) + (1 − π)(w1 E1 (1 − Ψσ ) + cE1 σ) w0 , w1 sind Gewichte der Fehlerwahrscheinlichkeiten α0 = E0 Ψσ , α1 = E1 (1−Ψσ ). Dazu gibt es einen Term c f¨ ur die Beobachtungskosten. Sei (π) = inf{r(π, δ); δ ∈ E1 } das minimale Bayes-Risiko unter allen sequentiellen Tests (Ψ, σ) mit σ ≥ 1. Wir untersuchen zuerst die Frage, wann der sequentielle Test wenigstens eine Beobachtung ben¨ otigt. Fall: keine Beobachtungen f¨ ur optimalen Test Sei δ0 = (Ψ0 , σ0 ) mit σ0 ≡ 0, Ψ0 ≡ 1, d.h. keine Beobachtung und Ablehnung der Hypothese. Dann gilt r(π, δ0 ) = πw0 . F¨ ur δ1 = (Ψ1 , σ0 ), Ψ1 ≡ 1 gilt: r(π, δ1 ) = (1 − π)w1 . Es gilt nun: inf r(π, δ) = inf{r(π, δ0 ), r(π, δ1 ), (π)}.

δ∈E

(10.3)

 ist konkav und  ≥ 0; also ist  stetig auf (0, 1). Denn f¨ ur 0 < λ < 1, π0 , π1 ∈ (0, 1) gilt: (λπ0 + (1 − λ)π1 ) = inf (λr(π0 , δ) + (1 − λ)r(π1 , δ)) δ∈E1

Wenn 



w1 w0 +w1

≥ λ(π0 ) + (1 − λ)(π1 ).
0 so dass der sequentielle Bayes-Test mit Gewichten w0 = 1 − w, w1 = w f¨ ur π ∈ (π0 , π0 ) ein SPRT ist mit Grenzen π 1 − π0 π 1 − π0 A0 = , A = . 1 1 − π π0 1 − π π0 Beweis: Nach dem Beweis zu Satz 10.11 ist zu zeigen: ∃w ∈ (0, 1), c > 0 so dass π (w, c) = π0 und π (w, c) = π0 (siehe (10.4)). F¨ ur w fest sei π (c) = π (w, c), π (c) = π (w, c). Sei c0 := inf{c; π (c) = π (c)}; die obige Menge ist nicht leer, denn f¨ ur hohe Kosten c ist es optimal, keine Beobachtungen durchzuf¨ uhren. F¨ ur 0 < c < c0 gilt: π (c), π (c) sind L¨osungen von (1 − w)π = (π , c) =: π (c),

(1 − π )w = (π , c) = c (π ) =: π (c). (10.5)

π hat die folgenden Eigenschaften: a) π ist stetig, da konkav. b) π ist streng isoton, denn f¨ ur c > 0 und δ ∈ E1 ist rc (π , δ) strikt isoton in c. c) F¨ ur c → 0 gilt: π (c) → 0, π (c) → 0, denn es existiert ein konsistenter Test (ϕn ), d.h. E0 ϕn → 0, E1 (1 − ϕn ) → 0. Auf (0, c0 ) ist daher π stetig, streng isoton und analog π stetig und streng antiton und es gilt: π (c) → 0, π (c) → 1 f¨ ur c → 0. F¨ ur c → c0 gilt: π (c) − π (c) → 0, d.h. π (c) → π , π (c) → π und π = π = π und wir erhalten aus (10.5) f¨ ur c = c0 : w ist die L¨ osung der Gleichung

π(1 − w) = (1 − π)w.

(10.6)

328

10 Sequentielle Tests

Sei nun f¨ ur w fest λ(c) :=

π (c) 1 − π (c) . 1 − π (c) π (c)

(10.7)

Dann ist λ stetig, streng isoton in c auf (0, c0 (w)), λ(0+) = 0, λ(c0 −) = 1. Mit

λ(w, c) :=

π  (w,c) 1−π  (w,c) 1−π  (w,c) π  (w,c)

und γ(w, c) :=

π  (w,c) 1−π  (w,c)

ist es hinreichend zu zeigen: ∃w ∈ (0, 1), c > 0 so dass λ(w, c) =

π0 π0 1 − π0 =: λ0 und γ(w, c) = =: γ0 . 1 − π0 π0 1 − π0

(10.8)

Da λ stetig und streng isoton ist, folgt nach (10.7): ∀w ∈ (0, 1) existiert genau ein c = c(w) > 0 so dass λ(w, c(w)) = λ0 . Zu zeigen bleibt nun schließlich: γ(w) := γ(w, c(w)) ist eine bijektive Abbildung von (0, 1) → (0, ∞).

(10.9)

Dieses ergibt sich aus den oben gezeigten Eigenschaften von π0 und λ auf einfache Weise. Aus (10.9) folgt: ∃!w ∈ (0, 1) so dass γ(w) = γ0 und damit die Behauptung von Proposition 10.12 nach Satz 10.11. 2 Nach diesen Vorbereitungen und der Aussage u ¨ ber Bayes-Tests in Satz 10.11 kommen wir nun zum Beweis der Optimalit¨ at des SPRT, d.h. des Satzes von WaldWolfowitz. Beweis zu Satz 10.10: Sei (ϕ, N ) ein SPRT mit Grenzen (A0 , A1 ), A0 < 1 < A1 . Zu π ∈ (0, 1) beliebig definiere π :=

π , A1 (1 − π) + π

π :=

π . A0 (1 − π) + π

π 1 − π , 1 − π π

A1 =

π 1 − π . 1 − π π

Dann folgt: A0 =

und es gilt 0 < π < π < π < 1. Nach Proposition 10.12 existieren w ∈ (0, 1) und c > 0 so dass (ϕ, N ), N = NA0 ,A1 sequentieller Bayes-Test zur a-priori-Verteilung π mit Gewichten w0 = 1 − w, w1 = w und Beobachtungskosten c ist. Seien α0 = E0 ϕN , α1 = E1 (1−ϕN ) die Fehlerwahrscheinlichkeiten des SPRT (ϕ, N ) und sei (Ψ, σ) ein sequentieller Test mit α∗0 = E0 Ψσ ≤ α0 , Dann folgt f¨ ur π ∈ (0, 1):

α∗1 = E1 (1 − Ψσ ) ≤ α1 . r(π, (ϕ, N )) ≤ r(π, (Ψ, σ)), d.h.

π((1 − w)α0 + cE0 N ) + (1 − π)(wα1 + cE1 N ) ≤ π((1 − w)α∗0 + cE0 σ) + (1 − π)(wα∗1 + cE1 σ).

10 Sequentielle Tests

329

Daraus folgt πE0 N + (1 − π)E1 N ≤ πE0 σ + (1 − π)E1 σ,

∀π ∈ (0, 1).

In Konsequenz erhalten wir die Behauptung E0 N ≤ E0 σ

und E1 N ≤ E1 σ.

2

Das Problem der Bestimmung optimaler sequentieller Bayes-Tests l¨asst sich zerlegen in zwei separate Probleme: 1) Die Bestimmung optimaler Bayes-Tests f¨ ur alle festen Stichprobenumf¨ange j, 2) Ein Problem des optimalen Stoppens. Wir zeigen diese strukturelle Eigenschaft am Beispiel des sequentiellen Testens einfacher Hypothesen auf. Sie gilt jedoch auch f¨ ur allgemeinere Klassen von sequentiellen Test- und Entscheidungsproblemen. (∞)

Sei P = P0 δ = (ϕ, τ ) sei

(∞)

, Q = P1

, Pi ∈ M 1 (X, A). F¨ ur einen sequentiellen Test

r(π, δ) := π(w0 E0 ϕτ + E0 c(τ )) + (1 − π)(w1 E1 (1 − ϕτ ) + E1 c(τ ))

(10.10)

das sequentielle Bayes-Risiko mit π ∈ [0, 1] und mit messbarer Kostenfunktion c : N0 → R+ , c ↑ sowie Gewichten wi . Satz 10.13 (Struktur optimaler sequentieller Bayes-Tests bzgl. π) F¨ ur das Testproblem ({P }, {Q}) sei ϕ∗ = (ϕ∗j ) eine Testfolge von deterministischen Bayes-Tests, d.h. r(π, (ϕ∗ , j)) = inf r(π, (ϕ, j)), ϕ

Dann gilt

r(π, (ϕ∗ , τ )) = inf r(π, (ϕ, τ )), ϕ

∀j ∈ N0 .

∀ Stoppzeiten τ.

ϕ∗ heißt sequentielle Bayes-Entscheidungsfunktion bzgl. der a-priori-Verteilung π. Beweis: Sei τ eine Stoppzeit und sei ϕ = (ϕn ) eine Entscheidungsfunktion mit r(π, (ϕ, τ )) < r(π, (ϕ∗ , τ )). Mit Aj (ϕj ) := π (w0 ϕj + c(j)) dP + (1 − π) (w1 (1 − ϕj ) + c(j))dQ {τ =j}

gilt r(π, (ϕ, τ )) =

{τ =j}

∞  j=0

Aj (ϕj ) < r(π, (ϕ∗ , τ )) =

∞  j=0

Aj (ϕj ).

330

10 Sequentielle Tests

Daher existiert ein j ∈ N0 mit Aj (ϕj ) < Aj (ϕ∗j ).  ϕj 1{τ =j} + ϕ∗j 1{τ =j} , n = j, Definiere ϕ n := ϕ∗n , n = j. Dann ist ϕ  = (ϕ n ) eine sequentielle Entscheidungsfunktion (ein sequentieller Test) und es gilt r(π, (ϕ,  j)) = π(w0 E0 ϕ j + c(j)) + (1 − π)(w1 E1 (1 − ϕ j ) + c(j)) = πw0 E0 (ϕj 1{τ =j} + ϕ∗j 1{τ =j} ) + (1 − π)w1 E1 ((1 − ϕj )1{τ =j} + (1 − ϕ∗j )1{τ =j} ) + c(j)

< r(π, (ϕ∗ , j)),

2

ein Widerspruch.

Korollar 10.14 (Optimale sequentielle Bayes-Tests) Ist ϕ∗ = (ϕ∗j ) eine Folge von deterministischen Bayes-Tests bzgl. π und ist τ ∗ ∈ E L¨osung des optimalen Stoppproblems r(π, (ϕ∗ , τ ∗ )) = inf r(π, (ϕ∗ , τ )), τ ∈E

dann ist (ϕ∗ , τ ∗ ) ein sequentieller Bayes-Test bzgl. π. Bemerkung 10.15 a) Ersetzt man die Testfunktionen ϕj im obigen Beweis durch randomisierte Entscheidungsfunktionen δj , dann ergibt sich eine ¨ahnliche strukturelle Aussage f¨ ur sequentielle Bayessche Entscheidungsprobleme. b) Bei der Einschr¨ankung auf Tests zum Niveau α erhalten wir ebenfalls eine Reduktion auf Folgen von LQ-Tests. Die Aussagen von Korollar 10.14 bringen wir noch in eine explizitere Form. Sei πn (x) :=

πfn (x) , πfn (x) + (1 − π)gn (x)

n ∈ N,

(10.11)

die Folge der a-posteriori-Wahrscheinlichkeiten f¨ ur Θ0 = {P } und sei R = πP + (1 + π)Q. Dann gilt Proposition 10.16 ⎧ ⎪ ⎨1, Sei ϕ∗n (x) := w0 πn (x) ⎪ ⎩ 0,

≥ w1 (1 − πn (x)). Dann gilt:
0 i i=1 n 1 P Sn > (1 + ε)(2 ln ln n) 2 f¨ ur ∞ viele 1 P Sn > (1 − ε)(2 ln ln n) 2 f¨ ur ∞ viele

n = 0,

n = 1.

(10.15)

Wir betrachten als Beispiel das Testen des Erwartungswertes μ = ϑ einer Verteilung Qϑ mit den Hypothesen Θ0 = (−∞, ϑ0 ), Θ1 = [ϑ0 , ∞). F¨ ur die Kon(∞) 2 2 struktion eines sequentiellen Tests ist also Pϑ = Qϑ . Sei σ = σ (ϑ) die Varianz von Qϑ und sei N die Stoppzeit   n  √ N = inf n ∈ N; xi > ϑ0 n + a n i=1

  √ a (ϑ0 − ϑ) n + =: bn = inf n; Sn > σ(ϑ) σ(ϑ) = N (a), Dabei ist Sn =

1√ σ(ϑ) n

f¨ ur a ≥ 0 und N = ∞, falls die Menge leer ist. n

i=1 (Xi

− ϑ) die normierte Summe.

Satz 10.19 (Test der Sch¨ arfe 1) ur den ErwartungsF¨ ur das einseitige Testproblem Θ0 = (−∞, ϑ0 ), Θ1 = [ϑ0 , ∞) f¨ wert hat der sequentielle Test  1, N < ∞, ϕN = mit N = N (a) (10.16) 0, N = ∞, die Eigenschaften a) Eϑ ϕN = 1,

∀ϑ ≥ ϑ0

b) ∀ϑ < ϑ0 : ∃a ≥ 0, so dass Eϑ ϕN < α Beweis: 1 ur n ≥ n0 . a) F¨ ur ϑ ≥ ϑ0 gilt bn < (1 − ε)(2 ln ln n) 2 f¨ Nach dem LIL folgt: Pϑ (N < ∞) = 1. Also gilt: Eϑ ϕN = 1,

∀ϑ ≥ ϑ0 .

√ 1 (ϑ0 − ϑ) n > (1 + ε)(2 ln ln n) 2 f¨ ur n ≥ n0 . b) F¨ ur ϑ < ϑ0 gilt σ(ϑ)

334

10 Sequentielle Tests

1

E ϑ ϕN

α

0

ϑ0

ϑ

1

Abbildung 10.3 G¨ utefunktion von ϕN

Nach dem LIL folgt  lim Pϑ

m→∞

 √ (ϑ0 − ϑ) n , ∀n ≥ m = 1. Sn < σ(ϑ)

Daraus folgt: ∀ϑ < ϑ0 : ∃a ≥ 0 so dass mit N = N (a) Eϑ ϕN = Pϑ (N < ∞) < α.

2

Bemerkung 10.20 a) Gilt ∀ϑ < θ, ∀n ∈ N, die folgende stochastische Ordnungsbedingung (O(ϑ , ϑ))

n

Pϑ i=1

xi

n

≤st Pϑ

i=1

xi

,

∀ϑ < θ, ∀n ∈ N,

≤st die stochastische Ordnung, dann folgt Eϑ ϕN = Pϑ (N < ∞) ≤ Pϑ (N < ∞) < α,

∀ϑ < ϑ

(10.17)

mit a wie in Satz 10.19 b). Der sequentielle Test ϕN h¨alt also das Niveau α auf (−∞, ϑ] ein. b) Durch eine modifizierte Wahl der Stoppgrenzen kann man auch ein ¨ahnliches Verhalten auf der vollen Hypothese (−∞, ϑ0 ] (erg¨anzt um ϑ0 ) gegen die Alternative (ϑ0 , ∞) erzielen. Sei

  n  +  xi ≥ ϑ0 n + n(ln n + b) N := inf n ∈ N; i=1

(10.18)

10 Sequentielle Tests

335

mit b > 1. Dann ist  < ∞) = 1 f¨ Pϑ (N ur alle ϑ > ϑ0 . Das Argument von Satz 10.19 a) ¨ ubertr¨agt sich direkt. Gilt nun die Ordnungsbedingung O(ϑ, ϑ0 ), ∀ϑ < ϑ0 und f¨ ur alle n ∈ N, dann folgt  < ∞) ≤ Pϑ0 (N  < ∞) f¨ ur alle ϑ < ϑ0 Pϑ (N  und Pϑ0 (N < ∞) ≤ α f¨ ur b ≥ b0 .

(10.19)

Die G¨ utefunktion von ϕN springt an der Stelle ϑ0 von Werten ≤ α auf 1 (vgl. Abbildung 10.3).

Kapitel 11

Einfu ¨ hrung in die asymptotische Statistik Mit den Grenzwerts¨ atzen der Wahrscheinlichkeitstheorie ist es m¨oglich, f¨ ur Sch¨atzund Testverfahren unter sehr allgemeinen Voraussetzungen asymptotische und approximative Verteilungseigenschaften herzuleiten, die exakt nur in speziellen Modellen zu erhalten sind. Zum Beispiel ist der Gaußtest oder der Student-t-Test nur in Normalverteilungen exakt durchf¨ uhrbar. In approximativer Form l¨asst sich mit Hilfe des zentralen Grenzwertsatzes dieser Test aber leicht auf allgemeine ¨ Verteilungsannahmen u gilt f¨ ur nichtparametrische Testpro¨ bertragen. Ahnliches bleme (Kolmogorovscher Anpassungstest, Permutationstests, . . . ) oder auch f¨ ur Maximum-Likelihood-Tests und -Sch¨ atzer, f¨ ur M -Sch¨atzer und viele andere Testund Sch¨ atzverfahren. Diese erweiterten Anwendungsm¨oglichkeiten der asymptotischen Statistik sind in den Kapiteln zur Sch¨ atz- und Testtheorie (siehe Kapitel 5 und 6) und zu den Konfidenzbereichen (siehe Kapitel 7) bereits beschrieben worden. In diesem Kapitel geben wir eine einf¨ uhrende Beschreibung von einigen Grundbegriffen und Zusammenh¨ angen der asymptotischen Statistik wie der asymptotischen relativen Effizienz der des Begriffs der Konsistenz und stellen wir die Relevanz asymptotischer Methoden zur Auswahl statistischer Verfahren dar. Am Beispiel der Dichtesch¨ atzung erl¨ autern wir dann die typische Vorgehensweise der asymptotischen Statistik. Basierend auf Grenzwerts¨atzen werden Dichtesch¨atzer konstruiert und deren Eigenschaften untersucht. In a¨hnlicher Weise lassen sich auch Regressionssch¨ atzer, d.h. Sch¨ atzer f¨ ur die Regressionsfunktion μ(x) = E(Y | X = x) in einem Datenmodell f¨ ur Paardaten (X1 , Y1 ), . . . , (Xn , Yn ) (vgl. Kapitel 1.1.4) behandeln.

L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_11, © Springer-Verlag Berlin Heidelberg 2014

338

11 Einf¨ uhrung in die asymptotische Statistik

11.1

Auswahl statistischer Verfahren

Wir behandeln als Beispiel das Sch¨ atzen des Lokationsparameters ϑ in einem Lokationsexperiment mit unabh¨ angigen Versuchswiederholungen. Sei Q = f λ\1 ∈ M 1 (R1 , B 1 ) und Pn = {Pϑ = (εϑ ∗ Q)(n) ; ϑ ∈ R1 } das von n unabh¨ angigen Beobachtungen erzeugte Lokationsexperiment. F¨ ur das Sch¨atzen des Lokationsparameters ϑ existieren nur in einigen Beispielen gleichm¨aßig beste Sch¨ atzer (vgl. Kapitel 8.1 u ¨ber a ¨quivariante Sch¨atzer). Wir beschreiben im Folgenden, wie sich mit Hilfe von Grenzwerts¨ atzen Sch¨atzverfahren vergleichen lassen und wie Sch¨ atzprobleme verglichen werden k¨ onnen. Als Modellbeispiele kommen wir auf das Beispiel 2.1.9 a) zur¨ uck und behandeln im Detail drei Lokationsfamilien, erzeugt von den Verteilungen Qi = fi λ\1 , 1 ≤ i ≤ 3, mit 2 1 f1 (t) = √ e−t /2 , 2π et f2 (t) = , (1 + e−t )2 1 1 , f3 (t) = π 1 + t2

t ∈ R1

∼ Normalverteilung N (0, 1)

t ∈ R1 ,

∼ logistische Verteilung L(0, 1)

t ∈ R1 ,

∼ Cauchy-Verteilung C(1)

Alle drei Verteilungen sind symmetrisch und haben (nach Skalierung) eine ahnliche Form. Sie unterscheiden sich insbesondere in den Tailwahrscheinlichkeiten. ¨ Sind Fi die Verteilungsfunktionen der Qi , dann ist Q1 ([−x, x]c ) = 1 − (F1 (x) − F1 (−x)) = O(e−x

/2

Q2 ([−x, x] ) = 1 − (F2 (x) − F2 (−x)) = O(e ), 1 , Q3 ([−x, x]c ) = 1 − (F3 (x) − F3 (−x)) = O x c

und

−x

2

),

x→∞ x→∞ x → ∞.

ur X1 ∼ C(1). Der zentrale GrenzInsbesondere gilt E3 |X1 | = E3 X12 = ∞ f¨ wertsatz (mit asymptotischer Normalverteilung) gilt daher nicht im Cauchy-Modell und es ist Xn X1 P3,ϑ = P3,ϑ = εϑ ∗ C(1). Im Cauchy-Experiment mit n Beobachtungen ist X n nicht besser als X1 . Wir vergleichen als Sch¨ atzer (wir identifizieren hierbei die arithmetischen Mittel xn mit X n , die Mediane mn mit Mn etc.) 1 das arithmetische Mittel xn , 2 den Median mn = med(x1 , . . . , xn ), d.h.  falls n = 2m − 1, x , mn = 1 (m) (x + x ), falls n = 2m, (m) (m+1) 2

x(1) ≤ · · · ≤ x(n) ,

11.1 Auswahl statistischer Verfahren

339

3 und den Sch¨ atzer sn =

1 (x(1) + x(n) ). 2

Die Verteilung von mn ergibt sich aus folgender Proposition Proposition 11.1.1 (Verteilung der Ordnungsstatistik) Sei F Verteilungsfunktion von Q = f λ\1 , dann gilt mit P = Q(n) , P X(k) = fk λ\1 , 1 ≤ k ≤ n, mit   n−1 fk (x) = n F k−1 (x)(1 − F (x))n−k f (x). (11.1) k−1 Beweis: Es ist Fk (x) = P (X(k) ≤ x) = P ∃k ≤ j ≤ n, ∃T ⊂ {1, . . . , n}, |T | = j so dass Xr ≤ x, r ∈ T, Xs > x, s ∈ T c n  < < 7 7 {Xr ≤ x} {Xs > x} = P j=k T ⊂{1,...,n} r∈T |T |=j

=

n   . j=k |T |=j r∈T

= Da F (x) =



.

F (x)

s∈T c

(1 − F (x))

s∈T c

n    n F (x)j (1 − F (x))n−j . j j=k

(−∞,x] f

dλ\, folgt F (x) = f (x) [λ\] und aus

  n   d  n j n − 1 k−1 t (1 − t)n−j = n t (1 − t)n−k , dt j k−1 j=k

folgt

d dx Fk (x)

= fk (x)[λ\], also P X(k) = fk [λ\].

2

Bemerkung 11.1.2 ∞ Mit der Darstellung EY = 0 P (Y ≥ t) dt, Y ≥ 0 folgt aus Proposition 11.1.1: Im Cauchy-Modell P3 gilt E3 m2n < ∞ ⇐⇒ n ≥ 5. alt man approximativ aus dem zentralen GrenzDie Verteilung von xn erh¨ wertsatz √ D n(xn − ϑ) −→ N (0, σ 2 ), (11.2) wenn 0 < σ 2 = Var(X1 ) < ∞, X1 ∼ Q.

340

11 Einf¨ uhrung in die asymptotische Statistik

F¨ ur den Median gilt folgende Version des zentralen Grenzwertsatzes. Wir formulieren den Grenzwertsatz unter der Normierung, dass ein Median der Verteilung gleich 0 ist, d.h. F (0) = 12 . Satz 11.1.3 (Zentraler Grenzwertsatz f¨ ur den Median) Sei f stetig in 0, f (0) > 0 und F (0) = 12 , dann gilt bzgl. Pϑ = (εϑ ∗ Q)(∞)  √ 1  D . (11.3) n(mn − ϑ) −→ N 0, 2 4f (0) Beweis: Sei o.E. ϑ = 0, da der Median a ¨quivariant ist, also mn (x − ϑ · 1) = mn (x) − ϑ. Sei zun¨ achst: n = 2m − 1. Zu zeigen ist:  √ x  P ( nmn ≤ x) = P x(m) ≤ √ −→ Φ(2xf (0)). n n→∞  Sei dazu In := |{i; xi > √xn }| = ni=1 1( √xn ,∞) (xi ). Dann gilt:  x  = P (In ≤ m − 1) P x(m) ≤ √ n  n − 1 . = P In ≤ 2 Mit ϑn := P (xi >

√x ) n

mit Zn = √ In −nϑn

nϑn (1−ϑn )

= 1 − F ( √xn ) ist In ∼ B(n, ϑn ). Daher folgt  x  = P (Zn ≤ xn ) P x(m) ≤ √ n 1

2 (n−1)−nϑn , xn = √ .

nϑn (1−ϑn )

Wir verwenden nun den Satz von Berry-Esseen: Seien (Yi ) iid mit EYi = μ, VarYi = σ 2 und E|Yi −μ|3 = m3 , dann gilt n / /  1   (Yi − μ) c m3 / / ≤ t − Φ(t)/ ≤ √ sup /P √ n i=1 σ n σ3 t∈R1 mit einer Konstanten c ≤ 1 unabh¨ angig von der Verteilung.

F¨ ur Yi ∼ B(1, ϑn ) gilt 0 < E|Y1 −EY1 |3 = m3 ≤ 1, VarY1 = ϑn (1−ϑn ) → 14 , und mit ϑn = 1 − F ( √xn ) → 1 − F (0) = 12 folgt aus dem Satz von Berry-Esseen die Absch¨ atzung /  / / / x  / / − Φ(xn )/ = sup /P (Zn ≤ xn ) − Φ(xn )/ sup /P x(m) ≤ √ n x x∈R1 c m3 ≤ √ −→ 0. n (ϑn (1 − ϑn ))3/2

11.1 Auswahl statistischer Verfahren

Wegen xn =

√ 1 1 n( 2 −ϑn )− 2√ n

√

ϑn (1−ϑn )

341

gilt

 √ 1 − ϑn lim xn = 2 lim n 2 F ( √xn ) − F (0) √ = 2x lim x/ n = 2xf (0), da f stetig in 0. Es folgt also  x  P x(m) ≤ √ −→ Φ(2xf (0)). n m→∞ Allgemeiner gilt obiger Beweis f¨ ur Folgen m = mn , so dass mnn = √ nrn → 0, insbesondere also auch f¨ ur n = 2m. Wegen √ √ √ P ( nx(m+1) ≤ x) ≤ P ( nmn ≤ x) ≤ P ( nx(m) ≤ x)

1 2

+ rn mit

2

folgt die Behauptung.

Bemerkung 11.1.4 Die Grenzverteilung des Medians mn h¨angt nicht von der globalen Varianz der Zufallsvariablen sondern nur von der lokalen Dichte f (0) in Null ab. Der Grenzwertsatz f¨ ur den Median ben¨otigt keine Momentenbedingung im Unterschied zu dem klassischen Grenzwertsatz f¨ ur das arithmetische Mittel xn . Asymptotisch normalverteilte Sch¨ atzverfahren kann man durch den Quotienten der Limesvarianzen vergleichen. Definition 11.1.5 (Asymptotisch relative Effizienz (ARE)) Seien dn , tn Sch¨atzverfahren f¨ ur ϑ und es gelte √ D n(dn − ϑ) −→ N (0, σ12 ),

√ D n(tn − ϑ) −→ N (0, σ22 ).

Dann heißt e = e((dn ), (tn )) =

σ22 σ12

(11.4)

asymptotisch relative Effizienz (ARE) von (dn ) zu (tn ). xn und mn sind translations- und skalen¨aquivariant. Daher ist deren ARE unabh¨ angig vom Lokationsparameter ϑ und auch von einem Skalenparameter σ. Beispiel 11.1.6 Nach dem zentralen Grenzwertsatz f¨ ur den Median in Satz 11.1.3 gilt f¨ ur 0 < σ 2 = Var(x1 ) < ∞  √ √ 1  D D . (11.5) n(xn − ϑ) −→ N (0, σ 2 ) und n(mn − ϑ) −→ N 0, 2 4f (0)

342

11 Einf¨ uhrung in die asymptotische Statistik

Daher ist die ARE e = e(mn , xn ) = 4f 2 (0)σ 2 . mn und xn haben dieselbe Konvergenzrate Grenzwertsatzes auf zweite Momente gilt E(xn − ϑ)2 ∼

σ2 , n

√1 . n

Mit Erweiterung des zentralen

E(mn − ϑ)2 ∼

e 1 = n4f 2 (0) n

mit e = 4f 2 (0)σ 2 . F¨ ur den Median-Sch¨ atzer (mn ) ben¨otigt man also 1e n Beobachtungen um dieselbe Genauigkeit (quadratischer Fehler) zu erzielen wie f¨ ur xn . a) Im normalverteilten Fall Xi ∼ N (0, σ 2 ) ist e = 4f 2 (0)σ 2 =

2 4 = ≈ 0,637. 2π π

b) Im logistischen Fall Xi ∼ L(0, 1) ist f (0) = 14 , σ 2 = e=

π2 3

und es gilt

π2 ≈ 0,82. 12

Im Fall von gr¨ oßeren Tails wird der Median besser im Vergleich zu dem arithmetischen Mittel. c) Im Cauchy-Fall Xi ∼ C(1) versagt das arithmetische Mittel. F¨ ur den Median mn gilt 4 π2 . 4f 2 (0) = 2 und Var(mn ) ∼ π 4n Man kann im Cauchy-Fall mit Hilfe von mn den Parameter ϑ so gut sch¨atzen 2 wie im Normalverteilungsfall N (ϑ, σ 2 ) mit σ 2 = π4 durch xn . d) Ist Xi ∼ U (− 21 , 12 ) die Gleichverteilung auf (− 12 , 12 ), also f (x) = 1(− 12 , 12 ) (x), 1 dann ist σ 2 = 12 und damit e = e(mn , xn ) = 4f 2 (0)σ 2 =

1 . 3

Die uniforme Verteilung in Beispiel 11.1.6 d) ist in folgendem Sinne f¨ ur den Median die ung¨ unstigste Situation im Vergleich zum arithmetischen Mittel. Satz  11.1.7  Ist xf (x) dx = 0, F (0) = 12 , f stetig in 0 und f (0) ≥ f (x), ∀x und x2 f (x) dx < ∞. Dann gilt: 1 e(mn , xn ) = 4f 2 (0)σ 2 ≥ . (11.6) 3

11.1 Auswahl statistischer Verfahren

343

Beweis: Ist X ∼ f λ\ und c > 0 ein Skalenfaktor. Dann gilt: cX ∼ fc λ\ mit

fc (x) =

1 x f ( ) und Var(cX) = c2 Var(X) = c2 σ 2 . c c

Weiter ist 4fc2 (0)σc2 = 4f 2 (0)σ 2 unabh¨ angig von c. Die ARE e ist skaleninvariant. Mit c = f (0) kann man also o.E. annehmen, dass f (0) = 1 ist. 1 Die Behauptung folgt aus dem Nachweis, dass σ2 = 12 eine L¨osung des folgenden Problems (P) ist: ⎧ ⎪ ⎨σ 2 = x2 f (x) dx = min!, (P) ⎪ ⎩0 ≤ f (x) ≤ f (0) = 1, ∀x, f (x) dx = 1. ¨ Aquivalent zu (P) ist f¨ ur beliebige λ das Problem

(P )

⎧ ⎪ ⎨ (x2 − λ2 )f (x) dx = min!, ⎪ ⎩0 ≤ f (x) ≤ f (0) = 1,

∀x,

f (x) dx = 1.

Die Zielfunktion in (P ) wird minimal f¨ ur  1, |x| < λ, f (x) = 0, |x| > λ.  Die Nebenbedingung f (x) dx = 1 impliziert dann λ = 1 12 .

1 2

und es gilt



x2 f (x)dx = 2

Bemerkung 11.1.8 a) Die uniforme Verteilung Q = U (− 21 , 12 ) ist also bis auf einen Skalenparameter die ung¨ unstigste Verteilung f¨ ur den Median im Vergleich zum arithmetischen Mittel. Im Fall der uniformen Verteilung gibt es wesentlich bessere Sch¨atzer. Der gleichm¨aßig beste erwartungstreue Sch¨atzer f¨ ur ϑ ist f¨ ur Q = U (− 12 , 12 ) der 1 Sch¨atzer sn = 2 (x(1) + x(n) ). Es gilt: Eϑ sn = ϑ und Varϑ (sn ) =

1 . 2(n + 1)(n + 2)

(11.7)

Der Fehler von sn ist also von der Ordnung O( n12 ), w¨ahrend der Fehler von mn und xn von der Ordnung O( n1 ) ist. b) mn ist ein besserer Sch¨atzer als xn bei “heavy tails”, xn ist besser als mn bei “light tails”. ¨ c) getrimmte Mittel: Eine Klasse von Sch¨atzern, die einen Ubergang von mn zu xn bilden, sind die getrimmten Mittel xα :=

1 (x(k+1) + · · · + x(n−k) ), n − 2k

k = [nα]

(11.8)

344

11 Einf¨ uhrung in die asymptotische Statistik

f¨ ur α ∈ [0, 1]. Grenzf¨alle sind f¨ ur α = 0 das arithmetische Mittel xn und f¨ ur α = 12 der Median mn . Es gilt folgende Erweiterung des zentralen Grenzwertesatzes 11.1.3, die wir ohne Beweis angeben. Satz 11.1.9 (Zentraler Grenzwertsatz f¨ ur getrimmte Mittel) Es gelten die Voraussetzungen von Satz 11.1.7, sei 0 < α < 12 und {f > 0} = [(−c, c)], 0 < c ≤ ∞, offen oder abgeschlossen. Dann gilt; a) mit σα2 =

 uα

2 (1−2α) { 0

 b) e(xα , xn )

√ D n(xα − ϑ) −→ N (0, σα2 )

(11.9)

t2 f (t) dt + αuα }, uα = F −1 (1 − α) das α-Fraktil von F .

≥ (1 − 2α)2 , 1 ≥ 1+4α wenn f (0) > f (x),

∀x.

Ist F bekannt, dann kann man das optimale α∗ ermitteln aus:   1 . σα2 ∗ = min σα2 ; 0 < α < 2

(11.10)

Ist F nicht bekannt, dann verwenden wir ein semiparametrisches Lokationsmodell  X1 P ∈ P = εϑ ∗ Q; ϑ ∈ R1 , Q = f λ\1 , f symmetrisch, stetig in 0,  2 x f (x) dx < ∞ Die folgende Vorgehensweise ist naheliegend. atzer f¨ ur σα2 , z.B. mit k := [nα] durch 1) Ersetze σα2 durch einen Sch¨ 2

sk n

1 := (1 − 2 nk )2



 n−k 1  k 2 2 2 (x(i) − x k ) + (x(k+1) − x k ) + (x(n−k) − x k ) n n n 2 n i=k+1

2) Bestimme eine Minimumstelle  k von s2k . Der resultierende Jaeckel-Sch¨ atzer n

d = x k

(11.11)

n

ist also ein getrimmtes Mittel, f¨ ur den der optimale Grad α des Trimmens gesch¨ atzt wird. Man kann unter recht allgemeinen Bedingungen zeigen, dass der Jaeckel-Sch¨atzer d = x k asymptotisch genau so gut ist wie der optimal getrimmte Sch¨atzer n xα∗ in dieser Klasse, wenn F bekannt ist. Diese Eigenschaft heißt Adaptivit¨ at.

11.2 Dichtesch¨ atzung

345

In Abbildung 11.1 werden k = 200 Simulationen vom Stichprobenumfang n = 20 durchgef¨ uhrt. F¨ ur die Sch¨ atzer  d1 = xn , d2 = xα , α = 0,05, d3 = mn und k d4 = 12 (x(1) + x(n) ) bezeichne di := k1 j=1 di (xj ) den mittleren Sch¨atzwert und  σi2 := k1 kj=1 (di (xj ) − di )2 die Streuung von di in der Simulationsstichprobe. Als Ergebnis der Simulation ergibt sich d1

d2

d3

d4

di

0,007

0,001

−0,02

0,04

σi2

0,043

0,052

0,067

0,138

Die Quotienten der σi2 entsprechen angen¨ ahert den AREs der Sch¨atzer.

Abbildung 11.1 Simulation von Sch¨ atzern f¨ ur den Mittelwert der N (0, 1)-Verteilung

11.2

Dichtesch¨ atzung

Ein wichtiges Beispiel der nichtparametrischen asymptotischen Statistik ist die Dichtesch¨ atzung. Anhand dieses Beispiels l¨asst sich sehr gut die typische Vorgehensweise der asymptotischen Statistik darstellen. Auf ¨ahnliche Weise l¨asst sich auch die Behandlung von nichtparametrischen Regressionssch¨atzern durchf¨ uhren. Sei P = {P ∈ M 1 (R1 , B 1 ); P = f λ\} die Klasse der λ\-stetigen Wahrscheinlichkeitsmaße und Pc = {P ∈ P; f stetig}. Unser Ziel ist es, basierend auf iid Beobachtungen die Dichte f zu sch¨ atzen. Das zugrunde liegende Modell ist dann P (n) (n) bzw. Pc oder auch große Teilklassen hiervon. Ein Dichtesch¨ atzer ist eine produktmessbare Funktion fn : Rn × R1 → R (oder R+ ). Wir schreiben fn (t) = fn (x, t) und Ef fn (t) = EP (n) fn (·, t). Im Rahmen f

erwartungstreuer Sch¨ atzer ist dieses Problem nicht l¨osbar.

346

11 Einf¨ uhrung in die asymptotische Statistik

Satz 11.2.1 Es gibt keine Dichtsch¨atzer fn ≥ 0 so dass Ef fn (t) = f (t) [λ\] f¨ ur alle t und f¨ ur alle stetigen Dichten f . Beweis: Angenommen es existiert ein Dichtesch¨atzer fn , so dass Ef fn (t) = f (t), Dann folgt Hn (a, b) =

b a

∀t ∈ R1 , ∀f ∈ Fc .

fn (t) dt, a < b ist erwartungstreuer Sch¨atzer f¨ ur

Ef Hn (a, b) =

a



b

(n)

fn (x, t) dtPf (dx) =

b

Ef fn (t) dt a

b

f (t) dt = F (b) − F (a) =: H(a, b),

= a

F die Verteilungsfunktion von Pf .  n (a, b) := Fn (b) − Fn (a), Fn die empirische Verteilungsfunktion, ist auch H erwartungstreuer Sch¨ atzer f¨ ur H. O.E. sei fn (x, t) symmetrisch in x, d.h. invariant unter Permutation von x.  n symmetrische erwartungstreue Sch¨atzer von Daraus folgt, dass Hn , H (n) H(a, b) sind. Das Modell Pc ist symmetrisch vollst¨andig, d.h. die Ordnungsstati(n)  n [λ\n ]; ein Widerspruch, da die stik x( ) ist vollst¨ andig f¨ ur Pc . Daher ist Hn = H  n nicht mit der stetigen Funktion Hn u Treppenfunktion H 2 ¨bereinstimmt. Bemerkung 11.2.2 a) Das obige Argument gilt allgemein f¨ ur Teilklassen von P (n) f¨ ur die die Ordnungsstatistik x( ) vollst¨andig ist. b) Die Nichtnegativit¨at von fn wird nur f¨ ur die Anwendung des Satzes von Fubini ben¨otigt und kann durch eine Integrierbarkeitsbedingung ersetzt werden. Definition 11.2.3(Kerndichtesch¨ atzer) ∞ Sei K : R1 → R1 , −∞ K(t) dt = 1, |K(t)| dt < ∞ ein Kern auf R und hn ↓ 0, dann heißt:   n 1  t − xj fn (x, t) := (11.12) K nhn j=1 hn Kerndichtesch¨ atzer mit Bandweite hn und Kern K. Beispiel 11.2.4 a) Der uniforme Kern K(t) = 12 1(−1,1) (t) liefert als Dichtesch¨atzer fn1 (t) := 1 2hn (Fn (t + hn ) − Fn (t − hn )) die empirische Dichte. b) Der Gaußkern K(t) := C∞.

2 √1 e−t /2 2π

f¨ uhrt auf einen Dichtesch¨atzer fn2 mit fn2 ∈

11.2 Dichtesch¨ atzung

347

n c) Der Dichtesch¨atzer fn3 (x, t) = nh1 n i=1 1(khn ,(k+1)hn ) (xi ), t ∈ [khn , (k + 1)hn ], hn ↓ 0 heißt Histogramm-Sch¨ atzer. fn3 ist kein Kernsch¨atzer. Beispiel 11.2.5 F¨ ur die Dichte f (x) = 3x2 , x ∈ [0, 1] sind obige Dichtesch¨atzer in den Abbildungen 11.2 und 11.3 dargestellt.

Abbildung 11.2 Histogramme: empirische Dichte und Histogramm

Abbildung 11.3 Histogramme: Gaußkern und Histogramm

Das folgende Lemma liefert Formeln f¨ ur Erwartungswert und Varianz von Kerndichtesch¨ atzern und gibt eine Zerlegung des quadratischen Sch¨atzfehlers eines Dichtesch¨ atzers fn in den systematischen Fehler, den Bias, und den stochastischen Fehler, die Varianz. Der Beweis folgt direkt nach Definition. Lemma 11.2.6 (Bias-Varianz-Zerlegung) a) Sei fn ein Kerndichtesch¨atzer, dann gilt 1)

1 Ef fn (t) = h n =

1 2) Varf (fn (t)) = nh2n



 K

2



K

t−u hn

 f (u) du (11.13)

K(v)f (t − hn v) dv

t−u hn



 f (u) du − Ef K



t − x1 hn

2 (11.14)

348

11 Einf¨ uhrung in die asymptotische Statistik

b) F¨ ur den quadratischen Sch¨atzfehler eines Dichtesch¨atzers fn gilt die folgende Zerlegung in Bias und Varianz: 2

Ef (fn (t) − f (t)2 ) = Varf (fn (t)) + (Ef fn (t) − f (t)) .

(11.15)

Ein wichtiger Parameter ist die Bandweite hn . Ist hn klein, dann ist der Bias gering aber der stochastische Anteil des Sch¨ atzfehlers groß. Ist hn groß, dann ist der stochastische Anteil des Sch¨ atzfehlers klein, aber der Bias ist groß (vgl. Abbildung 11.2). Wir bestimmen im Folgenden Bedingungen f¨ ur hn und K, die die punktweise und L2 -Konsistenz von Kerndichtesch¨ atzern implizieren. Proposition 11.2.7 (Konsistenz von Kerndichtesch¨ atzern) Sei |f (t)| ≤ M , ∀t, dann gilt: a) ∀ε > 0, ∀t ⊂ R1 ist |Ef fn (t) − f (t)| ≤ 2M

{hn |u|≥ε}

|K(u)| du + wf (ε, t)

|K(u)| du

mit dem Stetigkeitsmodul wf (ε, t) := sup {|f (t + u) − f (t)|; u ≤ ε}. b) Ist f stetig in t dann folgt |Ef fn (t) − f (t)| → 0 c) Varf (fn (t)) ≤

M nhn



K 2 (u) du

d) Ist f stetig in t, nhn → ∞, dann folgt Ef (fn (t) − f (t))2 → 0 e) Gilt nhn → ∞, und ist f gleichm¨aßig stetig, dann folgt sup Ef (fn (t) − f (t))2 → 0. t

Beweis: a) Es gilt die folgende Absch¨ atzungskette: / / / / / |Ef fn (t) − f (t)| = / K(v) {f (t − hn v) − f (t)} dv // / / / / / / / / / / / / ≤/ . . ./ + / . . ./ / {hn |v|≤ε} / / {hn |v|>ε} / ≤ wf (ε, t) |K(u)| du + 2M

{|hn u|≥ε}

ur ε → 0 und {|u| ≥ b) folgt aus a), da wf (ε, t) → 0 f¨

ε hn }

|K(u)| du

↓ Ø f¨ ur hn ↓ 0.

11.2 Dichtesch¨ atzung

349

c) Nach Lemma 11.2.6 ist  2  1 1 t − x1 Varf (fn (t) ≤ Ef K n hn  hn  1 2 t−u 1 f (u) du = K nhn hn hn M t−u ≤ K 2 (v) dv mit v := . nhn hn d) Nach a) gilt: lim |Ef fn (t) − f (t)| ≤ wf (ε, t)

n→∞

|K(u)| du,

∀ε < 0.

Ist f stetig in t, dann folgt limε→0 wf (ε, f ) = 0. Nach b) + c) folgt die Behauptung. 2

e) folgt aus a), b) und c).

Es gibt also eine F¨ ulle von L2 -konsistenten Sch¨atzfolgen. Die Kerndichtesch¨ atzer haben eine Darstellung als Funktional des empirischen Prozesses. Mit Hilfe des Satzes von Dvoretzky, Kiefer und Wolfowitz (DKW) kann man eine gleichm¨ aßige Konsistenzaussage erhalten. Sei dazu (Xn ) eine iid Folge von reellen Zufallsvariablen mit Verteilungsn funktion F (t) = P (X1 ≤ t), t ∈ R1 . Sei Fn (t) = n1 i=1 1(−∞,t] (Xi ), t ∈ R1 , die empirische Verteilungsfunktion und sei Vn der Kolmogorov-Abstand Vn := sup |Fn (t) − F (t)|. t∈R1

Folgende Konvergenzaussagen u ¨ber Vn sind von Bedeutung. Satz 11.2.8 (Konvergenz empirischer Verteilungen) F¨ ur die empirische Verteilungsfunktion gelten folgende Konvergenzaussagen: a) Satz von Glivenko-Cantelli: Vn → 0 [P ] b) Satz von Dvoretzky, Kiefer und Wolfowitz (1956) Es gibt eine Konstante C unabh¨angig von F , so dass ∀n ∈ N und ∀r > 0 gilt: P (Vn > r) ≤ C exp(−2nr2 ). Mit Hilfe von Satz 11.2.8 erh¨ alt man f¨ ur Kerne K von beschr¨ankter Totalvariation eine gleichm¨ aßige Konvergenzaussage.

350

11 Einf¨ uhrung in die asymptotische Statistik

Satz 11.2.9 (Gleichm¨ aßige Konvergenz) Der Kern K habe beschr¨ankte Totalvariation v. Dann folgt: Pf (sup |fn (t) − Ef fn | > ε) ≤ Ce−

2ε2 v

n·h2n

.

(11.16)

t

Beweis: fn l¨ asst sich mit Hilfe der empirischen Verteilungsfunktion Fn = Fn darstellen   t−u 1 dFn (u). fn (t) = K hn hn Daraus folgt dn := sup |fn (t) − Ef fn (t)| t / /     / 1 / t−u t−u 1 dFn (u) − dF (u)// = sup // K K hn hn hn hn t / /   / 1 / t−u = sup // d (Fn (u) − F (u))// K hn hn t 1 ≤ sup|Fn (t) − F (t)| v mit partieller Integration. hn t   =:Vn

Nach dem Satz von Dvoretzky, Kiefer und Wolfowitz (vgl. Satz 11.2.8 b)) folgt Pf (dn > ε) ≤ Pf

    2ε2 nh2n εhn ≤ C exp − . Vn > v v

2

Bemerkung 11.2.10 2 a) Wenn ∀γ > 0 gilt n e−2γnhn < ∞, dann folgt aus Satz 11.2.8 dn = sup |fn (t) − f (t)| → 0 [Pf ].

(11.17)

t

b) Es l¨asst sich zeigen, dass die Bedingung supt |Efn (t) − f (t)| → 0 ¨aquivalent zur gleichm¨aßigen Stetigkeit von f ist. Konvergenzraten im Biasterm Efn (t) − f (t) entsprechen dem Grad von Glattheit von f . Die Beschr¨ anktheit von f in Proposition 11.2.7 l¨asst sich durch die Annahme uK(u) → 0 f¨ ur |u| → ∞ an den Kern ersetzen. Proposition 11.2.11 F¨ ur den Kern K gelte, dass uK(u) → 0, |u| → ∞, und es sei f stetig in t, dann folgt Ef fn (t) → f (t).

11.2 Dichtesch¨ atzung

351

Beweis: Es gilt |Ef fn (t) − f (t)| ≤ An + Bn mit / / / / / / K(u)(f (t − hn u) − f (t)) du/ An := / / {|hn u|≤ε} / ≤ wf (ε, t) |K(u)| du und mit Bn := ≤ ≤ ≤

/ / / / / / K(u)(f (t − hn u) − f (t)) du/ / / {|hn u|>ε} / / / / /   / / / / 1 t−v / / / / f (v) dv / + f (t) / K K(u) du/ / / {|t−v|>ε} hn / / {|hn u|>ε} / hn / / /  / / / 1 |t − v| // t − v // / / K f (v) dv + f (t) / K(u) du/ / / |t−v| / / ε h h n n { hn >ε/hn } {|hn v|>ε} 1 |K(u)| du −→ 0. sup |z||K(z)| f (v) dv + f (t) hn ↓0 ε |z|>ε/hn {|hn u|>ε} 2

Aus diesen Absch¨ atzungen folgt die Behauptung.

Ohne Stetigkeitsannahme an f erh¨ alt man folgende asymptotische Unverf¨ alschtheitsaussage. Proposition 11.2.12 (Asymptotische Unverf¨ alschtheit von fn (t)) F¨ ur f ∈ L1 (λ\1 ) gilt: /   / / / 1 t−u / du − f (t)// dt = 0. lim f (u)K / n→∞ hn hn

(11.18)

Insbesondere gilt f¨ ur eine λ\-Dichte f : |Ef fn (t) − f (t)| dt → 0. Beweis: 1) F¨ ur f, g ∈ L1 (λ\1 ) ist die Faltung f ∗ g(t) := gilt



f (t − u)g(u) du in L1 (λ\) und es

f ∗ g1 ≤ f 1 g1 . 2) Die Behauptung gilt f¨ ur f ∈ Ck .

(11.19)

352

11 Einf¨ uhrung in die asymptotische Statistik

Dazu sei K1 (t) := K(t)1[−M,M] (t), K2 (t) := K(t)1[−M,M]c (t). Dann folgt: /   / / / / f (u) 1 K t − u du − f (t)/ dt / / hn hn / /     / / / / / / / f (u) 1 K1 t − u du − f (t)/ + /f (u) 1 K2 t − u du/ dt ≤ / / / / hn hn hn hn + |f (t)| dt |K2 (v)| dv = An + Bn + Cn Nach 1) ist Bn ≤ f 1 K2 1 , also Bn + Cn ≤ 2f 1 K2 1 und f¨ ur A ≥ A0 /  / u // 1 // K1 du dt An ≤ |f (t − u) − f (t)| hn / hn / /  / / 1 u // / |f (t − u) − f (t)| / K1 = / du dt h h n n [−A,A] |u/hn |≤M /  / / 1 u // du f¨ ur A ≥ A0 , f ∈ Ck ≤ wf (M hn )2A // K1 hn hn / = wf (M hn )2A |K1 (u)| du mit wf (ε) := sup wf (ε, t) t

ur n ≥ n0 ist Zu δ > 0 existiert eine Konstante M so dass Bn + Cn ≤ δ, ∀n. F¨ An ≤ δ. 3) Sei nun f ∈ L1 (λ\1 ), dann existiert ein g ∈ Ck so dass f − g1 ≤ δ. Mit dieser Approximation folgt /   / / / / f (u) 1 K t − u du − f (t)/ dt / / hn hn  /  / / / / (f − g)(u) 1 K t − u du/ dt + |(f − g)(u)| du ≤ / / hn hn /   / / / t−u 1 / du − g(t)// dt + / g(u) K hn hn   2 ≤ f − g1 |K(v)| dv + 1 + o(1). Unter weiteren Regularit¨ atsannahmen erh¨alt man Konvergenzraten f¨ ur die Dichtesch¨ atzer fn . Proposition 11.2.13 (Konvergenzraten von fn )  (2) Sei f ∈ Cb , nhn → ∞, u2 |K(u)| du < ∞  a) Wenn uK(u) du = 0, dann gilt 1 Ef fn (t) − f (t) = h2n f (t) u2 K(u) du 2

(11.20)

11.2 Dichtesch¨ atzung

b)

353

Varf (fn (t)) =

f (t) nhn



K 2 (u) du + o

1 nhn

 (11.21)

Der Beweis ist analog zu dem Beweis von Satz 11.2.9 und Proposition 11.2.11 und benutzt eine Taylorentwicklung. Unter st¨arkeren Regularit¨atsannahmen erh¨alt man verbesserte Raten. Proposition 11.2.14 (verbesserte Konvergenzraten)  (4) Sei f ∈ Cb , ui K(u) du = 0, 1 ≤ i ≤ 3, und u4 |K(u)| du < ∞. Dann gilt: 1 a) Ef fn (t) − f (t) = h4n f (4) (t) K(u)u4 du + o(h4n ) (11.22) 4

2 b) Ef (fn (t) − f (t)) =

  f (t) 1 2 K(u)u2 du K 2 (v) dv + h4n (f (t)) nhn 4   (11.23) 1 + h4n +o nhn

Bemerkung 11.2.15 1) Ein Beispiel f¨ ur einen Kern K mit obigen Regularit¨atsvoraussetzungen ist 3 K(u) = 2

  1 2 u2 1− e− 2 u . 3



ullen. u2 K(u) du = 0 kann kein positiver Kern die Bedingungen erf¨  2) Die Entwicklung in Proposition 11.2.14 b) gilt auch, falls u2 K(u) du = 0. Wegen

Eine optimale Konvergenzrate von Ef (fn (t) − f (t))2 ergibt sich durch die Wahl ∗ von hn , so dass die ersten beiden Fehlerterme gleich sind. Dann ist hn = nM1/5 = h∗n und es folgt Ef (fn (t) − f (t)) = 2 2

3/5

 4/5  2/5 2 2 f (t) K (v) dv f (t) K(v)v dv n−4/5 . (11.24)

Die Skalierung M ∗ h¨angt von den unbekannten Gr¨oßen f (t), f (t) ab und muss aus  den 2Beobachtungen gesch¨atzt werden. Durch Normierung von K so, dass K(v)v dv = 1 ergibt sich dann das Problem (P ) der optimalen Wahl vom Kern K:

(P )

⎧ 2 K (v) dv ⎪ ⎪ ⎪ ⎪ ⎨ K(v) dv ⎪ K(v) ⎪ ⎪ ⎪ ⎩ 2 v K(v) dv

= min! =1 = K(−v) =1

354

11 Einf¨ uhrung in die asymptotische Statistik

Mit Lagrange’schen Multiplikatoren erh¨alt man als L¨osung von (P ):   3 v2 1[−√5,√5] (v). K(v) = √ 1− 5 4 5 Der Gaußkern K0 (v) =

2

v √1 e− 2 2π

(11.25)

ist jedoch fast genauso gut. Es gilt:

 2 K (v) dv  0 = 1,051. K 2 (v) dv

F¨ ur Kerndichtesch¨ atzer gilt auch der zentrale Grenzwertsatz. Sei / 0 / 1 / / fn (t) − Ef fn (t) / / + Hn (a, t) := /Pf ≤ a − Φ(a)/ . / / Vf (fn (t)) F¨ ur f stetig gilt nach Satz 11.2.8: Ef fn (t) ∼ f (t)

und Varf (fn (t)) ∼

1 f (t) nhn

K 2 (v) dv.

(11.26)

Satz 11.2.16 (Zentraler Grenzwertsatz f¨ ur Kerndichtesch¨ atzer) Sei K beschr¨ankt, uK(u) → 0, |u| → ∞, sei |K(u)|2+δ du < ∞ f¨ ur ein δ > 0. Sei weiter f stetig und nhn → ∞. Dann gilt: a) lim Hn (a, t) = 0, ∀a ∈ R1 , ∀t ∈ R1  b) Ist f (t) > 0, |K(u)|3 du < ∞ dann gilt: sup Hn (a, t) ≤ a



c (nhn f (t))

1 2

|K(u)|3 du  3 ( K 2 (u) du)− 2

Beweis:

(11.27)

  n k , ist eine Summe von iid a) fn (t) = n1 k=1 Vn (Xk ), mit Vn (Xk ) = h1n K t−X hn Zufallsvariablen Xn,k = Vn (Xk ).  ur den zentralen Mit Vn = nk=1 Xn,k ist die Lyapunov-Bedingung hinreichend f¨ Grenzwertsatz, d.h. ∃δ > 0 so dass An (δ) =

Ef |Vn − Ef Vn |2+δ nδ/2 (Varf (Vn ))

2+δ 2

→ 0.

Mit dem Kern |K(u)|2+δ gilt aber Ef |Vn |

2+δ

/2+δ  / / 1 t − u // / = f (u) du / hn K hn / 1 ∼ 1+δ f (t) |K(u)|2+δ du. hn

11.2 Dichtesch¨ atzung

355

Also ist An (δ) ≈

2+δ h1+δ n Ef |Vn − Ef Vn | δ

1+ δ2

(nhn ) 2 hn

(Varf (Vn ))

2+δ 2

.

F¨ ur r > 0 gilt E|X + Y |r ≤ 2r (E|X|r + E|Y |r ) und daher Ef |Vn − Ef Vn |2+δ ≤ 22+δ (Ef |Vn |2+δ + |Ef Vn |2+δ ) c ur n ≥ n0 . ≤ 1+δ f¨ hn Daraus folgt An (δ) ≤

K δ

(nhn ) 2

→ 0 mit einer Konstanten K = Kf < ∞.

Der zentrale Grenzwertsatz folgt also nach dem Satz von Lyapunov. b) Folgt durch Anwendung der Berry-Esseen-Schranke in obigem Beweis.

Kapitel 12

Statistik fu ahlprozesse ¨ r Z¨ und Martingalmethode Die Anzahl eintretender Ereignisse eines bestimmten Typs bis zur Zeit t definiert einen Z¨ ahlprozess auf der positiven reellen Achse. Solche Z¨ahlprozesse beschreiben eine Vielzahl relevanter statistischer Modelle, z.B. f¨ ur Ausfallereignisse (defaults) in Medizin, Biometrie und Finanzmathematik, f¨ ur konkurrierende Risiken, f¨ ur zensierte Daten und viele andere. Ziel dieses Abschnittes ist eine Einf¨ uhrung in die statistische Analyse solcher zeitstetigen Prozesse. Dieses Vorhaben erfordert zun¨ achst eine Einf¨ uhrung in einige Grundbegriffe ¨ F¨ der zeitstetigen Prozesse (Semimartingal, Kompensator, Intensit¨at u.A.). ur Z¨ahlprozesse ist hierf¨ ur typischerweise ein leicht nachvollziehbares intuitives Verst¨andnis m¨ oglich. Eine grundlegende Methode zur Konstruktion und Analyse von Sch¨atzverfahren und Testverfahren ist die Martingalmethode. Das Grundprinzip besteht darin, einen Sch¨ atzprozess so zu w¨ ahlen, dass der zugeh¨orige Fehlerprozess ein Martingal bildet. Mit Hilfe von Martingaltheorie ergeben sich asymptotische Eigenschaften solcher Martingalsch¨ atzer. Analoges gilt f¨ ur die Konstruktion und Eigenschaften von Teststatistiken. Die Entwicklung der Statistik f¨ ur Z¨ ahlprozesse mit der Martingalmethode begann wesentlich mit Aalen (1976). Sein Modell der multiplikativen Intensit¨aten umfasst eine große F¨ ulle von relevanten Anwendungen zur statistischen Analyse von zeitstetigen oder diskreten Ereignisdaten. Wichtige Beispiele hierzu stammen aus der Survivalanalyse mit zensierten Daten, aus Regressionsmodellen mit Kova¨ riablen, aus Markovschen Ubergangsmodellen zur Analyse von zeitlichen Einflusseffekten auf Krankheitsverl¨ aufe und viele andere. Nach einer Einf¨ uhrung einiger dieser Modelle und der nichtparametrischen Sch¨atzmethode der Martingalsch¨atzer behandeln wir als wichtige Beispiele den Nelson-Aalen-Sch¨atzer f¨ ur die kumulierte Hazard-Rate bzw. f¨ ur die integrierte Intensit¨ at, den Kaplan-Meier-Sch¨atzer f¨ ur die ¨ Verteilungsfunktion und den Aalen-Johansen-Sch¨atzer f¨ ur die Ubergangsrate von Markovprozessen. Insbesondere geben wir eine Anwendung auf zensierte Daten. Im

L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_12, © Springer-Verlag Berlin Heidelberg 2014

358

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Anschluss behandeln wir die grundlegenden Konsistenz- und asymptotischen Verteilungsaussagen in Kapitel 12.3. In dem grundlegenden Cox-Regressionsmodell mit Kovariablen bestimmen wir den Cox partial Likelihood-Sch¨atzer f¨ ur die Kovariablengewichte und den Martingalsch¨ atzer f¨ ur die Basisintensit¨at. Eine ausf¨ uhrliche Darstellung mit einer großen F¨ ulle von Anwendungen zu dieser Theorie findet sich in Andersen et al. (1993). Kapitel 12.4 ist der Anwendung von Martingalmethoden auf die Konstruktion verteilungsfreier Tests gewidmet. Wir behandeln eine auf Khmaladze (1982) zur¨ uckgehende Methode, den Martingalanteil aus der Doob-Meyer-Zerlegung vom empirischen Prozess mit gesch¨ atzten Parametern zur Grundlage der Konstruktion von verteilungsfreien Tests zu nehmen.

12.1

Z¨ ahlprozesse auf R+

Sei (τn )n∈N ein Punktprozess auf R+ , d.h. 0 < τ1 < τ2 < . . . ist eine wachsende Folge von Zufallsvariablen auf R+ . Dann bestimmen die bedingten Verteilungsfunktionen Fn (t) = P (τn ≤ t | τ0 , . . . , τn−1 ), n ∈ N die Verteilung von (τn ) eindeutig. Typischerweise sei τ0 = 0 und τn ↑ ∞ oder τn ↑ T . Der zugeh¨ orige Z¨ ahlprozess Nt :=



1{τn ≤t}

n≥1

z¨ ahlt die Anzahl der Ereignisse bis zur Zeit t. (Nt , Bt ) mit Bt = σ({τi ∧ t; i ∈ N}) ist ein Sub-Martingal und hat eine eindeutige Zerlegung N = A+M in einem wachsenden, vorhersehbaren Prozess A mit A0 := 0 und ein Martingal M (Doob-Meyer-Zerlegung). A heißt auch Kompensator oder kumulativer bedingter Hazard von N . dAt ist die bedingte Wahrscheinlichkeit f¨ ur ein Ereignis in (t, t+dt) bedingt unter der Vergangenheit (0, t) (ohne t) und ist induktiv gegeben durch t dFn (s) n−1 At = At + , τn−1 ≤ t < τn . (12.1) 1 − Fn (s−) τn−1 Ist z.B. N ein Poissonprozess mit Parameter λ, dann ist Nt ∼ P(λt) und die Doob-Meyer-Zerlegung ist Nt = λt + (Nt − λt) = At + Mt mit dem Kompensator At = λt und dem Martingal Mt = Nt − λt. In diesem Fall

12.1 Z¨ ahlprozesse auf R+

359

ist Fn (t) = P (τn ≤ t | τ0 , . . . , τn−1 ) = P (τn ≤ t | τn−1 ) t −λ(s−τn−1 ) = e ds =

t−τn−1

e−λs ds = 1 −

0

τn−1

1 −λ(t−τn−1 ) e λ

und daher ist At =

An−1 t

t

+ τn−1

dFn (s) = An−1 + λ(t − τn−1 ), t 1 − Fn (s−)

τn−1 ≤ t < τn .

= λτn−1 und daher At = λt. Dies impliziert An−1 t 2 Ist M ∈ M (bzw. M2loc ) ein (lokal) quadratintegrierbares Martingal, dann hat M 2 eine vorhersehbare Zerlegung in ein lokales Martingal und einen vorhersehbaren Prozess A ∈ V M 2 − A ∈ Mloc (∼ Doob-Meyer-Zerlegung von M 2 ) und A =: M ! heißt vorhersehbare quadra¨ tische Variation von M . Ahnlich gilt f¨ ur Mi , Mj ∈ M2 (M2loc ), 1 ≤ i, j ≤ k: Es gibt einen eindeutigen vorhersehbaren Prozess Mi , Mj ! mit Mi Mj − Mi , Mj ! ∈ Mloc

(12.2)

die vorhersehbare Kovariation von Mi , Mj . Ist Mi , Mj ! = 0, dann heißen Mi , Mj orthogonal. Gibt es mehrere unterschiedliche Ereignisse vom Typ 1, . . . , k, so sei Ni (t) = Nti = # Ereignisse vom Typ i bis zur Zeit t. N = (N1 , . . . , Nk ) heißt dann kdimensionaler Z¨ ahlprozess (oder auch markierter Z¨ ahlprozess mit den Marken 1, . . . , k). Sind Mi ∈ M2loc die Martingale aus der Doob-Zerlegung der Ni , dann gilt Mi ! = (1 − ΔAi ) dAi , mit (ΔA)s = As − As− , und ur i = j. (12.3) Mi , Mj ! = − ΔAi dAj f¨ Beweis: t  Mit M = Mi gilt mittels partieller Integration Mt2 = 2 0 Ms− dMs + s≤t (ΔMs )2 . Wegen (ΔN )2 = ΔN folgt Mt2



t

(2Ms− + 1 − 2ΔAs ) dMs +

= 0

t

(1 − ΔAs ) dAs .

(12.4)

0

Der erste Term dieser Zerlegung ist ein Martingal, der zweite ein wachsender vorhersehbarer Prozess. Die Zerlegung ist also die Doob-Meyer-Zerlegung und es folgt

360

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

die Behauptung f¨ ur die vorhersehbare Variation Das Argument f¨ ur Mi , Mj ! ist analog. 2 Wir treffen im Folgenden die Annahme: Ni (0) = 0, 1 ≤ i ≤ k, ENi (t) < ∞, ∀t > 0 und Ai sind absolut stetig monoton wachsend mit t

Ai (t) =

Λi (s) ds.

(12.5)

0

Λi sind c`adl`ag und (Bt ) adaptierte Prozesse. Λ = (Λ1 , . . . , Λk ) heißt Intensit¨ at des Z¨ ahlprozesses N . Unter obiger Annahme ist 1 1 lim P (Ni (t + h) − Ni (t) = 1 | Bt ) = lim E(Ni (t + h) − Ni (t) | Bt ) h↓0 h h↓0 h  t+h  1 Λi (s) ds | Bt = lim E h↓0 h t   1 t+h = E lim Λi (s) ds | Bt h↓0 h t = E(Λi (t) | Bt ) = Λi (t). Die Existenz von Intensit¨ aten bedeutet nach der Definition der Kompensatoren Ai , dass die bedingten Verteilungsfunktionen Fn Dichten besitzen. Existieren Intensit¨ aten wie nach obiger Annahme, dann gilt: t t Mi !t = dAi = Ai (t) = Λi (s) ds und 0

0

Mi , Mj !t = δij Ai (t). Die Martingale Mi , Mj sind also orthogonal f¨ ur i = j. Eine geeignete lokalisierende k Folge (τn ) f¨ ur die Punktprozesse ist so zu w¨ ahlen, dass τn ↑ ∞ und E i=1 Ni (τn ) < ∞, n ∈ N. Im Intervall [0, τn ] liegen also im Mittel nur endlich viele Punkte. Beispiel 12.1.1 a) Erneuerungsprozess: Sei (τn ) ein Erneuerungsprozess, d.h. (τn −τn−1 ) ist eine iid Folge mit τn −τn−1 ∼ F . Die Wartezeiten τn − τn−1 sind unabh¨ angig und nach F verteilt. Hat F eine Dichte f , dann gilt nach obiger Konstruktion des Kompensators  At = − ln(1 − F (t − τn ))1(τn ,τn+1 ) (t). (12.6) b) Competing risk model: Es gebe k (konkurrierende) Arten von Risiken (z.B. Krankheitsrisiken). Ni (t) sei die Anzahl der Ereignisse (z.B. Sterbef¨ alle in einer Studie) verursacht durch Risiko (Krankheit) i. Sei Y (t) = # Individuen, die zur Zeit t unter Risiko stehen und αi (t) die durch Krankheit i verursachte Sterberate.

12.2 Martingalsch¨ atzer

361

Dann ist Λi (t) = αi (t)Y (t)

(12.7)

die Intensit¨ at von Ni . Y ist eine beobachtete Basisintensit¨at und αi (t) ein unbekannter Parameter. Ziel einer statistischen Analyse ist es αi (t) zu ermitteln, 1 ≤ i ≤ k. Ein Modell der Form (12.7) heißt Modell mit multiplikativer Intensit¨ at. c) Geburts- und Todesprozess: Seien N1 , N2 Z¨ ahlprozesse; N1 z¨ ahlt die Anzahl der Geburten, N2 die Anzahl der Sterbef¨ alle. Ist Y (t) die (beobachtbare) Anzahl der zur Zeit t lebenden Individuen, dann ist ein Modell f¨ ur den Geburts- und Todesprozess gegeben durch das Modell mit multiplikativen Intensit¨aten Λi (t) = αi (t)Y (t),

i = 1, 2.

α1 (t) ist die Geburtsrate, α2 (t) die Todesrate. d) Epidemiologischer Prozess: Sei N (t) die Anzahl der Infektionen in einer Population bis zur Zeit t. Seien I(t), S(t) die Anzahl der Infizierten bzw. Suszeptiblen zur Zeit t. Dann ist folgendes multiplikative Intensit¨ ats-Modell ein Standardmodell f¨ ur N : Λ(t) = α(t)I(t)S(t). Mit der Basisintensit¨ at Y (t) = I(t)S(t) und der Infektionsrate α(t) haben wir ein Modell mit multiplikativen Intensit¨ aten. Auch andere Funktionen Y (t) = h(I(t), S(t)) kommen in Anwendungen vor. Definition 12.1.2 (Modell mit multiplikativen Intensit¨ aten) Ein Z¨ahlprozessmodell N = (N1 , . . . , Nk ) mit Intensit¨aten Λi der Form Λi (t) = αi (t)Yi (t),

1≤i≤k

heißt Modell mit multiplikativen Intensit¨ aten. Die Yi (t) sind (beobachtete) Basisintensit¨aten, αi (t) sind (unbekannte) Modellparameter.

12.2

Martingalsch¨ atzer

In einem Z¨ ahlprozessmodell mit multiplikativen Intensit¨aten Λi (t) = Λi (t, αi ) = αi (t)Yi (t) ≥ 0, 1 ≤ i ≤ k, α = (αi ) ∈ A betrachten wir Sch¨atzprobleme f¨ ur Funktionale β(t, α) von α. Das Grundprinzip der Martingalsch¨ atzmethode ist es, einen Sch¨ atzprozess βt (in t) so zu bestimmen, dass der Fehlerprozess βt − β(t, α) ein Martingal bildet. Diese Methode impliziert die Wahl der sch¨atzbaren Funktionale. Nach der Doob-Meyer-Zerlegung sind die Basismartingale (Innovationsprozesse) von der Form t Mi (t) = Ni (t) − Λi (s) ds, 1 ≤ i ≤ k. (12.8) 0

362

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Jedes AN -Martingal M ∗ l¨ asst sich nach einem Vollst¨andigkeitssatz (siehe Aalen (1976)) schreiben in der Form k t  Mt∗ = M0∗ + λi (s) dMi (s) (12.9) i=1

0

mit vorhersehbaren Integranden λi . Definition 12.2.1 (Martingalsch¨ atzer) t  F¨ ur α ∈ A und vorhersehbaren Prozess λ = (λi ) mit ki=1 0 |λi (s)|Λi (s, αi ) ds < ∞ heißt t

βi (t) =

0

λi (s)Ji (s)Yi−1 (s) dNi (s),

1 ≤ i ≤ k,

(12.10)

atzer f¨ ur den Prozess mit Ji (s) = 1{Yi (s)>0} Martingalsch¨ t β i (t) = λi (s)αi (s)Ji (s) ds = β i (t, αi ). 0

atzer f¨ ur den Erwartungswert von β i (t) auffassen, d.h. βi (t) kann man als Sch¨ f¨ ur Eα β i (t), der Index αi bezeichnet dabei den unbekannten Faktor der Intensit¨at. Proposition 12.2.2 F¨ ur α ∈ A gilt: Eα βi (t) = Eα β i (t) t Eα (βi (t) − β i (t))2 = Eα (λi (s))2 Ji (s)αi (s) ds,

(12.11)

0

und weiter gilt f¨ ur i = j Eα (βi (t) − β i (t))(βj (t) − β j (t)) = 0. Beweis: Die obigen Formeln folgen aus der Martingaleigenschaft der Prozesse βi (t) − β i (t), (βi (t) − β i (t))2 − βi − β i !t und (βi (t) − β i (t))(βj (t) − β j (t)). 2 Der Faktor Ji (s) = 1{Yi (s)>0} im obigen Sch¨atzfunktional l¨asst sich beim Sch¨ atzen nicht vermeiden. Beispiel 12.2.3 (Nelson-Aalen-Sch¨ atzer) Als Beispiel betrachten wir die integrierte Intensit¨ at t β i (t) := αi (s)Ji (s) ds. 0

Das Problem, die integrierte Intensit¨ at β i zu sch¨atzen, ist von obiger Form. Der zugeh¨ orige Martingalsch¨ atzer ist t Ji (s)  βi (t) := dNi (s). Y i (s) 0

12.2 Martingalsch¨ atzer

363

Der Fehlerprozess ist gegeben durch t Ji (s) dMi (s), βi (t) − β i (t) = Y i (s) 0 t (βi − β i )1≤i≤k sind orthogonale L2 -Martingale, wenn E 0 βi (t) ist ein erwartungstreuer Sch¨ atzer f¨ ur t αi (s)EJi (s) ds. Eα β i (t) =

(12.12) Ji (s) α (s) ds Yi2 (s) i

< ∞, ∀t.

0

Es gilt weiter f¨ ur den quadratischen Fehler t Ji (s) 2  ds. αi (s)E Eα (βi (t) − β i (t)) = Y i (s) 0 β heißt Nelson-Aalen-Sch¨ atzer f¨ ur die kumulative Ausfallrate nach einer Arbeit von Nelson (1969) f¨ ur den Spezialfall von k iid Beobachtungen und der Arbeit von Aalen (1976) f¨ ur den allgemeinen Punktprozessfall. Wir werden sp¨ ater sehen, dass sich die Konsistenz und asymptotische Normalit¨ at dieser Sch¨ atzer aus der Martingaltheorie einfach erhalten lassen. Wir behandeln nun einige konkrete Beispielklassen. Beispiel 12.2.4 (Nelson-Aalen-Sch¨ atzer f¨ ur die kumulierte Hazard-Rate) Sei X1 , . . . , Xk eine iid Folge Xi ≥ 0 mit absolut stetiger Verteilungsfunktion F ¨ mit Dichte f . Xi repr¨ asentieren etwa Uberlebenszeiten oder Behandlungszeiten. λ(t) =

f (t) heißt Hazard-Rate von F. 1 − F (t)

Die Z¨ ahlprozesse Ni (t) = 1[0,t] (Xi ),

0≤t

beschreiben die Entwicklung der zeitlichen Information u ¨ ber die Xi bzgl. Bt = σ(Ni (s), 1 ≤ i ≤ k, s ≤ t). N = (N1 , . . . , Nk ) ist dann ein multivariater Z¨ahlprozess mit multiplikativer Intensit¨ at λi (t) = αi (t)Yi (t) f (t) angig von i) und mit αi (t) = α(t) = λ(t) = 1−F (t) die Hazard-Rate von F (unabh¨ der Basisintensit¨ at Yi (t) = 1[t,∞) (Xi ) die beschreibt, ob Individuum i zur Zeit t noch unter Risiko steht. t Mi (t) = Ni (t) − 0 λ(u)Yi (u) du, 1 ≤ i ≤ k sind orthogonale L2 -Martingale. F¨ ur das Sch¨ atzen der kumulativen Hazard-Rate betrachten wir den einfachen kumulativen Z¨ ahlprozess

N (t) =

k  i=1

Ni (t) =

k  i=1

1[0,t] (Xi ).

364

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Die Doob-Meyer-Zerlegung von N (t) ist dann gegeben durch

t

N (t) =

λ(u)

k 

0



1[u,∞] (Xi ) du +

i=1

Mi (t)

i=1

t

λ(u)(k − N (u−)) du +

=

k 

0

k 

Mi (t).

(12.13)

i=1

Die Intensit¨ at von N hat die Form λ(t) = α(t)Y (t) = λ(t)(k − N (t−)). alle (Ereignisse) in [0, t] und Y (t) = Dabei ist N (t) die Anzahl der Ausf¨ k − N (t−) die Anzahl der Individuen unter Risiko zur Zeit t. Es ist J(t) = 1{Y (t)>0} = 1{N(t−)0} ist  t (i, j) = Λ



t

Y s (i)−1 J s (i) dNs (i, j).

0

¨ Als Sch¨ atzer f¨ ur die Ubergangsrate a(i, j) zur Zeit t ergibt sich daraus der Aalen-Johansen-Sch¨ atzer t P t −1  at (i, j) = Y s (i)J s (i) dNs (i, j) J s (i) ds. (12.15-1) 0

0

F¨ ur n → ∞, d.h. f¨ ur gegen ∞ wachsende Intensit¨at, erhalten wir aus den Aussagen in Kapitel 12.3 dessen Konsistenz und asymptotische Normalit¨at.  t (i, j) ist der MarEine intuitiv naheliegende Alternative zu dem Sch¨atzer Λ ¨ tingalsch¨ atzer Nt (i, j), der Anzahl der Uberg¨ange von i nach j. Dieser f¨ uhrt zu dem Sch¨ atzer Nt (i, j)  a∗ (i, j) =  t (12.15-2) 0 Y s (i) ds ¨ ¨ ange von i → j f¨ ur die Ubergangsrate a(i, j).  a∗ (i, j) ist die Anzahl der Uberg¨ geteilt durch die Besetzungszeit von Zustand i. Im Unterschied zu dem nat¨ urlichen Sch¨ atzer  a∗ ist aber der Martingalsch¨ atzer  at auch anwendbar f¨ ur zeitabh¨angige (inhomogene) Erzeuger at (i, j). Beispiel 12.2.6 (Cox-Regressionsmodell (proportional Hazard-Modell)) ¨ Das Cox-Regressionsmodell ist ein Modell f¨ ur Uberlebensdaten mit Kovariablen. ¨ Seien T1 , . . . , TK ≥ 0 unabh¨ angige Uberlebenszeiten von K Individuen. Tk habe eine Hazard-Rate der Form hk (t) = h(t)e β,Zk (t) ,

1 ≤ k ≤ K.

Dabei sind Zk (t) = Zt (k) beobachtbare, vorhersehbare Kovariablenvektoren die auch zeitunabh¨ angig sein k¨ onnen, Zt (k) = Z(k). β ist ein unbekannter parametrischer Regressionsparameter. h ist eine unbekannte baseline hazard, ein typischerweise ∞-dimensionaler Parameter. β ist ein Parameter von Interesse. Ziel ist es, den Cox-Regressionsparameter β zu sch¨ atzen. β bestimmt, auf welche Weise die Kovariablen die Lebensdauern beeinflussen. Dieses Modell geht zur¨ uck auf Cox (1972). Es geh¨ort zu den erfolgreichsten und meist zitierten Modellen der Statistik. Die Likelihoodfunktion des Coxschen Modells ist gegeben durch  K B . β,ZTk (k) L(β, h) = h(Tk )e exp − k=1

Tk

h(t)e β,Zt (k) dt

C (12.16)

0

Die Vorgehensweise zur Bestimmung eines Sch¨atzers β f¨ ur β ist es, die Likelihoodfunktion in zwei Terme zu faktorisieren. Der erste Term C(β) – der Cox partial

12.2 Martingalsch¨ atzer

367

Likelihood – h¨angt nur von β ab, der zweite Faktor h¨angt von h und (schwach) von β ab. Im ersten Schritt wird basierend auf der partial Likelihoodfunktion C(β) ein Sch¨ atzer f¨ ur β ermittelt. Danach wird eine Sch¨atzung f¨ ur h aus dem zweiten Faktor, mit gesch¨ atztem β, mittels eines Martingalsch¨atzers bestimmt. Sei λt (β, k) := e β,Zt (k) 1[t,∞) (Tk ) und λt (β) :=

K 

λt (β, k),

k=1

dann ist

 K   . ∞ L(β, h) = C(β) λTk (β)h(Tk ) e− 0 λs (β)h(s) ds k=1

mit der Cox partial Likelihood K λ (β, k) . Tk λ k=1 Tk (β) K . e β,ZTk (k) = .  β,ZTk (j) k=1 j∈Rk e

C(β) =

(12.17)

Dabei ist Rk = {j : Tj ≥ Tk } die Menge der zum Zeitpunkt Tk lebenden Individuen. Die Idee ist, dass die Cox partial Likelihood C(β) die wesentliche Information u ¨ ber β enth¨ alt. Der Maximum partial Likelihood-Sch¨atzer β := arg max C(β)

(12.18)

u atzer von β. ¨ ber den Parameterbereich von β heißt Cox-Sch¨ t Im zweiten Schritt wird die integrierte Hazard Ht := 0 h(s) ds gesch¨atzt durch −1    t := H e β,ZTi (j) . (12.19) Ti ≤t

j∈Ri

8  hat eine Interpretation als Martingalsch¨atzer. Sei Ht = K σt (N k ), H k=1 dann hat der Z¨ ahlprozess Nt (k) = 1[t,∞) (Tk ) bzgl. Ht die Intensit¨at h(t)λt (β, k). K Also hat N = at h(t)λt (β). Ist β bekannt, dann ist ein k=1 N (k) die Intensit¨ Martingalsch¨ atzer von H gegeben durch ∗ = H t



t

−1

 ∗ (β). λs dN s = H t

0

 dann geht H ∗ u  ∗ den Parameter β durch β, atzer Ersetzt man in H t t ¨ ber in den Sch¨  H  =H t.  t∗ (β) H

368

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Der zweite Faktor der Likelihood L(β, h),   ∞ ln λTk (β)h(Tk ) − λs (β)h(s) ds exp k

0



∞

= exp



∞

ln(λs h(s)) dN s −

0

 λs (β) dH(s) ,

0

t

ist bis auf den Faktor e die Likelihoodfunktion von N . Die partial Likelihood C(β) ist also der Quotient der Likelihood von N = (N (1), . . . , N (K)) und der des kumulativen Prozesses N . In Verallgemeinerung des Cox-Regressionsmodells sei N = (N (k)) ein multivariater Z¨ ahlprozess mit Intensit¨ at λ(α, β, k) = αt e β,Zt (k) Yt (k),

(12.20) 8

Dabei seien Zt (k) ∈ Rp , Yt (k) ∈ {0, 1} vorhersehbar bzgl. H, Ht = σt (N (k)). Das zugrunde liegende Wahrscheinlichkeitsmaß sei P = Pα,β . Die Beobachtungen seien gegeben durch (Nt (k), Zt (k), Yt (k)). Dabei ist Yt (k) eine baseline Intensit¨ at, α ein Intensit¨ atsparameter und Zt (k) ein Kovariablenprozess. Der Cox¨ Regressionsparameter β bestimmt die Anderung der Intensit¨at durch die Kovariablen. Ziel ist das Sch¨ atzen von α, β. Ist α bekannt, dann ist λt (k) = e β,Zt (k) Yt (k) ein multiplikatives Intensit¨ atsmodell. Die Cox partial log-Likelihood f¨ ur β ist C(β) =

K  k=1



t

1

β, Zs (k)! dNs (k) −

0

ln 0

 K

Ys (j)e

β,Zs (j)

 dN s .

j=1

 Sei β pseudo ML-Sch¨ atzer von β und Bt (α) die integrierte α-Intensit¨at (mit β → β) t Bt (α) = αs 1{ Ys (j)eβ,Z  s (j) >0} ds. 0

Dann ist wie im ersten Teil mit β → β t = B

t K 0



Ys (j)e β,Zs (j)

−1 dN s

(12.21)

j=1

Martingalsch¨ atzer f¨ ur Bt (α). Beispiel 12.2.7 (zensierte Daten) In medizinischen Verlaufsstudien ist das Problem zensierter Daten typisch. Seien Xi ≥ 0, 1 ≤ i ≤ n unabh¨ angige identisch verteilte Zufallsvariablen (Lebenszeiten) mit Verteilungsfunktion F . Zu zuf¨ alligen Zensierungszeiten Yi scheidet Individuum i aus der Studie aus, so dass nur die zensierten Variablen. Zi = min{Xi , Yi } und

δi = 1{Xi ≤Yi }

12.3 Konsistenz und asymptotische Normalit¨ at von Martingalsch¨ atzern

369

beobachtet werden. Ist δi = 0, dann ist die i-te Beobachtung zensiert, ist δi = 1, dann ist die i-te Beobachtung unzensiert. Ziel ist es, basierend auf den zensierten Beobachtungen Zi die Verteilungsfunktion F oder ein Funktional von F zu sch¨ atzen. Die Zensierungszeiten Yi haben eine (m¨oglicherweise unbekannte) Verteilungsfunktion G. Sie sind aber nicht als unabh¨angig von Xi vorausgesetzt. Sei n  Nt = 1{Zj ≤t,δj =1} j=1

der Z¨ ahlprozess der unzensierten Daten. Dann hat N die Intensit¨at Λ(t) = λ(t)Y (t) n f (t) mit λ(t) = 1−F j=1 1{Zj ≥t} die Anzahl (t) die Hazard-Rate von F und Y (t) = der Individuen, die zur Zeit t noch unter Risiko sind. Wie in Beispiel 12.2.4 ergibt sich, dass der Nelson-Aalen-Sch¨ atzer t J(s)  = dNs , J(s) = 1{Y (s)>0} β(t) (12.22) 0 Y (s) t Martingalsch¨ atzer f¨ ur die kumulative Ausfallrate β(t) = 0 λ(u)J(u) du ist und der Kaplan-Meier-Sch¨ atzer   . ΔNs F(t) = 1 − (12.23) 1− Y (s) s≤t Martingalsch¨ atzer der Verteilungsfunktion F ist. Im Fall unzensierter Daten, δj = 1, 1 ≤ j ≤ n ist F(t) identisch mit der empirischen Verteilungsfunktion. Der Kaplan-Meier-Sch¨ atzer F(t) ist eine Subverteilungsfunktion. Sie gibt positive Masse an die unzensierten Beobachtungen ΔF(t) #{j : Zj = t, δj = 1} . = #{j : Zj ≥ t} 1 − F (t−) Im Vergleich zur empirischen Verteilungsfunktion ist die Normierungsgr¨oße nicht konstant sondern gleich der Anzahl der zur Zeit t noch unter Risiko stehenden Individuen.

12.3

Konsistenz und asymptotische Normalit¨ at von Martingalsch¨ atzern

Martingalsch¨ atzer sind nach Proposition 12.2.2 erwartungstreu und ihre Varianz l¨asst sich explizit bestimmen. In diesem Abschnitt behandeln wir einige Konsistenzeigenschaften dieser Sch¨ atzer und ihre asymptotische Normalit¨at. Diese Eigenschaften erlauben es, approximative Konfidenzintervalle f¨ ur die Sch¨atzfunktionale anzugeben.

370

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Ein wichtiges Hilfsmittel f¨ ur Konsistenzaussagen ist die Lenglart-Ungleichung. F¨ ur die im Folgenden behandelten Prozesse X = (Xt ) stellen wir stets die u ¨ blichen Voraussetzungen: (Xt , Ht ) ist adaptiert an die rechtsseitig stetige, vollst¨ andige Filtration (Ht ) und X ist ein c`adl`ag-Prozess. Satz 12.3.1 (Lenglart-Ungleichung) Seien (Xt , Ht ), (Yt , Ht ) nichtnegative c` adl` ag-Prozesse, sei Y ↑ und Y0 = 0. F¨ ur alle endlichen Stoppzeiten τ bzgl. H gelte EXτ ≤ EYτ

‘Y dominiert X‘,

dann gilt ∀ε, η > 0 und alle endlichen Stoppzeiten τ P (sup Xs ≥ ε) ≤ s≤τ

η + P (Yτ ≥ η) ε

(12.24)

Beweis: F¨ ur Xt∗ := sups≤t Xs gilt P (Xτ∗ ≥ ε) ≤ P (Xτ∗ ≥ ε, Yτ < η) + P (Yτ ≥ η). Sei S := inf{t; Yt ≥ η}; da Y ein wachsender Prozess ist, gilt 1{Yτ 0} . Der Martingalsch¨ atzer f¨ ur βin (t, α) hat die Form βin (t) :=



t

λni (s)(Yin (s))−1 Jin (s) dNin (s).

(12.27)

0

Satz 12.3.3 (L2 -Konsistenz von Martingalsch¨ atzern) Im multiplikativen Intensit¨atsmodell (12.25) gelte:

T

 λn (s) 2 i

Eα 0

Yin (s)

Jin (s) dNin (s) → 0,

∀α ∈ A, 1 ≤ i ≤ k.

n ur β i im quadratiDann sind die Martingalsch¨atzer βin gleichm¨aßig konsistent f¨ schen Mittel, d.h.



2 n Eα sup βin (t) − β i (t) → 0,

∀α ∈ A.

(12.28)

t≤T

n

Beweis: Nach Proposition 12.2.2 sind (β i (t) − βin (t, α)) L2 -Martingale bzgl. Pα . Nach der Doobschen Maximalungleichung f¨ ur L2 -Martingale gilt   2 2 n Eα sup βin (t) − βin (t, α) ≤ 4Eα βin (t) − β i (t) t≤T

n = 4Eα βin − β i !T T = 4Eα (λni (s))2 Jin (s)(Yin (s))−1 hni (s, α) ds 0

= 4Eα

0

T



λni (s) Yin (s)

2 Jin (s) dNin (s) → 0.

2

372

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Bemerkung 12.3.4 (stochastische und Lp -Konsistenz) a) Es gibt eine Reihe von Varianten zu obiger L2 -Konsistenzaussage. Die LenglartUngleichung impliziert ohne L2 -Integrierbarkeitsannahme eine gleichm¨aßige stochastische Konsistenzaussage n sup |βin (s) − β i (s)| −→ 0

(12.29)

Pα

s≤T

unter der Bedingung, dass n βin − β i !T −→ 0; Pα

−→ bedeutet stochastische Konvergenz. Pα

Hinreichend ist also, dass

T

(λni (s))2 Jin (s)(Yin (s))−1 hni (s, α) ds −→ 0. Pα

0

b) Mit Hilfe der Burkholder-Davis-Gundy-Ungleichung kann die gleichm¨aßige L2 Konvergenzaussage in Satz 12.3.3 auf gleichm¨aßige Lp -Konvergenz, p > 1 verallgemeinert werden. Burkholder-Davis-Gundy-Ungleichung: F¨ ur p > 1 existieren Konstanten cp , Cp > 0 so dass f¨ ur jedes Martingal M gilt: p/2

cp E[M ]t

p/2

≤ E sup |Ms |p ≤ Cp E[M ]t ,

(12.30)

s≤t

[M ] die quadratische Variation von M .

Zentraler Grenzwertsatz Ein grundlegendes Resultat aus der Martingaltheorie behandelt die Frage, unter welchen Bedingungen eine Folge (M n ) von Martingalen auf [0, T ] in Verteilung D gegen ein Gaußsches Martingal M mit Erwartungswert 0 konvergiert, Mn → M . Gaußsche Martingale haben unabh¨ angige normalverteilte Zuw¨achse und sind daher durch die Varianzfunktion V (t) = EMt2 = E M !t eindeutig bestimmt. F¨ ur die Konvergenz gegen ein Gaußsches Martingal werden zwei Bedingungen ben¨otigt, eine Bedingung u ¨ ber die Konvergenz der Varianzen (oder Variation) und eine Lindeberg-Bedingung u unge. ¨ ber die asymptotische Vernachl¨assigbarkeit der Spr¨ Satz 12.3.5 (Verteilungskonvergenz von Martingalen) Sei (M n ) eine Folge von L2 -Martingalen auf [0, T ] und V : [0, T ] → R+ , ↑, stetig mit V (0) = 0. Es gelten: D

A1) M n !t −→ Vt ,

∀t ∈ [0, T ]

12.3 Konsistenz und asymptotische Normalit¨ at von Martingalsch¨ atzern

373

A2) ∃cn ↓ 0, so dass P (supt≤T |ΔMtn | ≤ cn ) → 1, ∀t ∈ [0, T ]. Dann existiert ein stetiges Gaußsches Martingal M mit M !t = Vt , ∀t, so dass D

Mn −→ M in D[0, T ]. Beweis: ur jede Stoppa) Im ersten Schritt zeigen wir die Straffheit von (M n ) in D[0, T ]. F¨ zeit τ ist der Prozess Xtn = (Mτn+t − Mτn )2 dominiert durch Ytn = M n !τ +t − M n !τ . Daher folgt nach der Lenglart-Ungleichung: ∀ε, δ, η > 0 gilt η P ( sup |Msn − Mτn | ≥ ε) ≤ 2 + P ( M n !τ +δ − M n !τ > η). ε τ ≤s≤τ +δ Nach dem Aldous-Kriterium f¨ ur Straffheit (vgl. Jacod und Shiryaev (2003)) folgt daraus, dass Straffheit von ( M n !) die Straffheit von (M n ) impliziert. Aber Straffheit von ( M n !) ist eine Konsequenz von Bedingung A1). b) F¨ ur den Beweis m¨ ussen wir zeigen, dass jeder H¨aufungspunkt M von (M n ) ein 2 Gaußsches Martingal mit Varianzfunktion V ist, d.h. M und M − V sind Mar2 tingale. Laut Annahme sind M und M − V Grenzwerte der Verteilungen von Teilfolgen Mn bzw. Mn2 − Mn ! von L2 - bzw. L1 -beschr¨ankten Martingalen. Dieses impliziert die obige Martingaleigenschaft. 2 Bemerkung 12.3.6 a) Es gibt allgemeinere Versionen des funktionalen Grenzwertsatzes (siehe Jacod und Shiryaev (2003)) f¨ ur Semimartingale und lokale Martingale. Die Sprungbedingung A2) kann z.B. durch die Lindeberg-Bedingung  E (ΔMtn )2 1{|ΔMtn |≥ε} → 0 t≤T

ersetzt werden. In dieser Form stammt der zentrale Grenzwertsatz 12.3.5 von Rebolledo (1980). b) Der zentrale Grenzwertsatz in Satz 12.3.5 l¨asst sich analog auf orthogonale mehrdimensionale Folgen (M1n , . . . , Mkn ) von Martingalen ¨ ubertragen. Der Limes-Gaußprozess hat dann unabh¨angige Komponenten. Der Beweis folgt mit Hilfe von Cram´er-Wold. Im multiplikativen Intensit¨ atsmodell wie in Satz 12.3.3 mit den Martinn galsch¨ atzern βin f¨ ur β i (t, α) impliziert Satz 12.3.5 als Folgerung einen funktionalen zentralen Grenzwertsatz f¨ ur die Martingalsch¨atzer βin . Satz 12.3.7 (Zentraler GWS f¨ ur Martingalsch¨ atzer) Seien f¨ ur α ∈ A und i ≤ k, λni quadratintegrierbare Integranden und sei bn ↑ ∞ so dass:

374

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

a) M n :=

√

n bn (βin − β i (·, α))

erf¨ ullt Bedingung A2)

b) ∀α ∈ A existiere eine wachsende Funktion Vti = Vti (α) so dass f¨ ur alle t, i 2 t n λi (s) D Jin (s)hni (s, α)Yin (s) ds −→ Vti (α). bn n (s) Y 0 i Dann existiert ein Gaußsches Martingal M = M (α) auf D[0, T ]k so dass Mi (α), Mj (α)! = δi,j V i (α) und

D

k n b1/2 n (β − β (·, α)) −→ M (α) in D[0, T ] . n

In den meisten der Anwendungen in Beispiel 12.2.4 waren (Nij , Λji ), 1 ≤ j ≤ n, iid Kopien eines Z¨ ahlprozesses (Ni , Λi ) mit stochastischer Intensit¨at Λi (t) = αi (t)Yi (t) = Λi (t, αi ) n bzgl. Filtrationen Hi und Pα . Der kumulative Z¨ahlprozess Nin = j=1 Nij hat dann 8  die multiplikative Intensit¨ at αi (t)Yin (t) bzgl. Hin = nj=1 Hji mit Yin = nj=1 Λji . Die Intensit¨ aten von Nin konvergieren gegen ∞ und erlauben die Anwendung der Konsistenz- und Verteilungskonvergenzaussagen in den S¨atzen 12.3.3 und 12.3.5 f¨ ur Martingalsch¨ atzer f¨ ur die aufintegrierten deterministischen Intensit¨aten αi . Satz 12.3.8 (Konsistenz und asymptotische Normalit¨ at der Martingalsch¨ atzer in iid Modellen) t a) Konsistenz: Seien βin (t) = 0 Jin (s)(Yin (s))−1 dNin (s) die Martingalsch¨atzer  n t f¨ ur β i (t, α) = 0 αi (s)(Eα Jin (s)) ds. Dann gilt:

2 n Eα sup βin (t) − β i (t) → 0. t≤T

T b) Asymptotische Normalit¨ at: Ist 0 Eα (Yi (s))−1 Jin (s) ds < ∞, dann kon√ n vergiert n(β − β(α)) bzgl. Pα in Verteilung auf D[0, T ]k gegen ein k-dimensionales Gaußsches Martingal M (α) mit t Mi (α), Mj (α)!t = δij Eα (Yi (s))−1 Ji (s)αi (s) ds, Ji (s) = 1{Eα Yi (s)>0} . 0

Beweis: a) Nach Satz 12.3.3 ist zu zeigen, dass T αi (s)(Yin (s))−1 Jin (s) ds → 0. Eα 0

Nach dem Gesetz großer Zahlen folgt aber Yin (s)−1 Jin (s) → 0 auf der Menge {Ji (s) = 1}, d.h. Eα Yi (s) > 0. Daraus folgt die Behauptung.

12.4 Verteilungsfreie Teststatistiken f¨ ur Anpassungstests

375

b) Wir verifizieren die Bedingungen von Satz 12.3.7. Die Spr¨ unge von M n = √ n n n −1 −1 n(βi − β i (·, α)) sind von der Ordnung (Yi ) ∼ n . Daher gilt Bedingung A2) mit cn = n−1/4 . F¨ ur Bedingung b) gilt nach dem Gesetz großer Zahlen und nach Voraussetzung t t n (Yin (s))−2 Λi (s) ds −→ Eα (Yi (s))−1 1{Eα Yi (s)>0} α(s) ds. 0

0

Es verbleibt zu zeigen, dass √ n n sup |β i (t, α) − β i (t, α)| −→ 0. Pα

t≤T

Die linke Seite der Konvergenzaussage ist identisch mit / t / T / / √ √ n sup // αi (s)(Jin (s) − Ji (s)) ds// = n αi (s)Ji (s)1{Yin (s)=0} ds. s≤T 0

0

Daraus folgt aber Eα

√  n n sup |β i (t, α) − β i (t, α)| = t≤T

T

√ αi (s)Ji (s) n(Pα (Yi (s) = 0))n ds → 0

0

nach dem Satz u ¨ ber majorisierte Konvergenz.

2

Bemerkung 12.3.9 Zur Anwendung von Satz 12.3.8 auf die Konstruktion von Konfidenzbereichen bet n¨otigt man Sch¨atzer f¨ ur die Limesvarianz Ci (t, α) = 0 Eα (Yi (s))−1 Ji (s)αi (s) ds. Hierzu ist der Martingalsch¨atzer t i (t, α) = n C (Yin (s))−2 1{Yin (s)>0} dNin (s) 0

geeignet.

12.4

Verteilungsfreie Teststatistiken fu ¨r Anpassungstests

Sei X1 , . . . , Xn eine iid Folge reeller Zufallsvariablen mit stetiger Verteilungsfunktion F . Sei F = {F (·, ϑ); ϑ ∼ Θ} eine Hypothesenklasse von Verteilungsfunktionen. Das Anpassungstestproblem (goodness of fit problem) besteht darin zu testen, ob die Verteilungsfunktion F in F liegt. Kernproblem ist es, eine unter der Hypothese F asymptotisch verteilungsfreie Teststatistik zu konstruieren, die es erlaubt, die Hypothese zu identifizieren. Im Fall einer einfachen Hypothese gelingt eine solche Konstruktion mit dem Kolmogorov-Smirnov-Test oder dem Cram´er-von-Mises-Test (vgl. Kapitel 4.3).

376

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Sei

1 1(−∞,x] (Xi ) Fn (x) = n i=1 n

die empirische Verteilungsfunktion und √ V ϑ (x) = n(Fn (x) − F (x, ϑ)) n

der empirische Prozess (unter Pϑ ). Ist ϑn = ϑn (X1 , . . . , Xn ) eine konsistente Sch¨atzfolge f¨ ur ϑ, dann ist es naheliegend, 

Vnϑ (x) =

√ n(Fn (x) − F (x, ϑn ))

als ‘Statistik‘ f¨ ur das Anpassungstestproblem zu betrachten. Die asymptotische  angig und kann daher nicht direkt zur Verteilung von Vnϑ ist jedoch von ϑ abh¨ Konstruktion einer asymptotisch verteilungsfreien Teststatistik verwendet werden. Ist die Hypothese einelementig F = {F }, dann ist mit der Transformation ¨ Ui = F (Xi ), Ui ∼ U (0, 1) der Ubergang zur uniformen empirischen Verteilungsfunktion n 1 Fn (t) = 1[0,t] (Ui ), 0 ≤ t ≤ 1 n i=1 und dem uniformen empirischen Prozess √ Vn (t) = n(Fn (t) − t),

0≤t≤1

(12.31)

nahegelegt und es lassen sich asymptotisch verteilungsfreie Teststatistiken, wie z.B. der Kolmogorov-Smirnov-Test oder der Cram´er-von-Mises-Test, konstruieren. Deren Verteilungseigenschaften basieren auf der Konvergenz von Vn gegen eine Brownsche Br¨ ucke V , d.h. einem Gaußschen Prozess mit Erwartungswert 0 und Cov(V (s), V (t)) = min(s, t) − st, D

Vn −→ V

in D[0, 1].

(12.32)

Von Khmaladze (1982) wurde eine Vorgehensweise f¨ ur die Konstruktion eines asymptotisch verteilungsfreien Tests im Fall zusammengesetzter Hypothesen entwickelt. Die Teststatistik basiert hierbei auf dem Martingalanteil der empirischen Verteilungsfunktion. Diese wird (nach Normierung) als Z¨ahlprozess auf der reellen Achse bzw. nach Transformation auf [0, 1] aufgefasst. Grundlegend ist der folgende Zerlegungssatz (Doob-Meyer-Zerlegung) der uniformen empirischen Verteilungsfunktion Fn (t) bzw. des uniformen empirischen Prozesses Vn . Die zugrunde liegenden Filtrationen sind die nat¨ urlichen Filtrationen Vn n AF t = At . Satz 12.4.1 (Doob-Meyer-Zerlegung von Fn , Vn ) a) Die uniforme empirische Verteilungsfunktion Fn ist ein Submartingal und Markovprozess auf [0, 1].

12.4 Verteilungsfreie Teststatistiken f¨ ur Anpassungstests

377

b) Fn hat eine Doob-Meyer-Zerlegung der Form

t

Fn (t) = 0

1 − Fn (s) ds + Mn (t) 1−s

(12.33)

mit einem Martingalanteil Mn . c) Der uniforme empirische Prozess Vn hat eine Doob-Meyer-Zerlegung der Form Vn (t) = − 0

mit Martingalanteil Wn = Beweis: a) Es gilt

√

t

Vn (s) ds + Wn 1−s

nMn .

1 1 1[0,t] (Ui ) = 1[0,t] (U(i) ), n i=1 n i=1 n

Fn (t) =

(12.34)

n

wobei U(1) ≤ · · · ≤ U(n) die zugeh¨ origen Ordnungsstatistiken beschreiben. U(i) Fn sind Stoppzeiten bzgl. (Ak ), denn   i n ∈ AF {U(i) ≤ t} = Fn (t) ≥ t . n Da U(1) ≤ · · · ≤ U(n) eine Markovkette ist, folgt, dass (Fn (t))0≤t≤1 ein Markovprozess und ein Submartingal ist. b) Sei ΔFn (t) := Fn (t + Δt) − Fn (t), Δt > 0. Dann ist bedingt unter Fn (t) (oder n unter AF t )   Δt . nΔFn (t) ∼ B n(1 − Fn (t)), 1−t Daraus folgt n E(ΔFn (t) | AF t ) = E(ΔFn (t) | Fn (t)) =

1 − Fn (t) Δt, 1−t

Hieraus folgt die Doob-Meyer-Zerlegung von Fn :

t

Fn (t) = 0

1 − Fn (s) ds + Mn (t) 1−s

mit einem Martingal Mn . Zum formalen Beweis definieren wir Mn (t) := Fn (t) − 0

t

1 − Fn (s) ds. 1−s

0 ≤ t < 1.

(12.35)

378

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Dann gilt f¨ ur s < t: n E(Mn (t) | AF s )

= E Fn (t) − Fn (s) | Fn (s) + Fn (s)  t  s 1 − Fn (u) 1 − Fn (u) // du − E − / Fn (s) du. 1−u 1−u 0 s

Nach (12.35) erhalten wir 1 − Fn (s) 1 − Fn (s) (t − s) + Mn (s) − (t − s) = Mn (s), 1−s 1−s   / n (u) / n (s) F (s) = 1−F da E 1−F n 1−u 1−s . n E(Mn (t) | AF s ) =

c) folgt aus b), da √ n

0

t

√ 1 − Fn (s) ds − nt = − 1−s

0

t

Vn (s) ds. 1−s

2

Bemerkung 12.4.2 (Doob-Meyer-Zerlegung der Brownschen Br¨ ucke) Die zu Satz 12.4.1 analoge Doob-Meyer-Zerlegung der Brownschen Br¨ ucke V (t) ist gegeben durch t V (s) V (t) = − ds + B(t); (12.36) 0 1−s der Martingalanteil ist die Brownsche Bewegung B(t). Die Brownsche Br¨ ucke hat V (s) also eine Darstellung als Diffusionsprozess mit lokalem Drift − 1−s . D

Da Vn −→ V ist es naheliegend zu vermuten, dass der Martingalanteil Mn von Vn gegen den Martingalanteil der Brownschen Br¨ ucke, also gegen die Brownsche Bewegung, konvergiert. Dieses Resultat wurde von Khmaladze (1982) f¨ ur Verteilungskonvergenz in L2 ([0, 1]) gezeigt. Der folgende Beweis f¨ ur Verteilungskonvergenz in D[0, 1] stammt von Aki (1986). Satz 12.4.3 (Konvergenz von Wn in D[0, 1]) Der Martingalanteil Wn des uniformen empirischen Prozesses konvergiert in Verteilung in D[0, 1] gegen eine Brownsche Bewegung, D

Wn −→ B.

(12.37)

Beweis: Der Beweis von Satz 12.4.3 basiert auf dem zentralen Grenzwertsatz von Rebolledo (siehe Satz 12.3.5 und die anschließende Bemerkung). Nach Satz 12.4.1 ist nFn (t) t n (s) ein Z¨ ahlprozess mit integrierter Intensit¨ at nΛn (t) = n 0 1−F ds, 0 ≤ t ≤ 1. Der 1−s Martingalanteil Wn des empirischen Prozesses Vn ist gegeben durch √ Wn (t) := n(Fn (t) − Λn (t)).

12.4 Verteilungsfreie Teststatistiken f¨ ur Anpassungstests

379

1) Wir zeigen im ersten Schritt des Beweises, dass Wn ein L2 -Martingal ist mit vorhersehbarer quadratischer Variation Wn !t = Λn (t). Zum Nachweis der Quadratintegrierbarkeit beachte, dass   1

√ √ 1 − Fn (s) ds ≤ n 1 − ln(1 − U(n) ) . |Wn (t)| ≤ n 1 + 1−s 0 Daraus folgt: E(Wn (t))2 ≤ n



1

(1 − ln(1 − u))2 nun−1 du < n2

2

(1 − ln(1 − u))2 du < ∞.

0

0

Die anderen Eigenschaften folgen aus Satz 12.4.1. 2) Im n¨ achsten Schritt zeigen wir die Lindeberg-Bedingung: ∀ε > 0, t ≤ 1 gilt  E (ΔWn (s))2 1{|ΔWn (s)|>ε} → 0. (12.38) n→∞

s≤t

unge in U(i) der H¨ ohe Wn (t) hat nur Spr¨ 

√1 . n

F¨ ur n ≥

1 ε2

+ 1 folgt daher

(ΔWn (s))2 1{|ΔWn (s)|>ε} = 0,

s≤t

so dass Bedingung (12.38) erf¨ ullt ist. D

3) Zu zeigen ist: Wn !t −→ t,

∀t ∈ [0, a]. Wegen Wn !t = Λn (t) ist t s − Fn (s) ds, 0 ≤ t ≤ 1. Wn !t − t = 1−s 0

Daher gilt:



| Wn !t − t| ≤ sup |Fn (s) − s| − ln(1 − U(n) ) + (1 − U(n) ) . 0≤s≤1

Es gilt 1−U(n) → 0. Da n(1−U(n) ) gegen eine Exponentialverteilung konvergiert, P

gilt − ln(1 − U(n) ) = Op (ln n). Weiter gilt √ D n sup |Fn (t) − t| −→ sup |V (t)|, 0≤t≤1

0≤t≤1

V eine Brownsche Br¨ ucke. Daher folgt sup0≤t≤1 |Fn (t) − t| = Op (n−1/2 ) und es folgt | Wn !t − t| −→ 0. P

Damit sind die Bedingungen des Satzes von Rebolledo erf¨ ullt und es folgt die Behauptung. 2

380

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

In der folgenden Bemerkung beschreiben wir eine Reihe von Konstruktionsverfahren f¨ ur asymptotisch verteilungsfreie Tests als Funktionale vom Martingalanteil Wn im Fall einfacher Hypothesen. Analoge Konstruktionen lassen sich dann auch im Fall zusammengesetzter Hypothesen im folgenden Abschnitt vornehmen. Bemerkung 12.4.4 a) Sind (Xi ) iid mit Verteilungsfunktion F auf [0, 1], dann folgt analog f¨ ur   1 √ 1 − Fn (s) dF (s) (12.39) Wn (t) := n Fn (t) − 0 1 − F (s) D

Wn −→ B ◦ F in D[0, 1], B eine Brownsche Bewegung. Dieses ergibt sich mit der Darstellung Xi = F −1 (Ui ) und damit Wn (t) = Wnu ◦ F (t), Wnu der Martingalanteil des uniformen empirischen Prozesses. b) Lineare Funktionale: 1 Sei h stetig differenzierbar auf [0, 1] und Tn (h) = 0 h(t) dWn (t) ein stetiges lineares Funktional des Martingalanteils Wn des uniformen empirischen Prozesses. Tn (h) ist ein m¨ oglicher Kandidat f¨ ur eine verteilungsfreie Statistik im Anpassungstest mit einfacher Hypothese. Es gilt:  1  D Tn (h) −→ N 0, h2 (t)dt . 0

Mit leichter Umrechnung ergibt sich 1  (h(Ui ) − H(Ui )) Tn (h) = √ n i=1



n

t

mit H(t) := 0

h(s) ds. 1−s

(12.40)

c) Neyman’s smooth test: Die Teststatistik von Neyman’s smooth test ist von

2 k n der Form TnN = n1 j=1 i=1 πj (Ui ) . Dabei sind π1 , . . . , πk orthonormale t 1 Polynome auf [0, 1]. Mit p0j (t) := 1−t 0 πj (s)(1 − s) ds gilt t 0 pj (s) ds = πj (t) − πj (0). p0j (t) − 0 1−s Damit gilt nach (12.40) in b) 1  √ πj (Ui ) = n i=1 n



1

p0j (t) dWn (t) +

√ nπj (0).

0

Als Konsequenz ergibt sich, dass Neyman’s smooth test TnN eine Darstellung als Summe von Quadraten von linearen Funktionalen von Wn hat,  t  2 k  1  √ 1 TnN = πj (s)(1 − s)ds dWn (t) + nπj (0) . (12.41) 0 1−t 0 j=1 In Konsequenz ergibt sich, dass TnN asymptotisch χ2 -verteilt ist.

12.4 Verteilungsfreie Teststatistiken f¨ ur Anpassungstests

381

d) Supremum Test-Statistik: In Analogie zum Kolmogorov-Smirnov-Test f¨ ur das Anpassungstestproblem F ∼ U (0, 1) betrachten wir die Supremum TestStatistik: / / t / √ 1 − Fn (s) // s / Tn = n sup /Fn (t) − ds/. 1−s 0≤t≤1 0 Es gilt:

D

Tns −→ sup |B(t)|,

(12.42)

0≤t≤1

B eine Brownsche Bewegung. Die Verteilungsfunktion G von sup0≤t≤1 |B(t)| ist 0 1 ∞ π 2 (2k + 1)2 4  (−1)k exp − . G(u) = π 2k + 1 8n2 k=0

Anpassungstests f¨ ur zusammengesetzte Hypothesen F¨ ur eine zusammengesetzte Hypothese Θ ⊂ Rk mit einer zusammenh¨angenden Parametermenge in Rk wurde das Konstruktionsverfahren f¨ ur asymptotisch verteilungsfreie Statistiken von Khmaladze (1982) verallgemeinert. Die Grundidee ist, dass der Martingalan teil des empirischen Prozesses Vnϑ mit gesch¨ atzten Parametern wieder gegen eine Brownsche Bewegung konvergiert und daher Funktionale dieses Martingalanteils wie in Bemerkung 12.4.4 zur Konstruktion verteilungsfreier Teststatistiken genutzt werden k¨ onnen. Wir geben im Folgenden nur eine kurze Beschreibung der Vorgehensweise und verzichten auf die Ausf¨ uhrung der teilweise aufwendigen Beweise und Bedingungen. F¨ ur Details verweisen wir auf Khmaladze (1982) und Prakasa Rao (1987). Sei √  Vnϑ (x) = n(Fn (x) − F (x, ϑn )) (12.43) der empirische Prozess mit gesch¨ atzten Parametern. Mit der Umparametrisierung t = F (x, ϑ) mit einem fest gew¨ ahlten Parameter ϑ ∈ Θ erhalten wir die standardisierte Form √ √  Un (t) = Vnϑ (x) = n(Fn (x) − F (x, ϑ)) + n(F (x, ϑ) − F (x, ϑn )) √ = Vn (t) − g(t, ϑ)T n(ϑn − ϑ) + rn (t) mit g(t, ϑ) = ∇G(t, ϑ), g(t, ϑ) = F (F −1 (t, ϑ), ϑ) und einem Restterm rn , der in L2 ([0, 1]) stochastisch gegen 0 konvergiert. Unter geeigneten Regularit¨atsannahmen l¨asst sich zeigen, dass der Martingalanteil Wnϑ (t) von Un (t) von der Form ist 1 √ ϑ Wn (t) = n(Fn (t) − M (t, τ, ϑ)dFn (τ )) (12.44) 0

mit der uniformen empirischen Verteilungsfunktion Fn (t) = Fn (F −1 (t, ϑ)) und dem Kern t∧τ 1 T −1 M (t, τ, ϑ) = ∇g(s) C (s) ds∇g(τ ), C(t) = ∇g(u)∇g(u)T du. 0

t

382

12 Statistik f¨ ur Z¨ ahlprozesse und Martingalmethode

Dabei ist g eine Funktion von g(t, ϑ) und der Fisher-Informationsmatrix I(ϑ),     t 1 0 −1/2 g(t) = Γ mit Γ = 0 I(ϑ) . g(t, ϑ) √ Unter der Annahme, dass ϑn n-konsistent ist, d.h. √ n(ϑn − ϑ) = Op (1) ist dann das zentrale Resultat, dass  √ Wn (t) = n Fn (t) −

1

 M (t, τ, ϑn ) dFn (τ )

(12.45)

0

atztem Parameter – asymptotisch vertei– der Martingalanteil von Wnϑ mit gesch¨ lungsfrei ist und D

Wn −→ B,

B eine Brownsche Bewegung.

Daher k¨ onnen Funktionale von Wn (wie in Bemerkung 12.4.4) benutzt werden um asymptotisch verteilungsfreie Teststatistiken f¨ ur das Anpassungstestproblem f¨ ur die zusammengesetzte Hypothese Θ zu konstruieren. Die Doob-Meyer-Zerlegung aus der Martingaltheorie erlaubt es also auch f¨ ur Anpassungstests an zusammengesetzte Hypothesen asymptotisch verteilungsfreie Teststatistiken zu konstruieren.

Kapitel 13

Quantile hedging

1

Im abschließenden Kapitel dieses Buches behandeln wird eine Anwendung der Testtheorie auf die L¨ osung eines Problems aus der Finanzmathematik. Wir behandeln eine Variante des hedging-Problems mit dem Ziel, einen Claim mit maximaler Wahrscheinlichkeit erfolgreich zu hedgen. Das hedging-Prinzip ist fundamental f¨ ur die moderne Finanzmathematik. Um einen Claim (eine Option) zu hedgen (abzusichern), ist die Auswahl einer geeigneten hedging-Strategie erforderlich, die zur Anwendung ein bestimmtes Anfangskapital x erfordert. Hat ein Investor aber nur ein kleineres Kapital x0 < x zum Absichern dieser Position zur Verf¨ ugung, so ist es ein naheliegendes Ziel, den Claim unter dieser Restriktion mit m¨oglichst hoher Wahrscheinlichkeit abzusichern. Diese Aufgabe f¨ uhrt auf Optimierungsprobleme, die mit der Testtheorie gel¨ ost werden k¨ onnen. Der Ansatz geht zur¨ uck auf Arbeiten von F¨ ollmer und Leukert (1999, 2000) und ist in vielen weiterf¨ uhrenden Arbeiten modifiziert und erweitert worden. Ziel dieses Kapitels ist es, diese elegante Anwendung der Testtheorie auf eine wichtige Thematik der Finanzmathematik in ihren Grundz¨ ugen darzustellen. Wir behandeln zun¨ achst den Fall vollst¨ andiger M¨ arkte. Sei X = (Xt )0≤t≤T ein Semimartingal (SMG) auf (Ω, A, P ) mit Filtration (At ) ⊂ A und sei P die Menge der zu P ¨ aquivalenten Martingalmaße von X, d.h. X ist bzgl. jedem Q ∈ P ein Martingal und Q ∼ P , ∀Q ∈ P. Die Grundannahme ist, dass P = Ø.. Nach dem ersten Fundamentalsatz der Preistheorie ist diese Annahme ¨aquivalent dazu, dass das Marktmodell (X, P ) arbitragefrei ist. Nach dem zweiten Fundamentaltheorem ist ein Marktmodell genau dann vollst¨ andig, d.h. jeder Claim ist perfekt hedgebar, wenn |P| = 1, d.h. es gibt genau ein ¨ aquivalentes Martingalmaß P = {P ∗ }. Sei (V0 , ξ) eine selbstfinanzierende Strategie mit Anfangskapital V0 und mit vorhersehbarem Integranden ξ. (V0 , ξ) ist zul¨ assig, wenn der Werteprozess (Vt ) nichtnegativ ist, t

ξs dXs ≥ 0,

Vt = V0 +

0 ≤ t ≤ T.

0 1 Die Anwendung auf hedging-Probleme in diesem Abschnitt erfordert einige Kenntnisse aus der zeitstetigen Finanzmathematik.

L. Rüschendorf, Mathematische Statistik, Springer-Lehrbuch Masterclass, DOI 10.1007/978-3-642-41997-3_13, © Springer-Verlag Berlin Heidelberg 2014

384

13 Quantile hedging

Ein contingent claim H ist ein Element H ∈ L1+ (AT , P ∗ ), H ≥ 0, z.B. eine europ¨ aische Call-Option H = (XT − K)+ . Im vollst¨andigen Modell existiert ein perfekter hedge von H, d.h. es existiert eine vorhersehbare Handelsstragegie ξ H , so dass t

E∗ (H | At ) = H0 +

ξsH dXs ,

0 ≤ t ≤ T.

0

H wird durch (H0 , ξ H ) dupliziert,



T

ξsH dXs ,

H = H0 + 0

und es gilt f¨ ur das ben¨ otigte Anfangskapital H0 , die fundamentale Preisformel H0 = E∗ H.

(13.1)

H0 ist der No-Arbitrage-Preis des Claims H. Diese Preisfestsetzung ist die Grundlage der Black-Scholes-Preistheorie. Wenn der Investor weniger als das ben¨otigte Anfangskapital H0 f¨ ur eine hedge-Strategie zur Verf¨ ugung hat – etwa einen Betrag V 0 < H0 – dann ist das folgende Quantile hedging-Problem eine sinnvolle Variante: Gesucht ist eine zul¨ assige Strategie (V0 , ξ), so dass   T ξs dXs ≥ H = max! (13.2) (P ) P V0 + (V0 ,ξ) zul¨ assig 0   V0 ≤V 0 =:VTξ

Zur L¨ osung des Quantile hedging-Problems (P ) betrachten wir folgendes relaxiertes Hilfsproblem (P), das zugeh¨ orige statische hedging-Problem:  P (A) = max! A∈AT (13.3) (P ) E∗ H1A ≤ V 0 Die statische Erfolgsmenge A in (P ) ersetzt die Erfolgsmenge A(ξ) := {VTξ ≥ H} in Problem (P ).  = H1A heißt knockout-Option zu A. H Proposition 13.1 (Reduktion auf das statische hedging-Problem)  ∈ AT L¨osung von (P) und sei ξ ein perfekter hedge f¨ Sei A ur die knockout-Option  H := H1A, d.h. t ξs dXs , t ≤ T. E∗ (H1A | At ) = E∗ H1A + 0

 das Quantile hedging-Problem (P ) und die Erfolgsmenge von Dann l¨ost (V 0 , ξ)  ist A.  (V 0 , ξ)

13 Quantile hedging

385

Beweis: assig und V0 ≤ V 0 , dann ist der zugeh¨orige Werteprozess (Vtξ ) ein 1) Sei (V0 , ξ) zul¨ nichtnegatives lokales Martingal bzgl. P ∗ , also auch ein Supermartingal bzgl. P ∗. Sei A := {VTξ ≥ H} = A(ξ) die Erfolgsmenge von (V0 , ξ), dann ist VTξ ≥ H1A V 0 ≥ V0 ≥ E∗ VTξ ,

Daraus folgt

da VTξ ≥ 0 da (Vtξ ) ein Supermartingal ist

≥ E∗ H1A d.h. A erf¨ ullt die Bedingung des statischen hedging-Problems (P ). Daraus folgt  P (A) ≤ P (A),  optimal f¨ da nach Annahme A ur das statische hedging-Problem (P) ist.  = H1 . Sei nun ξ eine perfekte hedging-Strategie f¨ ur die knockout-Option H A Dann gilt:  mit E∗ H1  ≤ V0 ≤ V 0 ist optimal f¨ 2) Jede Strategie (V0 , ξ) ur das Quantile A hedging-Problem (P ).  Diese Zum Nachweis von 2) zeigen wir zun¨ achst die Zul¨assigkeit von (V0 , ξ). folgt aus der Ungleichungskette t t V0 + ξs dXs ≥ E∗ H1A + ξs dXs 0

0

= E∗ (H1A | At ) ≥ 0. Sei A := {V0 +

T 0

 dann gilt ξs dXs ≥ H} die Erfolgsmenge von (V0 , ξ),  ⊂ {H1  ≥ H} ⊂ A, A A a)

b)

denn  ist H(w)1 (w) = H(w), also w ∈ {H1  ≥ H}. a) F¨ ur w ∈ A A A b) Wegen V0 ≥ E∗ H1A gilt  A⊃ und

E∗ H1A +

E∗ H1A +

also A ⊃ {H1A ≥ H}.



0

T

T

ξs dXs ≥ H



0

ξs dXs = E∗ (H1A | AT ) = H1A,

386

13 Quantile hedging

 folgt aus obigen Inklusionen: A = A  [P ]. Also ist A  ErWegen P (A) ≤ P (A)  Insbesondere ist dann (V 0 , ξ)  optimal f¨ ur (P ). folgsmenge der Strategie (V0 , ξ). 2 Zur L¨ osung des statischen hedging-Problems (P ) definieren wir das Wahrscheinlichkeitsmaß Q∗ durch dQ∗ H H = := . dP ∗ E∗ H H0 Damit l¨ asst sich die Nebenbedingung von (P ) schreiben in der Form Q∗ (A) =

V0 E∗ H1A ≤ α := ≤ 1. E∗ H H0

Also ist das statische hedging-Problem (P ) ¨ aquivalent zu dem einfachen Testproblem ⎧ ⎪ ⎨ P (A) = max!,  (P) (13.4) ⎪ ⎩ Q∗ (A) ≤ α, d.h. zur Bestimmung eines besten nichtrandomisierten Tests zum Niveau α f¨ ur ussel zur L¨osung des statischen hedging(Q∗ , P ). Diese Identifikation ist der Schl¨ Problems. Die L¨ osung erh¨ alt man nach dem Neyman-Pearson-Lemma durch     dP dP a A := >a = > aH mit a := , dQ∗ dP ∗ H0 dP wenn a so gefunden werden kann, dass Q∗ ({ dP ∗ > aH}) = α. Als Resultat erhalten wir damit

Satz 13.2 (L¨ osung des Quantile hedging-Problems)  L¨osung des  := { dP∗ > aH} mit a > 0 so, dass Q∗ (A)  = α. Dann ist (V 0 , ξ) Sei A dP Quantile hedging-Problems (P ). Dabei ist ξ der perfekte hedge f¨ ur die knockoutOption H1A. Bemerkung 13.3  mit Q∗ (A)  = α. Deshalb betrachten wir Im Allgemeinen existiert keine Menge A allgemeiner Testfunktionen ϕ  so dass ⎧ ⎪ ⎨ EP ϕ  = sup EP ϕ, (P ) ⎪ ⎩ EQ∗ ϕ ≤ α = V 0 ≤ 1. H0

13 Quantile hedging

387

(P ) hat nach dem Neyman-Pearson-Lemma eine L¨osung der Form ϕ  = 1{

dP dP ∗

>aH}

+ γ1{

dP dP ∗

=aH} .

(13.5)

ϕ  liefert eine L¨osung des erweiterten hedging-Problems, den erwarteten ‘Erfolgsquotienten‘ ϕξ,V0 zu maximieren mit ϕξ,V0 := 1(H≤V ξ ) + T

VTξ 1 ξ , H (VT aH}

+

Im unvollst¨ andigen Fall ist nicht jeder Claim exakt hedgebar. Die minimalen Kosten f¨ ur ein Superhedging des Claims H haben die folgende duale Charakterisierung durch No-Arbitrage-Preise:   T inf V0 ; ∃ξ zul¨ assig, VTξ = V0 + ξs dXs ≥ H = sup EP ∗ H =: U0 . (13.7) P ∗ ∈P

0

Nach Annahme ist U0 < ∞ und P = Me (P ) = Ø ist die Menge der zu P ¨aquivalenten Martingalmaße. Sei Ut := ess sup EP ∗ (H | At ) P ∗ ∈P

eine rechtsseitig stetige Version des wesentlichen Supremums, dann ist (Ut ) ein PSuper-Martingal (simultan f¨ ur alle P ∗ ∈ P!). (Ut ) ist kleinstes P-Super-Martingal Z mit Zt ≥ 0 so dass ZT ≥ H. Nach dem optionalen Zerlegungssatz von Kramkov (1996), F¨ollmer und Kramkov (1997) hat (Ut ) die Zerlegung t Ut = U0 + ξs dXs − Ct [P], (13.8) 0

388

13 Quantile hedging

wobei Ct ein wachsender optionaler Prozess ist mit C0 = 0 und ξ ein zul¨assiger Integrand ist. Es gilt:  Ut = ess inf Vt ; Vt ≥ 0, Vt ∈ L(At ), ∃ξ zul¨assig, Vt +

T

 ξs dXs ≥ H . (13.9)

t

Also ist Ut obere Schranke f¨ ur jeden zul¨ assigen Preis zur Zeit t. ugung stehende Anfangskapital – weniger Sei nun V 0 < U0 das zur Verf¨ als f¨ ur eine Superhedging-Strategie notwendig ist. Gesucht sind L¨osungen f¨ ur das Superhedging-Problem: (P )

EP ϕ = sup{EP ϕξ,V0 ; (V0 , ξ) zul¨assig, V0 ≤ V 0 }.

Wir betrachten wieder ein relaxiertes statisches hedging-Problem

(P )

⎧ ⎪ ⎨ EP ϕ

= sup !,

⎪ ⎩ EP ∗ Hϕ ≤ V 0 ,

∀P ∗ ∈ P.

(13.10)

Das statische Superhedging-Problem (P ) im unvollst¨andigen Fall hat die Form eines Testproblems f¨ ur eine zusammengesetzte Hypothese gegen eine einfache Alternative. Wir beschreiben dieses Testproblem im Detail nach folgendem Satz. Satz 13.5 (L¨ osung des Superhedging-Problems, unvollst¨ andiger Fall) a) Es existiert eine L¨osung ϕ  ∈ Φ des statischen hedging-Problems (P ).  := H ϕ b) Sei H  ∈ L1 (P) der reduzierte Claim und  hedgebar ist, dann sei ξ eine hedging-Strategie • falls H  nicht hedgebar ist, dann sei ξ die Strategie aus der optionalen Zer• falls H legung vom P-Supermartingal t = ess sup EP ∗ (H  | At ). U P ∗ ∈P

(13.11)

 eine optimale L¨osung des Superhedging-Problems (P ). Dann ist (V 0 , ξ)

13 Quantile hedging

389

Beweis: a) Die Existenz einer L¨ osung von (P ) folgt aus dem Existenzsatz f¨ ur optimale Tests (vgl. Satz 6.1.5), da die Alternative dominiert ist. b) 1) Sei (V0 , ξ) zul¨ assig, V0 ≤ V 0 und (Vt ) = (Vtξ ) zugeh¨origes Supermartingal sowie ϕ = ϕξ,V0 der zugeh¨ orige Erfolgsquotient. Dann folgt f¨ ur alle P ∗ ∈ P EP ∗ Hϕ ≤ EP ∗ VTξ ≤ V0 , ullt. da (Vtξ ) ein Supermartingal ist. Also ist die Nebenbedingung von (P ) erf¨ Die erste Ungleichung gilt, da ϕ = 1(H≤V ξ ) + T

also VTξ ≥ Hϕ. Damit gilt

VTξ 1(H>VT ) , H

EP ϕ ≤ EP ϕ. 

 die Strategie aus der optionalen Zerlegung von (U 0 , ξ) t ), zugeh¨orig 2) Sei nun (U  = H ϕ. zu H  Dann gilt: 0 = V 0 , U da der optimale Test ϕ  o.E. das Niveau aussch¨opft. F¨ ur den Werteprozess  (Vt ) = (Vtξ ) gilt:  = H ϕ.  (13.12) VT ≥ H  dann gilt nach 1):  der Erfolgsquotient zu (V 0 , ξ), 3) Sei Ψ  ≤ EP ϕ.  EP Ψ  ≥ϕ Nach (13.12) folgt aber Ψ  [P ].

 und (V 0 , ξ)  l¨ost das SuperhedgingDaher ist ϕ  Erfolgsquotient von (V 0 , ξ) Problem (P ). 2 Bemerkung 13.6 Das statische hedging-Problem (P ) l¨ asst sich als Testproblem formulieren. Mit dQ∗ H , := dP ∗ EP ∗ H

P ∗ ∈ P,

l¨ asst sich die Nebenbedingung EP ∗ Hϕ ≤ V 0 , ∀P ∗ ∈ P umformulieren zu V0 ; ϕ dQ∗ ≤ α(Q∗ ) := EP ∗ H das einzuhaltende Niveau ist also nicht konstant auf P. Problem (P ) ist also ¨aquivalent zum Testproblem ({Q∗ ; P ∗ ∈ P}, {P }) zum Niveau α = α(Q∗ ).

390

13 Quantile hedging

Eine hinreichende Bedingung f¨ ur eine L¨osung ergibt sich aus 6der Mischungsmethode f¨ ur zusammengesetzte Hypothesen. Die Hypothese Q := Q∗ = EH P ∗; ∗H ? P ∗ ∈ P ist maßkonvex und abgeschlossen, also liegen Mischungen wieder in Q und es gilt nach der Mischungsmethode (Satz 6.3.4):  ∈ Q so dass Angenommen, es existiert Q ⎧ ⎪ ⎪ ⎨ 1, ϕ  = γ, ⎪ ⎪ ⎩ 0,

dP  dQ

> = λ
−∞, ∀a ∈ A. a

Dann gilt f¨ ur τ < m(Γ):

m 7

(M ≥ τ )bi = Ø.

i=1

Beweis: O.E. sei m(Γ) = −∞. Seien S := {(M (a, b1 ), . . . , M (a, bm )); a ∈ A} ⊂ [−∞, ∞)m ,

H := [τ, ∞)m

A.3 Spieltheoretische Grundlagen

405

m Angenommen: i=1 (M ≥ τ )bi = Ø, dann folgt S ∩ H = Ø. Offensichtlich ist S ⊂ T := {y ∈ [−∞, ∞)m ; ∃x ∈ S, y ≤ x} = S− . 2

Wir ben¨ otigen nun zwei Lemmata. Lemma A.3.19 Die Menge T ist konvex. Beweis: Seien y i ∈ T , ai ≥ 0, 1 ≤ i ≤ n, dass y i ≤ xi , 1 ≤ i ≤ n,; also gilt n 

αi y i ≤

i=1

n i=1

n 

αi = 1. Dann existieren xi ∈ S so

αi xi .

i=1

Seien xi = (xi1 , . . . , xin ), dann existieren ai ∈ A, so dass xij = M (ai , bj ) und daher n 

αi xij =

i=1

n 

αi M (ai , bj ).

i=1

Da A konkav bzgl. Γ ist, existiert ein a ∈ A so dass n 

αi M (ai , bj ) ≤ M (a, bj ) =: zj ,

1 ≤ j ≤ m.

i=1

⇒ also ist

n i=1

n 

αi xi ≤ z = (z1 , . . . , zm ) ∈ S;

i=1

αi x ∈ T . i

Lemma A.3.20 Sei T := T ∩ Rm , dann gilt: T ist konvex, T = Ø und T ∩ H = Ø. Beweis: a) Nach Lemma A.3.19 ist T konvex, also auch T . b) Angenommen: T = Ø, dann folgt: ∀ϑ ∈ S existiert ein Index i, so dass ϑi = −∞. m ∀a ∈ A. ⇒ i=1 M (a, bi ) = −∞,

2

406

Anhang A

Da B konvex bzgl. Γ ist, existiert ein b ∈ B, so dass 1  M (a, bi ) = −∞, m i=1 m

M (a, b) ≤

∀a ∈ A.

⇒ MII (b) = sup M (a, b) = −∞ a

⇒

m(Γ) = −∞ im Widerspruch zu τ < m(Γ).

Also folgt, dass T = Ø ist. c) Da nach Annahme S ∩ H = Ø folgt: T ∩ H = Ø. Beweis von Satz A.3.18:

m 7

1) Angenommen, es w¨ are

2

(M ≥ τ )bi = Ø.

i=1

Nach Lemma A.3.20 sind H = [τ, ∞)m und T disjunkte konvexe Teilmengen von Rm . Daher folgt nach dem Trennungssatz f¨ ur konvexe Mengen: ∃ = (1 , . . . , m ) ∈ Rm ,  = 0, so dass T x =

m 

∀x ∈ H, ∀y ∈ T .

i xi ≥ T y,

i=1

Da H nicht nach oben beschr¨ ankt ist, folgt: i ≥ 0, 1 ≤ i ≤ m o.E. Mit (τ, . . . , τ ) ∈ H folgt

T y ≤ τ,

∀y ∈ T .

2) ∃y ∈ S \ T , so dass T y > τ . Denn angenommen: T y ≤ τ, ∀y ∈ S. Da B konvex bzgl. Γ ist, existiert dann ein b ∈ B so dass: M (a, b) ≤

m 

i M (a, bi ) ≤ τ,

∀a ∈ A.

i=1

⇒

MII (b) ≤ τ ,

also gilt erst recht: m ≤ MII (b) ≤ τ < m, ein Widerspruch. Also existiert y ∈ S \ T , so dass T y > τ . Aber f¨ ur y ∈ S \ T existiert ein i so dass yi = −∞.

m

i=1 i

= 1.

A.3 Spieltheoretische Grundlagen

407

3) Sei I := {i; yi > −∞, ∀y ∈ S \ T so dass T y > τ }, dann folgt: I = {1, . . . , m} und i = 0, ∀i ∈ I. F¨ ur p ∈ (0, 1) definiere pi := i p, ∀i ∈ I. Dann gilt:  pi = p. i∈I

Definiere: pi :=

1−p m−|I| ,

i ∈ I, dann folgt: n 

 i∈I

pi = 1 − p und damit

pi = 1 und pi ≥ 0.

i=1

4) Da B konvex bzgl. Γ ist, existiert ein bp ∈ B so dass ∀a ∈ A gilt: M (a, bp ) ≤

n 

pi M (a, bi )

i=1

= p



i M (a, bi ) +

1−p  M (a, bi ) m − |I| i∈I

i∈I m 

1−p  = p i M (a, bi ) + M (a, bi ) m − |I| i=1 i∈I

5) Wir leiten nun die folgende Ungleichung her: τ < m ≤ MII (bp ) ≤ pτ +

1−p  MII (bi ). m − |I| i∈I

Zum Beweis von 5) betrachten wir zwei F¨alle. m Ist i=1 i M (a, bi ) ≤ τ , dann ist M (a, bp ) ≤ pτ +

1−p  M (a, bi ) m − |I| i∈I

1−p  MII (bi ). ≤ pτ + m − |I| i∈I

m

Wenn i=1 i M (a, bi ) > τ , dann existiert nach 1) ein Index i so, dass M (a, bi ) = −∞, d.h. i ∈ I. Nach 4) ist dann M (a, bp ) = −∞. Daraus folgt ∀a ∈ A ist 1−p  M (a, bp ) ≤ pτ + MII (bi ). m − |I| i∈I

Daraus folgt Behauptung 5).

408

Anhang A

6) Wir zeigen nun schließlich



MII (bi ) < ∞.

i∈I

∀i ∈ I existiert ein y = (M ( a, b1 ), . . . , M ( a, bm )) ∈ S, so dass M ( a, bi ) = −∞, ⇒ MII (bi ) < ∞.  MII (bi ) < ∞.

Damit folgt:

i∈I

τ < m ≤ τ , ein Widerspruch und damit die 2

Aus 5) folgt daher f¨ ur p → 1 Behauptung des Satzes.

Als Korollar erhalten wir nun den folgenden Satz u ¨ ber die Existenz des Spielwertes. Satz A.3.21 (Existenz des Spielwertes) Sei Γ = (A, B, M ) ein konkav-konvexes ZNS mit |M | < ∞ und es gelten 1) ∃(bn ) ⊂ B : inf b M (a, b) = inf n M (a, bn ), ∀a ∈ A 2) ∀(an ) ⊂ A : ∃a ∈ A so dass limM (an , b) ≤ M (a, b),

∀b ∈ B,

Dann hat Γ einen Wert. Beweis: Sei m ≥ 1 und τ < m(T ), dann folgt nach Satz A.3.18: m 7

Sei am ∈

m

i=1 (M

(M ≥ τ )bi = Ø.

i=1

≥ τ )bi , ∀m ∈ N, dann existiert nach 2) ein a ∈ A so dass limM (an , b) ≤ M (a, b),

∀b ∈ B.

Beh.: M (a, b) ≥ τ, ∀b ∈ B. Nach 1) reicht es zu zeigen: M (a, bi ) ≥ τ, ∀i ∈ N. F¨ ur n ≥ i gilt M (an , bi ) ≥ τ . Damit folgt nach obiger Konstruktion M (a, bi ) ≥ limM (an , bi ) ≥ τ, ∀i ∈ N, also die Behauptung, und es gilt 7

(M ≥ τ )b = Ø.

b∈B

Satz A.3.18 impliziert die Existenz des Spielwertes.

2

Die Bedingungen von Satz A.3.18 lassen sich unter topologischen Annahmen verifizieren und liefern den folgenden zentralen Existenzsatz f¨ ur den Spielwert.

A.3 Spieltheoretische Grundlagen

409

Satz A.3.22 (Topologischer Existenzsatz f¨ ur den Spielwert) Sei Γ = (A, B, M ) ein konkav-konvexes ZNS mit M < ∞. Sei τ eine Topologie auf A so dass 1) A ist τ -kompakt. 2) ∀b ∈ B ist M (·, b) : A → R halbstetig nach oben (hno). Dann hat Γ einen Wert und es existiert eine Maximin-Strategie f¨ ur Spieler I. Beweis: Sei τ < m; da A kompakt m und M (·, b) hno ist, ist (M ≥ τ )b kompakt, ∀b ∈ B. Nach Satz A.3.18 ist i=1 (M ≥ τ )bi = Ø f¨ ur alle endlichen Mengen {b1 , . . . , bm } ⊂ B. Wegen der Kompaktheit von A folgt: 7 (M ≥ τ )b = Ø. b∈B

Weiter ist MI (a) = inf b∈B M (a, b) hno ⇒ ∃a0 ∈ A so dass

MI (a0 ) = supa MI (a) = m(Γ). a0 ist eine Maximin-Strategie von Spieler I.

2

Als Korollar erhalten wir den von Neumannschen Minimaxsatz f¨ ur gemischte Erweiterungen. Korollar A.3.23 (von Neumannscher Minimaxsatz) Sei Γ = (A, B, M ) ein ZNS mit A = {a1 , . . . , am }, |M | < ∞, dann hat die gemischte Erweiterung Γ∗ = (A∗ , B ∗ , M ∗ ) einen Spielwert und es existiert eine MaximinStrategie f¨ ur Spieler I. Beweis: Wir identifizieren a∗ ∈ A∗ mit dem Vektor ϑ = (ϑ1 , . . . , ϑm ), ϑi = a∗ (ai ) im Einheitssimplex Sm−1 . Mit der u ¨blichen Topologie τ auf Rm ist damit A∗ kompakt und m    M ∗ (a∗ , b∗ ) = a∗ (ai ) M (ai , b)b∗ (b) i=1

b

ist stetig in a∗ . Γ∗ ist ein konkav-konvexes ZNS. Die Behauptung folgt daher aus Satz A.3.22. 2 Die folgende Erweiterung von Satz A.3.21 und Korollar A.3.23 geben wir ohne Beweis an. Satz A.3.24 Sei Γ = (A, B, M ) ein konkav-konvexes ZNS mit M < ∞. F¨ ur jedes Netz (aα ) ⊂ A existiere ein a ∈ A so dass lim M (aα , b) ≤ M (a, b), ∀b ∈ B. α

Dann hat Γ einen Spielwert und es existiert eine Maximin-Strategie von Spieler I.

Literaturverzeichnis [1] Aalen, O. O. (1976) Statistical Theory for a Family of Counting Processes. Inst. Math. Stat., University fo Copenhagen [2] Aki, S. (1986) Some test statistics based on the martingale term of the empirical distribution function. Ann. Inst. Stat. Math. 38, 1–21 [3] Andersen, P. K.; Borgan, O., Gill, P. D., Keiding, N. (1993) Statistical Models Based on Counting Processes. Springer [4] Bahadur, R. R. (1954) Sufficiency and statistical decision functions. Ann. Math. Stat. 25, 423–462 [5] Bahadur, R. R. (1955) Statistics and subfields. Ann. Math. Stat. 26, 490–497 [6] Barankin, E. W. (1949) Locally best unbiased estimates. Ann. Math. Stat. 20, 477–501 [7] Basu, D. (1955) On statistics independent of a complete statistic. Sankhya 15, 277–380 [8] Basu, D. (1958) On statistics independent of sufficient statistics. Sankhya 20, 223–226 [9] Baumann, V. (1968) Eine parameterfreie Theorie der ung¨ unstigsten Verteilungen f¨ ur das Testen von Hypothesen. Z. Wahrscheinlichkeitstheor. verw. Geb. 11, 41–60 [10] Bondesson, L. (1975) Uniformly minimum variance estimation in location parameter families. Ann. Stat. 3, 637–660 [11] Burkholder, D. L. (1961) Sufficiency in the undominated case. Ann. Math. Stat. 32, 1191–1200 [12] Chow, Y. S., Robbins, H. Siegmund, D. (1971) Great Expectations. The Theory of Optimal Stopping. Houghton Mifflin Company [13] Cox, D. R. (1972) Regression models in life-tables. J. R. Stat. Soc., Ser. B 34, 187–220

412

Literaturverzeichnis

[14] Denny, J. L. (1964) A continuous real-valued function on E n almost everywhere 1 − 1. Fund. Math. 60, 95–99 [15] Denny, J. L. (1964) On continuous sufficient statistics. Ann. Math. Statist. 35, 1229–1233 [16] Devroye, L., Gy¨ orfi, L., Lugosi, G. (1996) A Probabilistic Theory of Pattern Recognition. Springer [17] Dobrushin, R. L. (1969) Gibbsian random fields. The general case. Funct. Anal. Appl. 3, 22–28 [18] Dunford, N., Schwarz, J. T. (1958) Linear Operators. Vol. I: General Theory. Interscience Publishers [19] Dvoretzky, A., Kiefer, J., Wolfowitz, J. (1956) Asymptotic minimax character of the sample distribution function and of the classical multinomial estimator. Ann. Math. Stat. 27, 642–669 [20] Dynkin E. B. (1951) Necessary and sufficient statistics for a family of probability distributions. Uspchi Mat. Nauk (N.S.) 6, 68–90 (in Russian); English translation in Selected Translations in Mathematical Statistics and Probability (1961) 1, 17–40 [21] Ferguson, T. S. (1967) Mathematical Statistics. A Decision Theoretic Approach. Academic Press [22] F¨ ollmer, H.; Kabanov, Yu. M. (1998) Optional decomposition and Lagrange multipliers. Finance Stoch. 2, 69–81 [23] F¨ ollmer, H., Kramkov, D. (1997) Optional decompositions under constraints. Probab. Theory Relat. Fields 109, 1–25 [24] F¨ ollmer, H., Leukert, P. (1999) Quantile hedging. Finance and Stochastics 3, 251–273 [25] F¨ ollmer, H., Leukert, P. (2000) Efficient hedging: Cost versus shortfall risk. Finance and Stochastics 4, 117–146 [26] Gantert, N. (1990) Laws of large numbers for the annealing algorithm. Stochastic Processes Appl. 35, 309–313 [27] Geman, D., Geman, S. (1984) Stochastic relaxation, Gibbs distributions, and the Bayesian restoration of images. IEEE Trans. Pattern Anal. Mach. Intell 6, 721–741 [28] Gidas, B. (1985) Nonstationary Markov chains and convergence of the annealing algorithm. J. Stat. Phys. 39, 73–131

Literaturverzeichnis

413

[29] Hall, W. J., Wijsman, R. A., Ghosh, J. K. (1965) The relationship between sufficiency and invariance with applications in sequential analysis. Ann. Math. Stat. 36, 575–614 [30] Halmos, P. R. (1946) The theory of unbiased estimation. Ann. Math. Statist. 17, 34–43 [31] Hewitt, E., Stromberg, K. (1975) Real and Abstract Analysis, Springer [32] Heyer, H. (1973) Mathematische Theorie statistischer Experimente. Springer [33] Hipp, C. (1974) Sufficient statistics and exponential families. Ann. Stat. 2, 1283–1292 [34] Huber, P. J., Strassen, V. (1973) Minimax tests and the Neyman-Pearson lemma for capacities. Ann. Stat. 1, 251–263; Correction in Ann. Stat. 2, 223– 224 (1974) [35] Isenbeck, M, R¨ uschendorf, L. (1992) Completeness in location families. Probab. Math. Stat. 13, 321–343 [36] Jacod, J., Shiryaev, A. N. (2003) Limit Theorems for Stochastic Processes. 2nd ed. (1st ed. 1987), Springer [37] James, W., Stein, C. (1961) Estimation with quadratic loss. Proc. Fourth Berkeley Symp., Math. Stat. Prob. 1, 361–378 [38] Jeffreys, H. (1946) An invariant form for the prior probability in estimation problems. Proc. Royal Society, Series A, Mathematical, Physical & Engineering Sciences 186, no 1007, 453–461 [39] Kagan, A. M., Linnik, Yu. V., Rao, S. R. (1973) Characterization Problems in Mathematical Statistics, John Wiley & Sons [40] Khmaladze, E. V. (1982) Martingale approach in the theory of goodness-of-fit tests. Teor. Veroyatn. Primen 26 (1981) 246–265 (in Russian); Theory Probab. Appl. 26, 240–257 [41] Kramkov, D. (1996) Optional decomposition of supermartingales and hedging contingent claims in incomplete security markets. Probab. Theory Related Fields 105, 459–479 [42] Landers, D. (1972) Sufficient and minimal sufficient σ-fields. Z. Wahrscheinlichkeitstheorie verw. Geb. 23, 197–207 [43] Landers, D., Rogge, L. (1972) Minimal sufficient σ-fields and minimal sufficient statistics. Two counterexamples. Ann. Math. Stat. 43, 2045–2049 [44] Lehmann, E. L. (1959) Testing Statistical Hypotheses. Wiley. 2nd edition 1986 [45] Lehmann, E. L. (1983) Theory of Point Estimation. Wiley

414

Literaturverzeichnis

[46] Lehmann, E. L., Romano, J. P. (2005) Testing Statistical Hypotheses. 3rd ed., Springer [47] Lehmann, E. L., Scheff´e, H. (1950) Completeness similar regions and unbiased estimation. Part I, Sankhya 10, 305–340 [48] Liese, F., Miescke, K.-J. (2008) Statistical Decision Theory. Estimation, Testing, and Selection, Springer [49] Mandelbaum, A., R¨ uschendorf, L. (1987) Complete and symmetrically complete families of distributions. Ann. Stat. 15, 1229–1244 [50] Mardia, K. V., Jupp, P. E. (2000) Directional Statistics. 2nd ed., Wiley [51] Mattner, L. (1992) Completeness of location families, translated moments, and uniqueness of charges. Probab. Theory Relat. Fields 92, 137–149 [52] Mattner, L. (1993) Some incomplete but boundedly complete location families. Ann. Stat. 21, 2158–2162 [53] Nelson, W. (1969) Hazard plotting for incomplete failure data. J. Quality Tech. 1, 27–52 [54] Neveu, J. (1965) Mathematical Foundations of the Calculus of Probability, San Francisco: Holden-Day Inc. ¨ [55] Pfanzagl, J. (1962) Uberall trennscharfe Tests und monotone Dichtequotienten. Z. Wahrscheinlichkeitstheor. verw. Geb. 1, 109–115 [56] Pfanzagl, J. (1968) A chracterization of the one parameter exponential family by existence of uniformly most powerful tests. Sankhya, Series A, 30, 147–156 [57] Pfanzagl, J. (1974) A characterization of sufficiency by power functions. Metrika 21, 197–199 [58] Pfanzagl, J. (1994) Parametric Statistical Theory, de Gruyter [59] Pfanzagl, J., Wefelmeyer, W. (1982) Contributions to a General Asymptotic Statistical Theory. Lecture Notes in Statistics 13, Springer [60] Pier, J.-P. (1984) Amenable Locally Compact Groups. Pure and Applied Mathematics. Wiley. [61] Plachky, D., Baringhaus, L., Schmitz, N. (1978) Stochastik I. Akademische Verlagsgesellschaft [62] Plachky, D., R¨ uschendorf, L. (1984) Conservation of UMP-resp. maximin property of statistical tests under extensions of probability measures. Proceedings of the Colloquium on Goodness of Fit, Debrecen, pp. 439–457 [63] Prakasa Rao, B. L. S. (1987) Asymptotic Theory of Statistical Inference. Wiley

Literaturverzeichnis

415

[64] Pratt, J. W. (1961) Length of confidence intervals. JASA 56, 549–567 [65] Rebolledo, R. (1980) Central limit theorems for local martingales. Z. Wahrscheinlichkeitstheorie verw. Geb. 51, 269–285 [66] Rieder, H. (1994) Robust Asymptotic Statistics. Springer Series in Statistics. Springer [67] Rogge, L. (1972) The relations between minimal sufficient statistics and minimal sufficient σ-fields. Z. Wahrscheinlichkeitstheorie verw. Geb. 23, 208–215 [68] Rudloff, B. (2007) Convex hedging in incomplete markets. Appl. Math. Finance 14, 427–452 [69] R¨ uschendorf, L. (1985) Unbiased estimation and local structure. Proceedings of the 5th Pannonian Symposium in Visegr´ ad 1985, 295–306 [70] R¨ uschendorf, L. (1987) Unbiased estimation in nonparametric classes of distributions. Statistics & Decisions 5, 89–104 [71] R¨ uschendorf, L. (1988) Asymptotische Statistik. Teubner [72] R¨ uschendorf, L. (2013) Mathematical Risk Analysis. Dependence, Risk Bounds, Optimal Allocations and Portfolios. Springer [73] Simons, B. (1981) Methods of Modern Mathematical Physics, Vol. 1: Functional Analysis. Academic Press Inc, 2nd ed. [74] Siegmund, D. (1985) Sequential Analysis. Tests and Confidence-Intervals. Springer [75] Shiryaev, A. N. (1974) Statistical Sequential Analysis, Amer. Math. Soc. [76] Shiryaev, A. N. (1978) Optimal Stopping Rules, Springer [77] Stein, C. (1950) Unbiased estimates with minimum variance. Ann. Math. Stat. 21, 406–415 [78] Stein, C. (1956) Inadmissibility of the usual estimator for the mean of a multivariate distribution. Proc. Third Berkeley Symp. Math. Statist. Prob. 1, 197– 206 [79] Stein, C. (1964) Inadmissibility of the usual estimate for the variance of the normal distribution with unknown mean. Ann. Inst. Stat. Math. 16, 155–160 [80] Strasser, H. (1985) Mathematical Theory of Statistics: Statistical Experiments and Asymptotic Decision Theory, Volume 7 of De Gruyter Studies in Mathematics. De Gruyter [81] Takeuchi, K. (1973) On location parameter family of distributions with uniformly minimum variance unbiased estimators of location. Proc. Second Japan USSR Symp. on Prob. Theory. Lecture Notes in Mathematics 330, 465–477

416

Literaturverzeichnis

[82] Torgersen, E. (1991) Comparison of Statistical Experiments. Cambridge University Press [83] Tukey, J. W. (1977) Exploratory Data Analysis. Addison Wesley [84] Wald, A. (1947) Sequential analysis. Proc. Internat. Statist. Conferences, Washington, 1947, Sept. 6.–18., 3, 67–80 [85] Wald, A. (1949) Statistical Decision Functions. Wiley [86] Watson, G. S. (1983) Statistics on Spheres. Wiley [87] Winkler, G. (1990) An ergodic L2 -theorem for simulated annealing in Bayesian image reconstruction. J. Appl. Prob. 28, 779–791 [88] Witting, H. (1966) Mathematische Statistik: Eine Einf¨ uhrung in Theorie und Methoden, Teubner [89] Witting, H. (1985) Mathematische Statistik I: Parametrische Verfahren bei festem Stichprobenumfang, Teubner [90] Witting, H., M¨ uller-Funk, U. (1995) Mathematische Statistik II: Asymptotische Statistik: Parametrische Modelle und nichtparametrische Funktionale, Teubner [91] Zacks, S. (1971) The Theory of Statistical Inference. Wiley

Sachverzeichnis 0-1-Verlust, 20 2 × 2-Feldertafel, 220 a-posteriori-Risiko, 39 a-posteriori-Verteilung, 37, 73 a-priori-Verteilung, ung¨ unstigste, 32, 197 Abh¨ angigkeit, 310 nichtlinear, 5 Ableitung Radon-Nikod´ ym, 388 verallgemeinerte, 301 von Kapazit¨ aten, 301 Abstand Hellinger-, 62 Mahalanobis-, 290 Totalvariations-, 62 abz¨ ahlbar erzeugt, 66 Adaptivit¨ at, 340 affin bzgl. Γ, 397 ahnlich, α- auf J, 213 ¨ ahnlicher Test, 213 ¨ Algorithmus, Simulated Annealing, 74 α-¨ ahnlicher Test auf J, 213 Alternative, 21 amenable, 275 Annahmebereich, 20 Anpassungstest Teststatistik, verteilungsfrei, 371 zusammengesetzte Hypothese, 377 Anzahl der Runs, 10 approximativ ASN, 318 Bestimmung der ASN, 319 BSF, 231 Konfidenzintervall, 232 Pivotstatistik, 231 Schranke, 317

aquivalent ¨ Entscheidungsfunktion, 29 aquivariant, 255 ¨ BSF, 236 Sch¨ atzer, 246, 252 ¨ Aquivarianz, 245, 246 ARE, 337 arithmetisches Mittel, 134, 259 in Dimension k ≥ 2, 48 Suffizienz, 97 Zul¨ assigkeit, 46 ASN -Funktion, 314 approximative, 318 approximative Bestimmung, 319 Schranken, 327 Assoziationsanalyse, 1 asymptotisch invariant, 274 Normalit¨ at, 172 Normalit¨ at des MLS, 168 Normalit¨ at von Martingalsch¨ atzern, 365 relative Effizienz (ARE), 337 Statistik, 333 Unverf¨ alschtheit, 347 Auswahlproblem, 8 Auszahlungsmatrix, 394 Bandweite, 7 Basu, Satz von, 112 Baumann, 208 Bayes-Entscheidungsfunktion, 30, 34, 39 sequentielle, 325 Bayes-Risiko, 30 sequentielles, 321 Bayes-Sch¨ atzer, 40, 42, 44, 45

418

empirischer, 48 Laplace-Verlust, 41 Bayes-Test, 50 optimaler sequentieller, 325, 326 sequentieller, 321 Struktur, 325 Bayes-Verfahren, 36 Bestimmung, 37 bedingt Erwartung, 390 Erwartungswert, 82, 84, 184, 387 Existenz, 388 Information, 159 Jensensche Ungleichung, 131 Test, 213 in Exponentialfamilien, 218 Verteilung, 387, 391, 392 Existenz und Eindeutigkeit, 392 Wahrscheinlichkeit, 82, 390 Behrens-Fisher-Problem, 196 Bereichssch¨ atzfunktion, 20, 228 approximative, 231 randomisierte, 21 Bernoulli-Modell, 125 Bernoulliexperiment, 95, 108 Berry-Esseen, Satz von, 336 beschr¨ ankt L-vollst¨ andig, 106 Dichtequotient, 298 vollst¨ andig, 106 Beschr¨ anktheit, 298 best asymptotic normal (BAN), 169 Bias, 160, 344 -Varianz-Dilemma, 8 konstant, 248 Bilderkennung, 15 Bildmaße, 59 Bildrekonstruktion, 72 Bildverarbeitung, 13 Binomial-Modell, 125, 172 Binomialexperiment, 96 Binomialtest sequentieller, 318 Binomialverteilung, 42, 70 BLUE, 178 Brownsche Br¨ ucke, 372, 374 BSF aquivariante, 236 ¨ Schranke, 237

Sachverzeichnis

approximativ, 231 gleichm¨ aßig beste, 239 gleichm¨ aßig beste unverf¨ alschte, 239 randomisierte, 244 siehe auch: Bereichssch¨ atzfunktion, 228 unverf¨ alschte, 239 zum Konfidenzniveau, 239 Burkholder-Davis-Gundy-Ungleichung, 368 Chapman-Robbins-Ungleichungen, 138 χ2 -Statistik, 11 χ2 -Test, 195, 199 claim, contigent, 380 Clusteranalyse, 1 competing risk model, 356 contingent claim, 380 Cox partial Likelihood, 363 Cox-Regressionsmodell, 362 Cox-Sch¨ atzer, 363 Cram´er-Rao-Schranke, 156 Cram´er-Rao-Ungleichung, 139, 159, 160 Cram´er-von Mises Statistik, 119 Test, 120 D0 -Minimax, 30 D0 -zul¨ assig, 30 Darmois-Skitovich, Satz von, 97 Data-Mining, 1 Daten, zensierte, 364 Datenanalyse, explorative, 1 Datenreduktion, 15 Designmatrix, 6 Dichotomiesatz von Kakutani, 65 Dichte ν, ν T , 218 empirische, 342 produktmessbare, 67 Dichtequotient, 300 beschr¨ ankt, 298 verallgemeinert, 58, 301 Dichtesch¨ atzer, 341 Dilemma, Bias-Varianz-, 8 Distanz, minimale, 209 Distanzsch¨ atzer, Minimum-, 170 dk -Abstand, 310 dominiert, 57 Verteilungsklassen, 57 Dominiertheit, 57, 61, 66, 92

Sachverzeichnis

Doob-Meyer-Zerlegung, 354, 372 Brownsche Br¨ ucke, 374 dr -Metrik, 62 duale Darstellung Maximin-Risiko, 208 Effizienz asymptotisch relative, 337 Eindeutigkeit ung¨ unstigster Paare, 297 einfaches Testproblem, 51 Einfaktormodell, 286 einseitige Hypothesen Studentscher t-Test, 216 Einsetzungsregel, 393 Einstichproben Gaußtest, 194 Einstichprobenproblem, 195 Entscheidung, richtige, 21 Entscheidungsfunktion, 19, 34 aquivalent, 29 ¨ Bayes-, 30, 39 invariant, 272 nichtrandomisiert, 19 optimal, 10 randomisiert, 19 terminale, 314 Entscheidungsproblem, 17 Beispiel, 24 statistisches, 19 Entscheidungsraum, 19 Entscheidungstheorie, 2 envelope power function, 182 Epidemiologie, 357 equalizer rule, 34, 36 Ergodensatz, 393 individueller, 393 f¨ ur positive Kontraktionen, 394 von Birkhoff und Chuncin, 393 von Neumann, 393 Erneuerungsprozess, 356 Erwartung, (faktorisierte) bedingte, 390 erwartungstreu Sch¨ atzer, 123, 124, 252 Erwartungstreue, 160, 246 Erwartungswert bedingter, 82, 84, 184, 387 Erweiterung (endliche) gemischte, 398 gemischte, 398 exakter Test von Fisher, 220

419

Existenz gleichm¨ aßig bester Tests, 188 optimaler Test, 185 Existenzsatz, topologischer, 405 Experimente, Vergleich, 26 explorative Datenanalyse, 1 Exponentialfamilie, 67, 96, 157, 160 k-parametrische, 67 bedingte Tests in, 218 einparametrische, 204 Exponentialverteilung, 252 Exzess, 318, 320 F -Verteilung, 290 Faktorisierungssatz, 390 fast Q-Invarianz, 266 sicher invariante Statistiken, 252 Fehler 1. und 2. Art, 21, 23 Fisher, exakter Test von, 219 Fisher-Information, 139, 156, 157 Fisher-Informationsmatrix, 47 Fixpunkteigenschaft, 276 Formhypothese, 238 Fortsetzungen, Konstruktion, 210 Fortsetzungsbereich, 322 Fortsetzungsmodell, 209 Funktion ASN-, 314 OC-, 314 Funktionale, lineare, 376 g-Inverse, 175 G-Modelle, 209 G¨ utefunktion, 23, 314 Gauß-Test, 27 Gauß-Verlust, 20 Sch¨ atzproblem, 42 Gaußkern, 7 Gaußsches Maß, standard, 282 Gaußsches Shift-Modell, 223 Gaußsches Shiftexperiment, 153 Geburtsprozess, 357 geometrische Interpretation, 33 Gesetz vom iterierten Logarithmus (LIL), 329 getrimmtes Mittel, 339 ¨ gewichtete Uberdeckungswahrscheinlichkeit, 239 Gewinn, minimaler, 395

420

Gibbs-Maß, 72 Gibbs-Modell, 70 Girshik-Savage-Satz, 254 gleichm¨ aßig beste unverf¨ alschte BSF, 239 Grenzwertsatz zentraler, 350, 368 getrimmte Mittel, 340 gross error Modell, 304 Gruppe, topologische, 274 H¨ aufigkeitsmethode, 164 Haarsches Maß, 275 halbstetig nach unten (hnu), 136 Halmos-Savage, Satz von, 90 Hazard kumulativer bedingter, 354 Hazard-Modell, proportional, 362 hedging, Quantile, 379 hedging-Problem Quantile, 380 Hellingerabstand, 62 Histogramm-Kern, 7 Histogramm-Sch¨ atzer, 343 Hoffmann-Jørgensen-Lemma, 101 Hunt-Stein, Satz von, 272, 279 hypergeometrische Verteilung, 219 Hypothese(n), 21 einfache, Testschranke, 223 einseitig, 216 linear, 280, 283 zusammengesetzte, Anpassungstest, 377 zweiseitige, in Exponentialfamilien, 204 induzierte Likelihood-Funktion, 165 influence curve (IC), 293 Influenzkurve, 293 Informationsmatrix, 47 Informationssystem, 81 Intensit¨ at, 356 integrierte, 358 multiplikative, 357, 361 invariant, 255 asymptotisch, 274 bzgl. Q, 263 fast Q, 266 Maß, 77 Mittel, 276 Testproblem, 263

Sachverzeichnis

Tests in Linearen Modellen, 279 translations-, 246 unter Q, 263 Verlustfunktion, 248, 255 Invarianz, 245, 246, 266, 269, 271, 279 und Unverf¨ alschtheit, 271 Inverse, verallgemeinerte, 175 Ising-Modell, 71 Jaeckel-Sch¨ atzer, 340 James-Stein-Sch¨ atzer, 48 Jeffreys-Prior, 47 Jensensche Ungleichung, bedingte, 131 Kapazit¨ at, 300 duale, 300 zweifach alternierend, 301 Kaplan-Meier-Sch¨ atzer, 361 Kern, 126, 391 Kerndichtesch¨ atzer, 342 zentraler Grenzwertsatz, 350 Kernfunktional, 126, 133 Kernsch¨ atzer, 7 Klassifikation, 1 Klassifikationsprobleme, 54 Klassifikationsverfahren, 55 kleinste Quadrate Gleichung, 5 Methode, 2, 6, 170 -Sch¨ atzer, 174, 178, 287 verallgemeinert, 178 knockout-Option, 380 Kolmogorov-Smirnov -Statistik, 119 -Test, 13, 120 -Verteilung, 13 Kompaktheit schwach-∗-, 184 schwache, 134 Kompensator, 354 Konfidenzbereich, 20, 23, 227, 228 approximativ, 228 approximativer, 26 f¨ ur die Varianz, 243 mit minimalem Volumen, 234 Konfidenzintervall, 230 approximatives, 232 einseitiges, 229, 230 optimales Normalverteilungsmodell, 241

Sachverzeichnis

zweiseitiges, 229, 230 konkav bzgl. Γ, 397 konkav-konvex, 397, 398 konsistent, 378 Testfolge, 64 Konsistenz des Momentensch¨ atzers, 167 Lp , 368 stochastische, 368 von dn , 171 von Martingalsch¨ atzern, 365 konstant Bias, 248 Risiko, 256 Varianz, 248 Konstruktion bester Tests, 215 optimaler Tests, 189 Kontraktion, 85 Kontraktionsabsch¨ atzung, 75 Kontraktionskoeffizient, 75 Kontrastfunktion, 169 Konvergenz, 78 gleichm¨ aßige, 346 inhomogene Markovketten, 77 Verteilung, empirische, 345 Verteilungen, 39 Konvergenzrate, 348 verbesserte, 349 konvex bzgl. Γ, 397 konvexe Verlustfunktion, 148 Korrelationskoeffizient, empirischer, 3 Korrespondenzsatz, 241 Kovarianzanalyse, 286 Kovarianzmethode, 128 Kovariation vorhersehbar, 355 kQS, 174 Kriterium, Neyman-, 94 kritischer Wert, 51, 189 Kullback-Leibler-Abstand, 167 Kumulantentransformation, 69 kumulativer bedingter Hazard, 354 kumulierte Hazard-Rate Sch¨ atzer, 359 Ky-Fan, Minimax-Satz, 31 L2 -Differenzierbarkeit, 139 Langevin-Verteilung, 70

421

Laplace-Verlust, 20, 151 Bayes-Sch¨ atzer, 41 Lebesguezerlegung, 58 Lehmann-Scheff´e, Satz von, 131 Lemma von Scheff´e, 65 Hoffmann-Jørgensen, 101 Lenglart-Ungleichung, 366 Likelihood -Funktion, 162 induzierte, 165 -Gleichung, 162 -Quotiententest, 51, 189, 288, 289 LIL, 329 Limes-Bayes-Methode, 46 linear Funktional, 376 Hypothese, 280, 283 Modell, 6 Sch¨ atztheorie, 287 Regression, 2 sch¨ atzbar, 176 Sch¨ atzbarkeit, 176 Lineares Modell, 173, 280 invariante Tests, 279 lokal optimal, 128 Optimalit¨ at, 206 Lokations-Skalenmodell, 283 Lokationsfamilie, 231, 246 Lokationsklasse Vollst¨ andigkeit, 111 Lokationsmodell, 24 semiparametrisches, 340 LQ-Test, 51, 189 verallgemeinert, 200 Lyapunov-Bedingung, 350 M -Sch¨ atzer, 169 machine learning, 1 Mahalanobis-Abstand, 290 MAP-Methode, 73 Markovkern, 391 Sub-, 391 ¨ Markovprozess, Ubergangsrate, 361 M¨ arkte, vollst¨ andig, 379 Martingalmethode, 353 Martingalsch¨ atzer, 357, 358, 365 zentraler Grenzwertsatz, 369

422

Martingalsch¨ atzmethode, 357 Maß Haarsches, 275 invariantes, 77 quasi-invariant, 266 standard Gaußsches, 282 maßerhaltende Transformation, 393 Maßraum perfekter, 102 mathematische Statistik, 2 maximalinvariant, 247, 255 Maximalinvariante, 268 Maximin-Risiko, 207 duale Darstellung, 208 Maximin-Strategie, 395 Maximin-Test Fortsetzungsmodelle, 212 Robustheit, 311 zum Niveau α, 182 Maximum-Likelihood-Sch¨ atzer, 156, 162 Median, 25 Median-unverf¨ alscht, 151, 154 Sch¨ atzer, 123, 154 Mehrfaktormodell, 286 Menge der P-Nullsch¨ atzer, 105 Messung, 18 zeitunabh¨ angig, 18 Methode der kleinsten Quadrate, 2, 6, 170 minimale Distanz, 209 minimalsuffizient, 101 minimalsuffiziente σ-Algebra, 103 Minimalsuffizienz, 101 perfekter Maßraum, 102 Minimax, D0 , 30 Minimax-Entscheidungsfunktion, 34 Minimax-Satz von Ky-Fan, 31 Minimax-Sch¨ atzer, 45 Minimax-Strategie, 32, 395 Minimax-Test, 53 Minimax-Verfahren, 36 Minimaxsatz, von Neumannscher, 405 Minimum-Distanzsch¨ atzer, 170 Mischungsmethode, 197, 198 misclassification rate, 74 Mittel getrimmtes, 339 invariantes, 276 mittleres Volumen, 239 MLS, siehe Momentensch¨ atzer

Sachverzeichnis

asymptotische Normalit¨ at, 168 f¨ ur g, 165 f¨ ur Parameterfunktionen, 165 Modell Lineares, 173, 280 lineares, 6 multiplikative Intensit¨ at, 357 schwache Information, 209 Momentenfunktion, 171 Momentenmethode, 170, 171 Momentensch¨ atzer, 167 monotoner Dichtequotient, 295 Monotonie, stochastische, 191 MPM-Methode, 74 μ-stetig, 58 multiplikative Intensit¨ at, 361 Musterverteilung, 10 √ n-konsistent, 170, 378 nat¨ urlicher Parameterraum, 68 necessary, 143 Nelson-Aalen-Sch¨ atzer, 358–360 Neyman -Kriterium, 94 -Pearson -Lemma, 190 -Theorie, 189 -Verlustfunktion, 21, 182 -Struktur, 214 Test, 214 Neyman’s smooth test, 376 nicht triviale Statistik, 98 nichtbedingter Test, 217 nichtparametrisches Zweistichprobenproblem, 221 nichtrandomisierte Entscheidungsfunktion, 19 nichtrandomisierter Test, 240 nichtzentrale Verteilung, 284 Normalgleichung, 174 Normalit¨ at, asymptotisch, 172 Normalverteilung, 70, 162, 251, 259 Normalverteilungsmodell, 96, 133, 229 erweitertes, 230 nuisance Parameter, 199, 210 Nullsch¨ atzer, 124 Nullsummenspiel, 31, 394 obere Wahrscheinlichkeit, 299 oberer Exzess, 318

Sachverzeichnis

OC-Funktion, 314 Operationscharakteristik, 314 optimal Entscheidungsfunktion, 10 Konfidenzintervalle Normalverteilungsmodell, 241 Sch¨ atzer, 137 Stoppproblem, 326 Test Existenz, 182 robuster, 309 Testverfahren, 195 unverf¨ alschte einseitige Tests, 218 Optimalit¨ at lokale, 206 Pitman-Sch¨ atzer, 250 SPRT, 320 Optimalit¨ atseigenschaften, 211 Optimalit¨ atskriterien, 30 Optional Sampling Theorem, 319 optionaler Zerlegungssatz, 383 Ordnungsstatistik, 117 Ordnungsvektor, 221 orthogonal, 355 Orthogonalit¨ at, 64, 65 allg. Produktmaß, 65 Orthogonalprojektion, 84, 175 overshoot, 318–320 p-Wert, 12 Paar, ung¨ unstigstes, 208, 209 paarweise suffizient, 92 Parameterfunktionen MLS f¨ ur, 165 Parameterraum, nat¨ urlicher, 68 Parametrisierung, stetige, 67 partiell suffizient, 261 Permutationstest, 221, 222 Pitman -Sch¨ atzer, 249, 256 Optimalit¨ at, 250 Skalenmodell, 256 -Zweistichprobentest, 222 Pivotstatistik, 228, 229 approximativ, 231 plug-in-Methode, 16 plug-in-Sch¨ atzer, 127 Poissonprozess, 354 Poissonverteilung, 126, 234

423

positiv semidefinite Halbordnung, 287 Produkt, 58 Vollst¨ andigkeit, 117 Produktmaß, 64 produktmessbare Dichten, 67 Prognose, 227 Prognosebereich, 227 Projektion, 84, 137 Projektionsmatrix, 175 proportional Hazard-Modell, 362 Prozess, empirischer, uniformer, 372 punktetrennend, 81, 106 Punktprozess, 354 Q-invariante Menge, 109 Wahrscheinlichkeitsmaße, 109 Q-Invarianz fast, 266 Quadrate-Sch¨ atzer, kleinster, 174, 178 verallgemeinerter, 178 Quadrategleichung, kleinste, 5 Qualit¨ atskontrolle, 163 Quantile hedging, 379 Quantile hedging-Problem, 380 L¨ osung, 382 quasi-invariantes Maß, 266 Quotiententest Likelihood-, 51, 189, 288, 289 r-optimal, 295 r-optimaler Test, 295, 296 r-Risiko, 295 Radon-Nikod´ ym -Ableitung, 388 -Gleichung, 82, 90, 387 Satz von, 388 randomisierte Bereichssch¨ atzfunktion, 21 BSF, 244 Entscheidungsfunktion, 19 Randomisierungsbereich, 189 Rangstatistik, 117 Verteilungsfreiheit, 117 Rangtest Wilcoxon-Zweistichproben-, 120 Rangvektor, 117 Rao-Blackwell Satz von, 130 Umkehrung, 150

424

-Verbesserung, 130 Reduktion durch Invarianz, 263, 279 durch Suffizienz, 197, 217 Reduktionsprinzip, 100, 278 Regression lineare, 18 nichtparametrische, 7 Regressionsanalyse, 1, 2, 286 Regressionsfunktion (nichtlineare), 6 Regressionsgerade, 3 Regressionskoeffizient, 3 Regressionsmodell, 362 Regressionssch¨ atzer, 7 Regressionsverfahren, 2 regul¨ ar Modell, 98 Statistik, 157 Residualsch¨ atzer, 287 Residuen, 5 richtige Entscheidung, 21 Risiko Bayes-, 30 Bayes-, sequentielles, 321 konstantes, 256 Risikofunktion, 22 Eigenschaft, 23 Risikomenge, 22 Risikoschranke, untere, 155 risk model, competing, 356 robuster Test, 293, 310 optimal, 309 Robustheit Maximin-Test, 311 rule, equalizer, 34 Runl¨ ange, maximal, 10 Runs, Anzahl der, 10 SA-Algorithmus, Grundidee, 75 Sattelpunkt, 32, 396 Satz von Neumannscher Minimaxsatz, 405 Banach-Alaoglu, 183 Basu, 112 Berry-Esseen, 336 Bondesson, 262 Darmois-Skitovich, 97 Doob, 39 Gauß-Markov, 177

Sachverzeichnis

Girshik-Savage, 254 Halmos-Savage, 90 Hodges-Lehmann, 36 Hunt-Stein, 272, 279 Kagan, 261 Ky-Fan, 31 Lehmann-Scheff´e, 131 Umkehrung, 145, 147 Mazur, 184 Pettis, 135 Pythagoras, 86 Radon-Nikod´ ym, 388 Rao-Blackwell, 130 Riesz, 183 Takeuchi, 262 Wald-Wolfowitz, 320 Sch¨ atzbarkeit, lineare, 176 Sch¨ atzer Aalen-Johansen-, 361 aquivariant, 246, 252 ¨ Bayes-, 40, 42, 44 empirischer, 48 Cox-, 363 erwartungstreu, 123, 124, 140, 252 gleichm¨ aßig bester erwartungstreuer, 127 Histogramm-, 343 Jaeckel-, 340 James-Stein-, 48 Kaplan-Meier-, 361 Kerndichte-, 342 kleinster Quadrate-, 174, 178, 287 verallgemeinerter, 178 M -, 169 Median-unverf¨ alscht, 123, 154 Risikoschranke, 155 Minimax-, 45 Nelson-Aalen-, 358–360 optimal, 137 Pitman-, 249, 256 Shrinkage-, 45 Zul¨ assigkeit, 45 Standard-, 43 alscht, 148, 151 unverf¨ Sch¨ atzfolge, asymptotisch effizient, 161 Sch¨ atzfunktion Bereichs-, 228 Sch¨ atzproblem, 20, 23, 40 mit Gauß-Verlust, 42

Sachverzeichnis

Sch¨ atztheorie in linearen Modellen, 287 Schranke approximative, 317 f¨ ur ¨ aquivariante BSF, 237 f¨ ur ASN, 327 f¨ ur Stoppzeiten, exponentielle, 316 schwach-∗-folgenkompakt, 184 schwach-∗-Kompaktheit, 184 schwach-∗-Topologie, 183 schwache Kompaktheit, 134 schwache Topologie, 134, 183 Separabilit¨ at, 66 sequential probability ratio Test (SPRT), 314 sequentielle Bayes-Entscheidungsfunktion, 325 sequentieller Binomialtest, 318 sequentieller Test, 313, 314 Shiftexperiment von Gauß, 153 Shrinkage-Sch¨ atzer, 45 Sicherheitsniveau, 26 σ-Algebra, 314 σ-konvexe H¨ ulle, 61 Simulated Annealing, 72 Simulated Annealing Algorithmus, 74 Grundidee, 75 Skalenfamilie, 231 Skalenmodell, 255 Pitman-Sch¨ atzer, 256 Spiel, endliches, 394 Spiel, reines, 394 Spieltheorie, 2, 31, 394 Spielwert, Existenzsatz, 405 SPRT, 314, 315 standard Gaußsches Maß, 282 Standard-Sch¨ atzer, 43 starke Suffizienz, 99 Statistik (nicht) triviale, 98 asymptotisch, 333 fast sicher invariante, 252 mathematische, 2 Q-vertr¨ aglich, 268 regul¨ ar, 157 Supremum Test-, 377 statistisches Entscheidungsproblem, 19 statistisches Modell, 17 stetige Parametrisierung, 67 Stichprobenkovarianz, 3

425

Stichprobenstreuung, 27 Stichprobentheorie, 18 Stichprobenvarianz, 3, 127, 134 Stoppproblem, optimales, 326 Stoppzeit, 314 Schranke, exponentielle, 316 Strategie, 395 Maximin, 395 streng unimodal, 237 Struktur optimaler sequentieller BayesTests, 325 Studentscher t-Test, 216, 288 einseitige Hypothesen, 216 Sub-Markovkern, 391 suffizient σ-Algebra, 82 σ-Algebren und Statistiken, 81 paarweise, 92 partiell, 261 Suffizienz, 81, 82, 92, 112, 113, 269 arithmetisches Mittel, 97 erweiterte σ-Algebren, 89 Reduktion, 197 Reduktion durch, 217 separable Ober-σ-Algebra, 89 starke, 99 Supremum Test-Statistik, 377 Supremum, wesentliches, 60 Supremumsabstand, 62 T -Test, 291 Taxibeispiel, 129, 130, 132, 133, 163 Test ahnlich, 213 ¨ α-¨ ahnlich, 213 Bayes-, 50 bedingter, 213 in Exponentialfamilien, 218 bester invarianter, 285 Cram´er-von Mises-, 120 exakt f¨ ur Zweistichprobenproblem, 219 exakt von Fisher, 219, 220 Gauß, 27 gleichm¨ aßig bester invarianter, 291 Existenz, 188 zum Niveau α, 182 in Exponentialfamilien, 218

426

in Linearen Modellen, invariant, 279 invariant, 279 Kolmogorov-Smirnov-, 13, 120 Konstruktion, 215 Likelihood-Quotienten-, 51, 189 linearer Hypothesen, 285 LQ-, 51 Minimax-, 53 Neyman -Struktur, 214 nichtbedingter, 217 nichtrandomisierter, 240 optimal unverf¨ alschter einseitiger, 218 optimaler, Existenz, 185 Permutationstest, 222 robust, 310 robuster optimaler, 309 sequential probability ratio, 314 sequentieller, 313, 314 Studentscher t-, 216, 288 T -, 291 Transformation auf nichtbedingten, 217 unverf¨ alscht, 213 zum Niveau α, 213 zul¨ assig, 52 zweiseitig, 207 Test der Sch¨ arfe 1, 328, 329 Test zum Niveau α, 182 gleichm¨ aßig bester, 182 strenger, 182 Testabstand, 62 Testfolge, konsistente, 64 Testhypothese, 240 Testproblem, 23, 50 einfach, 51 invariant, 263 Testschranke einfache Hypothese, 223 Teststatistik verteilungsfrei, 371 Testverfahren, optimal, 195 Theorem, Optional Sampling, 319 Todesprozess, 357 Topologie schwach-∗-, 183 schwache, 134, 183 topologische Gruppe, 274 Totalvariationsabstand, 62

Sachverzeichnis

Transformation, maßerhaltende, 393 Transformation, varianzstabilisierend, 233 translations-invariant, 246 Translationsklasse, 59 Trennungssatz, 402 triviale Statistik, 98 Tukey-Gerade, 4 U -Statistik, 126, 133 ¨ Uberdeckungswahrscheinlichkeit, 244 gewichtet, 239 Umgebungsmodell, 304 ε − δ, 304 Wahrscheinlichkeiten, 305 Umkehrung von Rao-Blackwell, 150 Unabh¨ angigkeit, 113 Linearformen, 97 ung¨ unstig(st)e a-priori-Verteilung, 32, 197 ung¨ unstigste Paare, 208, 209, 294, 296, 300 Eindeutigkeit, 297 Ungleichung Burkholder-Davis-Gundy-, 368 Chapman-Robbins-, 138 Cram´er-Rao-, 139, 159, 160 Lenglart-, 366 uniforme Verteilung, 172 untere Wahrscheinlichkeit, 299 unterer Exzess, 318 unverf¨ alscht BSF, 239 gleichm¨ aßig beste, 239 Sch¨ atzer, 148, 151 Test, 213 Unverf¨ alschtheit asymptotische, 347 Invarianz und, 271 Varianz Konfidenzbereich, 243 konstante, 248 Varianzanalyse, 286 Varianzkomponentenmodelle, 286 Varianzparameter, 177 varianzstabilisierende Transformation, 233 Variation, vorhersehbare quadratische, 355 verallgemeinert Inverse, 175 kQS, 178 LQ-Test, 200 Neyman-Pearson-Lemma, 200

Sachverzeichnis

Vergleich Experimente, 26 Sch¨ atzer, 24 Sch¨ atzproblem, 24 Verlust 0-1-, 20 Gauß-, 20 Laplace-, 20, 151 maximaler, 395 Verlustfunktion, 19, 21 invariant, 248, 255 konvexe, 148 Neyman-Pearson, 182 Versuchsplanung, 28 Versuchswiederholung, unabh¨ angige, 160 Verteilung a-posteriori-, 73 bedingte, 387, 391, 392 Existenz und Eindeutigkeit, 392 empirische, Konvergenz, 345 F -, 290 hypergeometrisch, 219 Kolmogovor-Smirnov-, 13 Langevin-, 70 nichtzentral, 284 ung¨ unstigste a-priori-, 32 uniform, 172 Wishart-, 290 verteilungsfrei, 112 Verteilungsfreiheit, 81, 101, 112 existiere, 113 Rangstatistik, 117 Verteilungsfunktion, empirische, 134, 345 uniforme, 372 Verteilungsklasse dominiert, 57 nichtparametrische, 59 Vertr¨ aglichkeit, 268 vollst¨ andig, 106 L-, 106 beschr¨ ankt, 106 beschr¨ ankt L-, 106 M¨ arkte, 379 Vollst¨ andigkeit, 81, 101, 105, 106, 112 L-, 106

427

Lokationsklasse, 111 von Produkten, 117 vorhersehbare quadratische Variation, 355 Wahrscheinlichkeit bedingte, 82, 390 obere, 299 untere, 299 von Umgebungsmodellen, 305 Wahrscheinlichkeitsmaß, 257 Q-invariant, 109 Waldsche Approximationen, 317 Wechselkurs, 18 Wert des Spiels, 395 Wert, kritischer, 51 wesentliches Supremum, 60 Wiener-Closure-Theorem, 111 Wilcoxon-Zweistichproben-Rangtest, 120 Wishart-Verteilung, 290 Z¨ ahlprozess, 353 k-dimensionaler, 355 auf R+ , 354 markierter, 355 zentraler Grenzwertsatz, 368 f¨ ur Martingalsch¨ atzer, 369 getrimmte Mittel, 340 Zerlegung Doob-Meyer-, 354, 372 Brownsche Br¨ ucke, 374 Zerlegungssatz, optionaler, 383 ZNS, 394 zul¨ assig, 379 zul¨ assig, D0 , 30 Zul¨ assigkeit, 34, 260 arithmetisches Mittel, 46 Zweientscheidungsproblem, 33 zweifach alternierend, 301 monoton, 301 Zweipersonen-Nullsummenspiel, 31, 394 zweiseitige Hypothesen, 204 Zweistichprobenproblem, 118, 195, 219, 270 nichtparametrisches, 221 Zweistichprobentest Pitman-, 222