Numerische Mathematik: [Band] 1 Eine algorithmisch orientierte Einführung [4., überarb. und erw. Aufl.] 9783110203554

Citation preview

de Gruyter Lehrbuch Deuflhard/Hohmann · Numerische Mathematik 1

Peter Deuflhard Andreas Hohmann

Numerische Mathematik 1 Eine algorithmisch orientierte Einführung 4., überarbeitete und erweiterte Auflage

≥

Walter de Gruyter Berlin · New York

Prof. Dr. Peter Deuflhard Zuse-Institut Berlin (ZIB) Takustr. 7 14195 Berlin und Freie Universität Berlin Institut für Mathematik Dr. Andreas Hohmann 10 French St. Watertown, MA 02472 USA Mathematics Subject Classification 2000: Primary 65-01; Secondary 65Bxx, 65Cxx, 65Dxx, 65Fxx, 65Gxx

앝 Gedruckt auf säurefreiem Papier, das die US-ANSI-Norm über Haltbarkeit erfüllt. 앪

ISBN 978-3-11-020354-7 Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.d-nb.de abrufbar. 쑔 Copyright 2008 by Walter de Gruyter GmbH & Co. KG, 10785 Berlin. Dieses Werk einschließlich aller seiner Teile ist urheberrechtlich geschützt. Jede Verwertung außerhalb der engen Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzulässig und strafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverfilmungen und die Einspeicherung und Verarbeitung in elektronischen Systemen. Printed in Germany. Konvertierung von LaTeX-Dateien der Autoren: Kay Dimler, Müncheberg. Einbandgestaltung: Martin Zech, Bremen. Druck und Bindung: AZ Druck und Datentechnik GmbH, Kempten.

Vorwort

Numerische Mathematik in ihrer algorithmisch orientierten Ausprägung beinhaltet die Konstruktion und das mathematische Verständnis von numerischen Algorithmen, also von Rechenmethoden zur zahlenmäßigen Lösung mathematischer Probleme. Die meisten mathematischen Probleme kommen in unseren Tagen aus vielfältigen Anwendungsgebieten außerhalb der Mathematik. In der Tat haben sich mathematische Modelle zur näherungsweisen Beschreibung der Wirklichkeit in den letzten Jahren derart verfeinert, dass ihre Computersimulation die Realität zunehmend genauer widerspiegelt. Treibende Kraft dieser Entwicklung ist der gleichermaßen stürmische Fortschritt bei Computern und Algorithmen. Dabei hat sich gezeigt: nicht nur die Verfügbarkeit immer besserer Computer, sondern mehr noch die Entwicklung immer besserer Algorithmen macht heute immer komplexere Probleme lösbar. Bisher verschlossene Bereiche der Natur- und Ingenieurwissenschaften öffnen sich mehr und mehr einer mathematischen Modellierung und damit der Simulation auf dem Rechner. Angesichts dieser Entwicklung versteht sich Numerische Mathematik heute als Teil des übergeordneten Gebietes Scientific Computing, zu deutsch oft auch als Wissenschaftliches Rechnen übersetzt. Dieses Gebiet im interdisziplinären Spannungsfeld von Mathematik, Informatik, Natur- und Ingenieurwissenschaften ist erst in jüngerer Zeit zusammengewachsen. Es wirkt in zahlreiche Zweige der Industrie (Chemie, Elektronik, Robotik, Fahrzeugbau, Luft- und Raumfahrt etc.) hinein und leistet bei wichtigen gesellschaftlichen Fragen (sparsamer und zugleich umweltverträglicher Umgang mit Primärenergie, globale Klimamodelle, Verbreitung von Epidemien etc.) einen unverzichtbaren Beitrag. Als Konsequenz davon haben sich tiefgreifende Änderungen der Stoffauswahl und der Darstellungsweise in Vorlesungen und Seminaren der Numerischen Mathematik zwingend ergeben, und dies bereits in einführenden Veranstaltungen: manches früher für wichtig Gehaltene fällt ersatzlos weg, anderes kommt neu hinzu. Die hier getroffene Auswahl ist natürlich vom fachlichen Geschmack der Autoren geprägt, hat sich allerdings nun bereits in der dritten Auflage dieses erfreulich verbreiteten Lehrbuches bewährt. Das vorliegende Buch richtet sich in erster Linie an Studierende der Mathematik, Informatik, Natur- und Ingenieurwissenschaften. In zweiter Linie wollen wir aber auch bereits im Beruf stehende Kollegen (und Kolleginnen – hier ein für alle Mal) oder Quereinsteiger erreichen, die sich mit den etablierten modernen Konzepten der Numerischen Mathematik auf elementarer Ebene im Selbststudium vertraut machen

vi

Vorwort

wollen. Der Stoff setzt lediglich Grundkenntnisse der Mathematik voraus, wie sie an deutschsprachigen Universitäten in den Grundvorlesungen „Lineare Algebra I/II“ und „Analysis I/II“ üblicherweise vermittelt werden. Weitergehende Kenntnisse werden in diesem einführenden Lehrbuch nicht verlangt. In einer Reihe von Einzelthemen (wie Interpolation oder Integration) haben wir uns bewusst auf den eindimensionalen Fall beschränkt. Durchgängiges Muster dieser Einführung ist, wesentliche Konzepte der modernen Numerik, die später auch bei gewöhnlichen und partiellen Differentialgleichungen eine Rolle spielen, bereits hier am einfachst möglichen Problemtyp zu behandeln. Oberstes Ziel des Buches ist die Förderung des algorithmischen Denkens, das ja historisch eine der Wurzeln unserer heutigen Mathematik ist. Es ist kein Zufall, dass neben heutigen Namen auch historische Namen wie Gauß, Newton und Tschebyscheff an zahlreichen Stellen des Textes auftauchen. Die Orientierung auf Algorithmen sollte jedoch nicht missverstanden werden: gerade effektive Algorithmen erfordern ein gerüttelt Maß an mathematischer Theorie, die innerhalb des Textes auch aufgebaut wird. Die Argumentation ist in der Regel mathematisch elementar; wo immer sinnvoll, wird geometrische Anschauung herangezogen – was auch die hohe Anzahl an Abbildungen erklärt. Begriffe wie Skalarprodukt und Orthogonalität finden durchgängig Verwendung, bei endlicher Dimension ebenso wie in Funktionenräumen. Trotz der elementaren Darstellung enthält das Buch zahlreiche Resultate, die ansonsten unpubliziert sind. Darüber hinaus unterscheidet sich auch bei eher klassischen Themen unsere Herleitung von der in herkömmlichen Lehrbüchern. Der Erstautor hat seit 1978 Vorlesungen zur Numerischen Mathematik gehalten – u.a. an der Technischen Universität München, der Universiät Heidelberg und der Freien Universität Berlin. Er hat die Entwicklung des Gebietes Scientific Computing durch seine wissenschaftliche Tätigkeit über Jahre weltweit mit beeinflusst. Der Zweitautor hatte zunächst seine Ausbildung mit Schwerpunkt Reine Mathematik an der Universität Bonn und ist erst anschließend in das Gebiet der Numerischen Mathematik übergewechselt. Diese Kombination hat dem vorliegenden Buch sicher gutgetan, wie die unveränderte Aktualität der Themen auch in dieser vierten Auflage zeigt. Gegenüber der dritten Auflage ist das Kapitel 5.5 über stochastische Eigenwertprobleme noch weiter ausgearbeitet worden, unter anderem durch einen Einblick in das Prinzip der Google-Suchmaschine (sowie dazugehörige Übungsaufgaben). Obwohl wir uns im Kapitel 8 zur Quadratur im Wesentlichen auf eindimensionale Probleme einschränken, ist in dieser vierten Auflage noch eine Einführung in die Monte-CarloQuadratur für hochdimensionale Probleme hinzugekommen – einfach deshalb, weil diese Probleme in den Naturwissenschaften so häufig vorkommen und sich die verwendeten Monte-Carlo-Methoden mit den Vorkenntnissen aus Kapitel 5.5 über stochastische Eigenwertprobleme elementar analysieren lassen. An dieser Stelle nehmen wir gerne die Gelegenheit wahr, eine Reihe von Kollegen zu bedenken, die uns bei diesem Buch auf die eine oder andere Weise besonders un-

Vorwort

vii

terstützt haben. Der Erstautor blickt dankbar zurück auf seine Zeit als Assistent von R. Bulirsch (TU München, emeritiert seit 2001), in dessen Tradition sich sein heutiger Begriff von Scientific Computing geformt hat. Intensive Diskussionen und vielfältige Anregungen zahlreicher Kollegen sind in unsere Darstellung mit eingeflossen. Einigen Kollegen wollen wir hier zu folgenden Einzelthemen besonders danken: Ernst Hairer und Gerhard Wanner (Universität Genf) zur Diskussion des Gesamtkonzepts des Buches; Wolfgang Dahmen (RWTH Aachen) und Angela Kunoth (Universität Paderborn) zu Kapitel 7; Folkmar Bornemann (TU München) zur Darstellung der Fehlertheorie, der verschiedenen Konditionsbegriffe sowie zur Definition des Stabilitätsindikators in Kapitel 2; Dietrich Braess (Ruhruniversität Bochum) zur rekursiven Darstellung der schnellen Fourier-Transformation in Kapitel 7.2. Für die vorliegende vierte Auflage geht unser besonders herzlicher Dank an Susanna Kube, die insbesondere bei dem neu hinzugekommenen Kapitel 9.8 zur Monte-Carlo-Quadratur unschätzbare Hilfe geleistet hat. Berlin, Juni 2008

Peter Deuflhard Andreas Hohmann

Inhaltsverzeichnis

Überblick

1

1 Lineare Gleichungssysteme 1.1 Auflösung gestaffelter Systeme . . . . . . . . . . . . . . . . . . 1.2 Gaußsche Eliminationsmethode . . . . . . . . . . . . . . . . . 1.3 Pivot-Strategien und Nachiteration . . . . . . . . . . . . . . . . 1.4 Cholesky-Verfahren für symmetrische, positiv definite Matrizen Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

5 7 8 12 19 22

2 Fehleranalyse 2.1 Fehlerquellen . . . . . . . . . . . . . . . . . . . 2.2 Kondition eines Problems . . . . . . . . . . . . . 2.2.1 Normweise Konditionsanalyse . . . . . . 2.2.2 Komponentenweise Konditionsanalyse . 2.3 Stabilität eines Algorithmus . . . . . . . . . . . 2.3.1 Stabilitätskonzepte . . . . . . . . . . . . 2.3.2 Vorwärtsanalyse . . . . . . . . . . . . . 2.3.3 Rückwärtsanalyse . . . . . . . . . . . . 2.4 Anwendung auf lineare Gleichungssysteme . . . 2.4.1 Lösbarkeit unter der Lupe . . . . . . . . 2.4.2 Rückwärtsanalyse der Gauß-Elimination 2.4.3 Beurteilung von Näherungslösungen . . . Übungsaufgaben . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

. . . . . . . . . . . . .

27 27 30 32 37 41 42 43 49 51 51 53 56 59

3 Lineare Ausgleichsprobleme 3.1 Gaußsche Methode der kleinsten Fehlerquadrate 3.1.1 Problemstellung . . . . . . . . . . . . 3.1.2 Normalgleichungen . . . . . . . . . . . 3.1.3 Kondition . . . . . . . . . . . . . . . . 3.1.4 Lösung der Normalgleichungen . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

66 66 66 69 71 74

. . . . .

x

Inhaltsverzeichnis

3.2

Orthogonalisierungsverfahren . . 3.2.1 Givens-Rotationen . . . . 3.2.2 Householder-Reflexionen . 3.3 Verallgemeinerte Inverse . . . . . Übungsaufgaben . . . . . . . . . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

76 78 80 84 89

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme 4.1 Fixpunktiteration . . . . . . . . . . . . . . . . . . . . . . . . 4.2 Newton-Verfahren für nichtlineare Gleichungssysteme . . . . 4.3 Gauß-Newton-Verfahren für nichtlineare Ausgleichsprobleme 4.4 Parameterabhängige nichtlineare Gleichungssysteme . . . . . 4.4.1 Lösungsstruktur . . . . . . . . . . . . . . . . . . . . 4.4.2 Fortsetzungsmethoden . . . . . . . . . . . . . . . . . Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

. . . . . . .

92 92 97 104 111 111 114 126

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

. . . . . . . . .

131 132 136 138 145 151 152 158 163 165

. . . . . . . . . .

171 172 173 176 179 180 187 189 190 193 197

5

6

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

. . . . .

Lineare Eigenwertprobleme 5.1 Kondition des allgemeinen Eigenwertproblems . . . . 5.2 Vektoriteration . . . . . . . . . . . . . . . . . . . . . 5.3 QR-Algorithmus für symmetrische Eigenwertprobleme 5.4 Singulärwertzerlegung . . . . . . . . . . . . . . . . . 5.5 Stochastische Eigenwertprobleme . . . . . . . . . . . 5.5.1 Perron-Frobenius-Theorie . . . . . . . . . . . 5.5.2 Fastentkoppelte Markov-Ketten . . . . . . . . 5.5.3 Prinzip der Google-Suchmaschine . . . . . . . Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . .

Drei-Term-Rekursionen 6.1 Theoretische Grundlagen . . . . . . . . . . . . . . 6.1.1 Orthogonalität und Drei-Term-Rekursionen 6.1.2 Homogene und inhomogene Rekursionen . 6.2 Numerische Aspekte . . . . . . . . . . . . . . . . 6.2.1 Kondition . . . . . . . . . . . . . . . . . . 6.2.2 Idee des Miller-Algorithmus . . . . . . . . 6.3 Adjungierte Summation . . . . . . . . . . . . . . . 6.3.1 Summation von dominanten Lösungen . . 6.3.2 Summation von Minimallösungen . . . . . Übungsaufgaben . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . .

. . . . . . . . .

. . . . . . . . . .

. . . . .

. . . . . . . . .

. . . . . . . . . .

. . . . .

. . . . . . . . .

. . . . . . . . . .

. . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

. . . . . . . . . .

xi

Inhaltsverzeichnis

7 Interpolation und Approximation 7.1 Klassische Polynom-Interpolation . . . . . . . . . . . . . 7.1.1 Eindeutigkeit und Kondition . . . . . . . . . . . . 7.1.2 Hermite-Interpolation und dividierte Differenzen . 7.1.3 Approximationsfehler . . . . . . . . . . . . . . . 7.1.4 Minimax-Eigenschaft der Tschebyscheff-Polynome 7.2 Trigonometrische Interpolation . . . . . . . . . . . . . . . 7.3 Bézier-Technik . . . . . . . . . . . . . . . . . . . . . . . 7.3.1 Bernstein-Polynome und Bézier-Darstellung . . . 7.3.2 Algorithmus von de Casteljau . . . . . . . . . . . 7.4 Splines . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7.4.1 Splineräume und B-Splines . . . . . . . . . . . . 7.4.2 Splineinterpolation . . . . . . . . . . . . . . . . . 7.4.3 Berechnung kubischer Splines . . . . . . . . . . . Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

200 201 201 205 213 214 218 225 226 233 240 241 248 252 255

8 Große symmetrische Gleichungssysteme und Eigenwertprobleme 8.1 Klassische Iterationsverfahren . . . . . . . . . . . . . . . . . . 8.2 Tschebyscheff-Beschleunigung . . . . . . . . . . . . . . . . . . 8.3 Verfahren der konjugierten Gradienten . . . . . . . . . . . . . . 8.4 Vorkonditionierung . . . . . . . . . . . . . . . . . . . . . . . . 8.5 Lanczos-Methoden . . . . . . . . . . . . . . . . . . . . . . . . Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . .

. . . . . .

. . . . . .

259 261 267 272 279 285 290

9 Bestimmte Integrale 9.1 Quadraturformeln . . . . . . . . . . . . . . . . . . . . 9.2 Newton-Cotes-Formeln . . . . . . . . . . . . . . . . . 9.3 Gauß-Christoffel-Quadratur . . . . . . . . . . . . . . . 9.3.1 Konstruktion der Quadraturformeln . . . . . . 9.3.2 Berechnung der Knoten und Gewichte . . . . . 9.4 Klassische Romberg-Quadratur . . . . . . . . . . . . . 9.4.1 Asymptotische Entwicklung der Trapezsumme 9.4.2 Idee der Extrapolation . . . . . . . . . . . . . 9.4.3 Details des Algorithmus . . . . . . . . . . . . 9.5 Adaptive Romberg-Quadratur . . . . . . . . . . . . . 9.5.1 Adaptives Prinzip . . . . . . . . . . . . . . . . 9.5.2 Schätzung des Approximationsfehlers . . . . . 9.5.3 Herleitung des Algorithmus . . . . . . . . . . 9.6 Schwierige Integranden . . . . . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

294 295 298 304 305 310 313 313 315 321 324 325 327 330 336

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

. . . . . . . . . . . . . .

xii

Inhaltsverzeichnis

9.7

Adaptive Mehrgitter-Quadratur . . . . . . . . . . . . . . . . . 9.7.1 Lokale Fehlerschätzung und Verfeinerungsregeln . . . 9.7.2 Globale Fehlerschätzung und Details des Algorithmus 9.8 Monte-Carlo-Quadratur für hochdimensionale Integrale . . . . 9.8.1 Verwerfungsmethode . . . . . . . . . . . . . . . . . . 9.8.2 Markov-Ketten-Monte-Carlo-Methoden . . . . . . . . 9.8.3 Konvergenzgeschwindigkeit . . . . . . . . . . . . . . Übungsaufgaben . . . . . . . . . . . . . . . . . . . . . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

. . . . . . . .

340 340 344 347 348 351 354 356

Software

361

Literatur

363

Index

369

Überblick

Dieses einführende Lehrbuch richtet sich in erster Linie an Studierende der Mathematik, der Informatik, der Natur- und Ingenieurwissenschaften. In zweiter Linie wendet es sich jedoch ausdrücklich auch an bereits im Beruf stehende Kollegen oder Quereinsteiger aus anderen Disziplinen, die sich mit den moderneren Konzepten der Numerischen Mathematik auf elementarer Ebene im Selbststudium vertraut machen wollen. Das Buch gliedert sich in neun Kapitel mit dazugehörigen Übungsaufgaben, ein Softwareverzeichnis, ein Literaturverzeichnis und einen Index. Die ersten fünf und die letzten vier Kapitel sind inhaltlich eng verknüpft. In Kapitel 1 beginnen wir mit der Gauß-Elimination für lineare Gleichungssysteme als dem klassischen Musterfall eines Algorithmus. Über die elementare Elimination hinaus diskutieren wir Pivotstrategien und Nachiteration als Zusatzelemente. Kapitel 2 enthält die unverzichtbare Fehleranalyse, fußend auf den Grundgedanken von Wilkinson. Kondition eines Problems und Stabilität eines Algorithmus werden einheitlich dargestellt, sauber auseinandergehalten und zunächst an einfachen Beispielen illustriert. Die leider noch allzu oft übliche "-Schlacht im Rahmen der linearisierten Fehlertheorie können wir vermeiden – was zu einer drastischen Vereinfachung in der Darstellung und im Verständnis führt. Als Besonderheit ergibt sich ein Stabilitätsindikator, der eine kompakte Klassifikation der numerischen Stabilität gestattet. Mit diesem Rüstzeug können wir schließlich die Frage, wann eine gegebene Näherungslösung eines linearen Gleichungssystems akzeptabel ist, algorithmisch beantworten. In Kapitel 3 behandeln wir Orthogonalisierungsverfahren im Zusammenhang mit der Gauß’schen linearen Ausgleichsrechnung und führen den äußerst nützlichen Kalkül der Pseudoinversen ein. Er findet im anschließenden Kapitel 4 unmittelbar Anwendung. Dort stellen wir Iterationsverfahren für nichtlineare Gleichungssysteme (Newton-Verfahren), nichtlineare Ausgleichsprobleme (Gauß-Newton-Verfahren) und parameterabhängige Probleme (Fortsetzungsmethoden) in engem inneren Zusammenhang dar. Besondere Aufmerksamkeit widmen wir der modernen affin-invarianten Form von Konvergenztheorie und iterativen Algorithmen. Kapitel 5 beginnt mit der Konditionsanalyse des linearen Eigenwertproblems für allgemeine Matrizen. Dies richtet das Augenmerk zunächst in natürlicher Weise auf den reell-symmetrischen Fall: für diesen Fall stellen wir Vektoriteration und QR-Algorithmus im Detail vor. In den gleichen Zusammenhang passt auch die in den Anwendungen so wichtige Singulärwertzerlegung für allgemeine Matrizen. Zuletzt betrachten wir stochastische Eigenwertprobleme, die gegenüber der dritten Auflage hier noch weiter ausgebaut worden

2

Überblick

sind. Sie spielen in der Perron-Clusteranalyse sowie bei der Google-Suchmaschine eine wichtige Rolle. Die zweite inhaltlich geschlossene Sequenz beginnt in Kapitel 6 mit einer ausführlichen Behandlung der Theorie von Drei-Term-Rekursionen, die bei der Realisierung von Orthogonalprojektionen in Funktionenräumen eine Schlüsselrolle spielen. Die Kondition von Drei-Term-Rekursionen stellen wir anhand der diskreten Greenschen Funktionen dar und bereiten so eine mathematische Struktur vor, die in Anfangs- und Randwertproblemen bei Differentialgleichungen wiederkehrt. Mit dem verstärkten Aufkommen des symbolischen Rechnens hat sich gerade in letzter Zeit das Interesse an Speziellen Funktionen auch in der Numerik wiederbelebt. Numerische Algorithmen für ihre effiziente Summation über die zugehörigen Drei-Term-Rekursionen illustrieren wir am Beispiel der Kugel- und Besselfunktionen. In Kapitel 7 behandeln wir zunächst die klassische polynomielle Interpolation und Approximation im eindimensionalen Fall. Wir führen sie sodann weiter über Bézier-Technik und Splines bis hin zu Methoden, die heute im CAD (Computer Aided Design) oder CAGD (Computer Aided Geometric Design), also in Disziplinen der Computergraphik, von zentraler Bedeutung sind. Unsere Darstellung in Kapitel 8 über iterative Methoden zur Lösung von großen symmetrischen Gleichungssystemen und Eigenwertproblemen stützt sich in bequemer Weise auf Kapitel 6 (Drei-Term-Rekursion) und Kapitel 7 (Minimaxeigenschaft von Tschebyscheff-Polynomen). Das gleiche gilt für den Lanczos-Algorithmus für große symmetrische Eigenwertprobleme. Das abschließende Kapitel 9 ist mit voller Absicht etwas länger geraten: Es trägt den Hauptteil der Last, Prinzipien der numerischen Lösung von gewöhnlichen und partiellen Differentialgleichungen vorab ohne technischen Ballast am einfachst möglichen Problemtyp vorzustellen, hier also an der numerischen Quadratur. Nach den historischen Newton-Cotes-Formeln und der Gauß-Quadratur stellen wir die klassische Romberg-Quadratur als einen ersten adaptiven Algorithmus dar, bei dem jedoch nur die Approximationsordnung variabel ist. Die Formulierung des Quadraturproblems als Anfangswertproblem bietet uns sodann die Möglichkeit, eine adaptive Romberg-Quadratur mit Ordnungs- und Schrittweitensteuerung auszuarbeiten; dies liefert uns zugleich den didaktischen Einstieg in adaptive Extrapolationsverfahren, die bei der Lösung gewöhnlicher Differentialgleichungen eine tragende Rolle spielen (vergleiche dazu Band 2). Die alternative Formulierung des Quadraturproblems als Randwertproblem nutzen wir zur Herleitung einer adaptiven Mehrgitter-Quadratur; auf diese Weise stellen wir das adaptive Prinzip bei Mehrgittermethoden für partielle Differentialgleichungen separiert vom Prinzip der „schnellen“ Lösung am einfachsten Modellfall dar. Die hier dargestellten adaptiven Techniken lassen sich also später bei der Behandlung von partiellen Differentialgleichungen mit nur geringfügigen Modifikationen direkt übernehmen. Obwohl wir uns ansonsten in diesem Kapitel auf den eindimensionalen Fall beschränken, behandeln wir in Kapitel 9.8 noch spezielle hochdimensionale Quadra-

Überblick

3

turprobleme, die in der Physik und Informatik häufig vorkommen. Die dort nahezu ausschließlich verwendeten Monte-Carlo-Methoden lassen sich im Rahmen dieses Lehrbuches einfach erklären und mit den Vorkenntnissen aus Kapitel 5.5 über stochastische Eigenwertprobleme elementar analysieren.

1 Lineare Gleichungssysteme

In diesem Kapitel behandeln wir die numerische Lösung eines Systems von n linearen Gleichungen a11 x1 C a12 x2 C    C a1n xn D b1 a21 x1 C a22 x2 C    C a2n xn D b2 :: :: :: : : : an1 x1 C an2 x2 C    C ann xn D bn oder kurz Ax D b; wobei A 2 Matn .R/ eine reelle .n; n/-Matrix ist und b; x 2 Rn reelle n-Vektoren sind. Bevor wir mit der Berechnung der Lösung x beginnen, stellen wir uns die Frage: Wann ist ein lineares Gleichungssystem überhaupt lösbar? Aus der linearen Algebra kennen wir das folgende Resultat, das die Lösbarkeit mit Hilfe der Determinante der Matrix A charakterisiert. Satz 1.1. Sei A 2 Matn .R/ eine reelle quadratische Matrix mit det A ¤ 0 und b 2 Rn . Dann existiert genau ein x 2 Rn , so dass Ax D b. Falls det A ¤ 0, so lässt sich die Lösung x D A1 b mit der Cramerschen Regel berechnen, zumindest im Prinzip. Offenbar gibt es hier eine direkte Verbindung von Existenz- und Eindeutigkeitsaussagen zum Rechenverfahren. Allgemein werden wir fordern: Falls das Problem keine Lösung hat, darf ein verlässlicher Algorithmus auch keine „ausrechnen“. Das ist nicht selbstverständlich, es gibt Gegenbeispiele. Verlässlichkeit ist also ein erste wichtige Eigenschaft eines „guten“ Algorithmus. Allerdings kann die Cramersche Regel noch nicht das endgültige Ziel unserer Überlegungen zu sein: Wenn wir nämlich die Determinante in der Leibnizschen Darstellung X sgn   a1;.1/    an;.n/ det A D 2Sn

als Summe über alle Permutationen  2 Sn der Menge f1; : : : ; ng berechnen, beträgt der Aufwand zur Berechnung von det A immerhin n  nŠ Operationen. Selbst mit der

6

1 Lineare Gleichungssysteme

rekursiven Bestimmung über Unterdeterminanten nach dem Laplaceschen Entwicklungssatz n X det A D .1/iC1 a1i det A1i iD1

Operationen auszuführen, wobei A1i 2 Matn1 .R/ die Matrix bezeichnet, die aus A durch Streichen der ersten Zeile und der i -ten Spalte entsteht. Wie wir sehen werden, sind alle im Folgenden beschriebenen Verfahren bereits für n  3 effektiver als die Cramersche Regel. Schnelligkeit bei der Lösung des gewünschten Problems ist also sicher eine zweite wichtige Eigenschaft eines „guten“ Algorithmus. sind 2n

Bemerkung 1.2. Von einem guten Rechenverfahren erwarten wir sicherlich, dass es die gestellte Aufgabe mit möglichst geringem Aufwand (an Rechenoperationen) löst. Intuitiv gibt es zu jedem Problem einen minimal nötigen Aufwand, den wir als Komplexität des Problems bezeichnen. Ein Algorithmus ist umso effektiver, je näher der benötigte Rechenaufwand an der Komplexität des Problems liegt. Der Rechenaufwand eines konkreten Algorithmus ist also immer eine obere Schranke für die Komplexität eines Problems. Die Berechnung unterer Schranken ist im Allgemeinen wesentlich schwieriger – für Details sei das Buch von J. Traub und H. Wozniakowski [95] genannt. Die Schreibweise x D A1 b könnte den Gedanken aufkommen lassen, zur Berechnung der Lösung von Ax D b zunächst die inverse Matrix A1 zu berechnen und diese dann auf b anzuwenden. Die Berechnung von A1 beinhaltet jedoch die Schwierigkeiten der Lösung von Ax D b für sämtliche rechten Seiten b. Wir werden im zweiten Kapitel sehen, dass die Berechnung von A1 „bösartig“ sein kann, auch wenn sie für spezielle b „gutartig“ ist. Bei der Notation x D A1 b handelt es sich daher nur um eine formale Schreibweise, die nichts mit der tatsächlichen Berechnung der Lösung x zu tun hat. Man sollte deshalb tunlichst vermeiden, von der „Invertierung von Matrizen“ zu reden, wenn eigentlich die „Lösung linearer Gleichungssysteme“ gemeint ist. Bemerkung 1.3. Es gab über lange Zeit die offene Wette eines wissenschaftlich hochkarätigen Kollegen, der eine hohe Summe darauf setzte, dass in praktischen Fragestellungen niemals das Problem der „Invertierung einer Matrix“ unvermeidbar auftritt. Soweit bekannt, hat er seine Wette in allen Einzelfällen gewonnen. Auf der Suche nach einem effektiven Lösungsverfahren für beliebige lineare Gleichungssysteme werden wir im Folgenden zunächst besonders einfach zu lösenden Spezialfälle studieren. Der einfachste ist sicherlich der Fall einer diagonalen Matrix A: Dabei zerfällt das Gleichungssystem in n voneinander unabhängige skalare Gleichungen. Die Idee, ein allgemeines System in ein diagonales umzuformen, liegt dem Gauß-Jordan-Verfahren zugrunde. Da es jedoch weniger effektiv als das in Kapitel 1.2 beschriebene Verfahren ist, lassen wir es hier weg. Der nächst schwierigere Fall

7

1.1 Auflösung gestaffelter Systeme

ist der eines gestaffelten Gleichungssystems, den wir unmittelbar anschließend behandeln wollen.

1.1

Auflösung gestaffelter Systeme

Hier betrachten wir den Fall eines gestaffelten Gleichungssystems r11 x1 C r12 x2 C    C r1n xn D z1 r22 x2 C    C r2n xn D z2 :: :: :: : : : rnn xn D zn ; in Matrix-Vektor-Notation kurz Rx D z;

(1.1)

wobei R eine obere Dreiecksmatrix ist, d. h. rij D 0 für alle i > j . Offenbar erhalten wir x durch rekursive Auflösung, beginnend mit der Zeile n: xn

WD zn =rnn ;

falls rnn ¤ 0;

xn1 WD .zn1  rn1;n xn /=rn1;n1 ; :: : x1

falls rn1;n1 ¤ 0;

WD .z1  r12 x2      r1n xn /=r11 ; falls r11 ¤ 0:

Nun gilt für die obere Dreiecksmatrix R, dass det R D r11    rnn und daher det R ¤ 0 ” ri i ¤ 0

für alle i D 1; : : : ; n:

Der angegebene Algorithmus ist also wiederum (wie bei der Cramerschen Regel) genau dann anwendbar, wenn det R ¤ 0, also unter der Bedingung des Existenz- und Eindeutigkeitssatzes. Für den Rechenaufwand ergibt sich: a) für die i-te Zeile: je n  i Additionen und Multiplikationen, eine Division; b) insgesamt für die Zeilen n bis 1: n X i D1

.i  1/ D

n.n  1/ : n2 D 2 2

Multiplikationen und ebenso viele Additionen.

8

1 Lineare Gleichungssysteme

: Dabei steht das Zeichen „D“ für „gleich bis auf Terme niedrigerer Ordnung“, d. h., wir betrachten nur den für große n entscheidenden Term mit dem größten Exponenten. Vollkommen analog lässt sich ein gestaffeltes Gleichungssystem der Form Lx D z

(1.2)

mit einer unteren Dreiecksmatrix L lösen, indem man jetzt in der ersten Zeile beginnt und sich bis zur letzten Zeile durcharbeitet. Diese Auflösung gestaffelter Systeme heißt im Fall von (1.1) Rückwärtssubstitution und im Fall von (1.2) Vorwärtssubstitution. Der Name Substitution, d. h. Ersetzung, rührt daher, dass der Vektor der rechten Seite jeweils komponentenweise durch die Lösung ersetzt werden kann, wie wir es in dem folgenden Speicherschema für die Rückwärtssubstitution andeuten wollen: .z1 ; z2 ; : : : ; zn1 ; zn / .z1 ; z2 ; : : : ; zn1 ; xn / :: : .z1 ; x2 ; : : : ; xn1 ; xn / .x1 ; x2 ; : : : ; xn1 ; xn /: Der Fall der Vorwärtssubstitution ist gerade umgekehrt.

1.2

Gaußsche Eliminationsmethode

Wir wenden uns nun dem effizientesten der klassischen Verfahren zur Auflösung eines linearen Gleichungssystems zu, der Gaußschen Eliminationsmethode. Carl Friedrich Gauß (1777 – 1855) beschreibt sie 1809 in seiner Arbeit über Himmelsmechanik „Theoria Motus Corporum Coelestium“ [39] mit den Worten „die Werte können mit der üblichen Methode der Elimination erhalten werden“. Er benutzte dort das Verfahren im Zusammenhang mit der Methode der kleinsten Fehlerquadrate (siehe Kapitel 3). Allerdings hatte Lagrange die Eliminationsmethode bereits 1759 vorweggenommen und in China war sie bereits im ersten Jahrhundert vor Christus bekannt. Kehren wir also wieder zurück zum allgemeinen Fall eines linearen Gleichungssystems a11 x1 C a12 x2 C    C a1n xn D b1 a21 x1 C a22 x2 C    C a2n xn D b2 :: :: :: :: : : : : an1 x1 C an2 x2 C    C ann xn D bn

(1.3)

9

1.2 Gaußsche Eliminationsmethode

und versuchen, es in ein gestaffeltes umzuformen. Zielen wir auf eine obere Dreiecksmatrix ab, so muss die erste Zeile nicht verändert werden. Die restlichen Zeilen wollen wir so behandeln, dass die Koeffizienten vor x1 verschwinden, d. h. die Variable x1 aus den Zeilen 2 bis n eliminiert wird. So entsteht ein System der Art a11 x1 C a12 x2 C    C a1n xn D b1 0

0

0

a22 x2 C    C a2n xn D b2 :: : 0

:: : 0

(1.4)

0

an2 x2 C    C ann xn D bn : Haben wir das erreicht, so können wir dasselbe Verfahren auf die letzten n  1 Zeilen anwenden und so rekursiv ein gestaffeltes System erhalten. Es genügt daher, den ersten Eliminationsschritt von (1.3) nach (1.4) zu untersuchen. Wir setzen voraus, dass a11 ¤ 0. Um den Term ai1 x1 in Zeile i .i D 2; : : : ; n/ zu eliminieren, subtrahieren wir von der Zeile i ein Vielfaches der unveränderten Zeile 1, d. h. Zeile i neu WD Zeile i  li1  Zeile 1 oder explizit .a  l a / x C .a  l a / x C    C .ai n  li1 a1n / xn D bi  li1 b1 : „ ƒ‚ … ƒ‚ … „ i1 ƒ‚i1 11… 1 „ i2 ƒ‚i1 12… 2 „ 0 0 0 D bi D0 D ai2 D ai n Aus ai1  li1 a11 D 0 folgt sofort li1 D ai1 =a11 . Damit ist der erste Eliminationsschritt unter der Annahme a11 ¤ 0 ausführbar. Das Element a11 heißt Pivotelement, die erste Zeile Pivotzeile. (Der aus dem Englischen stammende Begriff „pivot“ lässt sich dabei am besten mit „Dreh- und Angelpunkt“ übersetzen.) In den Zeilen 2 bis n bleibt nach diesem ersten Eliminationsschritt eine .n  1; n  1/-Restmatrix stehen. Wir sind damit in einer Situation wie zu Beginn, allerdings um eine Dimension kleiner. Wenden wir auf diese Restmatrix die Eliminationsvorschrift erneut an, so erhalten wir eine Folge A D A.1/ ! A.2/ !    ! A.n/ DW R

10

1 Lineare Gleichungssysteme

von Matrizen der speziellen Gestalt 2

.1/ 6 a11

A.k/

6 6 6 6 6 6 D6 6 6 6 6 6 4

.1/ a12 .2/ a22

  

.1/ a1n .2/ a2n

3

7 7 7    7 :: 7 :: : : 7 7 7 .k/ .k/ 7 akk    ak n 7 :: :: 7 7 : : 7 5 .k/ .k/ ank    ann

(1.5)

mit einer .n  k C 1; n  k C 1/-Restmatrix rechts unten. Auf jeder Restmatrix können wir den Eliminationsschritt .k/

.k/

lik WD aik =akk .kC1/

WD aij  lik akj

.kC1/

WD bi

aij bi

.k/

für i D k C 1; : : : ; n;

.k/

.k/

für i; j D k C 1; : : : ; n;

.k/

für i D k C 1; : : : ; n

 lik bk .k/

ausführen, falls das Pivotelement akk nicht verschwindet, was wir nicht von Anfang an wissen können. Da jeder Eliminationsschritt eine lineare Operation auf den Zeilen von A ist, lässt sich der Übergang von A.k/ und b .k/ zu A.kC1/ und b .kC1/ als Multiplikation mit eine Matrix Lk 2 Matn .R/ von links darstellen, d. h. A.kC1/ D Lk A.k/ und b .kC1/ D Lk b .k/ : (Bei Spaltenoperationen erhielte man analog eine Multiplikation von rechts.) Die Matrix 2 3 61 6 : 6 :: 6 6 6 1 6 Lk D 6 6 lkC1;k 1 6 6 :: 6 : 6 4 ln;k

::

7 7 7 7 7 7 7 7 7 7 7 7 7 5

: 1

ist dabei eine sogenannte Frobenius-Matrix. Sie hat die schöne Eigenschaft, dass die Inverse L1 aus Lk durch einen Vorzeichenwechsel in den Elementen lik entsteht. k

11

1.2 Gaußsche Eliminationsmethode

, dass Darüber hinaus gilt für das Produkt der L1 k 2

1 L WD L1 1    Ln1

3

1

6 6 6 l21 1 6 6 D 6 l31 l32 1 6 6 :: :: 6 : : 4

::

:

7 7 7 7 7 7; 7 7 7 5

L1 D Ln1    L1 :

ln1 : : : : : : ln;n1 1 Zusammengefasst erhalten wir auf diese Weise das zu Ax D b äquivalente gestaffelte Gleichungssystem Rx D z mit R D L1 A

und z D L1 b:

Eine untere oder obere Dreiecksmatrix, deren Diagonalelemente alle gleich eins sind, heißt unipotent. Die obige Darstellung A D LR der Matrix A als Produkt einer unipotenten unteren Dreiecksmatrix L und einer oberen Dreiecksmatrix R heißt Gaußsche Dreieckszerlegung oder auch LR-Zerlegung von A. Falls sie existiert, so sind L und R eindeutig bestimmt (siehe Aufgabe 1.2). Algorithmus 1.4. Gauß-Elimination. a) A D LR

Dreieckszerlegung, R obere und L untere Dreiecksmatrix;

b) Lz D b

Vorwärtssubstitution;

c) Rx D z

Rückwärtssubstitution.

Das Speicherschema für die Gauß-Elimination orientiert sich an der Darstellung (1.5) der Matrizen A.k/ . In die verbleibenden Speicherplätze können die lik eingetragen werden, da Elemente mit den Werten 0 oder 1 natürlich nicht eigens gespeichert werden müssen. Der gesamte Speicheraufwand für die Gauß-Elimination beträgt n.n C 1/ Speicherplätze, d. h. genau so viel, wie für die Eingabe benötigt wird. Für den Rechenaufwand, gezählt in Multiplikationen, ergibt sich P 2 : 3  n1 kD1 k D n =3 für a), 

Pn1

kD1 k

: D n2 =2 jeweils für b) und c).

Der Hauptaufwand besteht also in der LR-Zerlegung, die für verschiedene rechte Seiten b1 ; : : : ; bj aber nur einmal durchgeführt werden muss.

12

1.3

1 Lineare Gleichungssysteme

Pivot-Strategien und Nachiteration

Wie man bereits an dem einfachen Beispiel 2 3 0 1 5; AD4 det A D 1; 1 0

a11 D 0

sieht, gibt es Fälle, bei denen die Dreieckszerlegung versagt, obwohl det A ¤ 0. Eine Vertauschung der Zeilen führt jedoch zur denkbar einfachsten LR-Zerlegung 2 3 2 3 0 1 1 0 5 ! AN D 4 5 D I D LR mit L D R D I: AD4 1 0 0 1 Bei der rechnerischen Realisierung des Gaußschen Eliminationsverfahrens können Schwierigkeiten nicht nur bei verschwindenden, sondern bereits bei „zu kleinen“ Pivotelementen entstehen. Beispiel 1.5 (siehe [35]). Wir berechnen die Lösung des Gleichungssystems .a/ 1:00  104 x1 C 1:00 x2 D 1:00 .b/

1:00 x1 C 1:00 x2 D 2:00

auf einem Rechner, der der Einfachheit halber mit nur drei Dezimalziffern arbeite. Ergänzen wir die Zahlen durch Nullen, so erhalten wir als „exakte“ Lösung auf vier gültige Ziffern x1 D 1:000; x2 D 0:9999; auf drei gültige also x1 D 1:00;

x2 D 1:00:

Wir führen nun die Gauß-Elimination mit unserem Rechner, d. h. auf 3 gültige Ziffern, aus: a21 1:00 D D 1:00  104 ; l21 D a11 1:00  104 .1:00  1:00  104  1:00  104 /x1 C .1:00  1:00  104  1:00/x2 D 2:00  1:00  104  1:00: Damit erhalten wir das gestaffelte System 1:00  104 x1 C

1:00 x2 D 1:00 1:00  104 x2 D 1:00  104

13

1.3 Pivot-Strategien und Nachiteration

und die „Lösung“ x2 D 1:00 (richtig);

x1 D 0:00 (falsch!):

Vertauschen wir jedoch vor der Elimination die beiden Zeilen 1:00 x1 C 1:00 x2 D 2:00

.Qa/

Q 1:00  104 x1 C 1:00 x2 D 1:00; .b/ so folgt lQ21 D 1:00  104 , und es ergibt sich das gestaffelte System 1:00 x1 C 1:00 x2 D 2:00 1:00 x2 D 1:00 sowie die „richtige Lösung“ x2 D 1:00;

x1 D 1:00:

Durch die Vertauschung der Zeilen hat man in obigem Beispiel erreicht, dass jlQ21 j < 1

und

jaQ 11 j  jaQ 21 j:

Das neue Pivotelement aQ 11 ist also das betragsmäßig größte Element in der ersten Spalte. Aus dieser Überlegung leitet man die sogenannte Spaltenpivotstrategie (engl.: column pivoting oder partial pivoting) ab. Bei jeder Gauß-Elimination wählt man diejenige Zeile als Pivotzeile, die das betragsmäßig größte Element in der Pivotspalte besitzt. Genauer formuliert erhalten wir den folgenden Algorithmus: Algorithmus 1.6. Gauß-Elimination mit Spaltenpivotstrategie. a) Wähle im Eliminationsschritt A.k/ ! A.kC1/ ein p 2 fk; : : : ; ng, so dass .k/

.k/

japk j  jaj k j

für j D k; : : : ; n:

Die Zeile p soll die Pivotzeile werden. b) Vertausche die Zeilen p und k

A.k/ ! AQ.k/

Nun gilt

mit

.k/ aQ ij

8 .k/ ˆ a ; ˆ ˆ < kj .k/ D apj ; ˆ ˆ ˆ : .k/ aij ;

falls i D p; falls i D k; sonst.

ˇ .k/ ˇ ˇˇ .k/ ˇˇ ˇ aQ ˇ ˇ aQ ˇ ˇ ˇ ik ˇ ˇ  1: jlQik j D ˇ ik ˇD ˇ aQ .k/ ˇ ˇˇ a.k/ ˇˇ kk

pk

14

1 Lineare Gleichungssysteme

c) Führe den nächsten Eliminationsschritt angewandt auf AQ.k/ aus, AQ.k/ ! A.kC1/ : Bemerkung 1.7. Anstelle der Spaltenpivotstrategie mit Zeilentausch kann man auch eine Zeilenpivotstrategie mit Spaltentausch durchführen. Beide Strategien erfordern im schlimmsten Fall O.n2 / zusätzliche Operationen. Kombinieren wir beide Möglichkeiten und suchen jeweils die gesamte Restmatrix nach dem betragsgrößten Element ab, so benötigen wir zusätzlich O.n3 / Operationen. Diese teure vollständige Pivotsuche (engl.: total pivoting) wird so gut wie nie angewandt. Zur formalen Beschreibung der Dreieckszerlegung mit Spaltenpivotsuche verwenden wir im Folgenden sogenannte Permutationsmatrizen P 2 Matn .R/. Jeder Permutation  2 Sn aus der symmetrischen Gruppe ordnen wir die Matrix   P D e.1/    e.n/ zu, wobei ej D .ı1j ; : : : ; ınj /T der j -te Einheitsvektor ist. Eine Permutation  der Zeilen einer Matrix A lässt sich durch die Multiplikation von links mit P ausdrücken Zeilenpermutation mit : A ! P A und analog eine Permutation  der Spalten durch die Multiplikation von rechts Spaltenpermutation mit : A ! AP : Aus der linearen Algebra wissen wir, dass die Zuordnung  7! P ein Gruppenhomomorphismus Sn ! O.n/ der symmetrischen Gruppe Sn in die orthogonale Gruppe O.n/ ist. Insbesondere gilt P 1 D P T : Die Determinante einer Permutationsmatrix ist gerade das Vorzeichen der zugehörigen Permutation, det P D sgn  2 f˙1g; also C1, falls  durch eine gerade, und 1, falls  durch eine ungerade Anzahl von Transpositionen erzeugt wird. Der folgende Satz zeigt, dass die Dreieckszerlegung mit Spaltenpivotsuche theoretisch nur versagen kann, falls die Matrix A singulär ist. Satz 1.8. Für jede invertierbare Matrix A existiert eine Permutationsmatrix P derart, dass eine Dreieckszerlegung PA D LR möglich ist. Dabei kann P so gewählt werden, dass alle Elemente von L vom Betrag kleiner oder gleich 1 sind, d. h. jLj  1:

15

1.3 Pivot-Strategien und Nachiteration

Beweis. Wir führen den Algorithmus der LR-Zerlegung mit Spaltenpivotsuche aus. Da det A ¤ 0, gibt es eine Transposition 1 2 Sn (wobei wir hier auch die Identität .1/ zulassen), so dass das erste Diagonalelement a11 der Matrix A.1/ D P1 A von Null verschieden und das betragsgrößte Element in der ersten Spalte ist, d. h. .1/

.1/

0 ¤ ja11 j  jai1 j

für i D 1; : : : ; n:

Nach der Elimination der restlichen Elemente der ersten Spalte erhalten wir mit der oben eingeführten Notation die Matrix 2 A.2/ D L1 A.1/

6 6 6 D L1 P1 A D 6 6 6 4

.1/

a11



0 :: :



B .2/



3 7 7 7 7; 7 7 5

0 wobei alle Elemente von L1 betragsmäßig kleiner oder gleich eins sind, d. h. jL1 j  1, .1/ und det L1 D 1. Da ja11 j ¤ 0, folgt aus .1/

0 ¤ sgn.1 / det A D det A.2/ D a11 det B .2/ ; dass die Restmatrix B .2/ wieder invertierbar ist. Nun können wir induktiv fortfahren und erhalten R D A.n/ D Ln1 Pn1    L1 P1 A;

(1.6)

wobei jLk j  1 und k entweder die Identität ist oder die Transposition zweier Zahlen  k. Ist  2 Sn eine Permutation, die nur Zahlen  k C 1 permutiert, so gilt für die Frobenius-Matrix 2 3 1 6 7 6 7 :: : 6 7 6 7 6 7 1 6 7 Lk D 6 7; 6 7 lkC1;k 1 6 7 6 7 : :: :: 6 7 : 4 5 ln;k 1

16

1 Lineare Gleichungssysteme

dass

2

LO k D P Lk P1

6 6 6 6 6 6 D6 6 6 6 6 4

3 1 ::

7 7 7 7 7 7 7: 7 7 7 7 5

: 1 l.kC1/;k 1 :: :

::

:

l.n/;k

(1.7)

1

Wir können damit die Frobenius-Matrizen Lk und die Permutationen Pk trennen, Pk einschieben, d. h. indem wir in (1.6) jeweils die Identität P1 k R D Ln1 Pn1 Ln2 P1 P P L    L1 P1 A: n1 n1 n2 n3 Wir erhalten so O n1    LO 1 P0 A RDL

mit LO k D Pk Lk P1 ; k

wobei n1 WD id und k D n1    kC1 für k D 0; : : : ; n  2. Die Permutation k vertauscht tatsächlich nur Zahlen  k C 1, so dass die Matrizen LO k von der Gestalt (1.7) sind. Daher gilt P0 A D LR O 1    LO 1 oder explizit mit L WD L 1 n1 2

3 1

6 6 l 1 6 1 .2/1 6 6 L D 6 l1 .3/1 l2 .3/2 1 6 :: :: 6 : : 4 l1 .n/1 ::: also auch jLj  1.

::

:

7 7 7 7 7; 7 7 7 5

ln1 .n/;n1 1 

Man beachte, dass wir den Algorithmus der Gaußschen Dreieckszerlegung mit Spaltenpivotstrategie als konstruktive Beweismethode benutzt haben. Wir haben also auch hier, wie bei der Cramerschen Regel, einen direkten Zusammenhang zwischen Algorithmus und Existenz- und Eindeutigkeitsaussage. Mit anderen Worten: Die Gauß-Elimination mit Spaltenpivotsuche ist verlässlich.

17

1.3 Pivot-Strategien und Nachiteration

Bemerkung 1.9. Es sei noch angemerkt, dass wir die Determinante von A aus der Zerlegung PA D LR wie in Satz 1.8 leicht mit der Formel det A D det.P /  det.LR/ D sgn.0 /  r11    rnn berechnen können. Vor der allzu naiven Berechnung von Determinanten sei jedoch gewarnt! Bekanntlich ergibt die Multiplikation des linearen Gleichungssystems mit einem beliebigen skalaren Faktor ˛ det.˛A/ D ˛ n det A: Aus einer „kleinen“ Determinante kann man also durch diese triviale Transformation eine beliebig „große“ Determinante machen und umgekehrt. Über die ganze Klasse dieser Transformationen betrachtet bleibt von der Determinante nur die invariante Boolesche Größe det A D 0 oder det A ¤ 0 übrig, für gerade n zusätzlich noch das Vorzeichen sgn det A. Weiter unten wird dies zu einer Charakterisierung der Lösbarkeit linearer Gleichungssysteme führen, die nicht auf Determinanten aufbaut. Außerdem zeigt sich hier ein weiteres Kriterium zur Beurteilung von Algorithmen: Falls das Problem selbst invariant gegen eine bestimmte Transformation ist, so verlangen wir die gleiche Invarianz von einem „guten“ Algorithmus, wenn dies realisierbar ist. Aufmerksamen Beobachtern fällt rasch auf, dass sich die Pivotstrategie beliebig abändern lässt, indem man die verschiedenen Zeilen mit unterschiedlichen statt gleichen Skalaren multipliziert. Diese Beobachtung führt uns zur praktisch enorm wichtigen Frage der Skalierung. Unter einer Zeilenskalierung verstehen wir eine Multiplikation von A mit einer Diagonalmatrix von links A ! Dz A;

Dz Diagonalmatrix,

und analog unter einer Spaltenskalierung eine Multiplikation mit einer Diagonalmatrix von rechts A ! ADs ; Ds Diagonalmatrix: (Wie wir bereits bei der Gauß-Elimination gesehen haben, lässt sich eine lineare Operation auf den Zeilen einer Matrix durch die Multiplikation mit einer geeigneten Matrix von links und entsprechend eine Operation auf den Spalten durch eine Matrizenmultiplikation von rechts beschreiben.) Mathematisch gesprochen ändern wir mit der Skalierung die Länge der Basisvektoren des Bildraumes (Zeilenskalierung) bzw. Urbildraumes (Spaltenskalierung) der durch die Matrix A beschriebenen linearen Abbildung. Modelliert diese Abbildung einen physikalischen Sachverhalt, so kann man sich darunter die Änderung der Einheiten oder Umeichung vorstellen (z. B. von Å auf km). Damit die Lösung des linearen Gleichungssystems Ax D b nicht von dieser Wahl der Einheiten abhängt, muss das System in geeigneter Weise skaliert werden,

18

1 Lineare Gleichungssysteme

indem wir die Matrix A von rechts und von links mit geeigneten Diagonalmatrizen multiplizieren: A ! AQ WD Dz ADs ; wobei Dz D diag.1 ; : : : ; n /

Ds D diag.1 ; : : : ; n /:

und

Auf den ersten Blick vernünftig erscheinen die folgenden drei Strategien: a) Äquilibrierung der Zeilen von A bzgl. einer Vektornorm k  k. Sei Ai die i -te Zeile von A, und sei vorausgesetzt, dass keine Zeile eine Nullzeile ist. Setzen wir dann Ds WD I und i WD kAi k1

für i D 1; : : : ; n;

so haben alle Zeilen von AQ die Norm 1. b) Äquilibrierung der Spalten. Seien alle Spalten Aj von A verschieden von Null. Setzen wir Dz WD I und j WD kAj k1

für j D 1; : : : ; n;

so haben alle Spalten von AQ die Norm 1. c) Nach a) und b) ist es ganz natürlich zu fordern, dass sowohl die Zeilen als auch die Spalten von A jeweils untereinander dieselbe Norm haben. Zur Bestimmung der i und j (bis auf jeweils einen gemeinsamen Faktor) hat man dann ein nichtlineares Gleichungssystem in 2n  2 Unbekannten zu lösen. Wie man sich leicht vorstellen kann, erfordert dies bei weitem mehr Aufwand als die Lösung des ursprünglichen Problems. Wie wir im vierten Kapitel sehen werden, muss dafür eine Folge von linearen Gleichungssystemen, jetzt mit 2n  2 Unbekannten, gelöst werden, für die sich natürlich wieder die Skalierungsfrage stellen würde. Aufgrund dieses Dilemmas wird die Skalierung in den meisten Programmen (z. B. in der Sammlung LAPACK [4]) dem Benutzer überlassen. Die oben diskutierten Pivotstrategien lassen offenbar nicht ausschließen, dass die so berechnete Lösung xQ immer noch „ziemlich ungenau“ ist. Wie lässt sich xQ ohne großen Aufwand verbessern? Natürlich können wir einfach die Lösung xQ verwerfen und versuchen, mit einer höheren Maschinengenauigkeit eine „bessere“ Lösung berechnen. Dabei würden jedoch alle Informationen verloren gehen, die wir bei der Berechnung von xQ gewonnen haben. Dies wird bei der sogenannten iterativen Verbesserung oder Nachiteration (engl.: iterative refinement) vermieden, bei der das Residuum r.y/ WD b  Ay D A.x  y/

1.4 Cholesky-Verfahren für symmetrische, positiv definite Matrizen

19

explizit ausgewertet wird. Offenbar wäre die „exakte“ Lösung x gefunden, falls das Residuum verschwindet. Der absolute Fehler x0 WD x  x0 von x0 WD xQ genügt der Gleichung (1.8) Ax0 D r.x0 /: Bei der Lösung dieser Korrekturgleichung (1.8) erhalten wir im Allgemeinen eine Q 0 ¤ x0 . Trotzdem erwarten wir, dass die wiederum fehlerbehaftete Korrektur x Näherungslösung Q 0 x1 WD x0 C x „besser“ ist als x0 . Die Idee der Nachiteration besteht nun darin, diesen Prozess solange zu wiederholen, bis die Näherungslösung xi „genau genug“ ist. Dabei beachte man, dass sich das Gleichungssystem (1.8) nur in der rechten Seite von dem ursprünglichen unterscheidet, so dass die Berechnung der Korrekturen xi relativ wenig Aufwand erfordert. Die Nachiteration arbeitet speziell im Zusammenspiel mit Gauß-Elimination und Spaltenpivotsuche ganz hervorragend: In Kapitel 2.4.3 werden wir das substantielle Resultat von R. D. Skeel [89] formulieren, dass bei Verwendung dieses Algorithmus eine einzige Nachiteration ausreicht, um die Lösung „genau genug“ zu erhalten. Dort werden wir auch die bisher vage gehaltenen Begriffe „bessere Näherungslösung“ und „genau genug“ präzisieren.

1.4

Cholesky-Verfahren für symmetrische, positiv definite Matrizen

Wir wollen nun die Gauß-Elimination auf die eingeschränkte Klasse von Gleichungssystemen mit symmetrisch positiv definiten Matrizen anwenden. Es wird sich dabei herausstellen, dass die Dreieckszerlegung in diesem Fall stark vereinfacht werden kann. Wir erinnern daran, dass eine symmetrische Matrix A D AT 2 Matn .R/ genau dann positiv definit ist, falls hx; Axi > 0

für alle x ¤ 0:

(1.9)

Wir nennen solche Matrizen auch kurz spd-Matrizen. Satz 1.10. Für jede spd-Matrix A 2 Matn .R/ gilt: (i) A ist invertierbar. (ii) ai i > 0 für i D 1; : : : ; n. (iii) maxi;j D1;:::;n jaij j D maxi D1;:::;n ai i . (iv) Bei der Gauß-Elimination ohne Pivotsuche ist jede Restmatrix wiederum symmetrisch positiv definit.

20

1 Lineare Gleichungssysteme

Offensichtlich besagen (iii) und (iv), dass eine Spalten- oder Zeilenpivotsuche bei der LR-Zerlegung von A unnötig, ja sogar unsinnig wäre, da sie evtl. die spezielle Struktur von A zerstören würde. Insbesondere besagt (iii), dass sich vollständige Pivotsuche auf diagonale Pivotsuche reduzieren lässt. Beweis. Die Invertierbarkeit von A folgt sofort aus (1.9). Setzen wir in (1.9) für x einen Basisvektor ei , so folgt gerade ai i D hei ; Aei i > 0 und daher die zweite Behauptung. Ähnlich zeigt man die dritte Aussage, siehe Aufgabe 1.7. Um die Aussage (iv) zu beweisen, schreiben wir A D A.1/ als 2 3 a11 zT 6 7 6 7 A.1/ D 6 z 7; B .1/ 4 5 wobei z D .a12 ; : : : ; a1n /T und erhalten nach einem Eliminationsschritt 2 2 3 a11 zT 1 6 6 7 6 6 7 6 0 6 l 7 1 B .2/ 7 mit L1 D 6 21 A.2/ D L1 A.1/ D 6 6 :: 6 :: 7 :: 6 : 6 : 7 : 4 4 5 0

ln1

3 7 7 7 7: 7 7 5 1

Multiplizieren wir nun A.2/ von rechts mit LT1 , so wird auch z T in der ersten Zeile eliminiert und die Teilmatrix B .2/ bleibt unverändert, d. h. 2 3 a11 0 : : : 0 6 7 6 7 6 7 0 7: L1 A.1/ LT1 D 6 6 :: 7 .2/ 6 : 7 B 4 5 0 Die Operation A ! L1 ALT1 beschreibt einen Basiswechsel für die durch die symmetrische Matrix A gegebene Bilinearform. Nach dem Trägheitssatz von Sylvester ist  daher L1 A.1/ LT1 und damit auch B .2/ wieder symmetrisch positiv definit. Zusammen mit dem Satz über die LR-Zerlegung können wir jetzt die rationale Cholesky-Zerlegung für symmetrische, positiv definite Matrizen herleiten. Satz 1.11. Für jede symmetrische, positiv definite Matrix A existiert eine eindeutig bestimmte Zerlegung der Form A D LDLT ;

1.4 Cholesky-Verfahren für symmetrische, positiv definite Matrizen

21

wobei L eine unipotente untere Dreiecksmatrix und D eine positive Diagonalmatrix ist. Beweis. Wir setzen die Konstruktion im Beweis von Satz 1.10 für k D 2; : : : ; n1 fort 1 und erhalten so unmittelbar L als Produkt der L1 1 ; : : : ; Ln1 und D als Diagonalmatrix der Pivotelemente.  p 1 Korollar 1.12. Da D D diag.di / positiv ist, existiert D 2 D diag. di / und daher die Cholesky-Zerlegung (1.10) A D LN LN T ; 1 wobei LN die untere Dreiecksmatrix LN WD LD 2 ist.

Durch Benutzung der Matrix LN D .lij / erhalten wir somit das klassische Cholesky-Verfahren, das sich kompakt wie folgt darstellen lässt: Algorithmus 1.13. Cholesky-Zerlegung. for k WD 1 to n do P 2 1=2 ; lkk WD .akk  jk1 D1 lkj / for i WD k C 1 to n do P lik D .aik  jk1 D1 lij lkj /= lkk ; end for end for Die Herleitung dieses Algorithmus ist nichts weiter als die elementweise Auswertung der Gleichung (1.10) 32 3 2 3 2 a11 : : : a1n l11 : : : ln1 l11 76 7 6 7 6 : :: 76 7 6 :: 7 6 :: :: :: 76 7D6 : 7; 6 : : :: : : 54 5 4 5 4 ln1 : : : lnn lnn an1 : : : ann i DkW

2 2 2 akk D lk1 C    C lk;k1 C lkk ;

i >kW

aik

D li1 lk1 C    C li;k1 lk;k1 C lik lkk :

Die Raffinesse der Methode steckt in der Reihenfolge der Berechnung der Elemente N Für den Rechenaufwand zählen wir von L. 1  n3 Multiplikationen und n Quadratwurzeln: 6 Im Unterschied dazu kommt die rationale Cholesky-Zerlegung ohne Quadratwurzeln, also nur mit rationalen Operationen aus (daher der Name). Der Aufwand kann

22

1 Lineare Gleichungssysteme

auch hier durch geschickte Programmierung auf  61 n3 gehalten werden. Ein Vorteil der rationalen Cholesky-Zerlegung besteht darin, dass fast singuläre Matrizen D erkannt werden können. Auch kann das Verfahren auf symmetrische indefinite Matrizen (x T Ax ¤ 0 für alle x ¤ 0) erweitert werden. Bemerkung 1.14. Die spd-Zusatzstruktur der Matrizen führte offenbar zu einer spürbaren Reduktion des Rechenaufwandes. Sie ist zugleich die Basis für ganz anders gebaute iterative Lösungsverfahren, die wir in Kapitel 8 im Detail beschreiben werden. Solche Verfahren spielen dann eine Rolle, wenn die auftretenden Matrizen besonders groß werden, eventuell sogar noch dünnbesetzt.

Übungsaufgaben Aufgabe 1.1. Geben Sie eine vollbesetzte, nicht singuläre (3,3)-Matrix an, bei der das Gaußsche Eliminationsverfahren ohne Zeilentausch versagt. Aufgabe 1.2. a) Zeigen Sie, dass die unipotenten (nichtsingulären) unteren (oberen) Dreiecksmatrizen jeweils eine Untergruppe von GL.n/ bilden. b) Zeigen Sie unter Verwendung von a), dass die Darstellung A D LR einer nichtsingulären Matrix A 2 GL.n/ als Produkt einer unipotenten unteren Dreiecksmatrix L und einer nichtsingulären oberen Dreiecksmatrix R eindeutig ist, sofern sie existiert. c) Falls A D LR wie in b), so werden L und R mit der Gaußschen Dreieckszerlegung berechnet. Warum ist dies ein weiterer Beweis für b)? Hinweis: Induktion. Aufgabe 1.3. Eine Matrix A 2 Matn .R/ heißt strikt diagonaldominant, falls jai i j >

n X

jaij j

für i D 1; : : : ; n:

iD1 j ¤i

Zeigen Sie, dass für eine Matrix A 2 Matn .R/ mit strikt diagonaldominanter Transponierter AT die Gaußsche Dreieckszerlegung durchführbar und insbesondere A invertierbar ist. Hinweis: Induktion.

23

Übungsaufgaben

Aufgabe 1.4. Der numerische Wertebereich W.A/ einer Matrix A 2 Matn .R/ ist definiert als die Menge W.A/ WD fhAx; xi W hx; xi D 1; x 2 Rn g : Hierbei ist h; i das Euklidische Skalarprodukt auf Rn . a) Zeigen Sie, dass die Matrix A 2 Matn .R/ eine LR-Zerlegung (L unipotente untere, R obere Dreiecksmatrix) besitzt, wenn die Null nicht im Wertebereich von A liegt, d. h. 0 62 W.A/: Hinweis: Induktion. b) Benutzen Sie a), um zu zeigen, dass die Matrix 2

3 1 2 3

6 7 6 7 62 4 77 4 5 3 5 3 keine LR-Zerlegung besitzt. Aufgabe 1.5. Programmieren Sie die Gaußsche Dreieckszerlegung. Das Programm soll die Daten A und b aus einer Datei einlesen und mit folgenden Beispielen getestet werden: a) mit der Matrix aus Aufgabe 1.1, b) mit n D 1, A D 25 und b D 4, c) mit aij D i j 1 und bi D i für n D 7, 15 und 50. Vergleichen Sie jeweils die berechneten mit den exakten Lösungen. Aufgabe 1.6. Die Gauß-Zerlegung mit Spaltenpivotsuche liefere angewandt auf die Matrix A die Zerlegung PA D LR, wobei P die sich im Lauf der Elimination ergebende Permutationsmatrix ist. Zeigen Sie: a) Die Gauß-Elimination mit Spaltenpivotsuche ist invariant gegen (i) Permutationen der Zeilen von A (triviale Ausnahme: mehrere betragsgleiche Elemente pro Spalte), (ii) Multiplikation der Matrix mit einer Zahl  ¤ 0, A ! A. b) Ist D eine Diagonalmatrix, so liefert die Gauß-Elimination mit Spaltenpivotsuche angewandt auf AN WD AD die Zerlegung P AN D LRN mit RN D RD.

24

1 Lineare Gleichungssysteme

Überlegen Sie sich das entsprechende Verhalten für die Zeilenpivotstrategie mit Spaltentausch sowie für die vollständige Pivotstrategie mit Zeilen- und Spaltentausch. Aufgabe 1.7. Die Matrix A 2 Matn .R/ sei symmetrisch positiv definit. a) Zeigen Sie, dass 1 p ai i ajj  .ai i C ajj / für alle i; j D 1; : : : ; n. 2   ij Hinweis: Zeigen Sie zunächst, dass die Matrix aaji ii aajj für alle i; j symmetrisch positiv definit ist. jaij j 

b) Folgern Sie aus a), dass max jaij j D max ai i : i;j

i

Interpretieren Sie das Resultat im Zusammenhang mit Pivotstrategien. Aufgabe 1.8. Zeigen Sie, dass für u; v 2 Rn gilt: a) .I C uv T /1 D I 

uv T , 1Cv T u

falls uT v ¤ 1,

b) I C uv T ist singulär, falls uT v D 1. Aufgabe 1.9. Zu lösen sei das lineare Gleichungssystem Ax D b mit der Matrix 3 2 6 6 6 AD6 6 6 4

R

uT

7 7 v 7 7; 7 7 5 0

wobei R 2 Matn .R/ eine invertierbare obere Dreiecksmatrix ist, u; v 2 Rn und x; b 2 RnC1 . a) Geben Sie die Dreieckszerlegung der Matrix A an. b) Zeigen Sie: A ist nichtsingulär genau dann, wenn uT R1 v ¤ 0: c) Formulieren Sie einen sparsamen Algorithmus zur Lösung des obigen linearen Gleichungssystems (Aufwand?). Aufgabe 1.10. Im Zusammenhang mit Wahrscheinlichkeitsverteilungen treten Matrizen A 2 Matn .R/ auf mit den folgenden Eigenschaften: Pn (i) i D1 aij D 0 für j D 1; : : : ; n, (ii) ai i < 0 und aij  0 für i D 1; : : : ; n und j ¤ i .

25

Übungsaufgaben

Dabei bezeichne A D A.1/ ; A.2/ ; : : : ; A.n/ die bei der Gauß-Elimination entstehenden Matrizen. Zeigen Sie: a) ja11 j  jai1 j für i D 2; : : : ; n, Pn .2/ b) i D2 aij D 0 für j D 2; : : : ; n, .1/

.2/

.2/

.1/

c) ai i  ai i  0 für i D 2; : : : ; n, d) aij  aij  0 für i; j D 2; : : : ; n und j ¤ i ; e) falls die bei den ersten n  2 Gauß-Eliminationsschritten nacheinander entste.i/ henden Diagonalelemente alle verschieden von Null sind, d. h. ai i < 0 für .n/ i D 1; : : : ; n  1, so gilt ann D 0. Aufgabe 1.11. Ein Problem aus der Astrophysik („kosmischer Maser“)1 lässt sich als ein System von .n C 1/ linearen Gleichungen in n Unbekannten der Form 2

3

0 1 0 7 x1 6 B C 7 B C B :: C 6 6 A 7B : C B : C 7 B :: C D B C 6 7@ A B C 6 7 6 B0C 5 x 4 @ A n 1 ::: 1 1 0

1

formulieren, wobei A die Matrix aus Aufgabe 1.10 ist. Zur Lösung dieses Systems wenden wir auf die Matrix A eine Gauß-Elimination ohne Pivotsuche mit folgenden zwei Zusatzregeln an, wobei wir die entstehenden Matrizen wieder mit A D A.1/ ; : : : ; A.n1/ und die relative Maschinengenauigkeit mit eps bezeichnen. .k/

a) Falls im Laufe des Algorithmus jakk j  jakk j eps für ein k < n, so schiebe simultan die Zeile k und die Spalte k ans Ende und die übrigen Zeilen und Spalten nach vorne (Rotation der Zeilen und Spalten). .k/

b) Falls jakk j  jakk j eps für alle noch verbleibenden k < n  1, so breche den Algorithmus ab. Zeigen Sie: (i) Der Algorithmus liefert, falls er nicht in b) abbricht, nach n  1 Eliminationsschritten eine Zerlegung von A in PAP T D LR, wobei P eine Permutation und R D A.n1/ eine obere Dreiecksmatrix mit rnn D 0, ri i < 0 für i D 1; : : : ; n  1 und rij  0 für j > i ist. 1 microwave

amplification by stimulated emission of radiation

26

1 Lineare Gleichungssysteme

(ii) Das System besitzt in diesem Fall eine eindeutige Lösung x, und alle Komponenten von x sind nicht negativ (Interpretation: Wahrscheinlichkeiten). Geben Sie eine einfache Vorschrift zur Berechnung von x an. Aufgabe 1.12. Programmieren Sie den in Aufgabe 1.11 entwickelten Algorithmus zur Lösung des speziellen Gleichungssystems, und testen Sie das Programm an zwei selbstgewählten Beispielen der Dimension n D 5 und n D 7 sowie mit der Matrix 2 3 2 2 0 1 6 7 6 7 6 2 4 1 1 7 6 7: 6 7 6 0 1 2 0 7 5 4 0 1 1 2 Aufgabe 1.13. Gegeben sei das lineare Gleichungssystem C x D b, wobei C eine invertierbare .2n; 2n/-Matrix der folgenden speziellen Gestalt ist: 2 3 A B 5 ; A; B invertierbar: C D4 B A a) Sei C 1 partitioniert wie C : 2

3

C 1 D 4

E

F

5:

G H Beweisen Sie die Identität von I. Schur: E D H D .A  BA1 B/1

und

F D G D .B  AB 1 A/1 :

b) Seien x D .x1 ; x2 /T und b D .b1 ; b2 /T ebenfalls partitioniert und .A C B/y1 D b1 C b2 ;

.A  B/y2 D b1  b2 :

Zeigen Sie, dass 1 x1 D .y1 C y2 /; 2 Numerischer Vorteil?

1 x2 D .y1  y2 /: 2

2 Fehleranalyse

Im vorigen Kapitel haben wir eine Klasse von Verfahren kennengelernt, um ein lineares Gleichungssystem rechnerisch zu lösen. Formal haben wir dabei aus Eingabegrößen .A; b/ das Resultat f .A; b/ D A1 b berechnet. Mit diesem Beispiel im Hinterkopf wollen wir nun im vorliegenden Kapitel Algorithmen von einem abstrakteren Gesichtspunkt aus analysieren. Sei ein Problem abstrakt charakterisiert durch .f; x/ mit gegebener Abbildung f und gegebenen Eingabedaten x. Das Problem lösen heißt dann, das Resultat f .x/ mit Hilfe eines Algorithmus bestimmen, der evtl. noch Zwischengrößen produziert. Die Situation wird durch das Schema beschrieben: Eingabe

!

Algorithmus

!

Resultat

Wir wollen in diesem Kapitel untersuchen, wie sich Fehler auf diesen Vorgang auswirken, und nebenbei speziell klären, ob es sich bei der Gauß-Elimination um ein zuverlässiges Verfahren handelt. Fehler im Ergebnis rühren sowohl von Eingabefehlern als auch von Fehlern im Algorithmus her: Eingabefehler !

Fehler im Algorithmus

!

Fehler im Resultat

Gegenüber Eingabefehlern sind wir im Prinzip machtlos, sie gehören zum gegebenen Problem und können allenfalls durch eine Änderung der Problemstellung vermieden werden. Anders sieht es mit den vom Algorithmus verursachten Fehlern aus. Hier haben wir die Chance, Fehler zu vermeiden oder zu verringern, indem wir das Verfahren verändern. Die Unterscheidung dieser beiden Arten von Fehlern wird uns im Folgenden zu den Begriffen Kondition eines Problems und Stabilität eines Algorithmus führen. Zunächst wollen wir die möglichen Fehlerquellen eingehender diskutieren.

2.1

Fehlerquellen

Auch wenn die Eingabegrößen als exakt gegeben angesehen werden, treten durch die Darstellung nicht ganzzahliger Zahlen in einem Rechner Eingabefehler auf. Bei der

28

2 Fehleranalyse

heute üblichen normalisierten Gleitkommadarstellung (engl.: floating point representation) wird eine Zahl z von „reellem Typ“ dargestellt als z D ad e , wobei die Basis d eine Zweierpotenz ist (in der Regel 2; 8 oder 16) und der Exponent e eine ganze Zahl mit einer vorgegebenen maximalen Binärstellenzahl, e 2 femin ; : : : ; emax g  Z: Die sogenannte Mantisse a ist entweder 0 oder eine Zahl mit d 1  jaj < 1 und hat die Form l X ai d i ; aDv iD1

wobei v 2 f˙1g das Vorzeichen ist, ai 2 f0; : : : ; d  1g die Ziffern mit a D 0 oder a1 ¤ 0 und l die Mantissenlänge. Die so darstellbaren Zahlen bilden eine endliche Teilmenge F WD fx 2 R W es gibt a, e wie oben, so dass x D ad e g der reellen Zahlen. Der Bereich, den der Exponent e überstreichen kann, bestimmt die betragsmäßig größte und kleinste Zahl, die sich auf der Maschine (damit ist immer der Rechner zusammen mit dem benutzten Compiler gemeint) darstellen lässt. Die Mantissenlänge l ist für die relative Genauigkeit der Darstellung reeller Zahlen in der Maschine verantwortlich. Jede Zahl x ¤ 0 mit d emin 1  jxj  d emax .1  d l / lässt sich (durch Rundung auf die nächstliegende Maschinenzahl) durch eine Gleitkommazahl (engl.: floating point number) fl.x/ 2 F repräsentieren, deren relativer Fehler sich durch jx  fl.x/j  eps WD d 1l =2 jxj abschätzen lässt. Dabei verwenden wir für die Division durch Null die Konvention, dass 0=0 D 0 und x=0 D 1 für x > 0. Falls jxj kleiner als die betragsmäßig kleinste Maschinenzahl d emin 1 ist, spricht man von Exponentenunterlauf (engl.: underflow), im entgegengesetzten Fall jxj > d emax .1d l / von Exponentenüberlauf (engl.: overflow). Wir nennen eps die relative Maschinengenauigkeit, in der Literatur auch häufig mit u für „unit roundoff“ bezeichnet. Sie liegt bei einfacher Genauigkeit (single precision in FORTRAN und float in C ) in der Regel bei eps 107 . Stellen wir uns nun vor, wir wollten eine mathematisch exakt zu denkende reelle Zahl x, zum Beispiel x D  D 3:141592653589 : : : ; in einen Rechner eingeben. Theoretisch ist bekannt, dass sich  als eine irrationale Zahl nicht mit einer endlichen Mantissenlänge darstellen lässt und daher auf jedem

29

2.1 Fehlerquellen

Rechner eine fehlerbehaftete Eingabegröße ist, z. B. für eps D 107  7! fl./ D 3:141593;

j fl./  j  eps :

Wesentlich ist dabei, dass die Zahl x nach der Eingabe in einen Rechner ununterscheidbar ist von allen anderen Zahlen x, Q die auf dieselbe Gleitkommazahl fl.x/ D fl.x/ Q gerundet werden. Insbesondere ist diejenige reelle Zahl, welche durch Anhängen von Nullen an die Maschinenzahl entstünde, in keiner Weise ausgezeichnet. Es ist demnach unsinnig, von einer „exakten“ Eingabe auszugehen. Diese Einsicht wird die folgende Fehleranalyse maßgeblich beeinflussen. Eine weitere wichtige Fehlerquelle bei den Eingabedaten sind Messfehler, wenn die Eingabegrößen aus experimentellen Daten gewonnen werden. Solche Daten x werden meist zusammen mit dem absoluten Fehler ıx, der sogenannten Toleranz angegeben: Der Abstand von x zum „wahren“ Wert xN lässt sich (komponentenweise) abschätzen durch jx  xj N  ıx: Die relative Genauigkeit jıx=xj liegt dabei in vielen praktisch wichtigen Fällen zwischen 102 und 103 – eine Größe, die die Rundung der Eingabe im Allgemeinen weit überwiegt. Man spricht in diesem Zusammenhang häufig auch von technischen Genauigkeiten. Gehen wir nun über zu der zweiten Gruppe von Fehlerquellen, den Fehlern im Algorithmus. Bei der Realisierung einer Elementaroperation ı 2 fC; ; ; = g O ; durch die entsprechende Gleitkommaoperation ıO 2 fC; O O; =O g lassen sich Rundungsfehler nicht vermeiden. Der relative Fehler ist dabei wieder kleiner oder gleich der relativen Maschinengenauigkeit, d. h., für x; y 2 F gilt x ıO y D .x ı y/.1 C "/ für ein " D ".x; y/ mit j"j  eps : Dabei beachte man, dass die Operationen ıO im Allgemeinen nicht assoziativ sind (vgl. Aufgabe 2.1), so dass es in F sehr wohl auf die Reihenfolge der auszuführenden Operationen ankommt. Neben den Rundungsfehlern können in einem Algorithmus Näherungsfehler, die sogenannten Approximationsfehler, entstehen. Sie treten immer dann auf, wenn eine Funktion nicht exakt (bis auf Rundungsfehler) berechnet werden kann, sondern approximiert werden muss. Dies ist z. B. bei der Berechnung des Sinus durch eine abgebrochene Reihenentwicklung der Fall oder, um ein komplexeres Problem zu nennen, bei der Lösung von Differentialgleichungen. In diesem Kapitel werden wir uns im Wesentlichen auf die Behandlung von Rundungsfehlern beschränken. Approximationsfehler werden wir jeweils im Zusammenhang mit der Beschreibung der einzelnen Algorithmen in späteren Kapiteln studieren.

30

2.2

2 Fehleranalyse

Kondition eines Problems

Wir stellen uns nun die Frage: Wie wirken sich Störungen der Eingabegrößen auf das Resultat unabhängig vom gewählten Algorithmus aus? Wir haben oben bei der Beschreibung der Eingabefehler gesehen, dass die Eingabe x logisch ununterscheidbar ist von allen Eingaben x, Q die sich im Rahmen der vorgegebenen Genauigkeit befinden. Statt der „exakten“ Eingabe x sollten wir daher besser eine Eingabemenge E betrachten, die all diese gestörten Eingaben xQ enthält (siehe Abbildung 2.1). f E

x R

f .x/

Abbildung 2.1. Eingabe- und Resultatmenge

Eine Maschinenzahl x repräsentiert demnach die Eingabemenge E D fxQ 2 R W jxQ  xj  eps jxjg: Wüßten wir hingegen, dass die Eingabe x mit einer absoluten Toleranz ıx vorliegt, so wäre die entscheidende Eingabegröße die Menge E D fxQ 2 R W jxQ  xj  ıxg: Die Abbildung f , die unser Problem beschreibt, überführt die Eingabemenge E in eine Resultatmenge R D f .E/. So wie wir von der vermeintlich exakten Eingabe x zur Eingabemenge E geführt wurden, so ist es bei der Analyse von Eingabefehlern daher sinnvoll, statt der punktweisen Abbildung f W x 7! f .x/ die Mengenabbildung f W E 7! R D f .E/ zu untersuchen. Die Auswirkungen von Störungen der Eingabegrößen auf das Resultat lassen sich nun durch das Verhältnis der Eingabemenge zur Resultatmenge ablesen. Eine Charakterisierung des Verhältnisses von E und R nennen wir die Kondition des durch .f; x/ beschriebenen Problems. Beispiel 2.1. Um ein Gefühl für diesen noch nicht präzisen Begriff zu entwickeln, betrachten wir vorab das geometrische Problem der zeichnerischen Bestimmung des Schnittpunktes r zweier Geraden g und h in der Ebene (siehe Abbildung 2.2). Schon bei der zeichnerischen Lösung dieses Problems ist es nicht möglich, die Geraden g und h exakt darzustellen. Die Frage ist nun, wie stark der konstruierte Schnittpunkt r von den Zeichenfehlern (oder: Eingabefehlern) abhängt. Die Eingabemenge E beQ die nur innerhalb der steht in unserem Beispiel gerade aus allen Geraden gQ und h, Zeichengenauigkeit von g bzw. h abweichen, die Resultatmenge R aus den jeweiligen Schnittpunkten rQ . Wir sehen sofort, dass das Verhältnis der Eingabemenge zur

31

2.2 Kondition eines Problems

hQ

gQ rQ

g

h

r

Abbildung 2.2. Schnittpunkt r zweier Geraden g; h (gutkonditioniert) g

r

h Abbildung 2.3. Schleifender Schnitt (schlechtkonditioniert)

Resultatmenge stark davon abhängt, in welchem Winkel =2

tan xk

xkC1 D arctan.2xk / 1:2 1:1760 1:1687 1:1665 1:1658 1:1656 1:1655 1:1655

Tabelle 4.1. Vergleich der Fixpunktiterationen 1 und 2

Folge (tan x hat einen Pol bei =2 und x2 > =2), während die zweite konvergiert. Bei der konvergenten Folge tritt ungefähr bei jedem zweiten Iterationsschritt eine gültige Dezimalziffer mehr auf.

94

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Offensichtlich konvergiert nicht jede naiv konstruierte Fixpunktiteration. Wir betrachten deshalb nun allgemein Folgen fxk g, die durch eine Iterationsfunktion  xkC1 D .xk / gegeben sind. Wollen wir die Differenz zweier Folgenglieder jxkC1  xk j D j.xk /  .xk1 /j durch die Differenz jxk  xk1 j der vorhergehenden abschätzen (wobei wir natürlich sofort an die geometrische Reihe denken), so führt dies zwingend zu der folgenden theoretischen Charakterisierung: Definition 4.2. Sei I D Œa; b  R ein Intervall und  W I ! R.  ist kontrahierend auf I , falls es ein 0  < 1 gibt, so dass j.x/  .y/j  jx  yj

für alle x; y 2 I .

Für stetig differenzierbares  ist die Lipschitz-Konstante leicht zu berechnen. Lemma 4.3. Ist  W I ! R stetig differenzierbar,  2 C 1 .I /, so gilt sup x;y2I

j.x/  .y/j D sup j 0 .z/j < 1: jx  yj z2I

Beweis. Dies ist eine einfache Anwendung des Mittelwertsatzes in R: Für alle x; y 2 I , x < y, existiert ein  2 Œx; y, so dass .x/  .y/ D  0 ./.x  y/: Satz 4.4. Sei I D Œa; b  R ein Intervall und  W I ! I eine kontrahierende Abbildung mit Lipschitz-Konstante < 1. Dann folgt: a) Es existiert genau ein Fixpunkt x  von , .x  / D x  . b) Für jeden Startwert x0 2 I konvergiert die Fixpunktiteration xkC1 D .xk / gegen x  mit

k jx1  x0 j: jxkC1  xk j  jxk  xk1 j und jx   xk j  1 Beweis. Es gilt für alle x0 2 I , dass jxkC1  xk j D j.xk /  .xk1 /j  jxk  xk1 j und daher induktiv jxkC1  xk j  k jx1  x0 j:

95

4.1 Fixpunktiteration

Wir wollen zeigen, dass fxk g eine Cauchy-Folge ist, und betrachten daher jxkCm  xk j  jxkCm  xkCm1 j C    C jxkC1  xk j  . kCm1 C kCm2 C    C k / jx1  x0 j ƒ‚ … „ k m1 D .1 C C    C / 

k jx1  x0 j; 1

wobei die Dreiecksungleichung und die Abschätzung für die geometrische Reihe P1 wir k D 1=.1  / benutzt haben. fx g ist also eine Cauchy-Folge, die in dem

k kD0 vollständigen Raum der reellen Zahlen gegen den Häufungspunkt x  WD lim xk k!1

konvergiert.

x

ist aber auch Fixpunkt von , da

jx   .x  /j D jx   xkC1 C xkC1  .x  /j D jx   xkC1 C .xk /  .x  /j  jx   xkC1 j C j.xk /  .x  /j  jx   xkC1 j C jx   xk j ! 0

für k ! 1:

Damit haben wir den zweiten Teil des Satzes und die Existenz des Fixpunktes bewiesen. Sind x  ; y  zwei Fixpunkte, so gilt 0  jx   y  j D j.x  /  .y  /j  jx   y  j: Da < 1, ist dies nur für jx   y  j D 0 möglich. Daher ist der Fixpunkt von  auch eindeutig bestimmt.  Bemerkung 4.5. Satz 4.4 ist ein Spezialfall des Banachschen Fixpunktsatzes. In dem Beweis wurden nur die Dreiecksungleichung für den Betrag und die Vollständigkeit von R als Eigenschaften benutzt. Er gilt daher wesentlich allgemeiner, wenn man R durch einen Banach-Raum X, z. B. einen Funktionenraum, und den Betrag durch die zugehörige Norm ersetzt. Solche Sätze spielen nicht nur in der Theorie, sondern auch in der Numerik von Differential- und Integralgleichungen eine Rolle. Wir werden in diesem einführenden Lehrbuch lediglich die Erweiterung auf X D Rn mit einer Norm k  k anstelle des Betrages j  j benutzen. Bemerkung 4.6. Für skalare nichtlineare Gleichungen, bei denen lediglich ein Programm zur Auswertung von f .x/ zusammen mit einem die Lösung einschließenden Intervall vorliegt, hat sich inzwischen der Algorithmus von R. P. Brent [10] als Standard etabliert. Er beruht auf einer Mischung recht elementarer Techniken wie Bisektion und invers-quadratischer Interpolation, die wir hier nicht eigens ausführen wollen.

96

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Sie sind in [10] detailliert beschrieben. Falls mehr Informationen über f bekannt sind, etwa Konvexität oder Differenzierbarkeit, lassen sich rascher konvergente Verfahren konstruieren, auf die wir im Folgenden unser Augenmerk richten wollen. Zur Beurteilung der Konvergenzgeschwindigkeit einer Fixpunktiteration definieren wir den Begriff der Konvergenzordnung einer Folge fxk g. Definition 4.7. Eine Folge fxk g; xk 2 Rn , konvergiert mit der Ordnung .mindestens/ p  1 gegen x  , falls es eine Konstante C  0 gibt, so dass kxkC1  x  k  C kxk  x  kp ; wobei wir im Fall p D 1 zusätzlich verlangen, dass C < 1. Im Fall p D 1 sprechen wir auch von linearer, für p D 2 von quadratischer Konvergenz. Weiter heißt fxk g superlinear konvergent, falls es eine nicht negative Nullfolge Ck  0 mit limk!1 Ck D 0 gibt, so dass kxkC1  x  k  Ck kxk  x  k: Bemerkung 4.8. Häufig definiert man die Konvergenzordnung p aus Gründen einer einfacheren Analysis alternativ durch die analogen Ungleichungen für die Iterierten kxkC1  xk k  C kxk  xk1 kp bzw. kxkC1  xk k  Ck kxk  xk1 k für die superlineare Konvergenz. Wie wir oben an dem einfachen Beispiel f .x/ D 2x  tan x gesehen haben, muss man zur Lösung des nichtlinearen Problems f .x/ D 0 eine geeignete Fixpunktiteration unter mehreren möglichen auswählen. Dies ist im Allgemeinen keine einfache Aufgabe. Wegen jxkC1  x  j D j.xk /  .x  /j  jxk  x  j und 0  < 1 konvergiert die Fixpunktiteration xkC1 D .xk / für eine kontrahierende Abbildung  im allgemeinen Fall nur linear. Von einem guten Iterationsverfahren erwarten wir jedoch, dass es zumindest superlinear oder linear mit einer kleinen Konstante C 1 konvergiert. Im nächsten Kapitel werden wir uns deshalb einem Verfahren mit quadratischer Konvergenz zuwenden.

97

4.2 Newton-Verfahren für nichtlineare Gleichungssysteme

4.2

Newton-Verfahren für nichtlineare Gleichungssysteme

Wir bleiben zunächst wiederum bei einer skalaren nichtlinearen Gleichung f .x/ D 0 und suchen eine Nullstelle x  von f . Da uns die Funktion f nicht global zur Verfügung steht, sondern nur punktweise auswertbar ist, approximieren wir sie durch ihre Tangente p.x/ im Startpunkt x0 . Anstelle des Schnittpunktes x  des Graphen von f mit der x-Achse berechnen wir dann den Schnittpunkt x1 der Tangente (siehe Abbildung 4.2). Das Tangentenpolynom hat die Darstellung p.x/ D f .x0 / C f 0 .x0 /.x  x0 /:

p.x/ f .x/ x0

0 f .x0 /

+

+

x1

+

+

x

o

Abbildung 4.2. Idee des Newton-Verfahrens im R1

Die zugehörige Nullstelle x1 lässt sich im Fall von f 0 .x0 / ¤ 0 durch x 1 D x0 

f .x0 / f 0 .x0 /

angeben. Die Grundidee des Newton-Verfahrens besteht nun in der wiederholten Anwendung dieser Vorschrift xkC1 WD xk 

f .xk / ; f 0 .xk /

k D 0; 1; 2; : : : :

Offensichtlich ist dies eine spezielle Fixpunktiteration mit der Iterationsfunktion .x/ WD x 

f .x/ : f 0 .x/

Sie kann natürlich nur gebildet werden, falls f differenzierbar ist und f 0 .x/ zumindest in einer Umgebung der Lösung nicht verschwindet. Die Konvergenzeigenschaften des Verfahrens werden wir weiter unten in allgemeinerem theoretischen Rahmen analysieren.

98

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Beispiel 4.9. Berechnung der Quadratwurzel. Zu lösen ist die Gleichung f .x/ WD x 2  c D 0: Im Rechner werde die Zahl c als Gleitkommazahl c D a2p

mit 0:5 < a  1

durch die Mantisse a und den Exponenten p 2 N dargestellt. Damit gilt ´ p p falls p D 2m; 2m a; c D mp p 2 a 0:5; falls p D 2m  1; wobei

p

p

a  1: p p Wird 0:5 D 1= 2 0:71 ein für allemal gesondert berechnet und auf die erforderliche Anzahl von Ziffern abgespeichert, so bleibt nur noch das Problem 0:5
1

99

4.2 Newton-Verfahren für nichtlineare Gleichungssysteme

k xk 0 1:0000000000 1 0:9050000000 2 0:9000138122 3 0:90000000001 Tabelle 4.2. Newton-Iteration für a D 0:81 und x0 D 1

natürlich nicht mehr möglich. Im Kern müssen wir jedoch lediglich die nichtlineare Funktion F lokal durch eine lineare Funktion ersetzen. Die Taylor-Entwicklung von F um einen Startwert x 0 ergibt 0 D F .x/ D F .x 0 / C F 0 .x 0 /.x  x 0 / Co .jx  x 0 j/ „ ƒ‚ … N WD F .x/

für x ! x 0 .

(4.2)

Die Nullstelle x 1 der linearen Ersatzabbildung FN ist gerade x 1 D x 0  F 0 .x 0 /1 F .x 0 /; falls die Jacobimatrix F 0 .x 0 / an der Stelle x 0 invertierbar ist. Dies inspiriert die Newton-Iteration .k D 0; 1; : : : / F 0 .x k /x k D F .x k /

mit x kC1 D x k C x k .

(4.3)

Natürlich wird nicht etwa die Inverse F 0 .x k /1 in jedem Iterationsschritt berechnet, sondern nur die sogenannte Newton-Korrektur x k als Lösung des obigen linearen Gleichungssystems. Wir haben also die numerische Lösung eines nichtlinearen Gleichungssystems zurückgeführt auf die numerische Lösung einer Folge von linearen Gleichungssystemen. Bevor wir uns nun der Untersuchung der Konvergenzeigenschaften des oben definierten Newton-Verfahrens zuwenden, wollen wir noch auf eine Invarianzeigenschaft hinweisen. Offensichtlich ist das Problem der Lösung von F .x/ D 0 äquivalent zu dem Problem G.x/ WD AF .x/ D 0 für eine beliebige invertierbare Matrix A 2 GL.n/. Zugleich ist auch die NewtonFolge fx k g bei gegebenem x 0 unabhängig von A, da G 0 .x/1 G.x/ D .AF 0 .x//1 AF .x/ D F 0 .x/1 A1 AF .x/ D F 0 .x/1 F .x/: Die Transformation F ! G ist eine Affintransformation (ohne Translationsanteil). Deshalb hat sich die Sprechweise eingebürgert: Sowohl das zu lösende Problem

100

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

F .x/ D 0 als auch das Newton-Verfahren ist affin-invariant. Entsprechend verlangen wir, dass die Konvergenzeigenschaften des Newton-Verfahrens durch eine affininvariante Theorie beschrieben werden. Unter den zahlreichen unterschiedlichen Konvergenzsätzen für das Newton-Verfahren greifen wir einen relativ neuen heraus, da er besonders klare Resultate liefert und trotzdem relativ einfach zu beweisen ist (vgl. [28]). Satz 4.10. Sei D  Rn offen und konvex und F W D ! Rn eine stetig differenzierbare Funktion mit invertierbarer Jacobimatrix F 0 .x/ für alle x 2 D. Es gelte für ein !  0 die folgende (affin-invariante) Lipschitz-Bedingung: kF 0 .x/1 .F 0 .x C sv/  F 0 .x//vk  s!kvk2

(4.4)

für alle s 2 Œ0; 1, x 2 D und v 2 Rn , so dass x C v 2 D. Ferner existiere eine Lösung x  2 D und ein Startwert x 0 2 D derart, dass

WD kx   x 0 k
0 in der offenen Kugel B .x  / und konvergiert gegen x  , d. h. kx k  x  k <

für k > 0

lim x k D x  :

und

k!1

Die Konvergenzgeschwindigkeit lässt sich abschätzen durch kx kC1  x  k 

! k kx  x  k2 2

für k D 0; 1; : : : :

Darüber hinaus ist die Lösung x  eindeutig in B2=! .x  /. Beweis. Wir leiten zunächst aus der Lipschitz-Bedingung (4.4) das folgende Hilfsresultat für x; y 2 D ab: kF 0 .x/1 .F .y/  F .x/  F 0 .x/.y  x//k 

! ky  xk2 : 2

(4.5)

Dazu benutzen wir die Lagrangesche Form des Mittelwertsatzes der Integralrechnung: Z 1 .F 0 .x C s.y  x//  F 0 .x//.y  x/ ds: F .y/  F .x/  F 0 .x/.y  x/ D sD0

Die linke Seite in (4.5) lässt sich damit umformen und abschätzen gemäß  Z 1   0 1 0 0  F .x/ .F .x C s.y  x//  F .x//.y  x/ ds    sD0

Z

1

 sD0

s!ky  xk2 ds D

! ky  xk2 ; 2

4.2 Newton-Verfahren für nichtlineare Gleichungssysteme

101

womit (4.5) bewiesen ist. Mit dieser Vorbereitung können wir uns nun der Frage der Konvergenz der Newton-Iteration zuwenden. Unter Verwendung der Iterationsvorschrift (4.3) sowie F .x  / D 0 erhalten wir x kC1  x  D x k  F 0 .x k /1 F .x k /  x  D x k  x   F 0 .x k /1 .F .x k /  F .x  // D F 0 .x k /1 .F .x  /  F .x k /  F 0 .x k /.x   x k //: Mit Hilfe von (4.5) liefert dies die Abschätzung der Konvergenzgeschwindigkeit kx kC1  x  k 

! k kx  x  k2 : 2

Falls 0 < kx k  x  k  , so folgt daraus kx kC1  x  k 

! k kx  x  k kx k  x  k < kx k  x  k: 2 „ ƒ‚ …  !=2 < 1

Da kx 0  x  k D , gilt daher kx k  x  k < für alle k > 0 und die Folge fx k g konvergiert gegen x  . Zum Beweis der Eindeutigkeit in der Kugel B2=! .x  / um x  mit Radius 2=! benutzen wir nochmals das Hilfsresultat (4.5). Sei x  2 B2=! .x  / eine weitere Lösung, also F .x  / D 0 und kx   x  k < 2=!. Einsetzen in (4.5) liefert dann kx   x  k D kF 0 .x  /1 .0  0  F 0 .x  /.x   x  //k !   kx  x  k kx   x  k: „2 ƒ‚ … kx k k kx 2

4.2 Newton-Verfahren für nichtlineare Gleichungssysteme

103

ergibt, so ist die Newton-Iteration abzubrechen. In diesem Fall bleibt uns nichts anderes übrig, als mit einer anderen, hoffentlich besseren, Schätzung x 0 die NewtonIteration erneut zu starten. Eine Möglichkeit, die lokale Konvergenz des Newton-Verfahrens zu erweitern, ist die sogenannte Dämpfung der Newton-Korrekturen x k . Dies führt zu der geänderten Iteration x kC1 D x k C k x k ; wobei 0 < k  1 der sogenannte Dämpfungsfaktor ist. Für dessen Wahl können wir wieder den natürlichen Monotonietest nutzen. Als einfache Dämpfungsstrategie empfehlen wir, die Dämpfungsfaktoren k derart zu wählen, dass der natürliche Monotonietest (4.8) für N WD 1  k =2 erfüllt ist, d. h.   k kC1 kx kx k k; .k /k  1  2 wobei x

kC1

.k / D F 0 .x k /1 F .x k C k x k /

die vereinfache Newton-Korrektur des gedämpften Verfahrens ist. In der einfachsten Implementierung wählen wir einen Schwellwert min 1 und Dämpfungsfaktoren k aus einer Folge, etwa ± ° 1 1 1; ; ; : : : ; min : 2 4 Falls k < min , brechen wir die Iteration ab. In kritischen Beispielen wird man versuchsweise mit 0 D min beginnen, in harmlosen eher mit 0 D 1. War k erfolgreich, so wird man es im nächsten Iterationsschritt mit kC1 D min.1; 2k / versuchen, um asymptotisch die quadratische Konvergenz des gewöhnlichen Newton-Verfahrens (mit  D 1) zu erreichen. War der natürliche Monotonietest mit k verletzt, so wird man mit k =2 erneut testen. Theoretisch fundiertere, im Allgemeinen wesentlich effektivere Dämpfungsstrategien sind in der Monographie [21] ausgearbeitet. Derartige Strategien sind in zahlreichen modernen Programmpaketen des Scientific Computing implementiert. Bemerkung 4.12. Anstelle der exakten Jacobimatrix genügt in der Implementierung des Newton-Verfahrens in aller Regel auch eine brauchbare Näherung. Übliche Approximationstechniken sind numerisches Differenzen (siehe dazu jedoch Aufgabe 4.7) oder automatisches Differenzieren nach A. Griewank [50]. Darüber hinaus konvergiert das Verfahren auch meist unbeeinträchtigt, falls „unwichtige“ Elemente der Jacobimatrix weggelassen werden. Diese Technik des sogenannten sparsing empfiehlt sich besonders für große nichtlineare Systeme. Sie erfordert jedoch Einsicht in das zugrundeliegende Problem.

104

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Eine alternative Methode zur Erweiterung des Konvergenzbereichs sind die sogenannten Fortsetzungsmethoden. In diesem Zugang wird eine geeignete Einbettung des nichtlinearen Problems bezüglich eines Parameters  konstruiert, etwa F .x; / D 0; was jedoch Zusatzkenntnisse über das zu lösende Problem verlangt. Diese Methodik werden wir in Kapitel 4.4.2 behandeln.

4.3

Gauß-Newton-Verfahren für nichtlineare Ausgleichsprobleme

Die allgemeine Problemstellung der Gaußschen Ausgleichsrechnung haben wir in Kapitel 3.1 ausführlich behandelt. Unser Ziel ist es, Parameter x 2 Rn , die in einer Modellfunktion ' auftreten, im Sinne der kleinsten Fehlerquadrate an Messdaten b anzupassen (engl.: parameter fitting). Falls diese Parameter linear in ' eingehen, so führt dies auf die lineare Ausgleichsrechnung, die wir in Kapitel 3 dargestellt haben. Gehen die Parameter hingegen nichtlinear ein, so ergibt sich ein nichtlineares Ausgleichsproblem (engl.: nonlinear least squares problem) g.x/ WD kF .x/k22 D min; wobei wir voraussetzen, dass F W D  Rn ! Rm eine zweimal stetig differenzierbare Funktion F 2 C 2 .D/ auf einer offenen Menge D  Rn ist. Wir behandeln in diesem Kapitel nur den überbestimmten Fall m > n. Da in den Anwendungen in der Regel wesentlich mehr Messdaten als Parameter vorliegen, d. h. m  n, spricht man auch von Datenkompression. Wir lassen ferner Effekte am Rand @D aus dem Spiel und suchen nur nach lokalen inneren Minima x  2 D von g, die den hinreichenden Bedingungen g 0 .x  / D 0 und g 00 .x  / positiv definit genügen. Da g 0 .x/ D 2F 0 .x/T F .x/, müssen wir also das System G.x/ WD F 0 .x/T F .x/ D 0

(4.9)

von n nichtlinearen Gleichungen lösen. Die Newton-Iteration für dieses Gleichungssystem ist (4.10) G 0 .x k /x k D G.x k / mit k D 0; 1; : : : , wobei die Jacobimatrix G 0 .x/ D F 0 .x/T F 0 .x/ C F 00 .x/T F .x/

4.3 Gauß-Newton-Verfahren für nichtlineare Ausgleichsprobleme

105

unter obiger Annahme in einer Umgebung von x  positiv definit und damit invertierbar ist. Wenn Modell und Daten in x  vollständig übereinstimmen, d. h. kompatibel sind, dann gilt F .x  / D 0

und

G 0 .x  / D F 0 .x  /T F 0 .x  /:

Die Bedingung „G 0 .x  / positiv definit“ ist in diesem Fall äquivalent zu der Bedingung, dass die Jacobimatrix F 0 .x  / vollen Rang n hat. Für kompatible oder zumindest „fast kompatible“ nichtlineare Ausgleichsprobleme möchte man sich die Mühe der Berechnung und Auswertung des Tensors F 00 .x/ ersparen. Deswegen ersetzen wir die Jacobimatrix G 0 .x/ in der Newton-Iteration (4.10) durch F 0 .x/T F 0 .x/ und erhalten so die Iterationsvorschrift F 0 .x k /T F 0 .x k /x k D F 0 .x k /T F .x k /: Offensichtlich sind dies die Normalgleichungen zu dem linearen Ausgleichsproblem kF 0 .x k /x C F .x k /k2 D min : Unter Benutzung der Schreibweise für die Pseudoinverse aus Kapitel 3.3 erhalten wir die formale Darstellung x k D F 0 .x k /C F .x k /

mit x kC1 D x k C x k .

(4.11)

Wir haben also auf diese Weise die numerische Lösung eines nichtlinearen Gaußschen Ausgleichsproblems zurückgeführt auf die numerische Lösung einer Folge von linearen Gaußschen Ausgleichsproblemen. Bemerkung 4.13. Die für das nichtlineare Ausgleichsproblem zu lösende Gleichung (4.9) ist bei vollem Rang der Jacobimatrix wegen F 0 .x/C D .F 0 .x/T F 0 .x//1 F 0 .x/T äquivalent zu

F 0 .x/C F .x/ D 0:

Diese Charakterisierung gilt auch im rangdefekten und unterbestimmten Fall. Wir hätten (4.11) auch direkt, ähnlich wie das Newton-Verfahren für nichtlineare Gleichungssysteme, aus dem ursprünglichen Minimierungsproblem durch TaylorEntwicklung und Abbrechen nach dem linearen Term herleiten können. Deswegen heißt (4.11) auch Gauß-Newton-Verfahren für das nichtlineare Ausgleichsproblem kF .x/k2 D min. Die Konvergenz des Gauß-Newton-Verfahrens charakterisiert der folgende Satz (vgl. [27]), der eine unmittelbare Verallgemeinerung des entsprechenden Konvergenzsatzes 4.10 für das Newton-Verfahren ist.

106

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Satz 4.14. Sei D  Rn offen, konvex und F W D ! Rm , m  n, eine stetig differenzierbare Abbildung, deren Jacobimatrix F 0 .x/ für alle x 2 D vollen Rang n habe. Es existiere eine Lösung x  2 D des zugehörigen nichtlinearen Ausgleichsproblems kF .x/k2 D min. Ferner gebe es Konstanten ! > 0 und 0   < 1, so dass kF 0 .x/C .F 0 .x C sv/  F 0 .x//vk  s!kvk2

(4.12)

für alle s 2 Œ0; 1, x 2 D und v 2 Rn mit x C v 2 D, und kF 0 .x/C F .x  /k   kx  x  k

(4.13)

für alle x 2 D. Falls dann für einen gegebenen Startwert x 0 2 D

WD kx 0  x  k < 2.1   /=! DW 

(4.14)

gilt, so bleibt die durch das Gauß-Newton-Verfahren .4:11/ definierte Folge ¹x k º in der offenen Kugel B .x  / und konvergiert gegen x  , d. h. kx k  x  k <

für k > 0 und limk!1 x k D x  .

Die Konvergenzgeschwindigkeit lässt sich abschätzen durch kx kC1  x  k 

! k kx  x  k2 C  kx k  x  k: 2

(4.15)

Insbesondere ergibt sich quadratische Konvergenz für kompatible nichtlineare Ausgleichsprobleme. Darüber hinaus ist die Lösung x  eindeutig in B .x  /. Beweis. Die Beweisführung orientiert sich unmittelbar am Beweis von Satz 4.10. Aus der Lipschitzbedingung (4.12) folgt sofort das entsprechende Hilfsresultat kF 0 .x/C .F .y/  F .x/  F 0 .x/.y  x//k 

! ky  xk2 2

für alle x; y 2 D. Zur Abschätzung der Konvergenzgeschwindigkeit benutzen wir die Definition (4.11) der Gauß-Newton-Iteration sowie die Eigenschaft F 0 .x  /C F .x  / D 0 der Lösung x  , deren Existenz vorausgesetzt wurde. Aus der Annahme des vollen Ranges der Jacobimatrix folgt sofort, siehe Kapitel 3.3, dass F 0 .x/C F 0 .x/ D In

für alle x 2 D.

Damit ergibt sich x kC1  x  D x k  x   F 0 .x k /C F .x k / D F 0 .x k /C .F .x  /  F .x k /  F 0 .x k /.x   x k //  F 0 .x k /C F .x  /:

4.3 Gauß-Newton-Verfahren für nichtlineare Ausgleichsprobleme

107

Unter Verwendung der Voraussetzungen (4.12) und (4.13) gilt daher

! kx kC1  x  k  kx k  x  k C  kx k  x  k: 2 Zusammen mit Voraussetzung (4.14) und Induktion über k impliziert dies kx kC1  x  k < kx k  x  k  : Daraus ergibt sich sofort, dass die Folge der Iterierten in B .x  / verbleibt und gegen den Lösungspunkt x  konvergiert. Für kompatible Ausgleichsprobleme, d. h. F .x  / D 0, können wir in (4.13) insbesondere  D 0 wählen und daher quadratische Konvergenz erreichen. Die Eindeutigkeit der Lösung ergibt sich analog zum Beweis von Satz 4.10.  Bemerkung 4.15. Eine Variante des obigen Satzes liefert zusätzlich noch die Existenz einer Lösung x  , die wir ja oben vorausgesetzt hatten, wobei die Bedingung des vollen Ranges der Jacobimatrix abgeschwächt werden kann (vgl. [21]); lediglich das Penrose-Axiom F 0 .x/C F 0 .x/F 0 .x/C D F 0 .x/C wird noch benötigt. Die Eindeutigkeit verlangt jedoch, ebenso wie im linearen Spezialfall (vgl. Kapitel 3.3), die Voraussetzung maximalen Rangs. Andernfalls existiert auch im nichtlinearen Fall eine Lösungsmannigfaltigkeit von der Dimension des Rangdefektes, und das Gauß-Newton-Verfahren konvergiert gegen einen Punkt dieser Mannigfaltigkeit. Wir werden diese Eigenschaft in Kapitel 4.4.2 benutzen. Abschließend wollen wir die Bedingung  < 1 noch etwas eingehender diskutieren. Für  > 0 überwiegt in der Abschätzung (4.15) für die Konvergenzgeschwindigkeit der lineare Anteil  kx k  x  k, wenn wir uns der Lösung x  nähern. Das Gauß-Newton-Verfahren konvergiert daher in diesem Fall asymptotisch linear mit dem Kontraktionsfaktor  . Dies erzwingt offenbar die Bedingung  < 1. Die Größe  spiegelt gerade die Vernachlässigung des Tensors F 00 .x/ in der Herleitung über das Newton-Verfahren (4.10) wider. Eine andere Interpretation ergibt sich aus der Betrachtung des Einflusses von statistischen Messfehlern ıb auf die Lösung. Im Fall vollen Rangs der Jacobimatrix F 0 .x  / ist ıx  D F 0 .x  /C ıb die durch ıb bewirkte Störung der Parameter in linearisierter Fehlertheorie. Eine derartige Größe wird auch in nahezu allen derzeit verbreiteten Programmpaketen der Statistik als a-posteriori Störungsanalyse ausgegeben. Sie berücksichtigt jedoch offensichtlich nicht den möglichen Effekt der Nichtlinearität des Modells. Eine genauere Analyse dieses Problems, die von H. G. Bock [8] durchgeführt wurde, zeigt tatsächlich, dass die Ersetzung kıx  k ! kıx  k=.1   /

(4.16)

108

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

vorzunehmen ist. Im kompatiblen Fall, F .x  / D 0 und  D 0, sowie im „fast kompatiblen“ Fall, 0 <  1, ist also die linearisierte Fehlertheorie ausreichend. Im Fall   1 jedoch zeigt Bock, dass es immer statistische Störungen derart gibt, dass die Lösung „unbeschränkt wegläuft“. Solche Modelle sind damit bereits im statistischen Sinne schlecht gestellt oder inadäquat. Umgekehrt heißen nichtlineare Ausgleichsprobleme im statistischen Sinn wohlgestellt oder adäquat, falls  < 1. Der Konvergenzsatz 4.14 lautet demnach in Kurzform: Das gewöhnliche GaußNewton-Verfahren konvergiert lokal für adäquate und quadratisch für kompatible nichtlineare Ausgleichsprobleme. Intuitiv ist klar, dass nicht jedes Modell und jeder Satz von Messdaten die eindeutige Bestimmung geeigneter Parameter erlaubt. Andererseits gestatten im Allgemeinen nur eindeutige Lösungen eine klare Interpretation im Zusammenhang des zugrundeliegenden theoretischen Modells. Das hier dargestellte Gauß-Newton-Verfahren prüft die Eindeutigkeit anhand von drei Kriterien ab. a) Überprüfung der auftretenden Jacobimatrizen auf vollen Rang im Sinn einer numerischen Rangentscheidung, wie sie z. B. in Kapitel 3.2 auf der Basis einer QR-Zerlegung dargestellt wurde. b) Überprüfung der statistischen Wohlgestelltheit des Problems mit Hilfe der Bedingung  < 1 durch eine Schätzung : kx kC1 k  D kx k k von  in der linear konvergenten Schlussphase der Gauß-Newton-Iteration. c) Überprüfung des Fehlerverhaltens durch eine a-posteriori Fehleranalyse, wie in (4.16) angedeutet. Man beachte, dass alle drei Kriterien von der Wahl der Messgenauigkeiten ıb (vgl. Kapitel 3.1) sowie der Skalierung der Parameter x beeinflusst werden. Bemerkung 4.16. Ähnlich wie beim Newton-Verfahren gibt es auch beim GaußNewton-Verfahren die Möglichkeit, den Konvergenzbereich durch eine Dämpfungsstrategie zu erweitern: mit x k als gewöhnliche Gauß-Newton-Korrektur lautet die Iterationsvorschrift x kC1 D x k C k x k

mit 0 < k  1.

Auch hierfür gibt es eine theoretisch fundierte effektive Strategie, die in einer Reihe von moderneren Ausgleichsprogrammen implementiert ist – siehe [21]. Diese Programme enthalten zugleich eine automatische Kontrolle, ob das behandelte Ausgleichsproblem adäquat ist. Falls nicht, was selten genug auftritt, sollte entweder das Modell verbessert oder die Messgenauigkeit erhöht werden. Außerdem stellen diese Programme automatisch sicher, dass die Iteration nur bis zu einer relativen Genauigkeit geführt wird, die zu der Messgenauigkeit passt.

109

4.3 Gauß-Newton-Verfahren für nichtlineare Ausgleichsprobleme

Beispiel 4.17. Biochemische Reaktion. Zur Illustration des iterativen Ablaufes beim (gedämpften) Gauß-Newton-Verfahren geben wir ein nichtlineares Ausgleichsproblem aus der Biochemie, die sogenannte Feulgen-Hydrolyse der DNA [78]. Aus einer umfangreichen Messreihe greifen wir ein Problem mit m D 30 Messdaten und n D 3 unbekannten Parametern x1 , x2 und x3 heraus (siehe Tabelle 4.3). t 6 12 18 24 30 36

b 24.19 35.34 43.43 42.63 49.92 51.53

t 42 48 54 60 66 72

b 57.39 59.56 55.60 51.91 58.27 62.99

t 78 84 90 96 102 108

b 52.99 53.83 59.37 62.35 61.84 61.62

t 114 120 126 132 138 144

b 49.64 57.81 54.79 50.38 43.85 45.16

t 150 156 162 168 174 180

b 46.72 40.68 35.14 45.47 42.40 55.21

Tabelle 4.3. Messreihe .ti ; bi /, i D 1; : : : ; 30, für Beispiel 4.17

Ursprünglich wurde die Modellfunktion in der Form  x 1 x2  '.xI t / WD exp.x3 t /  exp.x2 t / x2  x3 angegeben, wobei x1 die DNA-Konzentration und x2 , x3 Reaktionsgeschwindigkeitskoeffizienten sind. Für x2 D x3 tritt offenbar ein Grenzwert 0=0 auf, d. h., für x2 x3 führt numerische Auslöschung eventuell zu Schwierigkeiten im Iterationsverhalten. Wir führen deswegen eine andere Parametrisierung durch, die zugleich noch die (aus der Biochemie kommenden) Ungleichungen x2 > x3  0 beachtet: Anstelle von x1 , x2 und x3 betrachten wir die Unbekannten p p xN 1 WD x1 x2 ; xN 2 WD x3 und xN 3 WD .x2  x3 /=2 und die transformierte Modellfunktion   sinh.xN 32 t / '.xI N t / WD xN 1 exp .xN 22 C xN 32 /t : xN 32 Die Eigenschaft sinh.xN 3 t / D xN 32 t C o.jt j/ für kleines Argument ist üblicherweise in jeder Standardroutine für sinh sichergestellt, so dass nur die Auswertung von ' für xN 3 D 0 im Programm eigens zu behandeln ist. Als Startdaten wählen wir xN 0 D .80; 0:055; 0:21/. Das iterative Verhalten der Modellfunktion '.xN k I t / über dem Messintervall t 2 Œ0; 180 ist in Abbildung 4.3 dargestellt. Als „vernünftige“ relative Genauigkeit ergibt sich tol D 0:142  103 , im Resultat x  gilt  D 0:156 und die Norm des Residuums beträgt kF .x  /k2 3  102 . Das Problem ist also trotz „großem“ Residuum kF .x/k2 fast kompatibel in der theoretisch relevanten Charakterisierung mit  .

110

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

60 5 45

6, 7, 8 4

30

3 2

15 0

50

100

150

t

Abbildung 4.3. Messreihe und iterierte Modellfunktion für Beispiel 4.17

Bemerkung 4.18. Die meisten Programmpakete der Statistik enthalten zur Zeit immer noch eine andere Erweiterung des Konvergenzbereichs, das sogenannte Levenberg-Marquardt-Verfahren. Diesem Verfahren liegt die Idee zugrunde, dass die lokale Linearisierung : F .x/ D F .x k / C F 0 .x k /.x  x k /; welche zum (gewöhnlichen) Newton-Verfahren führt, bei Iterierten x k „weit weg“ von der Lösung x  sicherlich nur in einer Umgebung von x k vernünftig ist. Anstelle von (4.2) wird man daher das folgende Ersatzproblem lösen: kF .x k / C F 0 .x k /zk2 D min

(4.17)

unter der Nebenbedingung, dass kzk2  ı;

(4.18)

wobei der (lokal anzupassende) Parameter ı noch zu diskutieren wäre. Die Nebenbedingung (4.18) kann mit einem Lagrange-Multiplikator p  0 durch p.kzk22  ı 2 /  0 an das Minimierungsproblem (4.17) angekoppelt werden. Falls kzk2 D ı, so muss p > 0 sein, falls kzk2 < ı, so gilt p D 0. Dies führt zu der Formulierung kF .x k / C F 0 .x k /zk22 C pkzk22 D min : Diese quadratische Funktion in z wird minimiert durch ein z k , welches der folgenden Gleichung genügt:   0 k T 0 k F .x / F .x / C pIn z k D F 0 .x k /T F .x k /:

4.4 Parameterabhängige nichtlineare Gleichungssysteme

111

Die Anpassung des Parameters ı wird dabei durch die Anpassung des Parameters p ersetzt. Offensichtlich ist die auftretende symmetrische Matrix für p > 0 auch bei rangdefekter Jacobimatrix F 0 .x k / positiv definit, was dem Verfahren eine gewisse Robustheit verleiht. Andererseits wird diese Robustheit mit einer Reihe schwerwiegender Nachteile erkauft: Die „Lösungen“ sind oft keine Minima von g.x/, sondern lediglich Sattelpunkte mit g 0 .x/ D 0. Ferner führt die „Verschleierung“ des Ranges der Jacobimatrix dazu, dass die Eindeutigkeit einer ausgegebenen Lösung nicht geklärt ist, so dass die numerischen Resultate häufig fehlinterpretiert werden. Außerdem ist obiges lineares System eine Verallgemeinerung der Normalgleichungen mit all ihren in Kapitel 3.1.2 diskutierten Nachteilen (vgl. Aufgabe 5.6). Schließlich ist die obige Formulierung nicht affin-invariant (vgl. Aufgabe 4.12). Insgesamt sehen wir, dass nichtlineare Ausgleichsprobleme wegen ihres statistischen Hintergrundes eine wesentlich subtilere Aufgabe darstellen als nichtlineare Gleichungssysteme.

4.4

Parameterabhängige nichtlineare Gleichungssysteme

In zahlreichen Anwendungen der Natur- und Ingenieurwissenschaften ist nicht nur ein isoliertes nichtlineares Problem F .x/ D 0 zu lösen, sondern eine ganze Schar von Problemen F .x; / D 0 mit F W D  Rn Rp ! Rn , (4.19) die von einem oder mehreren Parametern  2 Rp abhängen. Wir beschränken uns hier auf den Fall p D 1, d. h. eines skalaren Parameters  2 R, und beginnen mit der Analyse der Lösungsstruktur eines solchen parameterabhängigen nichtlinearen Gleichungssystems, deren wichtigste Elemente wir an einem einfachen Beispiel erläutern. Mit der dort gewonnenen Einsicht konstruieren wir in Kapitel 4.4.2 ein Klasse von Verfahren zur Lösung parameterabhängiger Systeme, die sogenannten Fortsetzungsmethoden.

4.4.1

Lösungsstruktur

Wir betrachten ein parameterabhängiges Gleichungssystem F W D Œa; b ! Rn ;

D  Rn offen;

in einem skalaren Parameter  2 Œa; b 2 R, wobei wir davon ausgehen, dass F eine stetig differenzierbare Funktion auf D Œa; b ist. Unsere Aufgabe ist es, möglichst alle Lösungen .x; / 2 D Œa; b der Gleichung F .x; / D 0 zu bestimmen, d. h., wir interessieren uns für die Lösungsmenge S WD ¹.x; / W .x; / 2 D Œa; b

mit F .x; / D 0º.

112

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Um ein Gefühl für die Lösungsstruktur eines parameterabhängigen Systems zu entwickeln, sehen wir uns zunächst das folgende einfache Beispiel an. Beispiel 4.19. Zu lösen sei die skalare Gleichung F .x; / D x.x 3  x  / D 0; deren Lösungsmenge wir in Abbildung 4.4 für  2 Œ1; 1 gezeichnet haben. Aufgrund der Äquivalenz F .x; / D 0 ” x D 0

 D x3  x

oder

besteht die Lösungsmenge S WD ¹.x; / W  2 Œ1; 1

F .x; / D 0º

und

aus zwei Lösungskurven, S D S0 [ S1 , der -Achse S0 WD ¹.0; / W  2 Œ1; 1º als trivialer Lösung und der kubischen Parabel S1 WD ¹.x; / W  2 Œ1; 1

 D x 3  xº:

und

Die beiden Lösungskurven schneiden sich in .0; 0/, einem sogenannten Verzwei1.5 1 +

0.5 0

+

1

+

0

2

-0.5

+

-1 -1.5

-1

-0.8

-0.6 -0.4 -0.2

0

0.2

0.4

0.6

0.8

1

Abbildung 4.4. Lösungen von x.x 3  x  / D 0 für  2 Œ1; 1

gungspunkt. An dieser Stelle ist die Jacobimatrix von F gleich Null, da F 0 .x; / D ŒFx .x; /; F .x; / D Œ4x 3  2x  ; x:

113

4.4 Parameterabhängige nichtlineare Gleichungssysteme

Eine besondere Rolle spielen ferner die Lösungen .x; /, für die nur die Ableitung nach x verschwindet, d. h. F .x; / D 0;

Fx .x; / D 4x 3  2x   D 0

und

F .x; / ¤ 0:

Diese sogenannten Umkehrpunkte .x; / sind dadurch gekennzeichnet, dass sich die Lösungen in keiner noch so kleinen Umgebung von .x; / als Funktion des Parameters  ausdrücken lassen, wohl aber als Funktion von x. Setzen wir die Lösungen  D x 3  x in Fx .x; / und F .x; / ein, so zeigt sich, dass die Umkehrpunkte von f durch x ¤ 0;  D x 3  x und 3x 2  1 D 0 gekennzeichnet sind.pIn unserem Beispiel p gibt es daher genau zwei Umkehrpunkte, nämlich bei x1 D 1= 3 und x2 D 1= 3. An diesen Punkten steht die Tangente an die Lösungskurve senkrecht auf der -Achse. Als letzte Eigenschaft wollen wir noch auf die Symmetrie der Gleichung F .x; / D F .x; / aufmerksam machen. Sie spiegelt sich wider in der Punktsymmetrie der Lösungsmenge: Ist .x; / eine Lösung von F .x; / D 0, so auch .x; /. Leider können wir im Rahmen dieser Einführung nicht auf alle in Beispiel 4.19 beobachteten Phänomene eingehen. Wir setzen im Folgenden voraus, dass die Jacobimatrix F 0 .x; / an jedem Lösungspunkt .x; / 2 D Œa; b maximalen Rang hat, d. h. (4.20) Rang F 0 .x; / D n falls F .x; / D 0. Damit haben wir Verzweigungspunkte ausgeschlossen, denn nach dem Satz über implizite Funktionen lässt sich unter der Voraussetzung (4.20) die Lösungsmenge um eine Lösung .x0 ; 0 / lokal als Bild einer differenzierbaren Kurve darstellen, d. h., es gibt eine Umgebung U  D Œa; b von .x0 ; 0 / und stetig differenzierbare Abbildungen x W   "; "Œ ! D und  W   "; "Œ ! Œa; b; so dass .x.0/; .0// D .x0 ; 0 / und die Lösungen von F .x; / D 0 in U gerade durch ® ¯ S \ U D .x.s/; .s// W s 2   "; "Œ gegeben sind. In vielen Anwendungen ist sogar der noch speziellere Fall interessant, dass die partielle Ableitung Fx .x; / 2 Matn .R/ nach x an jedem Lösungspunkt invertierbar ist, d. h. Fx .x; /

invertierbar, falls F .x; / D 0.

In diesem Fall sind außer Verzweigungspunkten auch Umkehrpunkte ausgeschlossen, und wir können die Lösungskurve über  parametrisieren, d. h., es gibt wie oben um

114

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

jeden Lösungspunkt .x0 ; 0 / eine Umgebung U  D Œa; b und eine differenzierbare Funktion x W   "; "Œ! D, so dass x.0/ D x0 und ¯ ® S \ U D .x.s/; 0 C s/ W s 2   "; "Œ :

4.4.2

Fortsetzungsmethoden

Wir wenden uns nun der numerischen Berechnung der Lösungen eines parameterabhängigen Gleichungssystems zu. Zunächst setzen wir voraus, dass die Ableitung Fx .x; / für alle .x; / 2 D Œa; b invertierbar ist. Wir haben im letzten Abschnitt gesehen, dass sich in diesem Fall die Lösungsmenge des parameterabhängigen Systems aus differenzierbaren Kurven zusammensetzt, die sich über  parametrisieren lassen. Die Idee der sogenannten Fortsetzungsmethoden (engl.: continuation method) besteht nun darin, sukzessive Punkte auf einer solchen Lösungskurve zu berechnen. Halten wir den Parameter  fest, so ist F .x; / D 0 ein nichtlineares Gleichungssystem in x, wie wir es in Kapitel 4.2 behandelt haben. Wir können daher versuchen, eine Lösung mit Hilfe des Newton-Verfahrens Fx .x k ; /x k D F .x k ; / und

x kC1 D x k C x k

(4.21)

zu bestimmen. Angenommen, wir hätten eine Lösung .x0 ; 0 / gefunden und wollten eine nächste Lösung .x1 ; 1 / auf der Lösungskurve .x.s/; 0 C s/ durch .x0 ; 0 / berechnen. Dann können wir bei der Wahl eines Startwertes x 0 WD xO für die NewtonIteration (4.21) bei festem Parameterwert  D 1 ausnutzen, dass beide Lösungen .x0 ; 0 / und .x1 ; 1 / auf einer Lösungskurve liegen. Die einfachste Möglichkeit ha-

.x1 ; 1 / .x0 ; 0 / O .x; O /

Abbildung 4.5. Idee der klassischen Fortsetzungsmethode

ben wir in Abbildung 4.5 angedeutet: Wir nehmen als Start die alte Lösung und setzen xO WD x0 . Diese ursprünglich von Poincaré in seinem Buch über Himmelsmechanik [77] vorgeschlagene Wahl heißt heute klassische Fortsetzungsmethode. Geometrische Anschauung legt eine weitere Wahl nahe: Anstatt parallel zur Achse können wir auch entlang der Tangente .x 0 .0/; 1/ an die Lösungskurve .x.s/;

115

4.4 Parameterabhängige nichtlineare Gleichungssysteme O .x; O / +

sx 0 .0/ +

.x0 ; 0 / +

.x1 ; 1 /

Abbildung 4.6. Tangentiale Fortsetzungsmethode

0 C s/ im Punkt .x0 ; 0 / voranschreiten und xO WD x0 C .1  0 /x 0 .0/ als Startwert wählen (siehe Abbildung 4.6). Dies ist die sogenannte tangentiale Fortsetzungsmethode. Differenzieren wir die Gleichung F .x.s/; 0 C s/ D 0 nach s an der Stelle s D 0, so folgt Fx .x0 ; 0 /x 0 .0/ D F .x0 ; 0 /; d. h., die Steigung x 0 .0/ berechnet sich aus einem Gleichungssystem ähnlich dem für die Newton-Korrektur (4.21). Jeder Fortsetzungsschritt beinhaltet also zwei Teilschritte: erstens die Auswahl eines Punktes .x; O 1 / möglichst nahe an der Kurve und zweitens die Iteration von dem Startwert xO zurück zu einer Lösung .x1 ; 1 / auf der Kurve, wofür uns wegen seiner quadratischen Konvergenz das Newton-Verfahren am geeignetsten erscheint. Der erste Schritt wird häufig auch als Prädiktor, der zweite als Korrektor bezeichnet. Dies gibt dem gesamten Prozess auch den Namen Prädiktor-Korrektor-Verfahren. Bezeichnen wir mit s WD 1  0 die Schrittweite, so haben wir für den Startwert xO in Abhängigkeit von s bisher die beiden Möglichkeiten der klassischen Fortsetzung x.s/ O D x0 und der tangentialen Fortsetzung x.s/ O D x0 C sx 0 .0/: Das schwierigste Problem bei der Konstruktion eines Fortsetzungsalgorithmus besteht darin, die Schrittweite s in Zusammenspiel mit der Prädiktor-Korrektor-Strategie geeignet zu wählen. Der Optimist wählt die Schrittweiten zu groß, muss daher ständig die Schrittweite reduzieren und erhält damit zu viele erfolglose Schritte. Der Pessimist wählt hingegen die Schrittweiten zu klein und erhält damit zu viele erfolgreiche Schritte. Beide Varianten verschwenden Rechenzeit. Um den Aufwand zu minimieren, wollen wir also die Schrittweiten möglichst groß wählen, jedoch so, dass das Newton-Verfahren (gerade noch) konvergiert.

116

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Bemerkung 4.20. In der Praxis muss man als drittes Kriterium noch dafür Sorge tragen, dass man die aktuelle Lösungskurve nicht verlässt und auf eine andere Lösungskurve „springt“, ohne es zu bemerken (siehe Abbildung 4.7). Das Problem des „Überspringens“ stellt sich insbesondere, wenn man auch Verzweigungen von Lösungen mit in die Überlegungen einbezieht.

+ +

.xi ; i / +

+

.xiC1 ; iC1 /

+

Abbildung 4.7. Unbeabsichtigtes Verlassen einer Lösungskurve

Die maximal zulässige Schrittweite smax (engl.: feasible stepsize), für die das NewO bei festem Parameter  D 0 C s konton-Verfahren mit dem Startwert x 0 WD x.s/ vergiert, hängt natürlich von der Güte des Prädiktorschrittes ab. Je besser wir den weiteren Verlauf der Kurve vorhersagen, desto größer dürfen wir die Schrittweite wählen. Anschaulich liegt zum Beispiel x.s/ O bei der tangentialen Fortsetzung wesentlich näher an der Lösungskurve als bei der klassischen Methode. Um diese Abweichung der Lösungskurve von durch den Prädiktor gegebenen Kurve präziser zu beschreiben, führen wir die Approximationsordnung zweier Kurven ein (siehe [19]): Definition 4.21. Seien x und xO zwei Kurven x; xO W Œ"; " ! Rn in Rn . Dann approximiert xO die Kurve x mit der Ordnung p 2 N an der Stelle s D 0, falls kx.s/  x.s/k O D O.jsjp / für s ! 0, d. h., falls es Konstanten 0 < s0  " und > 0 gibt, so dass kx.s/  x.s/k O  jsjp

für alle jsj < s0 .

Aus dem Mittelwertsatz folgt sofort, dass für eine hinreichend differenzierbare Abbildung F die klassische Fortsetzung die Ordnung p D 1 und die tangentiale Fortsetzung die Ordnung p D 2 hat. Die Konstanten können wir explizit angeben. Bei der klassischen Fortsetzung setzen wir x.s/ O D x.0/. Lemma 4.22. Für jede stetig differenzierbare Kurve x W Œ"; " ! Rn gilt kx.s/  x.0/k  s

mit WD max kx 0 .t /k: t2Œ";"

117

4.4 Parameterabhängige nichtlineare Gleichungssysteme

Beweis. Wir benutzen die Lagrange-Form des Mittelwertes. Danach gilt Z

1

kx.s/  x.0/k D ks

x 0 . s/ d  k  s max kx 0 .t /k: t2Œ";"

D0



Für die tangentiale Fortsetzung x.s/ O D x0 C sx 0 .0/ erhalten wir vollkommen analog die folgende Aussage: Lemma 4.23. Sei x W Œ"; " ! Rn eine zweimal stetig differenzierbare Kurve und x.s/ O D x.0/ C sx 0 .0/. Dann gilt kx.s/  x.s/k O  s 2

mit WD

1 max kx 00 .t /k: 2 t2Œ";"

Beweis. Wie im Beweis von Lemma 4.22 gilt Z

0

1

sx 0 . s/  sx 0 .0/ d  x.s/  x.s/ O D x.s/  x.0/  sx .0/ D D0 Z 1 Z 1 x 00 . s/s 2 d  d D D0

und daher

D0

1 kx.s/  x.s/k O  s 2 max kx 00 .t /k: 2 t2Œ";"



Der folgende Satz stellt einen Zusammenhang her zwischen einer Fortsetzungsmethode der Ordnung p als Prädiktor und dem Newton-Verfahren als Korrektor. Er charakterisiert die maximal zulässige Schrittweite smax , für die das Newton-Verfahren O bei festem Parameter 0 C s konvergiert. angewandt auf x 0 WD x.s/ Satz 4.24. Sei D  Rn offen und konvex und F W D Œa; b ! Rn ein stetig differenzierbares parameterabhängiges System, so dass Fx .x; / für alle .x; / 2 D Œa; b invertierbar ist. Ferner gebe es ein ! > 0, so dass F der Lipschitz-Bedingung kFx .x; /1 .Fx .x C sv; /  Fx .x; //vk  s!kvk2 genügt. Sei weiter .x.s/; 0 C s/ für s 2 Œ"; " eine stetig differenzierbare Lösungskurve um .x0 ; 0 /, d. h. F .x.s/; 0 C s/ D 0

und

x.0/ D x0 ,

und x.s/ O eine Fortsetzungsmethode .Prädiktor/ der Ordnung p mit kx.s/  x.s/k O  s p

für alle jsj  ".

(4.22)

118

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Dann konvergiert das Newton-Verfahren .4:21/ zum Startwert x 0 D x.s/ O gegen die Lösung x.s/ von F .x; 0 C s/ D 0, falls s ! 2 p : (4.23) s < smax WD max "; ! Beweis. Wir müssen die Voraussetzungen von Satz 4.10 für das Newton-Verfahren (4.21) und den Startwert x 0 D x.s/ O überprüfen. Aufgrund der Voraussetzung (4.22) gilt O  s p :

.s/ D kx   x 0 k D kx.s/  x.s/k Setzen wir diese Ungleichung in die Konvergenzbedingung < 2=! von Satz 4.10 ein, so ergibt sich die hinreichende Bedingung s p < 2=! 

oder äquivalent (4.23).

Der Satz garantiert, dass es uns mit den oben beschriebenen Fortsetzungsmethoden, bestehend aus der klassischen (Ordnung p D 1) oder der tangentialen Fortsetzung (Ordnung p D 2) als Prädiktor und dem Newton-Verfahren als Korrektor, gelingt, eine Lösungskurve zu verfolgen, solange wir nur die Schrittweiten (problemabhängig) klein genug wählen. Andererseits sind die kennzeichnenden Größen ! und im Allgemeinen nicht bekannt und daher die Formel (4.23) für smax nicht auswertbar. Wir müssen also eine Strategie für die Wahl der Schrittweiten entwickeln, die ausschließlich im Algorithmus zugängliche Informationen benutzt. Eine solche Schrittweitensteuerung besteht aus, erstens, einem Anfangsvorschlag s (meistens der Schrittweite des vorherigen Fortsetzungsschrittes) und, zweitens, einer Strategie für die Wahl einer kleineren Schrittweite s 0 < s für den Fall, dass das Newton-Verfahren (als Korrektor) für den Startwert x.s/ O nicht konvergiert. Die Konvergenz des Newton-Verfahrens beurteilen wir mit dem in Kapitel 4.2 eingeführten natürlichen Monotonietest kx

kC1

k  N kx k k

1 mit N WD : 2

(4.24)

kC1

die gewöhnliche und die vereinfachte Newton-Korrektur Dabei sind x k und x O und O WD 0 C s: des Newton-Verfahrens (4.21), d. h. mit x 0 WD x.s/ k O O Fx .x k ; /x D F .x k ; / und

kC1 O O Fx .x k ; /x D F .x kC1 ; /:

Stellen wir mit Hilfe des Kriteriums (4.24) fest, dass das Newton-Verfahren für die Schrittweite s nicht konvergiert, d. h. kx

kC1

k > N kx k k;

4.4 Parameterabhängige nichtlineare Gleichungssysteme

119

so reduzieren wir diese Schrittweite um einen Faktor ˇ < 1 und führen die NewtonIteration mit der neuen Schrittweite s 0 WD ˇ  s; d. h. mit dem neuen Startwert x 0 D x.s O 0 / und dem neuen Parameter O WD 0 C s 0 , nochmals durch. Diesen Vorgang wiederholen wir so oft, bis das Konvergenzkriterium (4.24) für das Newton-Verfahren erfüllt ist oder aber eine minimale Schrittweite smin unterschritten wird. In letzterem Fall ist zu vermuten, dass die Eingangsvorausetzungen an F verletzt sind und zum Beispiel ein Umkehrpunkt oder ein Verzweigungspunkt in unmittelbarer Nähe liegt. Andererseits können wir die Schrittweite für den folgenden Schritt größer wählen, falls das Newton-Verfahren „zu schnell“ konvergiert. Auch dies lässt sich aus den beiden Newton-Korrekturen ablesen. Gilt etwa

N kx 0 k; (4.25) 4 so konvergiert das Verfahren „zu schnell“, und wir können für den nächsten Prädiktorschritt die Schrittweite etwa um den Faktor ˇ vergrößern, d. h., wir schlagen die Schrittweite s 0 WD s=ˇ 1

kx k 

vor. Dabei ist die durch (4.23) motivierte Wahl r p 1 ˇ WD 2 konsistent mit (4.24) und (4.25). Der folgende Algorithmus beschreibt die tangentiale Fortsetzung von einer Ausgangslösung .x0 ; a/ zum rechten Rand  D b des Parameterintervalls. O beinhaltet Algorithmus 4.25. Tangentiale Fortsetzung. Die Prozedur newton .x; O / das (gewöhnliche) Newton-Verfahren (4.21) für den Startwert x 0 D xO bei festem O Die Boolesche Variable done gibt an, ob das Verfahren nach höchstens Parameter . kmax Schritten die Lösung hinreichend genau berechnet hat oder nicht. Neben dieser Information und ggf. der Lösung x wird der Quotient 1

kx k

D kx 0 k der Normen der vereinfachten und gewöhnlichen Newton-Korrektur zurückgegeben. Die Prozedur continuation realisiert die Fortsetzungsmethode mit der oben beschriebenen Schrittweitensteuerung. Ausgehend von einem Startwert xO für die Lösung von F .x; a/ D 0 am linken Rand  D a des Parameterintervalls versucht das Programm, die Lösungskurve bis zum rechten Rand  D b zu verfolgen. Das Programm bricht ab, falls dieser erreicht wird oder die Schrittweite s zu klein gewählt werden müsste oder aber die maximale Anzahl imax an berechneten Lösungspunkten überschritten wird.

120

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

O function [done,x; ]=newton .x; O / x WD x; O for k D 0 to kmax do O A WD Fx .x; /; O löse Ax D F .x; /; x WD x C x; O (Zerlegung von A wiederverwenden) löse Ax D F .x; /; if k D 0 then

WD kxk=kxk; (für den nächsten Schrittweitenvorschlag) end if kxk < tol then done:= true; break; (Lösung gefunden) end N then if kxk > kxk done:= false; break; (Monotonie verletzt) end end if k > kmax then done:= false; (zu viele Iterationen) end function continuation .x/ O 0 WD a; O 0 /; [done, x0 ; ] = newton .x; if not done then Startwert xO für F .x; a/ D 0 zu schlecht else s WD s0 ; (Startschrittweite) for i D 0 to imax do löse Fx .xi ; i /x 0 D F .xi ; i /; repeat xO WD xi C sx 0 ; i C1 WD i C s; O iC1 /; [done, xi C1 ; ] = newton .x; if not done then s D ˇs; elseif < N =4 then s D s=ˇ; end s D min.s; b  iC1 /;

4.4 Parameterabhängige nichtlineare Gleichungssysteme

121

until s < smin or done if not done then break; (Algorithmus versagt) elseif i C1 D b then break; (fertig, Lösung xiC1 ) end end end Bemerkung 4.26. Es gibt eine wesentlich effektivere, theoretisch fundierte Schrittweitenstrategie, die ausnutzt, dass sich die Größen ! und lokal durch im Algorithmus zugängliche Werte abschätzen lassen. Die Darstellung dieser Strategie würde jedoch den Rahmen dieser Einführung sprengen – sie ist in [19] ausführlich beschrieben. Eine Variante der Tangentenfortsetzung wollen wir noch ausführen, weil sie gut zum Kontext von Kapitel 3 und 4.3 passt. Sie gestattet zugleich die Überwindung von Umkehrpunkten .x; / mit Rang F 0 .x; / D n und

Fx .x; / singulär:

In der Umgebung eines solchen Punktes werden die automatisch gesteuerten Schrittweiten s des oben beschriebenen Fortsetzungsalgorithmus beliebig klein, da sich die Lösungskurve um .x; / nicht mehr bezüglich des Parameters  parametrisieren lässt. Wir überwinden diese Schwierigkeit, indem wir die „Sonderrolle“ des Parameters  aufgeben und stattdessen das unterbestimmte nichtlineare Gleichungssystem in y D .x; /, F .y/ D 0 mit F W DO  RnC1 ! Rn , direkt betrachten. Wir nehmen wiederum an, dass die Jacobimatrix F 0 .y/ dieses Systems für alle y 2 DO vollen Rang hat. Dann gibt es zu jeder Lösung y0 2 DO eine O die die Umgebung U  RnC1 und eine differenzierbare Kurve y W   "; "Œ ! D, O Lösungsmenge S WD ¹y 2 D W F .y/ D 0º um y0 beschreibt, d. h. ® ¯ S \ U D y.s/ W s 2   "; "Œ : Differenzieren wir die Gleichung F .y.s// D 0 nach s an der Stelle s D 0, so folgt F 0 .y.0//y 0 .0/ D 0;

(4.26)

d. h., die Tangente y 0 .0/ an die Lösungskurve spannt gerade den Kern der Jacobimatrix F 0 .y0 / auf. Da F 0 .y0 / maximalen Rang hat, ist die Tangente durch (4.26) bis auf einen skalaren Faktor eindeutig bestimmt. Wir definieren daher für alle y 2 DO

122

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

eine bis auf ihre Orientierung (d. h. einen Faktor ˙1) eindeutig bestimmte normierte Tangente t .y/ 2 RnC1 durch F 0 .y/t .y/ D 0

und

kt .y/k2 D 1:

Die Orientierung der Tangenten wählen wir im Verlauf des Fortsetzungverfahrens so, dass zwei aufeinanderfolgende Tangenten t0 D t .y0 / und t1 D t .y1 / einen spitzen Winkel zueinander bilden, d. h. ht0 ; t1 i > 0: Dies stellt sicher, dass wir auf einer Lösungskurve nicht wieder zurücklaufen. Damit können wir die Tangentenfortsetzung auch für Umkehrpunkte durch yO D y.s/ O WD y0 C s t .y0 / definieren. Ausgehend von dem Startvektor y 0 D yO wollen wir nun „möglichst rasch“ zur Kurve y.s/ zurückfinden (siehe Abbildung 4.8). Der vage Ausdruck „möglichst rasch“ kann geometrisch interpretiert werden als „in etwa orthogonal“ zur Tangente eines nahegelegenen Punktes y.s/ auf der Lösungskurve. Da aber die Tangente

+ +

+

+

+

Abbildung 4.8. Tangentiale Fortsetzung über Umkehrpunkte hinaus

t .y.s// erst nach Berechnung von y.s/ zur Verfügung steht, ersetzen wir t .y.s// durch die jeweils bestmögliche Näherung t .y k /. Aufgrund der geometrischen Interpretation der Pseudoinversen (vgl. Kapitel 3.3) kommen wir damit zu der Iterationsvorschrift y k WD F 0 .y k /C F .y k /

und

y kC1 WD y k C y k :

(4.27)

Die Iterationsvorschrift (4.27) ist offensichtlich ein Gauß-Newton-Verfahren für das unterbestimmte Gleichungssystem F .y/ D 0. Ohne Beweis sei erwähnt, dass dieses Verfahren bei maximalem Rang von F 0 .y/ in einer Umgebung des Lösungszweiges yN

123

4.4 Parameterabhängige nichtlineare Gleichungssysteme

ebenso wie das gewöhnliche Newton-Verfahren quadratisch konvergiert. Der Beweis findet sich etwa in der neueren Monographie [21]. Wir wollen hier noch auf die Berechnung der Korrektur y k eingehen. Dabei lassen wir den Index k weg. Die Korrektur y in (4.27) ist die kürzeste Lösung aus der Lösungsmenge Z.y/ des unterbestimmten linearen Problems Z.y/ WD ¹z 2 RnC1 jF 0 .y/z C F .y/ D 0º: Bei Anwendung der Gauß-Elimination (mit Zeilenpivotstrategie und evtl. Spaltentausch, siehe Kapitel 1.3) oder der QR-Zerlegung (mit Spaltentausch, siehe Kapitel 3.2.2) gelingt es relativ leicht, irgendeine Lösung z 2 Z.y/ sowie einen Kernvektor t .y/ mit F 0 .y/t .y/ D 0 zu berechnen. Dann gilt: y D F 0 .y/C F .y/ D F 0 .y/C F 0 .y/z: Wie wir in Kapitel 3.3 gesehen haben, ist P D F 0 .y/C F 0 .y/ die Projektion auf das orthogonale Komplement des Kerns von F 0 .y/ und daher P DI

ttT : tT t

Für die Korrektur y ergibt sich daraus ttT y D I  T t t

! zDz

ht; zi t: ht; ti

Damit haben wir eine einfache Berechnungsvorschrift für die Pseudoinverse (bei Rangdefekt 1), falls wir nur eine beliebige Lösung z und einen Kernvektor t zur Verfügung haben. Das in (4.27) angegebene Gauß-Newton-Verfahren ist also einfach implementierbar in engem Zusammenspiel mit der tangentialen Fortsetzung. Für die Wahl der Schrittlängen greifen wir zu einer ähnlichen Strategie, wie wir sie in Algorithmus 4.25 beschrieben haben. Falls das Iterationsverfahren nicht konp vergiert, reduzieren wir die Schrittlänge s um den Faktor ˇ D 1= 2. Falls das Iterationsverfahren „zu rasch“ konvergiert, vergrößern wir die Schrittweite für den nächsten Prädiktorschritt um den Faktor ˇ 1 . Diese empirische Fortsetzungsstrategie ist auch in relativ komplizierten Problemen noch vergleichsweise wirkungsvoll. Bemerkung 4.27. Auch zu dieser tangentialen Fortsetzungsmethode existiert eine wesentlich effektivere und theoretisch fundierte Schrittweitensteuerung, deren Darstellung sich in [24] findet. Dort werden außerdem statt F 0 .y/ Approximationen der Jacobimatrix verwendet. Auf dieser Grundlage arbeiten äußerst effektive Programme für parameterabhängige Gleichungssysteme (siehe Abbildung 4.9 und 4.10).

124

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Bemerkung 4.28. Die Beschreibung der Lösungen eines parameterabhängigen Systems (4.19) bezeichnet man auch als Parameterstudie. Parameterabhängige Systeme können andererseits auch zur Erweiterung des Konvergenzbereiches eines Verfahrens zur Lösung nichtlinearer Gleichungssysteme genutzt werden. Die Idee dabei ist, sich von einem bereits gelösten Problem G.x/ D 0 Zug um Zug zur Lösung des eigentlichen Problems F .x/ D 0 durchzuarbeiten. Dazu konstruiert man sich ein parameterabhängiges Problem H.x; / D 0;

 2 Œ0; 1;

welches die beiden Probleme miteinander verbindet, d. h. H.x; 0/ D G.x/ und

H.x; 1/ D F .x/

für alle x. Eine solche Abbildung H heißt Einbettung (engl.: embedding) des Problems F .x/ D 0 oder auch Homotopie. Das einfachste Beispiel ist die sogenannte lineare Einbettung, H.x; / WD F .x/ C .1  /G.x/; der allerdings problemangepasste Einbettungen in jedem Fall vorzuziehen sind (siehe Beispiel 4.29). Wenden wir eine Fortsetzungsmethode auf dieses parameterabhängige Problem H.x; / D 0 an, wobei wir mit einer uns bekannten Lösung x0 von G.x/ D 0 beginnen, so spricht man auch von einer Homotopiemethode zur Lösung von F .x/ D 0. Beispiel 4.29. Fortsetzung bezüglich verschiedener Einbettungen. In [43] ist das folgende Problem gestellt: F .x/ WD x  .x/ D 0; wobei i .x/ WD exp.cos.i 

10 X

xj //;

i D 1; : : : ; 10:

j D1

Dazu wird die triviale Einbettung H.x; / D F .x/ C .1  /x D x  .x/

125

4.4 Parameterabhängige nichtlineare Gleichungssysteme

mit dem Startwert x 0 D .0; : : : ; 0/ bei  D 0 vorgeschlagen. Die Fortsetzung bezüglich  führt zwar für  D 1 zur Lösung (siehe Abbildung 4.9 links), aber die problemangepasste Einbettung 10 X

xj ; HQ i .x; / WD xi  exp   cos i 

i D 1; : : : ; 10;

j D1

mit dem Startwert x 0 D .1; : : : ; 1/ bei  D 0 ist deutlich von Vorteil (siehe Abbildung 4.9 rechts). Es sei angemerkt, dass in diesen Beispielen keine Verzweigungen auftre2.50

2.00

1.50

1.00

0.50

+

• ••• • • •• •• + • • • • • •• • • • + • •• • • • • • • • • •• • • • • + •• • • • • • •• • • • •• • • • • • •••••• • • •x • •• + ••• • ••• • •• • • •• •• • • • • • • • • • • • •• ••• • • •• ••• •• •• • • •••••••••••••• • • • •••• •• •••• ••••••• ••• • •• • +•••• ••• + + + + +

0.00 0.00

0.20

0.40

0.60

0.80

1.00

2.00

+

1.80

+

1.60

+

1.40

+

1.20

+ +

1.00 •• • 0.80

+

0.60

+ +

0.00

• • •

•

• •• •

•

• •

• •

•

•

•

•

•• •

+

0.20

+

0.40

+

0.60

•

+

0.80

•

•

x

+

1.00

Abbildung 4.9. Fortsetzung für die triviale Einbettung (links) und die problemangepasste Einbettung (rechts), aufgetragen ist jeweils x9 über 

ten. Die Überschneidungen der Lösungskurven ergeben sich nur in der Projektion auf die Koordinatenebene .x9 ; /. Die Punkte auf den beiden Lösungszweigen markieren die von dem verwendeten Programm automatisch berechneten Zwischenwerte: Ihre Anzahl ist in etwa ein Maß für den benötigten Rechenaufwand, um von  D 0 nach  D 1 zu kommen. Das obige Beispiel hat rein illustrativen Charakter: Es lässt sich einfach in ein rein skalares Problem umformen und als solches lösen (Aufgabe 4.6). Wir fügen deshalb noch ein interessanteres Problem an. Beispiel 4.30. Brusselator. In [80] wird eine chemische Reaktions-Diffusionsgleichung betrachtet. Bei diesem diskreten Modell reagieren zwei chemische Substanzen mit Konzentrationen z D .x; y/ in mehreren Zellen jeweils nach der Vorschrift 1 0 1 0 xP A  .B C 1/x C x 2 y A DW f .z/ zP D @ A D @ Bx  x 2 y yP

126

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

miteinander. Durch Koppelung benachbarter Zellen tritt Diffusion auf. Betrachtet man nur zeitlich konstante Lösungen und parametrisiert die Diffusion mittels , so ergibt sich folgendes nichtlineare Gleichungssystem: 0 D f .zi / C

1 X D.zj  zi /; 2

i D 1; : : : ; k:

.i;j /

Dabei ist D D diag.1; 10/ eine .2; 2/-Diagonalmatrix. Da die Gleichungen die Symmetrie der geometrischen Anordnung der Zellen widerspiegeln, tritt ein reiches Verzweigungsverhalten auf (siehe Abbildung 4.10), das in [38] unter Ausnutzung der Symmetrie des Systems im Zusammenspiel mit Methoden des symbolischen Rechnens analysiert wird. 6:00 + 5:00 +

•

• ••• ••••••• • •• • • •• • • •• • •

••

4:00 +

•

•

3:00 2:00

•• •

• •

• •

•

•

•

• • • •• •• • •* • •••• • • • • • • • • • ••• • ••••••* ••••••• • +x•••••••* • * •• • • *•••• • • • • • • • •• • • • • • • •• •• • • + *• • • • • • • • • • • •• • • • • ••••••••••• • • ••••••••

1:00 + 0:00

•••• • ••• •• •• •• •* • • • • •

• ••• • •• • ••••• •

•

• •

••

•

• •

• • •

• •

•

• • •• • * • • • • •• • • • ••• • ••*

•

• • •• • • ••• •• ••• •* • • • •

+

+

+

+

+

+

+

1:00

2:00

3:00

4:00

5:00

6:00

7:00

•

x

+

8:00

Abbildung 4.10. Brusselator mit 4 Zellen in linearer Kette (A D 2; B D 6), aufgetragen ist x8 über 

Übungsaufgaben Aufgabe 4.1. Erklären Sie das unterschiedliche Konvergenzverhalten der beiden in Kapitel 4.1 beschriebenen Fixpunktiterationen zur Lösung von f .x/ D 2x  tan x D 0: Analysieren Sie dabei auch die Konvergenzgeschwindigkeit des zweiten Verfahrens. Aufgabe 4.2. Zur Bestimmung des Fixpunktes x  der stetig differenzierbaren Abbildung  mit j 0 .x/j ¤ 1 seien die folgenden Iterationsvorschriften für k D 0; 1; : : : definiert: (I) xkC1 WD .xk /,

127

Übungsaufgaben

(II) xkC1 WD  1 .xk /. Zeigen Sie, dass mindestens eine der beiden Iterationen lokal konvergiert. Aufgabe 4.3. Eine Funktion f 2 C 1 Œa; b habe die einfache Nullstelle x  2 Œa; b. Durch die drei Stützpunkte .a; fa /; .c; fc /; .b; fb /

mit a < c < b, fa fb < 0

ist ein quadratisches Interpolationspolynom p.x/ eindeutig bestimmt. a) Zeigen Sie, dass p in Œa; b genau eine einfache Nullstelle y besitzt. b) Konstruieren Sie ausgehend von einer formalen Prozedur y D y.a; b; c; fa ; fb ; fc /; welche die Nullstelle von p in Œa; b in Abhängigkeit von den Stützpunkten berechnet, einen Algorithmus zur Bestimmung von x  auf eine vorgegebene Genauigkeit eps. Aufgabe 4.4. Zur Konvergenzbeschleunigung des linear konvergenten Fixpunktverfahren im R1 xi C1 WD .xi /; x0 vorgegeben, x  Fixpunkt kann man die sogenannte 2 -Methode von Aitken verwenden. Dabei wird zu der Folge ¹xi º die transformierte Folge ¹xN i º xN i WD xi 

.xi /2 2 x i

berechnet, wobei  der Differenzenoperator xi WD xiC1  xi ist. a) Zeigen Sie: Gilt für die Folge ¹xi º und xi ¤ x  , dass xi C1  x  D . C ıi /.xi  x  /; wobei jj < 1 und ¹ıi º eine Nullfolge ist, d. h. limi!1 ıi D 0, so existiert die Folge ¹xN i º für hinreichend große i und hat die Eigenschaft xN i  x  D 0: i!1 xi  x  lim

b) Bei der Realisierung des Verfahrens berechnet man nur x0 , x1 , x2 und xN 0 und startet dann die Fixpunktiteration mit xN 0 als verbessertem Startwert (Methode von Steffensen). Probieren Sie diese Fixpunktiteration an unseren bewährten Beispielen 1 .x/ WD .tan x/=2 und 1 .x/ WD arctan 2x mit dem Startwert x0 D 1:2 aus.

128

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Aufgabe 4.5. Berechnen Sie die Lösung des nichtlinearen Ausgleichsproblems der Feulgen-Hydrolyse mit einem gewöhnlichen Gauß-Newton-Verfahren (Bibliotheksprogramm oder selbst geschrieben) für den Datensatz aus Tabelle 4.3 mit den dort angegebenen Startdaten. Hinweis: In diesem speziellen Fall konvergiert das gewöhnliche Gauß-Newton-Verfahren sogar rascher als das gedämpfte (vgl. Abbildung 4.3). Aufgabe 4.6. Berechnen Sie die Lösung von F .x/ D x  .x/ D 0 mit



i .x/ WD exp cos i 

10 X



xj

;

i D 1; : : : ; 10;

j D1

indem Sie zuerst eine Gleichung für u D

P10

j D1 xj

aufstellen und diese lösen.

Aufgabe 4.7. Numerische Differentiation. Gegeben sei eine Funktion F W D ! Rn ; D  Rn ; F 2 C 2 .D/. Betrachtet wird die Approximation der Jacobimatrix J.x/ D F 0 .x/ durch die Differenzenquotienten i F .x/ WD

F .x C i ei /  F .x/ ; i

i ¤ 0;

JO .x/ WD Œ1 F .x/; : : : ; n F .x/: Um eine hinreichend gute Approximation der Jacobimatrix zu erhalten, berechnet man die Größe kF .x C i ei /  F .x/k . i / WD kF .x/k und fordert p : . O i / D 0 WD 10 eps; wobei eps die relative Maschinengenauigkeit ist. Zeigen Sie, dass : . / D c1 C c2 2 für ! 0. Geben Sie eine Vorschrift an, die im Fall . / 0 eine Schätzung für O zulässt. Warum liefert eine entsprechende Schätzung für . /  0 keine brauchbaren Ergebnisse? Aufgabe 4.8. Newton-Verfahren in C. Die Nullstellen von pn .z/ WD z n  1 sollen für gerades n mit dem (komplexen) Newton-Verfahren bestimmt werden: zkC1 D ˆ.zk / WD zk 

pn .zk / ; pn0 .zk /

k D 0; 1; : : : :

Es werde definiert: 

L.s/ WD ¹t e i n s j t 2 Rº;

s 2 Œ0; nŒ:

129

Übungsaufgaben

a) Zeigen Sie: zk 2 L.s/ ) zkC1 2 L.s/: b) Fertigen Sie eine Skizze an, in der Sie das Konvergenzverhalten darstellen. Berechnen Sie K.s/ WD L.s/ \ ¹z W jˆ0 .z/j < 1º und alle Fixpunkte von ˆ auf L.s/ für s D 0; 1; : : : ; n  1

und

1 1 3 s D ; ;:::;n  : 2 2 2

Aufgabe P 4.9. Gegeben sei das System von n D 10 nichtlinearen Gleichungen (s D 10 i D1 xi ) 0 B B B B B B B B B B B B B F .x; / WD B B B B B B B B B B B B @

x1 C x4  3

1

C C 2x1 C x2 C x4 C x7 C x8 C x9 C 2x10   C C C C 2x2 C 2x5 C x6 C x7  8 C C C 2x3 C x9  4 C C C x1 x5  0:193x2 x4 C C D 0: C 2 5 x6 x1  0:67444  10 x2 x4 s C C C x72 x4  0:1189  104 x1 x2 s C C C x8 x4  0:1799  104 x1 s C C C 2 2 7 .x9 x4 /  0:4644  10 x1 x3 s C A x10 x42  0:3846  104 x12 s

Es beschreibt ein chemisches Gleichgewicht (bei Propan). Sämtliche interessierende Lösungen müssen nichtnegative Komponenten haben, da sie als chemische Konzentrationen zu interpretieren sind. a) Zeigen Sie, dass   3 zwingend ist, falls xi  0; i D 1; : : : ; n. Berechnen Sie (per Hand) den entarteten Spezialfall  D 3. b) Schreiben Sie ein Programm für eine Fortsetzungsmethode mit gewöhnlichem Newton-Verfahren als lokalem Iterationsverfahren und empirischer Schrittlängenstrategie. c) Testen Sie dieses Programm für  > 3 an obigem Beispiel.

130

4 Nichtlineare Gleichungssysteme und Ausgleichsprobleme

Aufgabe 4.10. Beweisen Sie den folgenden Satz: Sei D Rn offen und konvex und F W D Rn ! Rn differenzierbar. Es existiere eine Lösung x  2 D derart, dass F 0 .x  / invertierbar ist. Ferner gelte die (affin-invariante) Lipschitz-Bedingung für x; y 2 D: kF 0 .x  /1 .F 0 .y/  F 0 .x//k  ! ky  xk: Sei WD kx 0  x  k < 2=.3! / und B .x  /  D. Dann gilt: Die durch das gewöhnliche Newton-Verfahren definierte Folge ¹x k º bleibt in B .x  / und konvergiert gegen x  . Ferner ist x  eindeutige Lösung in B .x  /. Hinweis: Benutzen Sie das Störungslemma für die Jacobimatrizen F 0 .x/, das auf der Neumannschen Reihe basiert. Aufgabe 4.11. Zu lösen sei die quadratische Gleichung x 2  2px C q D 0

mit p 2  q  0 und q D 0:123451234:

Berechnen Sie für die Folge p 2 ¹1; 10; 102 ; : : : º die beiden Lösungen q x1 D xO 1 D p C p 2  r; q xO 2 D p  p 2  q; x2 D q=xO 1 : Tragen Sie die Resultate in eine Tabelle ein, und unterstreichen Sie jeweils die gültigen Ziffern. Aufgabe 4.12. Das Prinzip zur Herleitung des Levenberg-Marquardt-Verfahrens x kC1 D x k C z k ;

k D 0; 1; : : : ;

zur Lösung nichtlinearer Gleichungssysteme ist nicht affin-invariant. Dieser Mangel vererbt sich natürlich auch auf das Verfahren selbst. Eine affin-invariante Modifikation lautet: Minimiere kF 0 .x k /1 .F .x k / C F 0 .x k /z/k2 unter der Nebenbedingung kzk2  ı: Welches Verfahren ergibt sich hieraus?

5 Lineare Eigenwertprobleme

Das folgende Kapitel ist dem Studium des numerischen Eigenwertproblems der linearen Algebra Ax D x gewidmet, worin A eine quadratische Matrix der Ordnung n und x einen Eigenvektor zum Eigenwert  2 C bezeichnen. Als elementare Einführung in die angewandte Lineare Algebra empfehlen wir das schön geschriebene und äußerst anregende Lehrbuch [70] von C. D. Meyer. Zu Aspekten der Numerik innerhalb der Linearen Algebra hat sich das klassische Lehrbuch von G. H. Golub und C. van Loan [47] seit Jahren etabliert. Neben allgemeinen Matrizen interessieren hier die folgenden speziellen Matrizen:  A symmetrisch: Alle Eigenwerte sind reell; dieses Eigenwertproblem kommt in den Natur- und Ingenieurwissenschaften am häufigsten vor.  A symmetrisch positiv definit (oder semi-definit): Alle Eigenwerte sind positiv (oder nichtnegativ); zu diesem Eigenwertproblem korrespondiert in der Regel ein Minimierungsproblem der Form x T Ax C b T x D min; worin wir hier den Vektor b nicht näher spezifizieren wollen.  A stochastisch: Alle Elemente solcher Matrizen lassen sich als Wahrscheinlichkeiten interpretieren, was sich in den Beziehungen aij  0;

n X

aij D 1

j D1

ausdrückt; in diesem Fall existiert ein sogenannter Perron-Eigenwert 1 , der gleich dem Spektralradius .A/ D 1 ist; die zu diesem Eigenwert gehörigen Links- und Rechtseigenvektoren sind positiv bis auf einen für alle Komponenten gemeinsamen Phasenfaktor; derartige Eigenwertprobleme spielen auch bei der Google-Suchmaschine eine Rolle. Im Folgenden führen wir zunächst eine Analyse der Kondition des Eigenwertproblems für allgemeine Matrizen durch (Kapitel 5.1). Dabei zeigt sich, dass das Eigenwertproblem mit Garantie gutkonditioniert nur für normale Matrizen ist, deren

132

5 Lineare Eigenwertprobleme

wichtigste Klasse die reell-symmetrischen Matrizen sind. Deswegen behandeln wir erst einmal Algorithmen zur Berechnung der Eigenwerte und Eigenvektoren für diesen Spezialfall (Kapitel 5.2 und 5.3). Für allgemeine Matrizen ist dagegen das Problem der Singulärwertzerlegung gutkonditioniert und praktisch enorm relevant – siehe Kapitel 5.4. In den letzten Jahren haben sich Eigenwertprobleme für stochastische Matrizen zunehmend als wichtig erwiesen, weshalb wir uns in Kapitel 5.5 dieser Problemklasse zuwenden. Dabei ergibt sich in natürlicher Weise auch ein Einblick in einen neueren Clusteralgorithmus (Perron-Clusteranalyse) sowie in das Prinzip der Google-Suchmaschine.

5.1

Kondition des allgemeinen Eigenwertproblems

Wir beginnen mit der Bestimmung der Kondition des Eigenwertproblems Ax D x für eine beliebige komplexe Matrix A 2 Matn .C/. Der Einfachheit halber setzen wir voraus, dass 0 ein (algebraisch) einfacher Eigenwert von A ist, d. h. eine einfache Nullstelle des charakteristischen Polynoms A ./ D det.A  I /. Unter diesen Voraussetzungen ist  differenzierbar in A, wie wir im folgenden Lemma sehen werden. Lemma 5.1. Sei 0 2 C einfacher Eigenwert von A 2 Matn .C/. Dann existiert eine stetig differenzierbare Abbildung  W V  Matn .C/ ! C;

B 7! .B/

von einer Umgebung V von A in Matn .C/, so dass .A/ D 0 und .B/ einfacher Eigenwert von B ist für alle B 2 V . Ist x0 ein Eigenvektor von A zu 0 und y0 ein .adjungierter/ Eigenvektor von A WD ANT zum Eigenwert N 0 , d. h. Ax0 D 0 x0

A y0 D N 0 y0 ;

und

so gilt für die Ableitung von  an der Stelle A, dass 0 .A/C D

hC x0 ; y0 i hx0 ; y0 i

für alle C 2 Matn .C/.

Beweis. Sei C 2 Matn .C/ eine beliebige komplexe Matrix. Da 0 eine einfache Nullstelle des charakteristischen Polynoms A ist, gilt ˇ @ ACtC ./ˇ tD0 : @ Nach dem Satz über implizite Funktionen gibt es daher eine in einer Nullumgebung   "; "Œ  R stetig differenzierbare Abbildung 0 0 ¤ A .0 / D

 W   "; "Π! C;

t 7! .t /;

133

5.1 Kondition des allgemeinen Eigenwertproblems

so dass .0/ D 0 und .t / einfacher Eigenwert von A C t C ist. Wiederum aufgrund der Einfachheit von 0 gibt es eine stetig differenzierbare Funktion x W   "; "Π! C n ;

t 7! x.t /;

so dass x.0/ D x0 und x.t / Eigenvektor von A C t C zum Eigenwert .t / ist (x.t / lässt sich explizit mit adjungierten Determinanten berechnen, siehe Aufgabe 5.2). Differenzieren wir die Gleichung .A C t C /x.t / D .t /x.t / nach t an der Stelle t D 0, so folgt C x0 C Ax 0 .0/ D 0 x 0 .0/ C 0 .0/x0 : Multiplizieren wir nun rechts mit y0 (im Skalarprodukt-Sinn), so erhalten wir hC x0 ; y0 i C hAx 0 .0/; y0 i D h0 x 0 .0/; y0 i C h0 .0/x0 ; y0 i: Da h0 .0/x0 ; y0 i D 0 .0/hx0 ; y0 i und hAx 0 .0/; y0 i D hx 0 .0/; A y0 i D 0 hx 0 .0/; y0 i D h0 x 0 .0/; y0 i; folgt somit 0 .0/ D

hC x0 ; y0 i : hx0 ; y0 i

Damit haben wir die Ableitung von  in Richtung der Matrix C berechnet. Aus der stetigen Differenzierbarkeit der Richtungsableitungen folgt die Differenzierbarkeit von  nach A und 0 .A/C D 0 .0/ D

hC x0 ; y0 i hx0 ; y0 i

für alle C 2 Matn .C/.



Zur Berechnung der Kondition des Eigenwertproblems .; A/ müssen wir nun die Norm der Ableitung 0 .A/ als lineare Abbildung 0 .A/ W Matn .C/ ! C;

C 7!

hC x; yi ; hx; yi

berechnen, wobei x ein Eigenvektor zum einfachen Eigenwert 0 von A und y ein adjungierter Eigenvektor zum Eigenwert N 0 von A ist. Wir wählen dazu auf Matn .C/ die 2-Norm (Matrixnorm!) und auf C den Betrag. Für jede Matrix C 2 Matn .C/ gilt (Cauchy-Schwarzsche Ungleichung) jhC x; yij  kC xkkyk  kC kkxkkyk;

134

5 Lineare Eigenwertprobleme

wobei für C D yx  , x  WD xN T , gerade Gleichheit gilt. Daher folgt wegen kyx  k D kxkkyk, dass jhC x; yi=hx; yij kxkkyk 1 D D ; kC k jhx; yij j cos. rC1 D    D p D 0, so gilt Rang A D r; ker A D span¹VrC1 ; : : : ; Vn º und im A D span¹U1 ; : : : ; Ur º: 3. Die Euklidische Norm von A ist der größte Singulärwert, d. h. kAk2 D 1 : P 4. Für die Frobenius-Norm von kAkF D . niD1 kAi k22 /1=2 gilt kAk2F D 12 C    C p2 : 5. Die Kondition von A bzgl. der Euklidischen Norm ist der Quotient von größtem und kleinstem Singulärwert, d. h. 2 .A/ D 1 =p : 6. Die Quadrate 12 ; : : : ; p2 der Singulärwerte sind Eigenwerte von AT A und AAT zu den Eigenvektoren V1 ; : : : ; Vp bzw. U1 ; : : : ; Up . Aufgrund der Invarianz der Euklidischen Norm kk2 unter den orthogonalen Transformationen U und V erhalten wir aus der Singulärwertzerlegung von A auch eine weitere Darstellung der Pseudoinversen AC von A. Korollar 5.18. Sei U T AV D † Singulärwertzerlegung von A 2 Matm;n .R/ mit p D Rang A und † D diag.1 ; : : : ; p ; 0; : : : ; 0/: Dann ist die Pseudoinverse AC 2 Matn;m .R/ gerade AC D V †C U T

mit †C D diag.11 ; : : : ; p1 ; 0; : : : ; 0/.

Beweis. Wir müssen nachweisen, dass die rechte Seite B WD V †C U T die PenroseAxiome erfüllt. Trivialerweise ist die Pseudoinverse der Diagonalmatrix † gerade †C . Daraus folgen sofort auch die Moore-Penrose-Axiome für B, da V T V D I und  UT U D I. Wir gehen nun über zu der Frage der numerischen Berechnung der Singulärwerte. Nach Folgerung 5.17 sind die Singulärwerte i einer Matrix A 2 Matn .R/ die Wurzeln der Eigenwerte von AT A, q (5.7) i .A/ D i .AT A/:

148

5 Lineare Eigenwertprobleme

Das Eigenwertproblem der symmetrischen Matrix AT A ist gutkonditioniert. Damit ist auch das Singulärwertproblem von A gutkonditioniert, falls die explizite Berechnung von AT A vermieden werden kann. Mit (5.7) böte sich eine Berechnungsmethode für die i .A/ an. Dieser Umweg ist jedoch ungeeignet, wie sich an folgendem Beispiel leicht nachvollziehen lässt : Beispiel 5.19. Wir rechnen mit einer Genauigkeit von vier Ziffern (gerundet). 2 3 1:005 0:995 5 ; 1 D 1 .A/ D 2; 2 D 2 .A/ D 0:01: A D AT D 4 0:995 1:005 Über den Zugang mit AT A erhalten wir 2 3 2:000 2:000 5; fl.AT A/ D 4 2:000 2:000

Q 12 D 4;

Q 22 D 0:

Ebenso wie bei der linearen Ausgleichsrechnung (Kapitel 3) suchen wir daher auch hier ein Verfahren, welches nur auf der Matrix A operiert. Dazu untersuchen wir zunächst, unter welchen Operationen die Singulärwerte invariant bleiben. Lemma 5.20. Sei A 2 Matm;n .R/, und seien P 2 O.m/, Q 2 O.n/ orthogonale Matrizen. Dann haben A und B WD PAQ die gleichen Singulärwerte. 

Beweis. Einfache Übung.

Wir dürfen also die Matrix A von links und rechts mit beliebigen orthogonalen Matrizen multiplizieren, ohne die Singulärwerte zu verändern. Für die Anwendung des QR-Algorithmus ist es wünschenswert, die Matrix A so zu transformieren, dass AT A tridiagonal ist. Dies erreichen wir am einfachsten, indem wir A auf Bidiagonalgestalt bringen. Das folgende Lemma zeigt, dass dieses Ziel mit Hilfe von HouseholderTransformationen von rechts und links erreichbar ist. Lemma 5.21. Für jede Matrix A 2 Matm;n .R/ mit m  n .o.B.d.A/ existieren orthogonale Matrizen P 2 O.m/ und Q 2 O.n/, so dass 3 2   7 6 :: :: 7 6 : : 7 6 7 0 1 6 :: :  7 6 7 6 B @ A; PAQ D 6  7 7D 6 7 6 0 6 0   0 7 7 6 : :: 7 6 : : 5 4 : 0 



0

wobei B eine .quadratische/ Bidiagonalmatrix ist.

149

5.4 Singulärwertzerlegung

Beweis. Wir veranschaulichen die Konstruktion von P und Q mit Householder-Matrizen (der Einfachheit halber m D n): 2 3 2 3 2 3   0 : : : : : : 0   : : : : : :  6 7 6 7  ::: :::  6 7 6 7 6 0  6 0 7 6 7  7 :: 7 6 7 6 7 6 :: 6 : : 7 P1  6 : : Q1 6 : : :: 7 :: 7 6 7 6 7 ! 6 :: :: : : : 7 : 7!6 : : 7 6 6 :: :: 7 6 6 7 6 : 7 : 5 :: 7 :: 7 6 :: :: 7 6 :: :: 4 : 7 : 7 6 : : 6 : : 4 5 4 5  ::: :::  0  ::: :::  0  ::: :::  2 6 6 6 6 P2  6 !6 6 6 6 6 4

3   0 ::: 0 :: : :: :

  ::: : 0 :: :: :: : :

0 0  :::

0 7 7  7 7 Q2 :: 7 : 7 7 !  :: 7 7 : 7 5 

3

2

  6 6 :: : Pn1  6 ! 6 6 6 4

Damit gilt dann (für m > n) 0 1 B @ A D Pn1    P1 A Q1    Qn2 : „ ƒ‚ … „ ƒ‚ … 0 DW P DW Q

7 7 7 7: 7 :: :  7 5  ::

:



Zur Herleitung eines effektiven Algorithmus untersuchen wir nun den QR-Algorithmus für die Tridiagonalmatrix B T B. Ziel ist, eine vereinfachte Version zu finden, die ausschließlich auf B operiert. Führen wir den ersten Givens-Eliminationsschritt des QR-Algorithmus auf A D B T B aus, A ! 12 B T BT12 D .BT12 /T BT12 ; „ ƒ‚ … „ƒ‚… BQ BQ T so erhalten wir für BQ die Matrix 2

BQ D BT12

 

3

7 6 7 6˚   7 6 7 6 :: :: 6 D6 : : 7 7; 7 6 : ::  7 6 5 4 

150

5 Lineare Eigenwertprobleme

wobei an der Stelle ˚ ein neues Element (fill in) erzeugt wurde. Spielt man den QRAlgorithmus für B T B auf diese Weise auf B zurück, so zeigt sich, dass das Verfahren folgendem Eliminationsprozess entspricht: 3 2 7 6   z3 7 6 7 6 z2   z5 7 6 7 6 7 6 z4   z 7 7 6 7 6 :: :: :: :: 7 6 (5.8) : : : : 7 6 7 6 6 z2n6   z2n3 7 7 6 7 6 7 6 z2n4   7 6 5 4 z2n2  eliminiere z2

(Givens von links) ! erzeugt z3

eliminiere z3 :: :

(Givens von rechts) ! erzeugt z4 :: :: : :

eliminiere z2n3 (Givens von rechts) ! erzeugt z2n2 eliminiere z2n2 (Givens von links): Man „jagt“ also den jeweils erzeugten fill-in-Elementen z2 ; z3 ; : : : entlang der beiden Diagonalen nach und beseitigt dabei mit Givens-Rotationen abwechselnd von links und von rechts die neu entstehenden Einträge. Deswegen heißt dieser Prozess im Englischen auch chasing. Zum Schluss hat die Matrix wieder Bidiagonalgestalt und wir haben einen Iterationsschritt des QR-Verfahrens für B T B nur auf B ausgeführt. Nach Satz 5.10 gilt BkT Bk ! ƒ D diag.12 ; : : : ; n2 / D †2

für k ! 1.

Daher konvergiert die Folge Bk gegen die Diagonalmatrix der Singulärwerte von B, d. h. Bk ! † für k ! 1. Zusammengefasst erhalten wir folgenden Algorithmus zur Bestimmung der Singulärwerte von A (für Einzelheiten verweisen wir auf [47]):

151

5.5 Stochastische Eigenwertprobleme

Algorithmus 5.22. QR-Algorithmus für Singulärwerte. a) Bringe A 2 Matm;n .R/ mit Hilfe orthogonaler Transformationen, P 2 O.m/ und Q 2 O.n/ (z. B. Householder-Reflexionen), auf Bidiagonalgestalt: 0 1 B PAQ D @ A ; B 2 Matn .R/ obere Bidiagonalmatrix: 0 b) Führe den QR-Algorithmus für B T B nach dem „chasing“-Verfahren (5.8) auf B aus und erhalte so eine Folge von Bidiagonalmatrizen ¹Bk º, die gegen die Diagonalmatrix † der Singulärwerte konvergiert. Für den Aufwand zählen wir dabei für m D n a)  34 n3 Multiplikationen für die Reduktion auf Bidiagonalgestalt, b) O.n2 / Multiplikationen für den modifizierten QR-Algorithmus.

5.5

Stochastische Eigenwertprobleme

Der hier betrachtete Problemtyp hängt eng zusammen mit stochastischen Prozessen: Sei X./ eine Zufallsvariable, die zu diskreten Zeitpunkten, etwa k D 0; 1; : : : , diskrete Zustände aus einer endlichen Menge S D ¹s1 ; : : : ; sn º annehmen kann. Sei   (5.9) P X.k C 1/ D sj j X.k/ D si D aij .k/ die Wahrscheinlichkeit, dass die Variable zum Zeitpunkt k C 1 den Zustand sj annimmt, wenn sie zum Zeitpunkt k im Zustand si war. Offenbar geht hier nur der unmittelbar vorangegangene Zustand ein, nicht die weiter zurückliegenden, d. h., der Prozess hat quasi „kein Gedächtnis“; solche speziellen stochastischen Prozesse heißen Markov-Prozesse, im hier vorliegenden zeitdiskreten Fall genauer Markov-Ketten. Sie wurden im Jahre 1907 von dem russischen Mathematiker A. A. Markov eingeführt (Näheres siehe [70]). Falls die Wahrscheinlichkeiten nicht vom Zeitpunkt abhängen, also falls aij .k/ D aij , so spricht man von einer homogenen Markov-Kette. Die aij sind als Wahrscheinlichkeiten interpretierbar. Dies führt uns zu folgender Definition 5.23. Eine Matrix A D .aij / heißt stochastisch, wenn gilt: X aij D 1; i; j D 1; : : : ; n: aij  0; j

Führen wir den speziellen Vektor e T D .1; : : : ; 1/ ein, so können wir die obige Zeilensummenbeziehungen kompakt schreiben als Ae D e:

152

5 Lineare Eigenwertprobleme

Also existiert ein (Rechts-)Eigenvektor e zu einem Eigenwert 1 .A/ D 1. Rufen wir uns ins Gedächtnis, dass kAk1 gerade die Zeilensummen-Norm ist, so erhalten wir für den Spektralradius .A/ die Ungleichungskette j.A/j  .A/  kAk1 D 1; woraus sofort 1 D .A/ D 1 folgt. Bezeichne p.k/  0 eine Wahrscheinlichkeitsverteilung über alle Zustände in S zum Zeitpunkt k mit der Normierung p T .k/e D 1: Dann ergibt sich aus der Markov-Kette die rekursive Beziehung p T .k C 1/ D p T .k/A;

k D 0; 1; : : : ;

und somit p T .k/ D p T .0/Ak ;

k D 0; 1; : : : :

Vor diesem Hintergrund heißt A die Übergangsmatrix der Markov-Kette. Sei nun probehalber die folgende Spektraleigenschaft vorausgesetzt: Der Eigenwert 1 D 1 ist einfach und der einzige auf dem Einheitskreis. Dann gilt nach den Resultaten zur Vektoriteration (siehe Abschnitt 5.2) auch mit der nichtsymmetrischen Matrix A die Grenzwerteigenschaft lim p T .k/ D p T .0/ lim Ak D  T ;

k!1

k!1

(5.10)

wobei  (normierter) Linkseigenvektor zum dominanten Eigenwert 1 D 1 ist, also T A D T :

(5.11)

Per Definition sind alle Komponenten von  sicher nichtnegativ, so dass die folgende Normierung gilt: kk1 D  T e D 1: Im Folgenden wollen wir klären, unter welchen Voraussetzungen an die Matrix A die erwähnte Spektraleigenschaft zutrifft.

5.5.1

Perron-Frobenius-Theorie

Im Folgenden wollen wir uns mit Eigenwertproblemen zunächst für positive und sodann für nichtnegative Matrizen beschäftigen, die offenbar unsere stochastischen Eigenwertprobleme als Spezialfall enthalten.

153

5.5 Stochastische Eigenwertprobleme

Positive Matrizen. Als Zwischenschritt behandeln wir zunächst die Spektraleigenschaften positiver Matrizen A D jAj > 0, wobei wie in früheren Kapiteln die Betragsstriche j  j elementweise zu verstehen sind, hier also aij > 0 für alle Indices i; j . Das Tor zu dieser interessanten Problemklasse wurde von O. Perron ebenfalls im Jahr 1907 (siehe Markov!) aufgestoßen. Für positive Matrizen gilt sicher .A/ > 0, andernfalls müssten alle Eigenwerte verschwinden, so dass A nilpotent sein müsste – im Widerspruch zur Annahme A > 0. Damit können wir anstelle von A ebenso gut die Matrix A= .A/ betrachten. Sei also im Folgenden ohne Beschränkung der Allgemeinheit .A/ D 1 angenommen. Hier benötigen wir allerdings nicht die spezielle Tatsache, dass e ein Eigenvektor ist. Der folgende Satz geht auf Perron [75] zurück. Satz 5.24. Sei A > 0 positive Matrix mit Spektralradius .A/ D 1. Dann gilt: I. Der Spektralradius .A/ D 1 ist ein Eigenwert. II. Der Eigenwert  D 1 ist der einzige auf dem Einheitskreis. III. Zu  D 1 existieren positive Links- und Rechts-Eigenvektoren. IV. Der Eigenwert  D 1 ist einfach. Beweis. Wir betrachten zunächst mögliche Eigenvektoren x zu Eigenwerten  auf dem Einheitskreis, also mit jj D 1, und erhalten jxj D jj jxj D jxj D jAxj  jAj jxj D A jxj: Falls solche Eigenvektoren x ¤ 0 existieren, so gilt sicher z D A jxj > 0. Definieren wir des Weiteren y D z  jxj, so können wir die obige Ungleichung schreiben als y  0. Sei nun (als Widerspruchsannahme) y ¤ 0 vorausgesetzt, so gilt Ay > 0. Dann existiert sicher ein  > 0 derart, dass Ay >  z, woraus folgt Ay D Az  A jxj D Az  z >  z oder äquivalent Bz > z für B D A=.1 C  /. Wenden wir B wiederholt an, so folgt B k z > z: Per Konstruktion ist .B/ D 1=.1 C  / < 1 und somit gilt lim B k z D 0 > z:

k!1

Dies steht im Widerspruch zur Annahme z > 0. Also muss die Voraussetzung y ¤ 0 falsch sein, d. h., es muss gelten y D A jxj  jxj D 0:

154

5 Lineare Eigenwertprobleme

Also existieren Eigenvektoren jxj zum Eigenwert  D 1 – dies ist Aussage I des Satzes. Wegen jxj D A jxj > 0 sind alle ihre Komponenten positiv. Dieser Beweis geht offenbar für Links- wie Rechts-Eigenvektoren gleichermaßen, da ja AT ebenfalls positiv ist. Dies ist Aussage III des Satzes. Ferner gilt offenbar: Wenn ein Eigenvektor zu einem Eigenwert auf dem Einheitskreis existiert, so muss dieser Eigenwert gerade  D 1 sein; die obige Annahme y ¤ 0, die ja Eigenwerte  ¤ 1 auf dem Einheitskreis einschloss, hatte für  ¤ 1 zu einem Widerspruch geführt. Der Eigenwert  D 1 ist also der einzige Eigenwert auf dem Einheitskreis. Damit ist die Aussage II des Satzes bewiesen. Es fehlt nur noch der Beweis, dass der Eigenwert  D 1 einfach ist. Aus der JordanZerlegung J D T 1 AT folgt J k D T 1 Ak T;

kJ k k  cond.T /  kAk k:

Sei zunächst der Fall untersucht, dass in J ein Jordanblock J .1/ zum Eigenwert 1 mit  > 1 existiert. Dann gilt einerseits: lim kJ .1/k k D 1 )

k!1

lim kJ k k D 1 )

k!1

lim kAk k D 1:

k!1

Andererseits existiert eine Norm k  k derart, dass für " > 0 gilt kAk k  .Ak / C " D max jk j C " D 1 C "; 2.A/

was wegen der Normen-Äquivalenz im Rn offenbar im Widerspruch zu oben steht. Also muss der Index  D 1 vorliegen. In diesem Fall kann der Eigenwert  D 1 immer noch Multiplizität m > 1 haben. Es existieren dann Links-Eigenvektoren xO i , i D 1; : : : ; m, und Rechts-Eigenvektoren xi , i D 1; : : : ; m, deren Komponenten alle positiv sind. Zugleich müssen sie jedoch den Orthogonalitätsrelationen xO iT xj D ıij ;

i; j D 1; : : : ; m;

genügen. Für i ¤ j heißt das, dass es nichtverschwindende Komponenten mit unterschiedlichem Vorzeichen in den Eigenvektoren geben muss – im Widerspruch zu der Tatsache, dass alle Komponenten positiv sein müssen. Also gilt m D 1 und die Aussage IV ist ebenfalls bewiesen.  Der Eigenwert  D .A/ heißt heute allgemein Perron-Eigenwert. Der Beweis des Satzes setzte die strenge Positivität aller Matrixelemente voraus. Unsere stochastischen Ausgangsmatrizen können jedoch auch Nullelemente enthalten. Wir müssen deshalb prüfen, ob und wie sich die eben dargestellten Resultate auf den nichtnegativen Fall verallgemeinern lassen.

5.5 Stochastische Eigenwertprobleme

155

Nichtnegative Matrizen. Bereits 1912, also nur fünf Jahre nach Perron, gelang dem Berliner Mathematiker F. G. Frobenius die kreative Übertragung der Perronschen Resultate auf den Fall von Matrizen mit aij  0. Er entdeckte, dass in diesem Fall die Matrizen noch eine zusätzliche Eigenschaft haben müssen: Sie müssen zumindest auch noch irreduzibel sein. Definition 5.25. Eine Matrix heißt reduzibel, wenn Permutationen P existieren derart, dass 2 3 C D 5; P T AP D 4 0 F wobei die Blockmatrizen C und F quadratisch sind. Falls kein Nullblock erzeugt werden kann, heißt die Matrix irreduzibel. Das mathematische Objekt hinter diesem Begriff sind Graphen. Aus einer nichtnegativen Matrix A D .aij / erhalten wir den zugehörigen Graphen, wenn wir jedem Index i D 1; : : : ; n einen Knoten zuordnen und Knoten i mit Knoten j durch einen Pfeil verbinden, falls aij > 0. Falls die Richtung der Pfeile eine Rolle spielen soll, spricht man von gerichteten Graphen. Die Operation P T AP beschreibt auf dem Graphen lediglich eine Umnummerierung der Knoten. Wie die Matrix ist ein Graph irreduzibel oder auch stark zusammenhängend, wenn es von jedem Knoten zu jedem anderen Knoten einen zusammenhängenden Pfad (in Richtung der Pfeile) gibt. Falls die zugehörige Matrix reduzibel ist, zerfällt die Indexmenge in zwei Teilmengen: Von den Knoten der zweiten Teilmenge existieren dann keine Pfeile zu den Knoten der ersten Teilmenge. In diesem Fall heißt der zugehörige Graph ebenfalls reduzibel. In Abbildung 5.1 geben wir zwei .3; 3/-Matrizen nebst zugehörigen Graphen. Für die Darstellung reichen die sogenannten Inzidenzmatrizen, bei denen 0 für aij D 0 und 1 für aij > 0 steht. Für den nachfolgenden Beweis benötigen wir die folgende algebraische Charakterisierung von Irreduzibilität. Lemma 5.26. Falls eine .n; n/-Matrix A  0 irreduzibel ist, so gilt .I C A/n1 > 0: .k/

Beweis. Seien Ak D .aij / die Potenzen der nichtnegativen Matrix A. Elementweise gilt dann X .k/ ail1 al1 l2    alk1 j : aij D l1 ;:::;lk1

Diese Elemente verschwinden, falls mindestens einer der Faktoren auf der rechten Seite verschwindet, also falls im zugehörigen Graphen kein Pfad von Knoten i nach

156

5 Lineare Eigenwertprobleme

Knoten j führt. Falls jedoch ein Pfad existiert, so existiert mindestens eine Indexfolge  ; j derart, dass i; l1 ; : : : ; lk1 ail1 > 0;

al1 l2 > 0;

:::;

 alk1 j > 0:

Bei irreduziblen Graphen tritt dieser Fall mit Garantie spätestens nach Durchlaufen aller anderen Knoten auf, also nach n1 Knoten. Mit Binomialkoeffizienten cn1;k > 0 erhalten wir so die Beziehung 

.I C A/n1

 ij

D

h n1 X

cn1;k Ak

i

kD0

ij

D

n1 X

.k/

cn1;k aij > 0:

kD0



Die Umkehrung des Satzes gilt natürlich nicht. Im Übrigen können im konkreten Fall auch niedrigere Potenzen von .I C A/ positiv sein: Die Pfade von jedem Knoten zu jedem anderen Knoten können wesentlich kürzer sein, müssen also nicht alle n  1 anderen Knoten durchlaufen – vergleiche Abbildung 5.1.       1   1     @ @  @ @ @ @  R  @ R @   - 3 3 2 2    

2

3 1 1 1

6 7 6 7 A D 61 0 07 4 5 0 1 0

2

3 1 1 1

6 7 6 7 A D 60 0 17 4 5 0 1 0

Abbildung 5.1. Beispiele von gerichteten Graphen und zugehörigen Inzidenzmatrizen. Links: irreduzibler Fall. Rechts: reduzibler Fall

Im Folgenden wollen wir wieder zur hier eigentlich interessierenden Klasse von stochastischen Matrizen zurückkehren. Der folgende Satz ist eine Anpassung des Satzes von Perron-Frobenius (siehe etwa [70]) an diesen Spezialfall. Satz 5.27. Sei A  0 eine irreduzible stochastische Matrix. Dann gilt: I. Der Perron-Eigenwert  D 1 ist einfach. II. Zu  D 1 existiert ein Links-Eigenvektor  T > 0.

157

5.5 Stochastische Eigenwertprobleme

Beweis. Für stochastische Matrizen A kennen wir schon den Eigenwert  D .A/ D 1 und einen zugehörigen Rechts-Eigenvektor e > 0. Es bleibt noch zu klären, ob dieser Eigenwert wiederum einfach ist. Zum Beweis stützen wir uns auf das vorangegangene Lemma 5.26, nach dem die Matrix B D .I C A/n1 streng positiv ist. Bezeichne  mit jj  1 die Eigenwerte von A, so sind die Eigenwerte von B gerade .1 C /n1 . Nach dem Satz von Perron ist der dominante Eigenwert und Spektralradius von B gerade  D .B/ D max j1 C jn1 D 2n1 : jj1

Dieser Eigenwert ist demnach einfach und der einzige auf dem Kreis mit Radius . Das obige Maximum wird angenommen für  D 1. Also ist die Multiplizität des Eigenwertes  von B und des Eigenwertes  D 1 von A gleich: Dies beweist die Aussage I des Satzes. Jeder Eigenvektor zum Eigenwert  von A ist zugleich auch Eigenvektor zum Eigenwert .1 C /n1 von B. Sei x Eigenvektor zum Eigenwert  von B und zugleich  D 1 von A, so ist x D jxj > 0 nach dem Satz von Perron klar. Anwendung auf den Rechts-Eigenvektor ist trivial, weil e > 0. Anwendung auf den Links-Eigenvektor  liefert mit Blick auf (5.11) gerade  T > 0. Dies ist die Aussage II oben. Der Satz besagt offenbar nicht, dass der Perron-Eigenwert auch im Fall irreduzibler nichtnegativer Matrizen der einzige Eigenwert auf dem Einheitskreis wäre. Dazu benötigen wir noch eine Zusatzeigenschaft, wie ebenfalls Frobenius schon herausfand. Definition 5.28. Nichtnegative irreduzible Matrizen heißen primitiv, wenn ihr Perron-Eigenwert der einzige Eigenwert auf dem Einheitskreis ist (bei Normierung

.A/ D 1). Solche Matrizen sind charakterisierbar durch die Eigenschaft, dass ein Index m existiert derart, dass Am > 0: Man kennt sogar eine obere Schranke m  n2  2n C 2, die allerdings erst von Wielandt gefunden wurde. Der Beweis für primitive Matrizen ist vergleichsweise einfach: Man wendet lediglich den Satz von Perron an, diesmal auf die positive Matrix Am mit Eigenwerten m . Wir lassen ihn aus diesem Grunde weg. Stattdessen wenden wir uns noch kurz der interessanten Struktur von irreduziblen Matrizen zu, bei denen mehrere Eigenwerte auf dem Einheitskreis liegen. Hierzu zitieren wir ohne Beweis den folgenden Satz [70]. Satz 5.29. Sei A  0 eine irreduzible stochastische Matrix mit  Eigenwerten auf dem Einheitskreis,  > 1. Dann ist das gesamte Spektrum invariant unter Rotation um den Winkel 2=.

158

5 Lineare Eigenwertprobleme

Wegen dieser Eigenschaft heißen Matrizen mit  > 1 auch zyklische Matrizen. Für sie gilt in der Konsequenz, dass die Spur von A verschwindet, also X

D

2.A/

n X

ai i D 0:

iD1

Da alle Elemente von A nichtnegativ sind, folgt daraus sofort ai i D 0;

i D 1; : : : ; n:

Falls auch nur ein Diagonalement einer irreduziblen Matrix A ungleich null ist, so ist sie sicher primitiv – eine leicht nachprüfbare hinreichende Bedingung. Damit haben wir den theoretischen Hintergrund zu (5.10) genügend ausgeleuchtet: Für primitive stochastische Matrizen konvergiert jede Anfangsverteilung p.0/ asymptotisch gegen den Links-Eigenvektor  T D .1 ; : : : ; n / > 0:

5.5.2

Fastentkoppelte Markov-Ketten

Die im vorigen Abschnitt ausgeführte Beschreibung stochastischer Matrizen durch den zugrundeliegenden Graphen gestattet in natürlicher Weise eine Interpretation der zugrundeliegenden Markov-Kette: Die Elemente aij  0 sind gerade die Wahrscheinlichkeiten des Übergangs von einem diskreten Zustand i zu einem diskreten Zustand j . In den Anwendungen stellt sich oft im größeren Rahmen der sogenannten Clusteranalyse das folgende inverse Problem: Sei eine Markov-Kette über einer bekannten Zustandsmenge gegeben, entweder als ausführbare Markov-Kette oder durch ihre Übergangsmatrix. Dann ist die Zustandsmenge derart in eine unbekannte Anzahl von Teilmengen (auch: Clustern) zu zerlegen, dass die Markov-Kette in entkoppelte oder „fast entkoppelte“ Teilketten über diesen Teilmengen zerfällt. Zur Lösung dieses Problems können wir mit Gewinn auf die bisher gewonnenen Einsichten zurückgreifen, wie wir jetzt zeigen wollen. Perron-Clusteranalyse. Die folgende Darstellung orientiert sich an der erst jüngst erschienenen Arbeit [25]. Sie konzentriert sich auf Markov-Ketten, bei denen zusätzlich noch das Prinzip der detailed balance i aij D j aj i

für alle i; j D 1; : : : ; n

(5.12)

gilt. Wegen  > 0 gibt es im zugehörigen Graphen für jeden Übergang von i nach j auch einen von j nach i. Solche Markov-Ketten ebenso wie ihre Übergangsmatrizen heißen reversibel.

159

5.5 Stochastische Eigenwertprobleme

p p Führen wir eine Gewichtsmatrix D D diag. 1 ; : : : ; n / ein, so können wir obige Bedingung kompakt schreiben als D 2 A D AT D 2 : Daraus folgt sofort, dass die zu A ähnliche Matrix Asym D DAD 1 reell-symmetrisch ist, aber im Allgemeinen nicht stochastisch. Also sind alle Eigenwerte von A wie von Asym reell und liegen im Intervall Œ1; C1. Ebenso wie zur Matrix Asym eine orthogonale Eigenbasis bezüglich des Euklidischen inneren Produktes hx; yi D x T y gehört, ergibt sich für A eine -orthogonale Eigenbasis, wobei Orthogonalität hier bezüglich des inneren Produktes hx; yi D x T D 2 y definiert ist – siehe hierzu auch Aufgabe 5.9. Falls der Graph reduzibel ist, besteht die Übergangsmatrix, nach geeigneter Permutation P , im reversiblen Fall aus k Diagonalblöcken. Zur Illustration betrachten wir k D 3: 2 3 A1 0 0 6 7 6 7 (5.13) P T AP D 6 0 A2 0 7 : 4 5 0 0 A3 Jede der Teilmatrizen Am , m D 1; : : : ; k, ist für sich eine reversible stochastische Matrix. Sei jede dieser Teilmatrizen als primitiv angenommen, so existiert je ein Perron-Eigenwert m D 1, m D 1; : : : ; k, und je ein verkürzter Rechts-Eigenvektor T D .1; : : : ; 1/. Die gesamte Blockdiagonalmatrix repäsentiert also k entkoppelte em Markov-Teilketten, deren asymptotische stationäre Wahrscheinlichkeitsverteilungen die entsprechend verkürzten Links-Eigenvektoren darstellen. Zur Präzisierung fassen wir die zur Teilmatrix Am gehörenden Indices in einer Indexteilmenge Sm zusammen. Die dazu gehörenden Links-Eigenvektoren Sm > 0 haben dann Komponenten i > 0, i 2 Sm , sowie i D 0, i 2 SnSm . Erweitern wir formal die Rechts-Eigenvektoren em auf die gesamte Indexmenge S, so erhalten wir em D Sm ;

m D 1; : : : ; k;

wobei Sm die charakteristische Funktion dieser Indexmengen bezeichnet: Ihr Wert ist 1 für Indices in Sm , andernfalls 0. In Abbildung 5.2, links, veranschaulichen wir den Zusammenhang für unser Illustrationsbeispiel. Dabei haben wir die Indices bereits so geordnet, dass die Teilmengen jeweils beisammen liegen.

160

5 Lineare Eigenwertprobleme

1

1

0.5

0.5

0

0

0.5

0.5

X1 X2 X3

1

1 0

30

60

90

0

30

60

90

Abbildung 5.2. Markov-Kette mit k D 3 entkoppelten Teilketten. Die Zustandsmenge S D ¹s1 ; : : : ; s90 º teilt sich in S1 D ¹s1 ; : : : ; s29 º, S2 D ¹s30 ; : : : ; s49 º und S3 D ¹s50 ; : : : ; s90 º. Links: charakteristische Funktion S2 . Rechts: Basis .X1 ; X2 ; X3 / des Eigenraums zu  D 1

In unserem formalen Rahmen lautet somit das oben gestellte Problem der Clusteranalyse: Gesucht sind Indexmengen Sm , m D 1; : : : ; k, die zu (fast) entkoppelten Markov-Ketten gehören. In einem ersten Schritt betrachten wir den Fall von entkoppelten Markov-Ketten. Nach dem oben Gesagten wissen wir, dass die Kenntnis der gesuchten Indexmengen Sm in diesem Fall äquivalent ist zur Kenntnis der verkürzten Rechts-Eigenvektoren em zum k-fachen Perron-Eigenwert der Übergangsmatrix A. Eine Permutation P auf Blockdiagonalgestalt (5.13) kennen wir allerdings nicht, ihre tatsächliche Berechnung wäre auch zu teuer. Außerdem erwarten wir im „fast entkoppelten“ Fall eine „gestörte“ Blockdiagonalgestalt. Wir müssen deshalb nach anderen Lösungswegen suchen. Zunächst werden wir sicher das Eigenwertproblem zur reversiblen Übergangsmatrix A numerisch lösen; als Algorithmus empfiehlt sich eine Variante der QR-Iteration für stochastische Matrizen – als Anregung siehe Aufgabe 5.8. Angenommen, wir entdecken dabei einen k-fachen Perron-Eigenwert  D 1, dann kennen wir immerhin schon k. Die Berechnung einzelner zugehöriger Eigenvektoren ist in diesem Fall schlechtkonditioniert, nicht jedoch die Berechnung einer (beliebigen, im Allgemeinen orthogonalen) Basis ¹X1 ; : : : ; Xk º für den Eigenraum (vergleiche unsere Bemerkung in Abschnitt 5.1). Ohne Vorabkenntnis der Indexmengen Sm werden wir dabei automatisch auf eine Linearkombination der Form X1 D e;

Xi D

k X

˛im Sm ;

i D 2; : : : ; k;

(5.14)

mD1

stoßen. Abbildung 5.2, rechts, stellt die Situation für unser Illustrationsbeispiel dar. Offenbar sind die Eigenvektoren über jeder Teilmenge Sm lokal konstant. Wären die Indices bereits wohlgeordnet durch eine geeignete Permutation P , so könnten wir

5.5 Stochastische Eigenwertprobleme

161

die Indexmengen Sm , m D 1; : : : ; k, einfach „ablesen“. Da jedoch die Indices in der uns vorliegenden Matrix A im Allgemeinen nicht so schön geordnet sein werden, benötigen wir ein effizientes Zuordnungskriterium, das invariant unter Permutation der Indices ist. Ein solches Kriterium liefert uns das folgende Lemma [25]. Lemma 5.30. Gegeben sei eine stochastische Matrix A bestehend aus reversiblen primitiven Diagonalblöcken A1 ; : : : ; Ak , bis auf Permutationen. Sei ¹X1 ; : : : ; Xk º eine -orthogonale Basis des Eigenraumes zum k-fachen Perron-Eigenwert  D 1. Seien Sm , m D 1; : : : ; k, die Indexmengen zu den Diagonalblöcken. Sei jedem Zustand si 2 S eine Vorzeichenstruktur si 7! .sign..X1 /i /; : : : ; sign..Xk /i //

(5.15)

aus den i -ten Komponenten der Eigenbasis zugeordnet. Dann gilt: I. Alle Elemente si 2 Sm haben die gleiche Vorzeichenstruktur. II. Elemente unterschiedlicher Indexmengen Sm haben unterschiedliche Vorzeichenstruktur. Beweis. Wegen (5.14) sind alle Basisvektoren Xm über den Indexmengen Sm lokal konstant, liefern also eine gemeinsame Vorzeichenstruktur. Dies bestätigt die obige Aussage I. Zum Beweis von Aussage II können wir damit ohne Beschränkung der Allgemeinheit die Indexmengen Sm auf je ein einziges Element zusammenziehen. Sei ¹Q1 ; : : : ; Qk º orthogonale Eigenbasis zur Matrix Asym D DAD 1 und Q D ŒQ1 ; : : : ; Qk  die zugehörige .k; k/-Matrix. Da Q orthogonal bzgl. h; i ist, also QT D Q1 , ist auch QT orthogonal. Also sind nicht nur die Spalten, sondern auch die Zeilen von Q orthogonal. Sei ¹X1 ; : : : ; Xk º die entsprechende -orthogonale Basis von Rechts-Eigenvektoren zur Matrix A. Dann gilt Xi D D 1 Qi für i D 1; : : : ; k. Da die Transformationsmatrizen D 1 nur positive Diagonaleinträge haben, sind die Vorzeichenstrukturen von Xi und Qi für i D 1; : : : ; k identisch. Die Vorzeichenstruktur von Sm ist gleich derjenigen der m-ten Zeile der Matrix X D ŒX1 ; : : : ; Xk . Angenommen, es existierten zwei Indexmengen Si and Sj mit i ¤ j , aber gleicher Vorzeichenstruktur. Dann hätten die Zeilen i und j von X die gleiche Vorzeichenstruktur, und folglich auch die entsprechenden Zeilen von Q. Ihr inneres Produkt h; i könnte somit nicht verschwinden – im Widerspruch zur Orthogonalität der Zeilen von Q. Damit ist auch Aussage II bewiesen.  Lemma 5.30 zeigt klar, dass die k Rechts-Eigenvektoren zum k-fachen Eigenwert  D 1 bequem benutzt werden können zur Identifikation der k gesuchten Indexmengen S1 ; : : : ; Sk über die in (5.15) definierten Vorzeichenstrukturen – pro Komponente nur k Binärbits. Das Kriterium kann komponentenweise getestet werden und ist somit unabhängig von jeder Permutation. In Abbildung 5.2, rechts, erhalten wir etwa für die Komponente s20 die Vorzeichenstruktur .C; C; C/, für s69 entsprechend .C; ; 0/.

162

5 Lineare Eigenwertprobleme

In einem zweiten Schritt wenden wir uns nun dem Fall von fastentkoppelten Markov-Ketten zu. In diesem Fall hat die Matrix A eine durch Permutationen verdeckte block-diagonal dominierte Gestalt, in Abwandlung von (5.13) etwa für k D 3 also die Gestalt: 2 3 AQ1 E12 E13 6 7 6 7 P T AP D 6E21 AQ2 E23 7 : 4 5 Q E31 E32 A3 Die Matrizenblöcke Eij D O."/ repräsentieren dabei eine Störung der Blockdiagonalgestalt, die quadratischen Diagonalblöcke AQm , m D 1; : : : ; k, entsprechen nur bis auf O."/ stochastischen reversiblen Matrizen. Sei nun angenommen, dass die gesamte Matrix A primitiv ist, so gibt es genau einen Perron-Eigenwert  D 1, einen zugehörigen Rechts-Eigenvektor e und den zugehörigen Links-Eigenvektor  > 0. Die im ungestörten Fall k-fache Wurzel  D 1 ist unter Störung zerfallen in einen Cluster von Eigenwerten, den wir als Perroncluster bezeichnen wollen. Er enthält neben dem Perron-Eigenwert noch gestörte Perron-Eigenwerte: Q 2 D 1  O."/;

Q 1 D 1;

:::;

Q k D 1  O."/:

(5.16)

Unterschiedliche theoretische Charakterisierungen der Störung " finden sich in den Arbeiten [92] und [25]. Die Darstellung der zugehörigen Störungstheorie würde allerdings über den Rahmen dieses einführenden Lehrbuches hinausgehen. 1

X1 X2 X3

0.5 0 0.5 1 0

30

60

90

Abbildung 5.3. Markov-Kette mit k D 3 fastentkoppelten Teilketten. Eigenbasis X1 , X2 , X3 zu Perroncluster Q 1 D 1; Q 2 D 0:75; Q 3 D 0:52. Vergleiche Abbildung 5.2, rechts, für den entkoppelten Fall

Stattdessen wollen wir hier nur die Wirkung von Störungen auf die Eigenvektoren illustrieren (vgl. Aufgabe 5.10): In Abbildung 5.3 zeigen wir eine Störung des in Abbildung 5.2, rechts, dargestellten ungestörten Systems. Es zeigt sich, dass die

5.5 Stochastische Eigenwertprobleme

163

oben im entkoppelten Fall eingeführte Vorzeichenstruktur unter Störung nahezu unverändert geblieben ist und damit auch hier eine einfache Charakterisierung der gesuchten Indexmengen Sm erlaubt. In Analogie zu Abbildung 5.2, rechts, erhalten wir aus Abbildung 5.3 nun für die Komponente s20 nach wie vor die Vorzeichenstruktur .C; C; C/, für s69 allerdings .C; ; zero/, worin zero eine „verschmierte“ Null bezeichnet, die bezüglich der Störung " zu bewerten sein wird. Dies erweist sich als schwierig und ab k D 3 nicht robust durchführbar. Bei genauerer Analyse stellt sich nämlich heraus, dass diese „verschmierten“ Nullen generisch auftreten und das Problem empfindlich stören. Dies wurde in der neueren Arbeit [30] gezeigt, in der zugleich auch eine Abhilfe angegeben worden ist. Der darauf aufbauende neuere Algorithmus zur Perron-Clusteranalyse heißt heute PCCA (quasi für „Perron cluster cluster analysis“) mit Rücksicht darauf, dass der Name PCA für principal component analysis bereits vergeben ist, vgl. Bemerkung 5.13. Dieser Algorithmus liefert schließlich die Übergangswahrscheinlichkeiten zwischen den fastentkoppelten Markov-Ketten – Details siehe dort.

5.5.3

Prinzip der Google-Suchmaschine

Wohl alle von uns haben sich angewöhnt, erst einmal zu „googeln“, wenn wir etwas Spezielles wissen wollen. Für jeden Google-Nutzer immer wieder verblüffend ist dabei, mit welcher Geschwindigkeit die dahinterliegende Suchmaschine einschlägige Zitate in vernünftiger Reihung heranschafft – und dies bei einem Volumen von Milliarden Einträgen! Um diese Effizienz etwas besser zu verstehen, wollen wir in diesem Abschnitt einen genaueren Blick auf die Konstruktion der Suchmaschine werfen, in enger Anlehnung an die sehr schöne Einführung von P. F. Gallardo [37]. Für vertieftes Interesse empfehlen wir das erst jüngst erschienene Buch [64] von A. N. Langville und C. D. Meyer. Die Suchmaschine von Google1 wurde 1998 von Sergei Brin und Lawrence Page, zwei Informatik-Studenten der Universität Stanford, konzipiert. Die beiden sind mit dieser Idee und ihrer geschäftstüchtigen Umsetzung Multimillionäre geworden. Natürlich enthält das Konzept eine Fülle von Details bezüglich der Speicherung der Massendaten, ihrer regelmäßigen Erneuerung, der Abarbeitung der Anfragen, der effizienten Suche in Datenbanken etc. Diese Details wollen wir hier jedoch übergehen und uns stattdessen auf das zugrundeliegende Prinzip konzentrieren. Nehmen wir also an, wir hätten eine Anfrage bearbeitet und dabei herausgefunden, welche Untermenge der gespeicherten Webseiten die genannte Wortinformation enthalten. Dann heißt die Frage: In welcher Ordnung sollen diese Webseiten angeboten werden? Das Problem ist also, die gefundenen Webseiten gemäß einer – erst noch zu definierenden – 1 Der

Name leitet sich von dem Ausdruck googol her, der in einigen Mathematikerzirkeln für die „große“ Zahl 10100 steht. Er wurde vermutlich vom 9-jährigen Neffen des Mathematikers Edward Kasner erfunden.

164

5 Lineare Eigenwertprobleme

„Wichtigkeit“ zu ordnen. Die Lösung dieses Problems ist der Schlüssel zum Erfolg von Google. Modell. Seien ¹S1 ; : : : ; Sn º die Labels der gespeicherten Seiten. Wir wollen jeder Seite Sj eine Zahl xj zuordnen, welche ihre „Wichtigkeit“ charakterisiert. Dazu zählen wir zunächst die Anzahl Verbindungen (neudeutsch: Links), die zu dieser Seite hin und von dieser Seite weg gehen. So erhalten wir einen gerichteten Graphen, vergleiche dazu die Definition in Abschnitt 5.5.1. Man beachte, dass dieser Graph riesige Dimension hat. Um ihn darzustellen, benutzen wir, wie in Abschnitt 5.5.1 eingeführt, die zugehörige Inzidenzmatrix, etwa M D .mij /. Es gilt mij D 1, wenn es eine Verbindung von Sj nach Si gibt, ansonsten mij D 0. Die Summe der Elemente in Spalte j ist die Anzahl der Verweise von Sj nach anderen Seiten, die Summe der Elemente in Zeile i die Anzahl der Verweise nach Sj von anderen Seiten. Sicher hat die Wichtigkeit (Signifikanz) einer Seite irgendwie zu tun mit der Anzahl Links, die auf sie zeigen. Wie könnten also zunächst versucht sein, die Wichtigkeit xj proportional zur Anzahl solcher Links zu wählen. Eine solche Modellierung ließe jedoch außer Acht, dass es noch von Bedeutung ist, von welchen Seiten aus auf die ausgewählte Seite Sj verwiesen wird, ob von „wichtigen“ oder von eher „unwichtigen“ aus. („Reich-Ranicki hat ihn gelobt“ klingt, über einen Schriftsteller, einfach besser als „Herr Müller hat ihn gelobt.“.) Um dem Rechnung zu tragen, verfeinern wir unser erstes Modell in der Weise, dass wir xj als proportional zur Summe der Wichtigkeiten aller Seiten definieren, die auf Sj zeigen. Sei x D .x1 ; : : : ; xn / der entsprechende Vektor, in der Google-Nomenklatur auch „PageRank“-Vektor genannt, so ergibt sich daraus die Beziehung M x D x ;

(5.17)

wobei wir die noch unbekannte Proportionalitätskonstante mit  bezeichnen. Offenbar sind wir damit bei einem Eigenwertproblem für eine nichtnegative Matrix gelandet. Wenn wir noch voraussetzen, dass unsere Matrix bzw. der Graph irreduzibel ist, dann gibt es nach der Perron-Frobenius-Theorie (Abschnitt 5.5.1) genau einen positiven Eigenwert , der zugleich der maximale Eigenwert und Spektralradius ist, mit zugehörigen Eigenvektoren, deren Komponenten alle positiv sind. Die Modellierung bei Google geht jedoch noch einen Schritt weiter: Sie nimmt ein eher zufälliges Surfverhalten des Nutzers an, der von einem ausgehenden Link zum nächsten mit gleicher Wahrscheinlichkeit wechselt. Entsprechend wird jeder Seite Sj ein Gesamtgewicht 1 so zugeordnet, dass alle nach außen gerichteten Links gleichwahrscheinlich angesprungen werden. Mit dieser Annahme wird die ursprüngliche Matrix M transformiert in eine Matrix M D .mij / mit mij D mij =Nj , wobei Nj gerade die Spaltensumme der Spalte j der Matrix M ist, d.h. die Summe der Verweise nach außen. Damit ist die Matrix M , deren Spaltensummen alle auf 1 normiert sind, gerade die Transponierte einer stochastischen Matrix, wie wir sie in Definition 5.23

165

Übungsaufgaben

eingeführt hatten. So sind wir schließlich bei einem stochastischen Eigenwertproblem M x D x

(5.18)

gelandet. Der von uns gesuchte Vektor x sollte per Definition nur nichtnegative Komponenten haben, da wir sie ja als „Wichtigkeit“ von Seiten interpretieren wollen. Diese schöne Eigenschaft hat gerade der Eigenvektor  zum Perron-Eigenwert  D 1 – siehe Satz 5.27. Dieser Eigenvektor ist eindeutig definiert, wenn der Graph irreduzibel ist. Falls er in irreduzible Teilgraphen zerfällt, gilt die zugehörige Interpretation immer noch in den Teilgraphen, vergleiche etwa den vorigen Abschnitt 5.5.2. In Wirklichkeit ist natürlich nicht jeder Surfer ein „zufälliger“ Surfer, aber das Verhalten einer ganzen Community kann asymptotisch offenbar erstaunlich gut durch eine solche Annahme eingefangen werden. So bleibt nur noch, das gigantische Eigenwertproblem (5.18) zu lösen! Bei Google wird diese Mammutaufgabe vermutlich mit Hilfe einer speziell angepassten Variante des Lanczos-Verfahrens gelöst, das wir später, in Kapitel 8.5, darstellen werden. Dieses Verfahren eignet sich vom Prinzip her für diese Fragestellung besonders gut, da man nur an ganz wenigen Eigenwerten in der Nähe des Perron-Eigenwertes sowie den zugehörigen Eigenvektoren interessiert ist. Ganz sicher ist das allerdings nicht, die Methodik ist inzwischen Geschäftsgeheimnis. Unsere Information stammt aus der Zeit des Anfangs, als die Firma noch klein war.

Übungsaufgaben Aufgabe 5.1. Bestimmen Sie die Eigenwerte, Eigenvektoren und die Determinante einer Householder-Matrix vv T Q DI 2 T : v v Aufgabe 5.2. Geben Sie eine Formel (mit Hilfe von Determinanten) für einen Eigenvektor x 2 C n zu einem einfachen Eigenwert  2 C einer Matrix A 2 Matn .C/ an. Aufgabe 5.3. Zur Berechnung eines Eigenvektors j zu einem Eigenwert j einer gegebenen Matrix A benutzt man nach H. Wielandt die inverse Vektoriteration Azi  O j zi D zi1 mit einer Näherung O j für den Eigenwert j . Leiten Sie aus der Beziehung r.ı/ WD Azi  .O j C ı/zi D zi1  ızi eine Korrektur ı für die Näherung O j so her, dass kr.ı/k2 minimal ist.

166

5 Lineare Eigenwertprobleme

Aufgabe 5.4. Gegeben sei eine sogenannte Pfeilmatrix Z der Gestalt 3 2 A B 5; ZD4 T B D wobei A D AT 2 Matn .R/ symmetrisch, B 2 Matn;m und D eine Diagonalmatrix, D D diag.d1 ; : : : ; dm /, seien. Für m  n empfiehlt es sich, die Besetzungsstruktur von Z auszunutzen. a) Zeigen Sie, dass Z  I D LT ./.Y ./  I /L./ wobei

für  ¤ di ; i D 1; : : : ; m;

3

2 In

0

5 L./ WD 4 .D  Im /1 B T Im

2 und

3 M./ 0

Y ./ WD 4

0

5

D

und M./ WD A  B.D  Im /1 B T . b) Modifizieren Sie die in Aufgabe 5.3 behandelte Methode derart, dass im Wesentlichen nur auf .n; n/-Matrizen operiert wird. Aufgabe 5.5. Zeigen Sie die Eigenschaften der Singulärwertzerlegung aus Korollar 5.17. Aufgabe 5.6. Seien gegeben eine .m; n/-Matrix A, m  n, und ein m-Vektor b. Für verschiedene Werte von p  0 sei das folgende lineare Gleichungssystem zu lösen (Levenberg-Marquardt-Verfahren, vgl. Kapitel 4.3): .AT A C pIn /x D AT b:

(5.19)

a) Zeigen Sie, dass für rang A < n und p > 0 die Matrix AT A C pIn invertierbar ist. b) A habe die Singulärwerte 1  2      n  0. Zeigen Sie: Falls n  p 1 eps, so gilt: 2 .AT A C pIn / 

1 eps

für p  0.

p Falls n < 1 eps, so existiert ein pN  0 derart, dass gilt: 2 .AT A C pIn /  Geben Sie pN an.

1 eps

für p  p. N

167

Übungsaufgaben

c) Entwickeln Sie einen effizienten Algorithmus zur Lösung von (5.19) unter Benutzung der Singulärwertzerlegung von A. Aufgabe 5.7. Bestimmen Sie die Eigenwerte i ."/ und die Eigenvektoren i ."/ der Matrix 2 3 1 C " cos.2="/ " sin.2="/ 5: A."/ WD 4 " sin.2="/ 1  " cos.2="/ Wie verhalten sich A."/; i ."/ und i ."/ für " ! 0? Aufgabe 5.8. Wir betrachten die in den Aufgaben 1.10 und 1.11 angegebene Matrix A zur Beschreibung eines „kosmischen Masers“. In welchem Zusammenhang mit einer stochastischen Matrix Astoch steht die dortige Matrix A? Überlegen Sie, welcher iterative Algorithmus zur Bestimmung aller Eigenwerte sich anstelle einer QR-Iteration in diesem Fall natürlicherweise anbietet. Aufgabe 5.9. Gegeben sei eine reversible primitive Matrix A mit Links-Eigenvektor p p  > 0. Sei D D diag. 1 ; : : : ; n / eine diagonale Gewichtsmatrix und hx; yi D x T D 2 y ein dazu passendes inneres Produkt. Zeigen Sie: (a) A ist symmetrisch bezüglich dieses inneren Produktes. (b) Alle Eigenwerte von A sind reell und enthalten in dem Intervall Œ1; C1. (c) Es existiert eine -orthogonale Basis von Rechts-Eigenvektoren, die A diagonalisiert. (d) Zu jedem Rechts-Eigenvektor x gibt es einen Links-Eigenvektor y D D 2 x zum gleichen Eigenwert. Aufgabe 5.10. Wir konstruieren eine stochastische Matrix zu k D 3 fastentkoppelten Markov-Ketten. Dazu bestimmen wir zunächst eine symmetrische blockdiagonale Matrix D mit drei Blöcken sowie eine streng positive symmetrische Störungsmatrix E – beide Matrizen mit uniform verteilten zufälligen Einträgen (benutzen Sie einen Zufallsgenerator). Für 0 <  < 1 definieren wir die symmetrische Matrix B D .1  /D C E: Normieren wir nun B D .bij / derart, dass n X

bij D 1;

i;j D1

so erhalten wir, wie gewünscht, eine reversible stochastische Matrix A D .aij / D .bij =i /

168

5 Lineare Eigenwertprobleme

mit stationärer Verteilung  T D .1 ; : : : ; n / definiert durch i D

n X

bij :

j D1

Berechnen Sie alle Eigenwerte der Matrix A. Identifizieren Sie insbesondere den Perroncluster (5.16), die zugehörige Spektrallücke und die Teilmengen, zu denen die fastentkoppelten Markov-Ketten gehören. Experimentieren Sie etwas mit dem Zufallsgenerator. Aufgabe 5.11. Der Graph zur stochastischen Google-Matrix M , wie sie in Abschnitt 5.5.3 eingeführt wurde, enthält in der Regel eine Reihe unabhängiger Teilgraphen; in der Bezeichnung von Abschnitt 5.5.2 heißt dies: Der Graph ist reduzibel, siehe Definition 5.25. In diesem Fall besitzt die Matrix M einen k-fachen Perron-Eigenwert m D 1, m D 1; : : : ; k mit k  2. Somit existiert keine eindeutige stationäre Verteilung. Um trotzdem einen sinnvollen PageRank-Vektor x bestimmen zu können, benutzt man einen Trick. Man bildet eine konvexe Linearkombination aus der Matrix M und einer Matrix E D ve T , wobei e der Vektor P mit lauter Einsen und v eine beliebige Wahrscheinlichkeitsdichte (also vi  0; i vi D 1) ist, d.h. A D cM C .1  c/E;

0c1:

Anstelle der unbekannten, ohnehin nicht eindeutigen stationären Verteilung x benutzt man dann den rechten Eigenvektor von A als PageRank-Vektor. Eine typische Wahl für c ist 0:85. Im Folgenden soll in mehreren Teilschritten gezeigt werden, dass für k  2 der zweite Eigenwert von A gegeben ist durch 2 D c: Zu diesem Zweck soll zunächst gezeigt werden, dass für den allgemeineren Fall k  1 der zweite Eigenwert beschränkt ist durch j2 j  c: (a) Zeigen Sie zunächst, dass die Behauptung j2 j  c für die beiden Grenzfälle c D 0 und c D 1 gilt. (b) Der zweite Eigenwert von A erfüllt j2 j < 1. Beweisen Sie diese Aussage. (c) Zeigen Sie, dass der zweite Eigenvektor y2 von A orthogonal zu e ist. (d) Zeigen Sie, dass Ey2 D 0. (e) Beweisen Sie: Der zweite Eigenvektor y2 von A ist ein Eigenvektor x i von M zum Eigenwert i D 2 =c. (f) Was folgern Sie daraus für j2 j?

169

Übungsaufgaben

Wenden wir uns nun wieder dem Fall k  2 und der Aussage 2 D c zu. (g) Zeigen sie zunächst, dass die Behauptung 2 D c für die beiden Grenzfälle c D 0 und c D 1 gilt. (h) Sei x i ein Eigenvektor von M zum Eigenwert i , der orthogonal zu e ist. Zeigen Sie, dass dieser Vektor ein Eigenvektor von A zum Eigenwert i D ci ist. (i) Wegen k  2 gibt es zwei linear unabhängige Eigenvektoren x 1 und x 2 von M zum Eigenwert 1. Konstruieren Sie mit Hilfe dieser beiden Vektoren einen Eigenvektor yi von M , der orthogonal zu e ist. (j) Welche Schlussüberlegung ergibt sich damit für 2 ? (k) Welche Schlussfolgerung läßt sich aus den oben bewiesenen Aussagen über die Konvergenzgeschwindigkeit der Vektoriteration ziehen? Aufgabe 5.12. Im amerikanischen Sport wird das folgende Schema für Ausscheidungswettkämpfe realisiert: Mannschaften spielen für eine Spielzeit zahlreiche Spiele innerhalb einer „Conference“, was so etwas wie lokale Liga bedeutet. Dann treffen sie sich und spielen je ein Spiel mit allen Gegnern aus den anderen Conferences. Der Gewinner wird ermittelt, indem man die Punkte für gewonnene Spiele (intern wie extern) addiert. Allerdings, so argumentiert der Mathematiker Jim Keener, ist das nicht gerecht; denn es kommt doch darauf an, ob man gegen eine starke oder eine schwache Mannschaft gewinnt oder verliert. Wenn wir dieser Argumentationslinie folgen, dann führt dies, wie bei der Berechnung des PageRank-Vektors in Google, auf ein stochastisches Eigenwertproblem. Zum Test sei die folgende Situation angenommen: Die Mannschaften von zwei Conferences ¹E1 ; E2 ; E3 º und ¹E4 ; E5 ; E6 º haben je drei Spiele mit jeder Mannschaft innerhalb ihrer Conference gespielt, also insgesamt 18 Spiele. Anschließend spielen sie je ein Spiel mit jeder Mannschaft der anderen Conference, macht zusammen 21 Spiele. Die Gewinntabelle sehe aus wie folgt: E1

E2

E3

E4

E5

E6

E1

–

3/21

0/21

0/21

1/21

2/21

E2

3/21

–

2/21

2/21

2/21

1/21

E3

6/21

4/21

–

2/21

1/21

1/21

E4

3/21

1/21

1/21

–

2/21

2/21

E5

2/21

1/21

2/21

4/21

–

2/21

E6

1/21

2/21

2/21

4/21

4/21

–

170

5 Lineare Eigenwertprobleme

Bestimmen Sie zunächst die Rangfolge der Mannschaften ¹E1 ; : : : ; E6 º durch einfaches Addieren der Gewinnpunkte. Stellen Sie anschließend das zugehörige stochastische Eigenwertproblem auf und ermitteln Sie daraus die Rangfolge. Hinweis: Sie können die Vorgehensweise auch auf die Bundesliga übertragen – mit den jeweils neuesten Daten!

6 Drei-Term-Rekursionen

Bei vielen Problemen der Mathematik und Naturwissenschaften lässt sich eine Lösungsfunktion bezüglich sogenannter spezieller Funktionen entwickeln, die sich durch besondere, dem Problem angemessene Eigenschaften und gegebenenfalls durch ihre Konstruierbarkeit auszeichnen. Das Studium und der Gebrauch spezieller Funktionen ist ein alter Zweig der Mathematik, zu dem viele bedeutende Mathematiker beigetragen haben. Aufgrund neuer Erkenntnisse und erweiterter Rechenmöglichkeiten (z. B. durch symbolisches Rechnen) hat dieses Gebiet in letzter Zeit wieder einen Aufschwung genommen. Als Beispiele für klassische spezielle Funktionen seien an dieser Stelle bereits die Tschebyscheff-, Legendre-, Jacobi-, Laguerre- und HermitePolynome sowie die Bessel-Funktionen genannt. Wir werden in dem folgenden Kapitel manche dieser Polynome benutzen und die dort jeweils wichtigen Eigenschaften herleiten. Hier wollen wir uns mit dem Aspekt der Auswertung von Linearkombinationen f .x/ D

N X

˛k Pk .x/

(6.1)

kD0

spezieller Funktionen Pk .x/ beschäftigen, wobei wir die Koeffizienten ˛k als gegeben voraussetzen. Die Berechnung oder auch nur Approximation dieser Koeffizienten kann mit großen Schwierigkeiten verbunden sein. Wir werden uns damit in Kapitel 7.2 am Beispiel der diskreten Fourier-Transformation beschäftigen. Eine allen speziellen Funktionen gemeinsame Eigenschaft ist ihre Orthogonalität. Bisher haben wir von Orthogonalität nur in Zusammenhang mit einem Skalarprodukt auf einem endlich dimensionalen Vektorraum gesprochen. Viele uns von dort vertraute Strukturen lassen sich auf (unendlich dimensionale) Funktionenräume übertragen. Das Skalarprodukt ist dabei zumeist ein Integral. Zur Illustration betrachten wir das folgende Beispiel. Beispiel 6.1. Wir definieren ein Skalarprodukt Z  f .x/g.x/ dx .f; g/ D 

für Funktionen f; g W Œ;  ! R. Man kann sich leicht davon überzeugen, dass die speziellen Funktionen P2k .x/ D cos kx und P2kC1 .x/ D sin kx für k D 0; 1; : : :

172

6 Drei-Term-Rekursionen

bezüglich dieses Skalarproduktes orthogonal sind, d. h., es gilt .Pk ; Pl / D ıkl .Pk ; Pk / für alle k; l D 0; 1; : : : : Durch das Skalarprodukt wird wie im endlich dimensionalen Fall eine Norm Z 

12 p jf .x/j2 dx kf k D .f; f / D 

induziert. Die Funktionen, für die diese Norm wohldefiniert und endlich ist, lassen sich durch die abgebrochene Fourier-Reihe fN .x/ D

2N X

˛k Pk .x/ D ˛0 C

kD0

N X

.˛2k cos kx C ˛2k1 sin kx/

kD1

bezüglich dieser Norm für wachsendes N beliebig gut approximieren. Dabei können wir die Funktionen cos kx und sin kx mit Hilfe der Drei-TermRekursion Tk .x/ D 2 cos x  Tk1 .x/  Tk2 .x/

für k D 2; 3; : : :

(6.2)

wie in Beispiel 2.27 berechnen. Es ist kein Zufall, dass wir die trigonometrischen Funktionen cos kx und sin kx mit einer Drei-Term-Rekursion in k berechnen können, da die Existenz einer DreiTerm-Rekursion für spezielle Funktionen mit ihrer Orthogonalität zusammenhängt. Wir werden als erstes diesen Zusammenhang genau studieren und dabei insbesondere auf Orthogonalpolynome eingehen. Die theoretische Untersuchung von DreiTerm-Rekursionen als Differenzengleichungen steht im Mittelpunkt von Kapitel 6.1.2. Ein ausführliches numerisches Beispiel wird uns zeigen, dass die sich anbietende naive Übertragung der Drei-Term-Rekursion in einen Algorithmus unter Umständen nicht zu brauchbaren Ergebnissen führt. Wir werden deshalb in Kapitel 6.2.1 die Kondition von Drei-Term-Rekursionen analysieren und so zu einer Klassifizierung ihrer Lösungen gelangen. Dies wird es uns schließlich ermöglichen, stabile Algorithmen zur Berechnung von speziellen Funktionen und von Linearkombinationen der Form (6.1) anzugeben.

6.1

Theoretische Grundlagen

Drei-Term-Rekursionen, wie zum Beispiel die trigonometrische Rekursion (6.2), sind bei der Berechnung spezieller Funktionen von zentraler Bedeutung. Wir gehen im folgenden Abschnitt auf den allgemeinen Zusammenhang zwischen Orthogonalität und Drei-Term-Rekursionen ein. Daran anschließend beschäftigen wir uns mit der Theorie homogener und inhomogener Drei-Term-Rekursionen.

173

6.1 Theoretische Grundlagen

6.1.1

Orthogonalität und Drei-Term-Rekursionen

Als Verallgemeinerung des Skalarproduktes aus Beispiel 6.1 betrachten wir ein Skalarprodukt Z b .f; g/ WD !.t /f .t /g.t / dt (6.3) a

mit einer zusätzlichen positiven Gewichtsfunktion ! W a; bŒ ! R, !.t / > 0. Wir setzen voraus, dass die durch das Skalarprodukt induzierte Norm kP k D

p

.P; P / D

Z

b

!.t /P .t /2 dt

12

0, .Pi ; Pj / D a

so heißen die Pk Orthogonalpolynome über Œa; b bezüglich der Gewichtsfunktion !.t /. Um die Orthogonalpolynome eindeutig zu definieren, müssen wir eine zusätzliche Normierungsbedingung fordern, z. B. indem wir verlangen, dass Pk .0/ D 1 oder der führende Koeffizient eins ist, d. h. Pk .t / D t k C    : Die Existenz und Eindeutigkeit eines Systems von Orthogonalpolynomen bezüglich des Skalarproduktes (6.3) werden wir nun mit Hilfe einer Drei-Term-Rekursion beweisen. Satz 6.2. Zu jedem gewichteten Skalarprodukt .6:3/ gibt es eindeutig bestimmte Orthogonalpolynome Pk 2 P k mit führendem Koeffizienten eins. Sie genügen der DreiTerm-Rekursion Pk .t / D .t C ak /Pk1 .t / C bk Pk2 .t / für k D 1; 2; : : :

174

6 Drei-Term-Rekursionen

mit den Anfangswerten P1 WD 0, P0 WD 1 und den Koeffizienten ak D 

.tPk1 ; Pk1 / ; .Pk1 ; Pk1 /

bk D 

.Pk1 ; Pk1 / : .Pk2 ; Pk2 /

Beweis. Das einzige Polynom 0-ten Grades mit führendem Koeffizienten eins ist P0  1 2 P 0 . Seien nun P0 ; : : : ; Pk1 bereits konstruierte paarweise orthogonale Polynome Pj 2 Pj vom Grad j mit führendem Koeffizienten eins. Ist Pk 2 P k ein beliebiges ebenso normiertes Polynom vom Grad k, so ist dann Pk  tPk1 ein Polynom vom Grad  k  1. Andererseits bilden die P0 ; : : : ; Pk1 eine Orthogonalbasis von P k1 bzgl. des gewichteten Skalarproduktes .; /, so dass Pk  tPk1 D

k1 X

cj Pj

mit cj D

j D0

.Pk  tPk1 ; Pj / : .Pj ; Pj /

Soll Pk orthogonal zu P0 ; : : : ; Pk1 stehen, so gilt cj D 

.Pk1 ; tPj / .tPk1 ; Pj / D : .Pj ; Pj / .Pj ; Pj /

Zwangsläufig folgt c0 D    D ck3 D 0, ck1 D 

.Pk1 ; Pk1 / .tPk1 ; Pk1 / .Pk1 ; tPk2 / ; ck2 D  D : .Pk1 ; Pk1 / .Pk2 ; Pk2 / .Pk2 ; Pk2 /

Mit Pk D .t C ck1 /Pk1 C ck2 Pk2 D .t C ak /Pk1 C bk Pk2 erhalten wir so das nächste Orthogonalpolynom und induktiv die Behauptung.



Beispiel 6.3. Setzt man cos ˛ D x und betrachtet cos k˛ als Funktion in x, so gelangt man zu den Tschebyscheff-Polynomen Tk .x/ D cos.k arccos x/ für x 2 Œ1; 1. Aus der Drei-Term-Rekursion für cos kx folgt, dass es sich bei den Tk tatsächlich um Polynome handelt, die der Rekursion Tk .x/ D 2xTk1 .x/  Tk2 .x/

für k  2

mit den Startwerten T0 .x/ D 1 und T1 .x/ D x genügen. Dadurch können wir Tk .x/ sogar für alle x 2 R definieren. Durch die Variablensubstitution x D cos ˛, also dx D  sin ˛d˛, sehen wir, dass die Tschebyscheff-Polynome geradepdie Orthogonalpolynome über Œ1; 1 bezüglich der Gewichtsfunktion !.x/ D 1= 1  x 2 sind, d. h. 8 ˆ falls n ¤ m, Z 1 x

(vgl. Tabelle 6.1). Bei der Vorwärtsrekursion tritt also jedesmal bei der Berechnung

180

6 Drei-Term-Rekursionen P 60 40

20 0 20 0

5

10

15

20

k

Abbildung 6.2. Besselscher Irrgarten für x D 2:13, aufgetragen ist ln.jJOk .x/j/ über k für 5 Schleifen bis k D 23

von JkC1 Auslöschung auf (siehe Aufgabe 6.9). Zudem muss man wissen, dass neben den Bessel-Funktionen Jk auch die Neumann-Funktionen Yk derselben Rekursion genügen (Bessel- und Neumann-Funktionen heißen Zylinderfunktionen). Diese besitzen aber ein entgegengesetztes Wachstumsverhalten. Die Bessel-Funktionen fallen mit wachsendem k, während die Neumann-Funktionen stark anwachsen. Durch die Eingabefehler für J0 und J1 (in der Größenordnung der Maschinengenauigkeit), JQ0 D J0 C "0 Y0 ; JQ1 D J1 C "1 Y1 ; enthält die Eingabe JQ0 ; JQ1 stets einen Anteil der Neumann-Funktion Yk , der zunächst sehr klein ist, die Bessel-Funktion im Laufe der Rekursion jedoch zunehmend überwuchert. Umgekehrt überlagern in Rückwärtsrichtung die Bessel-Funktionen die Neumann-Funktionen. Im folgenden Abschnitt wollen wir versuchen, die beobachteten numerischen Phänomene zu verstehen.

6.2.1

Kondition

Wir betrachten die Drei-Term-Rekursion (6.5) als Abbildung, die den Anfangswerten p0 ; p1 und den Koeffizienten ak ; bk als Eingabegrößen die Werte p2 ; p3 ; : : : als Resultate zuordnet. Da in jedem Schritt nur jeweils zwei Multiplikationen und eine Addition durchgeführt werden müssen, deren Stabilität wir in Lemma 2.19 nachgewiesen haben, ist die Ausführung der Drei-Term-Rekursion in Gleitkommaarithmetik stabil. Über die numerische Brauchbarkeit entscheidet also nur die Kondition der Drei-Term-Rekursion. Zu deren Analyse geben wir gestörte Anfangswerte pQ0 D p0 .1 C 0 /;

pQ1 D p1 .1 C 1 /

181

6.2 Numerische Aspekte

k

Jk1

2k x Jk

1 2 3 4 5 6 7 8 9 10

1:496  101 5:649  101 3:809  101 1:503  101 4:253  102 9:425  103 1:720  103 2:672  104 3:615  105 4:333  106

5:305  101 7:153  101 4:234  101 1:597  101 4:425  102 9:693  103 1:756  103 2:716  104 3:662  105 4:379  106

Tabelle 6.1. Auslöschung in der Drei-Term-Rekursion für die Bessel-Funktionen Jk D Jk .x/, x D 2:13

und gestörte Koeffizienten aQ k D ak .1 C ˛k /;

bQk D bk .1 C ˇk / für k  2

mit durch ı > 0 beschränkten relativen Fehlern j 0 j; j 1 j;

j˛k j;

jˇk j  ı

vor und berechnen den Fehler pk WD pQk  pk ; wobei pQ die Lösung der gestörten Drei-Term-Rekursion ist. Setzen wir die Rekursion für p und pQ ein, so zeigt sich, dass p der inhomogenen Rekursion pk D ak pk1 C bk pk2 C Ek

für k  2

mit den Anfangswerten p0 D E0 WD 0 p0 ; p1 D E1 WD 1 p1 und den Koeffizienten : Ek D ˛k ak pQk1 C ˇk bk pQk2 D ˛k ak pk1 C ˇk bk pk2 genügt. Setzen wir wie in (6.8) die Greensche Funktion ein, so gilt pk D

k X j D0

Ej g.j; k/:

für ı ! 0

182

6 Drei-Term-Rekursionen

Die Greensche Funktion charakterisiert also die absolute Kondition der Drei-TermRekursion. Analog folgt, dass der relative Fehler

k WD

pk pQk  pk D ; pk pk

pk ¤ 0;

die Lösung der inhomogenen Rekursion

k D

ak pk1 bk pk2

k1 C

k2 C "k pk pk

für l  2

zu den Anfangswerten "0 WD 0 , "1 WD 1 mit "k WD

ak pk1 bk pk2 Ek : C ˇk D ˛k pk pk pk

ist und dass daher

k D

k X

mit r.j; k/ WD

"j r.j; k/

j D0

pj g.j; k/ pk

(6.10)

gilt. Die Funktionen r.j; k/ beschreiben offensichtlich die Verstärkung der relativen Fehler und kennzeichnen somit die relative Kondition der Drei-Term-Rekursion. Zur Beurteilung von r.j; k/ in den verschiedenen Beispielen unterscheiden wir, motiviert durch die Bessel- und Neumann-Funktionen, zwei Typen von Lösungen. Definition 6.10. Eine Lösung p 2 ˇ heißt rezessiv oder Minimallösung, falls für jede von p linear unabhängige Lösung q 2 ˇ gilt pk D 0: k!1 qk lim

Die von p linear unabhängigen Lösungen q heißen dominant. Es ist klar, dass die Minimallösung nur bis auf einen skalaren Faktor eindeutig bestimmt ist. Der noch freie Faktor wird in vielen Fällen durch eine Normierungsbedingung 1 X mk pk D 1 (6.11) G1 WD kD0

mit den Gewichten mk festgelegt. Umgekehrt sind solche Relationen im Allgemeinen ein Hinweis darauf, dass die zugehörigen Lösungen pk Minimallösungen sind. Die Minimallösungen bilden also, falls es sie überhaupt gibt, einen eindimensionalen Unterraum von ˇ. Die Existenz kann unter gewissen Voraussetzungen an die Koeffizienten ak und bk garantiert werden.

183

6.2 Numerische Aspekte

Satz 6.11. Falls die Drei-Term-Rekursion symmetrisch ist, d. h. bk D 1 für alle k, und es ein k0 2 N gibt, so dass jak j  2

für alle k > k0 ,

dann gibt es eine Minimallösung p mit den Eigenschaften jpk j 

1 jpk1 j jakC1 j  1

und

pkC1 .x/ ¤ 0

(6.12)

für alle k > k0 . Ferner gibt es für jede dominante Lösung q einen Index k1  k0 , so dass jqkC1 j > .jakC1 j  1/jqk j für k > k1 . Beweis. Der Beweis greift auf eine sogenannte Kettenbruchentwicklung zurück und kann bei J. Meixner und W. Schäffke [68] nachgelesen werden.  Beispiel 6.12. Für die Drei-Term-Rekursion der trigonometrischen Funktionen cos kx, sin kx gilt bk D 1 und jak j D 2j cos xj  2 ” x D l

mit l 2 Z.

Im Fall x D l 2 Z ist pk D .1/lk eine Minimallösung, und die Folgen qk D ˇk.1/lk C ˛pk

mit ˇ ¤ 0

sind dominante Lösungen. Beispiel 6.13. Für die Rekursion der Zylinderfunktionen gilt bk D 1 und jak j D 2

k1  2 ” k > k0 WD Œjxj: jxj

Die Minimallösung ist die Bessel-Funktion Jk , die Neumann-Funktion Yk ist dagegen dominant. Dies lässt sich mit Hilfe der asymptotischen Näherungen für Jk bzw. Yk für k ! 1 beweisen, denn r 2 ex k 1 ex k ; Yk .x/   : Jk .x/  p k 2k 2k 2k Die Bessel-Funktionen Jk .x/ genügen der Normierungsbedingung (siehe z. B. [2]) G1 WD J0 C 2

1 X kD1

J2k D 1:

184

6 Drei-Term-Rekursionen

Unter den Voraussetzungen von Satz 6.11 lässt sich zeigen, dass jg.j; k/j  jk  j C 1j für alle k  j > k0 , d. h., die diskreten Greenschen Funktionen g.j; k/ sind selbst dominante Lösungen und wachsen über jede Schranke. Andererseits gilt für eine Minimallösung p wegen (6.12), dass jpj =pk j  1 und daher ˇp ˇ ˇ j ˇ jr.j; k/j D ˇ g.j; k/ˇ  jg.j; k/j  jk  j C 1j pk für alle k  j > k0 . Von dem Index k0 an ist die Drei-Term-Rekursion zur Berechnung einer Minimallösung also schlechtkonditioniert. Für dominante Lösungen kann das Wachstum der diskreten Greenschen Funktionen durch das der Lösung selbst ausgeglichen werden, so dass die relative Fehlerverstärkung, ausgedrückt durch r.j; k/, moderat bleibt und die Drei-Term-Rekursion gutkonditioniert ist. So ist die DreiTerm-Rekursion (in Vorwärtsrichtung) für die Bessel-Funktionen als Minimallösung schlecht, für die Neumann-Funktionen jedoch gutkonditioniert. Beispiel 6.14. Kugelfunktionen. Als Frucht der vorgeführten Überlegungen geben wir nun ein komplizierteres Beispiel, das jedoch in vielen Anwendungen, etwa in der theoretischen Physik oder der Geodäsie, eine wichtige Rolle spielt. Zu berechnen sind im Allgemeinen sowohl Entwicklungen nach Kugelfunktionen als auch ganze Sätze einzelner Kugelfunktionen. Sie werden üblicherweise mit Ykl . ; '/ bezeichnet, wobei die sogenannten Eulerschen Winkel ; ' auf der Kugeloberfläche variieren gemäß 0 

und

0  '  2:

Unter den zahlreichen Darstellungen für Kugelfunktionen wählen wir die komplexe Darstellung Ykl . ; '/ D e il' Pkl .cos / D Ckl . ; '/ C iSkl . ; '/; wobei durch Pkl .x/ die sogenannten zugeordneten Legendre-Funktionen 1. Art für jxj  1 bezeichnet sind. Sie lassen sich wie folgt explizit angeben: Pkl .x/ WD

kCl .1/kCl 2 2l d .1  x / .1  x 2 /k : .k C l/Š kŠ 2k dx kCl

(6.13)

Unter der Vielzahl der in der Literatur vorkommenden Normierungen dieser Funktionen ist hier diejenige nach [40] ausgewählt. Wegen der Beziehungen Pkl .x/  0 und

für l > k  0 und l < k  0

Pkl .x/ D .1/l Pkl .x/ für l > 0

(6.14)

185

6.2 Numerische Aspekte

genügt es, die reellen Kugelfunktionen Ckl . ; '/ D Pkl .cos / cos.l'/

für 0  l  k;

Skl . ; '/ D Pkl .cos / sin.l'/

für 0 < l  k

zu berechnen. Die Drei-Term-Rekursion für die trigonometrischen Funktionen haben wir an anderer Stelle bereits hinlänglich diskutiert. Wir richten deshalb hier unser Augenmerk auf die Legendre-Funktionen zum Argument x D cos . Sämtliche für diese zweifach indizierten Legendre-Funktionen erster Art geltenden Drei-TermRekursionen (siehe z. B. [46]) gelten auch für die Legendre-Funktionen zweiter Art, welche im Unterschied zu denen erster Art bei x D 1 und x D 1 Singularitäten der Ordnung l haben. Diese Eigenschaft überträgt sich unmittelbar auf die zugehörigen diskreten Greenschen Funktionen (vgl. Aufgabe 6.8). Also wären Rekursionen mit variablem l für die Pkl schlechtkonditioniert. Als Konsequenz suchen wir aus der Vielzahl der Drei-Term-Rekursionen diejenigen mit konstantem l heraus. Dies führt auf die Rekursion l l  Pk2 .2k  1/xPk1 ; (6.15) Pkl D .k  l/.k C l/ bei der nur noch k läuft. Sie ist für die Pkl in Vorwärtsrichtung bzgl. k gutkonditioniert (siehe etwa die überblickhafte Arbeit von W. Gautschi [40]). Es fehlt noch eine gutkonditionierte Vernetzung für unterschiedliche l. Aus der Definition (6.13) erhalten wir für k D l die Darstellung l .1/l .1  x 2 / 2 ; l 2  lŠ woraus sich sofort die Zwei-Term-Rekursion

Pll .x/ D

1

Pll D 

.1  x 2 / 2 l1 Pl1 2l

(6.16)

ergibt, die als solche gutkonditioniert ist. Zum Start der Rekursionen benutzt man für (6.16) den Wert P00 D 1 und für (6.15) die Rekursion für k D l C 1, die wegen l  0 nach (6.14) ebenfalls in eine Zwei-Term-Rekursion entartet: Pl1 l PlC1 D xPll :

(6.17)

Ersetzt man das Argument x durch cos , so rechnen wir nach den Resultaten von Kapitel 2.3 damit, dass der zugehörige Algorithmus numerisch instabil ist. Wie bei der Stabilisierung der trigonometrischen Rekursion, versuchen wir auch hier wieder für ! 0 das Argument cos durch 1  cos D 2 sin2 . =2/ zu ersetzen. Leider ist die Stabilisierung nicht so einfach wie bei den trigonometrischen Funktionen. Deshalb machen wir den folgenden Ansatz: Pkl D qkl PNkl

und

l PNkl D rkl PNk1 C Pkl

186

6 Drei-Term-Rekursionen

mit noch geeignet zu wählenden Transformationen qkl und rkl . Man beachte, dass die relativen Konditionszahlen in (6.10) für Pkl und PNkl die gleichen sind, unabhängig von l in (6.15) liefert dann der Wahl der Transformationen qkl . Einsetzen von Pkl und Pk2 l C qkl Pkl D k . /PNk1

l qk2 l .k  l/.k C l/rk1

l  Pk1 ;

wobei k . / WD

l qk2 .2k  1/ cos l  qk1  qkl rkl  : l .k  l/.k C l/ .k  l/.k C l/ rk1

Um .1  cos / in k . / ausklammern zu können, muss offensichtlich D 0 eine Nullstelle von k sein, d. h. k .0/ D 0. Wegen (6.17) verlangen wir zusätzlich l l rlC1 D 1. Diese beiden Forderungen an die Transformationen qkl und rkl werden qlC1 von der Wahl 1 qkl D l D k  l C 1 rk erfüllt. Mit dieser Transformation erhält man ausgehend von P00 D PN00 D 1 die folgende numerisch stabile Rekursionsdarstellung: Algorithmus 6.15. Berechnung der Kugelfunktionen Pkl .cos / für l D 0; : : : ; L und k D l C 1; : : : ; K. P00 WD PN00 WD 1; for l WD 0 to L do sin P l; 2.l C 1/ l WD  sin2 . =2/Pll ;

lC1 lC1 PlC1 WD PNlC1 WD 

Pll

for k WD l C 1 to K do l l  2.2k  1/ sin2 . =2/PNk1 .k  l  1/Pk1 Pkl WD ; .k C l/.k  l C 1/ 1 PNkl WD PN l C Pkl ; .k  l C 1/ k1 Pkl WD .k  l C 1/PNkl ; end for end for Bemerkung 6.16. Offensichtlich benötigt man zur erfolgreichen Berechnung von Orthogonalpolynomen eine Art „Konditionslexikon“ für möglichst viele Orthogonalpolynome. Ein erster Schritt in diese Richtung ist die Arbeit [40]. In vielen Fällen ist

187

6.2 Numerische Aspekte

die numerisch notwendige Information jedoch eher versteckt als publiziert. Darüber hinaus werden in der Literatur häufig die Begriffe Stabilität und Kondition nicht ausreichend sauber getrennt.

6.2.2

Idee des Miller-Algorithmus

Ist also die Drei-Term-Rekursion zur Berechnung einer Minimallösung aufgrund der obigen Fehleranalyse generell zu verwerfen? Dies ist nicht der Fall, wie wir hier zeigen wollen. Die auf J. C. P. Miller [71] zurückgehende Rettung beruht auf zwei Ideen. Die erste besteht darin, die Drei-Term-Rekursion in Rückwärtsrichtung mit den Anfangswerten pn ; pnC1 auf ihre Kondition hin zu untersuchen. Überträgt man die obigen Überlegungen auf diesen Fall (siehe Aufgabe 6.5), so zeigt sich, dass die DreiTerm-Rekursion für eine Minimallösung in Rückwärtsrichtung gutkonditioniert ist. Die zweite Idee besteht in der Ausnutzung der Normierungsbedingung (6.11). Da die Minimallösungen pk .x/ für k ! 1 betragsmäßig beliebig klein werden, lässt sich G1 durch die endlichen Teilsummen Gn WD

n X

mk pk

kD0

approximieren. Berechnet man nun eine beliebige Lösung pOk der Drei-Term-Rekursion in Rückwärtsrichtung, z. B. mit den Startwerten pOnC1 D 0 und pOn D 1, und normiert diese mit Hilfe von Gn , so erhält man für wachsendes n immer bessere Approximationen der Minimallösung. Diese Überlegungen motivieren den folgenden Algorithmus zur Berechnung von pN auf eine relative Genauigkeit ". Algorithmus 6.17. Algorithmus von Miller zur Berechnung einer Minimallösung pN . 1. Wähle einen Abbrechindex n > N und setze .n/

pOn.n/ WD 1:

pOnC1 WD 0; .n/

.n/

2. Berechne pOn1 ; : : : ; pO0 aus .n/

pOk2 D

1 .n/ .n/ .pO  ak pOk1 / bk k

3. Berechne GO n WD

n X

für k D n C 1; : : : ; 2.

mk pOk :

kD0

4. Normiere gemäß pk WD pOk =GO n : .n/

.n/

188

6 Drei-Term-Rekursionen

5. Wiederhole die Schritte 1. bis 4. für wachsende n D n1 ; n2 ; : : : und teste dabei .n / .n / die Genauigkeit durch den Vergleich von pN i und pN i1 . Ist .n /

.n

/

.n /

jpN i  pN i1 j  "pN i ; .n /

so ist pN i eine hinreichend genaue Approximation von pN . Dass dieser Algorithmus in der Tat konvergiert, zeigt der folgende Satz. Satz 6.18. Sei p 2 ˇ eine Minimallösung einer homogenen Drei-Term-Rekursion, die der Normierungsbedingung 1 X mk pk D 1 kD0

genüge. Zusätzlich gebe es eine dominante Lösung q 2 ˇ, so dass n pnC1 X mk qk D 0: n!1 qnC1

lim

kD0

.n/

Dann konvergiert die Folge der Miller-Approximationen pN gegen pN , .n/

lim pN D pN :

n!1 .n/

.n/

Beweis. Die Lösung pOk der Drei-Term-Rekursion zu den Startwerten pOn WD 1 und .n/

pOnC1 WD 0 lässt sich als eine Linearkombination von pk und qk darstellen, da .n/

pOk D

pk qnC1  qk pnC1 qnC1 pnC1 D pk  qk : pn qnC1  qn pnC1 pn qnC1  qn pnC1 pn qnC1  qn pnC1

Daraus folgt GO n WD

n X

.n/ mk pOk

kD0

n n X

qnC1 pnC1 X D mk pk  mk qk : pn qnC1  qn pnC1 qnC1 kD0

kD0

.n/ .n/ Für die Miller-Approximationen pN D pON =GO n ergibt sich daher .n/ pN



D pN

n n

X

pnC1 pnC1 X  qN mk pk  mk qk ! pN qnC1 qnC1 kD0 kD0 „ƒ‚… „ ƒ‚ … „ ƒ‚ … !0 !1

für n ! 1.

!0



Dieser von Miller im Jahre 1952 entwickelte Algorithmus ist heute veraltet, da er zu viel Speicher- und Rechenaufwand benötigt. Die Idee geht jedoch ein in einen effektiveren Algorithmus, den wir im nächsten Kapitel darstellen werden.

189

6.3 Adjungierte Summation

6.3

Adjungierte Summation

Wir wenden uns nun wieder der ursprünglichen Aufgabe, nämlich der Auswertung von Linearkombinationen der Form f .x/ D SN D

N X

˛k pk

(6.18)

kD0

zu, wobei pk WD pk .x/ einer homogenen Drei-Term-Rekursion (6.7) mit den Startwerten p0 ; p1 genüge und die Koeffizienten ˛k gegeben seien. Die folgende Darstellung orientiert sich im Wesentlichen an den Arbeiten [17] und [18]. Zur Veranschaulichung beginnen wir mit einer Zwei-Term-Rekursion. Beispiel 6.19. Die Auswertung eines Polynoms SN WD p.x/ D ˛0 C ˛1 x C    C ˛N x N lässt sich auffassen als Berechnung einer Linearkombination (6.18), wobei pk WD x k der Zwei-Term-Rekursion p0 WD 1; pk WD xpk1

für k  1

genügt. Diese Summe lässt sich auf zwei verschiedene Arten berechnen. Der direkte Weg ist die Vorwärtsrekursion pk WD xpk1

und

Sk WD Sk1 C ˛k pk

(6.19)

für k D 1; : : : ; N mit den Startwerten S0 WD ˛0 und p0 WD 1. Sie entspricht der naiven Auswertung eines Polynoms. Man kann aber auch geschickt ausklammern SN D ˛0 C x.˛1 C x.: : : .˛N 1 C x ˛N / : : : // „ƒ‚… uN „ ƒ‚ … uN 1 und die Summe durch die Rückwärtsrekursion uN C1 WD 0; uk WD xukC1 C ˛k

für k D N; N  1; : : : ; 0;

(6.20)

SN WD u0 berechnen. Dies ist gerade der sogenannte Horner-Algorithmus. Gegenüber dem ersten Algorithmus spart (6.20) N Multiplikationen und ist daher in etwa doppelt so schnell.

190

6.3.1

6 Drei-Term-Rekursionen

Summation von dominanten Lösungen

Ein naheliegender Weg zur Berechnung der Summe (6.18) besteht darin, in jedem Schritt mit Hilfe der Drei-Term-Rekursion pk D ak pk1 C bk pk2

(6.21)

die Werte pk zu berechnen und mit den Koeffizienten ˛k multipliziert aufzuaddieren. Der resultierende Algorithmus entspricht der Vorwärtsrekursion (6.19): pk WD ak pk1 C bk pk2

und

Sk WD Sk1 C ˛k pk

für k D 2; : : : ; N

mit dem Startwert S1 WD ˛0 p0 C ˛1 p1 . Wir fragen uns natürlich, ob sich die Vorgehensweise bei der Herleitung des Horner-Algorithmus auf den vorliegenden Fall übertragen lässt. Um eine Analogie zum „Ausklammern“ zu konstruieren, erweitern wir die Drei-Term-Rekursion (6.7) um die zwei trivialen Gleichungen p0 D p0 und p1 D p1 . Zur Berechnung der Werte p D .p0 ; : : : ; pN / erhalten wir somit das gestaffelte Gleichungssystem 2 30 1 0 1 p0 C 1 p0 6 B C 7B B 6 B 7 B :: C C 1 6 B p1 C 7B : C 6 B 7B C C 6 B C 7 B :: C D 6 b2 a2 1 B 7B : C C 0 6 B C 7B C C 6 B 7 : :: C B : C :: :: :: 6 7B : : : : C B 4 5@ : C A @ A bN aN 1 0 pN „ ƒ‚ … „ ƒ‚ … „ƒ‚… DW r DW p DW L mit einer unipotenten unteren Dreiecksmatrix L 2 MatN C1 .R/ und der trivialen rechten Seite r. Die Linearkombination SN ist gerade das (Euklidische) Skalarprodukt SN D

N X

˛k pk D h˛; pi mit Lp D r

kD0

von p und ˛ D .˛0 ; : : : ; ˛N /T . Daher gilt SN D h˛; L1 ri D hLT ˛; ri:

(6.22)

Bezeichnen wir mit u die Lösung des (adjungierten) gestaffelten Gleichungssystems LT u D ˛, d. h. u WD LT ˛, so folgt SN D hu; ri D u0 p0 C u1 p1 :

191

6.3 Adjungierte Summation

Explizit ist u die Lösung von 2 30 1 0 1 1 b 2 6 7 B u0 C B ˛0 C 6 7B : C B : C : :: 6 7 B :: C B :: C 1 a2 6 7B C B C 6 7B : C B : C :: 6 7 B :: C D B :: C : : 1 b N 6 7B C B C 6 7B : C B : C :: B C B C 6 : aN 7 6 7 B :: C B :: C 4 5@ A @ A 1 uN ˛N Lösen wir dieses gestaffelte Gleichungssystem auf, so erhalten wir das gewünschte Analogon von Algorithmus (6.20): uk WD akC1 ukC1 C bkC2 ukC2 C ˛k

für k D N; N  1; : : : ; 1;

u0 WD b2 u2 C ˛0 ;

(6.23)

SN WD u0 p0 C u1 p1 ; wobei wir uN C1 D uN C2 WD 0 gesetzt haben. Die durch LT u D 0 definierte homogene Drei-Term-Rekursion heißt die zu (6.21) adjungierte Rekursion. Aufgrund der P Beziehung (6.22) nennen wir (6.23) analog die adjungierte Summation für SN D N kD0 ˛k pk . Gegenüber dem ersten Algorithmus sparen wir dabei wiederum N Multiplikationen. Beispiel 6.20. Die adjungierte Summation angewandt auf die Fourier-Summen SN WD

N X

˛k sin kx

bzw. CN WD

kD1

N X

˛k cos kx

kD0

mit der trigonometrischen Drei-Term-Rekursion pk D 2 cos x  pk1  pk2 für sk D sin kx und ck D cos kx und den Startwerten s0 D 0; s1 D sin x

bzw.

c0 D 1; c1 D cos x

führt zu der Rekursion uN C2 D uN C1 D 0;

(6.24)

uk D 2 cos x  ukC1  ukC2 C ˛k

für k D N; : : : ; 1

und den Ergebnissen SN D u1 sin x

bzw.

CN D ˛0 C u1 cos x  u2 :

192

6 Drei-Term-Rekursionen

Dieser Algorithmus von G. Goertzel [46] aus dem Jahre 1958 ist wie die zugrunde liegende Drei-Term-Rekursion (als Algorithmus für die Abbildung x 7! cos kx, vgl. Beispiel 2.27) instabil für x ! l, l 2 Z. Durch Einführung der Differenzen uk D uk  ukC1 für cos x  0 und Übergang zu einem System von zwei Zwei-Term-Rekursionen lässt sich die Rekursion (6.24) jedoch stabilisieren, und wir erhalten wie in Beispiel 2.27 die folgende stabile Form der Rekursion für k D N , N  1; : : : ; 1, den Algorithmus von Goertzel und Reinsch: uk D 4 sin2 .x=2/  ukC1 C ukC1 C ˛k ; uk D ukC1 C uk mit den Startwerten uN C1 D uN C1 D 0. Für die Summen erhalten wir SN D u1 sin x

und

CN D ˛0  2 sin2 .x=2/u1 C u1 :

Wie bei der Fehleranalyse der Drei-Term-Rekursion ist die Ausführung der Additionen und Multiplikationen der adjungierten Summation stabil; die dabei entstehenden Fehler lassen sich als Modifikation der Eingabefehler in den Koeffizienten ak , bk und ˛k interpretieren. Über die numerische Brauchbarkeit entscheidet also lediglich die Kondition, die jedoch unabhängig von der algorithmischen Realisierung ist. Daher gilt: Falls die ursprüngliche Rekursion aus (6.21) in Vorwärtsrichtung gutkonditioniert ist, so gilt dies auch für die adjungierte Drei-Term-Rekursion (6.23), die ja in Rückwärtsrichtung läuft. Der Algorithmus (6.23) ist demnach nur zur Summation dominanter Lösungen geeignet. Beispiel 6.21. Adjungierte Summation von Kugelfunktionen. Zur Illustration betrachten wir noch die Auswertung von Entwicklungen der Form C.K; LI ; '/ WD S.K; LI ; '/ WD

L X

cos.l'/

K X

lD0

kDl

L X

K X

lD1

sin.l'/

Alk Pkl .cos /; Alk Pkl .cos /;

kDl

wobei Pkl .x/ die in Beispiel 6.14 eingeführten Legendre-Funktionen 1. Art sind. Negative Indices l werden hier wegen Pkl D .1/l Pkl weggelassen. Ein Satz gutkonditionierter Rekursionen wurde bereits in Beispiel 6.14 angegeben. Die Anwendung ähnlicher Stabilisierungstechniken, wie wir sie dort vorgeführt haben, liefert auch hier eine sparsame, numerisch stabile Version. Nach einigen Zwischenrechnungen erhält man für cos  0 und cos '  0 den folgenden Algorithmus: Algorithmus 6.22. Algorithmus zur Berechnung der Summen C.K; LI ; '/ und S.K; LI ; '/.

193

6.3 Adjungierte Summation

V WD 0; V WD 0; for l WD L to 1 step 1 do U WD 0; U WD 0; for k WD K to l C 1 step 1 do U WD .Alk  2.2k C 1/ sin2 . =2/ U C U /=.k  l/; WD .U C U /=.k C l/;

U end for

Ul WD All  2.2l C 1/ sin2 . =2/ U C U ; if l > 0 then  sin  4 sin2 .'=2/V C V ; 2.l C 1/ sin WD  V C V ; 2.l C 1/

V WD Ul  V end end for

C.K; LI ; '/ WD U0 

 sin  2 sin2 .'=2/V C V ; 2

1 S.K; LI ; '/ WD  sin sin '  V ; 2

6.3.2

Summation von Minimallösungen

Der in Kapitel 6.3.1 beschriebene Algorithmus eignet sich nur für dominante Lösungen von Drei-Term-Rekursionen, für die also die Drei-Term-Rekursion in Vorwärtsschritten gutkonditioniert ist. Für die Summation von Minimallösungen wie z. B. der Bessel-Funktionen, greifen wir auf die Idee des Miller-Algorithmus zurück. Wir gehen wieder davon aus, dass die zu berechnende Minimallösung p 2 ˇ der Normierungsbedingung (6.11) genüge. Dann lässt sich aus dem Miller-Algorithmus 6.17 prinzipiell ein Verfahren zur Berechnung der Approximationen .n/

SN D

N X

˛k pOk =GO n.n/ .n/

mit GO n WD .n/

Pn

.n/ kD0 mk pOk

kD0

der Summe SN ableiten. Unter den Voraussetzungen von Satz 6.18 gilt dann .n/

lim SN D SN :

n!1

194

6 Drei-Term-Rekursionen .n/

Allerdings wäre der Aufwand zur Berechnung der SN recht groß, da für jedes neue n sämtliche Werte neu berechnet werden müssen. Lässt sich das durch Verwendung einer Art adjungierter Summation vermeiden? Zur Beantwortung dieser Frage gehen wir wie bei der Herleitung des vorigen Abschnittes vor und beschreiben für gegebenes n > N einen Schritt des Algorithmus von Miller durch ein lineares Gleichungssystem Mn p .n/ D r .n/ : 0 1 2 3 0 .n/ 1 p0 C b2 a2 1 B0C 6 7B C B:C : 6 7B :: :: :: :: C B :: C : : : 6 7B C B B C 6 7B C B:C 6 7 B :: C :C 6 7B : C D B b a 1 n n B:C : 6 7B B C 6 7 B :: C C B C 6 bnC1 anC1 7 : C B0C 4 5B A @ @ A .n/ m0 : : : : : : : : : mn 1 pn „ ƒ‚ … „ ƒ‚ … „ƒ‚… DW Mn 2 MatnC1 .R/ DW r .n/ DW p .n/ .n/

Mit ˛ .n/ WD .˛0 ; : : : ; ˛N ; 0; : : : ; 0/T 2 RnC1 lässt sich die Summe SN wiederum als Skalarprodukt .n/

SN D

N X

.n/

˛k pk D h˛ .n/ ; p .n/ i mit Mn p .n/ D r .n/

kD0 .n/ schreiben. Setzen wir voraus, dass Mn invertierbar ist (sonst ist GO n D 0 und die Normierung nicht durchführbar), so folgt

SN D h˛ .n/ ; Mn1 r .n/ i D hMnT ˛ .n/ ; r .n/ i: .n/

(6.25)

Setzen wir u.n/ WD MnT ˛ .n/ , so gilt daher .n/

SN D hu.n/ ; r .n/ i D u.n/ n ; wobei u.n/ die Lösung des Gleichungssystems MnT u.n/ D ˛ .n/ ist. Explizit lautet es: 1 1 0 30 2 .n/ .n/ ˛ u b m 07 B 0 C B 0 C 6 2 7B : C B : C 6 : : : : : B C B : C 6 a2 : : 7 7B : C B : C 6 B : C B : C 6 :: 7 B : C B : C 61 : : : b : 7 n 7B : C D B : C: 6 C C B 7 6 : B :: B : C B : C 6 : an bnC1 :: 7 7 B :: C B :: C 6 A A @ 5@ 4 .n/ .n/ 1 anC1 mn ˛n un

195

6.3 Adjungierte Summation

Dieses Gleichungssystem lösen wir mit der Gaußschen Eliminationsmethode auf. Die dabei auftretenden Rechnungen und Ergebnisse sind im folgenden Satz zusammengefasst: Satz 6.23. Definieren wir e .n/ D .e0 ; : : : ; en / und f .n/ D .f0 ; : : : ; fn / durch a) e1 WD 0, e0 WD ˛0 =b2 und ekC1 WD

1 .˛kC1 C ek1  akC2 ek / bkC3

für k D 0; : : : ; n  1,

(6.26)

für k D 0; : : : ; n  1,

(6.27)

b) f1 WD 0, f0 WD m0 =b2 und fkC1 WD

1 .mkC1 C fk1  akC2 fk / bkC3

wobei ˛k WD 0 für k > N , so gilt unter der Voraussetzung fn ¤ 0, dass .n/ SN

N X

D

.n/

˛k pk D

kD0

en : fn

Beweis. Die Werte f0 ; : : : ; fn berechnen sich aus einer LR-Zerlegung MnT D Ln Rn von MnT , wobei 3 3 2 2 b 1 f 0 7 7 6 2 6 7 7 6 6 : : : : :: :: 7 7 6 a2 6 : 7 7 6 6 7 7 6 6 : : : : 7 6 6 : : :: :: 7 Ln WD 61 : : 7 7 ; Rn WD 6 7 7 6 6 :: :: :: 7 7 6 6 : : : 1 f 7 6 6 n1 7 5 5 4 4 fn 1 anC1 bnC2 und daher Ln f .n/ D m.n/ . Dies ist äquivalent zu der Rekursion b) für f0 ; : : : ; fn . Die Rekursion a) für e0 ; : : : ; en ist äquivalent zu Ln e .n/ D ˛ .n/ . Setzen wir die Zerlegung M T D Ln Rn in das Gleichungssystem M T u.n/ D ˛ .n/ ein, so folgt Rn u.n/ D e .n/ ; und daher

.n/

SN D u.n/ n D

en : fn



Mit den Rekursionen (6.26) und (6.27) benötigen wir O.1/ Operationen, um aus .n/ .nC1/ zu berechnen im Gegensatz zu O.n/ OperaSN die nächste Approximation SN tionen bei dem direkt aus dem Miller-Algorithmus abgeleiteten Verfahren. Außerdem

196

6 Drei-Term-Rekursionen

ist der Speicherbedarf geringer und nicht von n, sondern nur von N abhängig (falls die Koeffizienten ¹˛k º als Feld gegeben sind). Wegen (6.25) nennen wir das in Satz 6.23 definierte Verfahren die adjungierte Summation von Minimallösungen. Wir wollen einmal anhand dieses Verfahrens verdeutlichen, wie man ausgehend von der theoretischen Beschreibung in Satz 6.23 zu einem brauchbaren Algorithmus gelangt. Zunächst ersetzen wir die Drei-Term-Rekursion (6.26) für ek durch ein System von Zwei-Term-Rekursionen für ek .k/ und uk WD uk  uk1; uk WD uk D fk da wir genau an diesen beiden Werten (uk als Lösung, uk zur Überprüfung der Genauigkeit) interessiert sind. Ferner ist zu beachten, dass die fn und ek sehr groß werden und aus dem Bereich der im Rechner darstellbaren Zahlen fallen können. Statt der fk verwenden wir daher die neuen Größen gk WD

fk1 fk

1 und fNk WD : fk

Bei der Transformation der Rekursionen (6.26) und (6.27) auf die neuen Größen uk ; uk ; gk und fNk erweist es sich als günstig, zusätzlich noch gN k WD

fk bkC2 D bkC2 gk fk1

und

mk m N k WD mk fNk1 D fk1

einzuführen. Aus (6.27) folgt damit (Multiplikation mit bkC2 =fk1 ), dass gN k D m N k  akC1 C gk1

für k  1,

(6.28)

und aus (6.26) (Multiplikation mit bkC2 =fk1 und Einsetzen von (6.28)), dass gN k uk D fNk1 ˛k  gk1 uk1  m N k uk1 : Ordnen wir die Operationen nun so an, dass wir möglichst wenig Speicherplatz benötigen, und lassen wir die dann nicht mehr nötigen Indices weg, so erhalten wir den folgenden numerisch brauchbaren Algorithmus. PN Algorithmus 6.24. Berechnung von SN D kD0 ˛k pk für eine Minimallösung .pk / auf die relative Genauigkeit ". g WD u WD 0; fN WD b2 =m0 ; u WD ˛0 =m0 ; k WD 1 repeat m N WD mfN; uWD fN˛k  gu  mu; N g WD m N  akC1 C g; uWD u=g;

197

Übungsaufgaben

u WD u C u; if (k > N and juj  juj  ") then exit; (Lösung SN u) g WD bkC2 =g; fN WD fNg; k WD k C 1; until .k > nmax /

Übungsaufgaben Aufgabe 6.1. Berechnen Sie auf einem Computer den Wert des Tschebyscheff-Polynoms T31 .x/ an der Stelle x D 0:923, a) indem Sie das Hornerschema benutzen (Koeffizienten der monomialen Darstellung von T31 mit dem Computer berechnen oder in einer Tabelle nachschlagen). b) indem Sie die Drei-Term-Rekursion benutzen. Vergleichen Sie die Ergebnisse mit dem auf 12 Stellen genauen Wert T31 .x/ D 0:948715916161 und erklären Sie die Fehler. Aufgabe 6.2. Gegeben sei die Drei-Term-Rekursion Tk D ak Tk1 C bk Tk2 : Für den relativen Fehler k D .TQk  Tk /=Tk von Tk gilt eine inhomogene Drei-TermRekursion der Form

k D ak

Tk2 Tk1

k1 C bk

k2 C "k : Tk Tk

Zeigen Sie, dass für den Fall ak  0; bk > 0; T0 ; T1 > 0 gilt a) j"k j  3 eps, b) j k j  .3k  2/ eps; k  1: Aufgabe 6.3. Durch die Rekursion kPk .x/ D .2k  1/xPk1 .x/  .k  1/Pk2 .x/

(6.29)

mit den Anfangswerten P0 .x/ D 1 und P1 .x/ D x werden die Legendre-Polynome definiert. (6.29) ist gutkonditioniert in Vorwärtsrichtung. Zeigen Sie, dass die Berechnung von Sk . / WD Pk .cos / nach (6.29) für ! 0 numerisch instabil ist. Geben Sie für cos > 0 eine sparsame, stabile Version von (6.29) zur Berechnung von Sk . / an. Hinweis: Führen Sie Dk D ˛k .Sk  Sk1 / ein und bestimmen Sie ˛k geeignet.

198

6 Drei-Term-Rekursionen

Aufgabe 6.4. Gegeben sei die Drei-Term-Rekursion Tk1  2˛Tk C Tk1 D 0: a) Geben Sie mit Hilfe des Ansatzes Tk D an (Fallunterscheidung!).

!k

(6.30)

die allgemeine Lösung von (6.30)

b) Zeigen Sie für j˛j  1 die Existenz einer Minimallösung. Aufgabe 6.5. Analysieren Sie die Kondition der adjungierten Drei-Term-Rekursion für eine Minimallösung unter den Voraussetzungen von Satz 6.11. Aufgabe 6.6. Zeigen Sie, dass sich die Symmetrie der Drei-Term-Rekursion auf die diskrete Greensche Funktion überträgt, d. h., für symmetrische Drei-Term-Rekursionen, also mit bk D 1 für alle k, gilt g.j; k/ D g.k; j /

für alle j; k 2 N:

Aufgabe 6.7. Berechnen Sie die Bessel-Funktionen J0 .x/ und J1 .x/ für x D 2:13 und Jk .x/ für x D 1024 und k D 0; : : : ; 1024 a) mit Hilfe des Miller-Algorithmus, b) durch Spezialisierung des Algorithmus 6.24 zur adjungierten Summation. Vergleichen Sie beide Algorithmen bezüglich Speicher- und Rechenaufwand. Aufgabe 6.8. Zeigen Sie, dass sich die diskreten Greenschen Funktionen g ˙ mit Hilfe von zwei beliebigen, linear unabhängigen Lösungen ¹Pk º; ¹Qk º schreiben lassen in der Form g  .j; k/ D

D.j  1; k/ D.j  1; j /

und

g C .j; k/ D

D.j C 1; k/ ; D.j C 1; j /

wobei D.l; m/ WD Pl Qm  Ql Pm die verallgemeinerten Casorati-Determinanten bezeichnen. Geben Sie für den Spezialfall der trigonometrischen Rekursion eine geschlossene Formel für g.j; k/ an und führen Sie den Grenzprozess x ! l, l 2 Z, durch. Skizzieren Sie g.j; k/ für ausgewählte j; k und x. Aufgabe 6.9. Betrachtet werde die Drei-Term-Rekursion für Zylinderfunktionen TkC1 D

2k Tk  Tk1 : x

(6.31)

Zeigen Sie, ausgehend von den asymptotischen Darstellungen für die Bessel-Funktionen 1 ex k : für k ! 1 Jk .x/ D p 2k 2k

199

Übungsaufgaben

und die Neumann-Funktionen : Yk .x/ D 

r

2 ex k k 2k

für k ! 1,

dass in (6.31) für JkC1 Auslöschung in Vorwärtsrichtung und für Yk1 Auslöschung in Rückwärtsrichtung auftritt. Aufgabe 6.10. Gegeben sei eine Drei-Term-Rekursion der Form pk D ak pk1 C bk pk2 :

(6.32)

a) Transformieren Sie pk durch pk D ck pNk derart, dass die pNk der symmetrischen Drei-Term-Rekursion (6.33) pNk D aN k pNk1  pNk2 genügen. b) Beweisen Sie unter Verwendung der Voraussetzung jbk j C 1  jak j einen zu Satz 6.11 analogen Satz über die Existenz von Minimallösungen. Vergleichen Sie die Anwendung von Satz 6.11 auf die Rekursion (6.33) mit der Anwendung von a) auf (6.32). Aufgabe 6.11. Gegeben sei eine symmetrische Tridiagonalmatrix 2

d1

6 6 6 e2 Tn WD 6 6 6 4

e2 :: : :: :

3 7 7 7 7: 7 :: : en 7 5 en dn ::

:

Zeigen Sie: a) Die Polynome pi ./ WD det.Ti  Ii / genügen einer Drei-Term-Rekursion. Q b) Unter der Voraussetzung niD2 ei ¤ 0 gilt: Für i  1 hat pi nur reelle einfache Nullstellen. (Die Nullstellen von pi trennen diejenigen von pi C1 .) c) Besitzt Tn einen k-fachen Eigenwert, so verschwinden mindestens k  1 Nichtdiagonalelemente ei . Hinweis: ¹pi º heißt Sturmsche Kette.

7 Interpolation und Approximation

Häufig tritt in der Numerischen Mathematik die Situation auf, dass statt einer Funktion f W R ! R nur einige diskrete Funktionswerte f .ti / und evtl. noch Ableitungen f .j / .ti / an endlich vielen Punkten ti gegeben sind. Dies trifft zum Beispiel zu, wenn die Funktion f in Form experimenteller Daten vorliegt. Auch bei den meisten Verfahren zur Lösung von Differentialgleichungen wird die gesuchte Lösung f .t / nur an endlich vielen Stellen (einschließlich ihrer Ableitung) berechnet. Historisch trat das Problem bei der Berechnung von zusätzlichen Funktionswerten zwischen tabellierten Werten auf. Heute ist eines der bedeutendsten Anwendungsfelder die ComputerGraphik, bekannt unter den Kürzeln CAD (Computer Aided Design) und CAGD (Computer Aided Geometric Design). Ist man an dem gesamten Verlauf der Funktion interessiert, so sollte man aus den gegebenen Daten f .j / .ti /

für i D 0; : : : ; n und j D 0; : : : ; ci

eine Funktion ' konstruieren, die sich möglichst wenig von der ursprünglichen Funktion f unterscheidet. Zudem sollte ' eine leicht auswertbare Funktion sein, wie zum Beispiel (stückweise) Polynome, trigonometrische Funktionen, Exponentialfunktiof f o o

'1

o

o

'2 +

t0

+

t1

+

t2

+

t3

Abbildung 7.1. Verschiedene interpolierende Funktionen

nen oder rationale Funktionen. Eine erste naheliegende Forderung an die Funktion ' ist die sogenannte Interpolationseigenschaft: ' soll an den Knoten oder Stützpunkten ti mit der Funktion f übereinstimmen, ' .j / .ti / D f .j / .ti /

für alle i; j .

201

7.1 Klassische Polynom-Interpolation

Die Werte f .j / .ti / heißen daher auch Stützwerte. Vergleichen wir die beiden Funktionen '1 und '2 in Abbildung 7.1, so genügen offensichtlich beide der Interpolationsbedingung bei gegebenen Funktionswerten f .ti /. Trotzdem wird man '1 intuitiv vorziehen. Zusätzlich zur Interpolationseigenschaft fordert man daher noch die Approximationseigenschaft: ' soll sich bezüglich einer Norm k  k in einem geeigneten Funktionenraum möglichst wenig von f unterscheiden, k'  f k „klein“:

7.1

Klassische Polynom-Interpolation

Wir beginnen mit dem einfachsten Fall, dass nur die Funktionswerte fi WD f .ti /

für i D 0; : : : ; n

an den paarweise verschiedenen Knoten t0 ; : : : ; tn gegeben sind. Wir suchen nun ein Polynom P 2 P n vom Grad deg P  n, P .t / D an t n C an1 t n1 C    C a1 t C a0

mit a0 ; : : : ; an 2 R,

welches f an den n C 1 Knoten t0 ; : : : ; tn interpoliert, d. h. P .ti / D fi

7.1.1

für i D 0; : : : ; n.

(7.1)

Eindeutigkeit und Kondition

Die n C 1 unbekannten Koeffizienten a0 ; : : : ; an sind durch die Bedingung (7.1) eindeutig bestimmt, wie folgende Überlegung zeigt: Falls P; Q 2 P n zwei interpolierende Polynome mit P .ti / D Q.ti / für i D 0; : : : ; n sind, so ist P  Q ein Polynom maximal n-ten Grades mit den n C 1 Nullstellen t0 ; : : : ; tn und daher das Nullpolynom. Die Zuordnung P n ! RnC1 ;

P 7! .P .t0 /; : : : ; P .tn //

ist aber auch eine lineare Abbildung der beiden .n C 1/-dimensionalen reellen Vektorräume P n und RnC1 , so dass aus der Injektivität bereits die Surjektivität folgt. Wir haben damit folgenden Satz bewiesen. Satz 7.1. Zu n C1 Stützpunkten .ti ; fi / für i D 0; : : : ; n mit paarweise verschiedenen Knoten t0 ; : : : ; tn existiert genau ein Interpolationspolynom P 2 P n , d. h. P .ti / D fi für i D 0; : : : ; n.

202

7 Interpolation und Approximation

Das nach Satz 7.1 eindeutige Polynom P heißt Interpolationspolynom von f zu den paarweise verschiedenen Knoten t0 ; : : : ; tn und wird mit P D P .f j t0 ; : : : ; tn / bezeichnet. Um das Interpolationspolynom auch tatsächlich berechnen zu können, müssen wir eine Basis des Polynomraums P n wählen. Wir geben zunächst zwei klassische Darstellungen zur Illustration. Schreiben wir P wie oben in Koeffizientendarstellung P .t / D an t n C an1 t n1 C    C a1 t C a0 ; d. h. bezüglich der monomialen Basis ¹1; t; : : : ; t n º von P n , so lassen sich die Interpolationsbedingungen P .ti / D fi als lineares Gleichungssystem 30 1 0 1 2 f a 1 t0 t02 : : : t0n 7 B 0C B 0C 6 :: 7 B :: C B :: C 6 :: :: :: 6: : : : 7B : C D B : C 5@ A @ A 4 2 n 1 tn t n : : : t n an fn „ ƒ‚ … DW Vn formulieren. Die Matrix Vn heißt Vandermonde-Matrix. Für die Determinante von Vn gilt n n Y Y .ti  tj /; det Vn D iD0 j DiC1

was in jedem Buch über lineare Algebra bewiesen wird (siehe z. B. [11]). Sie ist genau dann verschieden von Null, wenn die Knoten t0 ; : : : ; tn paarweise verschieden sind (in Einklang mit Satz 7.1). Die Lösung des Gleichungssystems erfordert jedoch übermäßig viel Aufwand im Vergleich zu den weiter unten dargestellten Methoden. Darüber hinaus sind die Vandermonde-Matrizen im Allgemeinen für hohe Dimensionen n fast singulär. Zu ihrer Lösung empfiehlt sich die Gauß-Elimination ohne Pivotsuche, da Pivotstrategien die Struktur der Matrix stören können (vgl. [58]). Für spezielle Knoten lässt sich die obige Vandermonde-Matrix leicht analytisch invertieren. Ein Beispiel dafür werden wir in Kapitel 7.2 kennenlernen. Eine alternative Basis zur Darstellung des Interpolationspolynoms bilden die sogenannten Lagrange-Polynome L0 ; : : : ; Ln . Sie sind definiert als die eindeutig bestimmten Interpolationspolynome Li 2 P n mit Li .tj / D ıij : Mit etwas Nachdenken findet man rasch die zugehörige explizite Form Li .t / D

n Y t  tj : ti  tj

j D0

j ¤i

203

7.1 Klassische Polynom-Interpolation 1.2 1

L1

0.6

L0

0.4 0.2 0 -0.2 -0.4 -0.6

L3

L2

0.8

0

0.5

L4

1

1.5

2

2.5

3

3.5

4

Abbildung 7.2. Lagrange-Polynome Li für n D 4 und äquidistante Knoten ti

Das Interpolationspolynom P für beliebige Stützwerte f0 ; : : : ; fn lässt sich aus den Lagrange-Polynomen durch Superposition aufbauen: Mit n X

P .t / WD

(7.2)

fi Li .t /

iD0

gilt offensichtlich P .tj / D

n X

fi Li .tj / D

i D0

n X

fi ıij D fj :

iD0

Bemerkung 7.2. Die obige Aussage lässt sich auch so formulieren: Die LagrangePolynome bilden eine Orthonormalbasis von P n bezüglich des Skalarproduktes hP; Qi WD

n X

P .ti /Q.ti /

iD0

für P; Q 2 P n . Da hP; Li i D P .ti /, gilt gerade P D

n X i D0

hP; Li iLi D

n X iD0

P .ti /Li D

n X

fi Li :

iD0

Die Lagrange-Darstellung (7.2) ist für praktische Zwecke zu rechenaufwändig, jedoch für viele theoretische Fragestellungen vorteilhaft. Ein Beispiel dafür ist die Bestimmung der Kondition des Interpolationsproblems. Satz 7.3. Seien a  t0 <    < tn  b paarweise verschiedene Knoten und Li n die zugehörigen Lagrange-Polynome. Dann ist die absolute Kondition abs der Polynominterpolation  D P . j t0 ; : : : ; tn / W C Œa; b ! P n

204

7 Interpolation und Approximation

bezüglich der Supremumsnorm die sogenannte Lebesgue-Konstante n X

abs D ƒn WD max

t2Œa;b

jLi n .t /j

iD0

für die Knoten t0 ; : : : ; tn . Beweis. Die Polynominterpolation ist linear, d. h.  0 .f /.g/ D .g/. Wir haben zu zeigen, dass k 0 k D ƒn . Für jede stetige Funktion f 2 C Œa; b gilt j.f /.t /j D j

n X

f .ti /Li n .t /j 

iD0

n X

jf .ti /j jLi n .t /j

iD0

D kf k1 max

t2Œa;b

n X

jLi n .t /j;

iD0

also abs  ƒn . Für die umgekehrte Richtung konstruieren wir eine Funktion g 2 C Œa; b, so dass n X j.g/. /j D kgk1 max jLi n .t /j t2Œa;b

iD0

für ein  2 Œa; b. Sei dazu  2 Œa; b die Stelle, an der das Maximum angenommen wird, d. h. n n X X jLi n . /j D max jLi n .t /j; i D0

t2Œa;b

iD0

und g 2 C Œa; b eine Funktion mit kgk1 D 1 und g.ti / D sgn Li . /, z. B. die stückweise linear Interpolierende zu den Punktion .ti ; sgn Li . //. Dann gilt wie gewünscht j.g/. /j D

n X

jLi n . /j D kgk1 max

i D0

also abs  ƒn und zusammen abs D ƒn .

t2Œa;b

n X

jLi n .t /j;

iD0



Man rechnet leicht nach, dass die Lebesgue-Konstante ƒn invariant unter affinen Transformationen ist (siehe Aufgabe 7.1) und daher nur von der relativen Lage der Knoten ti zueinander abhängt. In Tabelle 7.1 ist ƒn für äquidistante Knoten in Abhängigkeit von n aufgetragen. Offensichtlich wächst ƒn rasch über alle vernünftigen Grenzen. Dies gilt jedoch nicht für jede Knotenwahl. Als Gegenbeispiel sind in Tabelle 7.1 auch die entsprechenden Werte für die sogenannten Tschebyscheff-Knoten (siehe Kapitel 7.1.4)   2i C 1  für i D 0; : : : ; n ti D cos 2n C 2

205

7.1 Klassische Polynom-Interpolation

n 5 10 15 20

ƒn für äquidistante Knoten 3.106292 29.890695 512.052451 10986.533993

ƒn für Tschebyscheff-Knoten 2.104398 2.489430 2.727778 2.900825

Tabelle 7.1. Lebesgue-Konstante ƒn für äquidistante und für Tschebyscheff-Knoten

aufgelistet (wobei das Maximum über Œ1; 1 gebildet wurde). Sie wachsen nur sehr langsam.

7.1.2

Hermite-Interpolation und dividierte Differenzen

Ist man an dem Interpolationspolynom P nur an einer Stelle t interessiert, so erweist sich die rekursive Berechnung von P .t / als effektivste Methode. Sie geht von folgender einfacher Beobachtung aus, dem sogenannten Lemma von Aitken. Lemma 7.4. Für das Interpolationspolynom P D P .f j t0 ; : : : ; tn / gilt die Rekursionsformel P .f j t0 ; : : : ; tn / D

.t0  t /P .f j t1 ; : : : ; tn /  .tn  t /P .f j t0 ; : : : ; tn1 / : (7.3) t0  tn

Beweis. Sei '.t / definiert als der Ausdruck auf der rechten Seite von (7.3). Dann ist ' 2 P n und '.ti / D

.t0  ti /fi  .tn  ti /fi D fi t0  tn

für i D 1; : : : ; n  1.

Ebenso leicht folgt '.t0 / D f0 und '.tn / D fn und daher die Behauptung.



Die Interpolationspolynome für nur einen Stützpunkt sind nichts weiter als die Konstanten P .f j ti / D fi

für i D 0; : : : ; n.

Vereinfachen wir die Notation für festes t durch Pik WD P .f j tik ; : : : ; ti /.t /

für i  k,

so lässt sich der Wert Pnn D P .f j t0 ; : : : ; tn /.t / nach dem Schema von Neville be-

206

7 Interpolation und Approximation

rechnen P00 & P10 :: :

! P11 ::

:

Pn1;0 !    ! Pn1;n1 & Pn0

!    ! Pn;n1 ! Pnn

gemäß der Vorschrift Pi0 D fi Pik

für i D 0; : : : ; n; t  ti D Pi;k1 C .Pi;k1  Pi1;k1 / ti  tik

für i  k.

(7.4)

Beispiel 7.5. Berechnung von sin 62o aus den Stützpunkten .50o ; sin 50o /; .55o ; sin 55o /; : : : ; .70o ; sin 70o / mit dem Aitken-Neville-Algorithmus. ti 50o 55o 60o 65o 70o

sin ti 0:7660444 0:8191520 0:8660254 0:9063078 0:9396926

0:8935027 0:8847748 0:8830292 0:8821384 0:8829293 0:8829493 0:8862768 0:8829661 0:8829465 0:8829476

Die rekursive Struktur der Interpolationspolynome nach Lemma 7.4 lässt sich auch zur Bestimmung des gesamten Polynoms P .f j t0 ; : : : ; tn / nutzen. Dies gilt auch für die verallgemeinerte Interpolationsaufgabe, bei der neben den Funktionswerten f .ti / noch Ableitungen an den Knoten gegeben sind, der sogenannten Hermite-Interpolation. Dazu führen wir folgende praktische Notation ein. Wir lassen zu, dass in der Folge  WD ¹ti ºi D0;:::;n mit a D t0  t1      tn D b Knoten mehrfach auftreten. Sind an einem Knoten ti der Funktionswert f .ti / und die Ableitungen f 0 .ti /; : : : ; f .k/ .ti / bis zu einem Grad k gegeben, so soll ti in der Folge  gerade .k C 1/-mal auftauchen. Die gleichen Knoten numerieren wir mit di WD max¹j W ti D tij º

207

7.1 Klassische Polynom-Interpolation

von links nach rechts durch, z. B. t i t0 D t 1 < t2 D t 3 D t 4 < t5 < t6 D t 7 di 0

1

0

1

2

0

0

:

1

Definieren wir nun für i D 0; : : : ; n lineare Abbildungen i W C n Œa; b ! R;

i .f / WD f .di / .ti /;

so lautet die Aufgabe der Hermite-Interpolation: Suche ein Polynom P 2 P n , so dass i .P / D i .f /

für alle i D 0; : : : ; n.

(7.5)

Die Lösung P D P .f j t0 ; : : : ; tn / 2 P n der Interpolationsaufgabe (7.5) heißt Hermite-Interpolierende von f an den Knoten t0 ; : : : ; tn . Die Existenz und Eindeutigkeit folgt wie in Satz 7.1. Satz 7.6. Zu jeder Funktion f 2 C n Œa; b und jeder monotonen Folge a D t0  t1      tn D b von (nicht notwendig verschiedenen) Knoten gibt es genau ein Polynom P 2 P n , so dass i P D i f für alle i D 0; : : : ; n. Beweis. Die Abbildung  W P n ! RnC1 ;

P 7! .0 P; : : : ; n P /

ist offensichtlich linear und auch injektiv. Denn aus .P / D 0 folgt, dass P mindestens n C 1 Nullstellen besitzt (mit Vielfachheit gezählt), also das Nullpolynom ist. Da  dim P n D dim RnC1 D n C 1, folgt daraus auch wieder die Existenz. Sind alle Knoten paarweise verschieden, so erhalten wir die Lagrange-Interpolierende n X f .ti /Li P .f j t0 ; : : : ; tn / D iD0

zurück. Stimmen alle Knoten überein, t0 D t1 D    D tn , so ist das Interpolationspolynom die abgebrochene Taylor-Reihe um t D t0 , P .f j t0 ; : : : ; tn /.t / D

n X .t  t0 /j .j / f .t0 /; jŠ

j D0

auch Taylor-Interpolation genannt.

(7.6)

208

7 Interpolation und Approximation

Bemerkung 7.7. Eine wichtige Anwendung ist die sogenannte kubische HermiteInterpolation, bei der an zwei Knoten t0 ; t1 jeweils Funktionswerte f0 ; f1 und Ableitungen f00 ; f10 gegeben sind. Nach Satz 7.6 ist dadurch ein kubisches Polynom P 2 P 3 eindeutig bestimmt. Definiert man die Hermite-Polynome H03 ; : : : ; H33 2 P 3 durch H03 .t0 / D 1; H13 .t0 / D 0; H23 .t0 / D 0; H33 .t0 / D 0;

d 3 H .t0 / D 0; dt 0 d 3 H .t0 / D 1; dt 1 d 3 H .t0 / D 0; dt 2 d 3 H .t0 / D 0; dt 3

H03 .t1 / D 0; H13 .t1 / D 0; H23 .t1 / D 1; H33 .t1 / D 0;

d 3 H .t1 / D 0; dt 0 d 3 H .t1 / D 0; dt 1 d 3 H .t1 / D 0; dt 2 d 3 H .t1 / D 1; dt 3

so bilden die Polynome ¹H03 .t /; H13 .t /; H23 .t /; H33 .t /º eine Basis von P 3 , die sogenannte kubische Hermite-Basis bzgl. der Knoten t0 ; t1 . Das Hermite-Polynom zu den Werten ¹f0 ; f00 ; f1 ; f10 º lässt sich damit formal einfach angeben durch P .t / D f0 H03 .t / C f00 H13 .t / C f1 H23 .t / C f10 H33 .t /: Liegt eine ganze Reihe t0 ; : : : ; tn von Knoten vor mit Funktionswerten fi und Ableitungen fi0 , so können wir auf jedem Intervall Œti ; tiC1  die kubische Hermite-Interpolierende betrachten und diese Polynome an den Knoten aneinanderfügen. Aufgrund der Vorgaben ist klar, dass die zusammengesetzte Funktion C 1 -stetig ist. Diese Art der Interpolation heißt lokal kubische Hermite-Interpolation. Eine Anwendung haben wir bereits in Kapitel 4.4.2 gesehen. Bei der Berechnung einer Lösungskurve mit Hilfe einer tangentialen Fortsetzungsmethode erhalten wir gerade Lösungspunkte .xi ; i / zusammen mit den Steigungen xi0 . Um uns aus diesen diskreten Informationen einen Eindruck über die gesamte Lösungskurve zu verschaffen, haben wir die Punkte durch ihre lokal kubische Hermite-Interpolierende miteinander verbunden. Analog zum Lemma von Aitken gilt für zwei verschiedene Knoten ti ¤ tj folgende Rekursionsformel. Lemma 7.8. Unter der Voraussetzung ti ¤ tj gilt für das Hermite-Interpolationspolynom P D P .f j t0 ; : : : ; tn /, dass P D

tj ; : : : ; tn /  .tj  t /P .f j t1 ; : : : ; b t i ; : : : ; tn / .ti  t /P .f j t1 ; : : : ; b ; ti  tj

wobei b anzeigt, dass der entsprechende Knoten weggelassen wird („seinen Hut nehmen muss“).

209

7.1 Klassische Polynom-Interpolation

Beweis. Überprüfen der Interpolationseigenschaft durch Einsetzen der Definitionen.  Zur Darstellung des Interpolationspolynoms verwenden wir die sogenannte Newton-Basis !0 ; : : : ; !n des Polynomraums P n : !i .t / WD

i1 Y

.t  tj /;

!i 2 P i :

j D0

Die Koeffizienten bezüglich dieser Basis sind die sogenannten dividierten Differenzen, die wir nun definieren. Definition 7.9. Der führende Koeffizient an des Interpolationspolynoms P .f j t0 ; : : : ; tn /.t / D an t n C an1 t n1 C    C a0 von f zu den (nicht notwendig verschiedenen) Knoten t0  t1      tn heißt n-te dividierte Differenz von f an t0 ; : : : ; tn und wird mit Œt0 ; : : : ; tn f WD an bezeichnet. Satz 7.10. Für jede Funktion f 2 C n und .nicht notwendig verschiedene/ Knoten t0      tn ist n X Œt0 ; : : : ; ti f  !i P WD iD0

das Interpolationspolynom P .f j t0 ; : : : ; tn / von f an t0 ; : : : ; tn . Ist f 2 C nC1 , so gilt (7.7) f .t / D P .t / C Œt0 ; : : : ; tn ; t f  !nC1 .t /: Beweis. Wir zeigen die erste Behauptung durch Induktion über n. Für n D 0 ist die Aussage trivial. Sei also n > 0 und Pn1 WD P .f j t0 ; : : : ; tn1 / D

n1 X

Œt0 ; : : : ; ti f  !i

iD0

das Interpolationspolynom von f an t0 ; : : : ; tn1 . Dann gilt für das Interpolationspolynom Pn D P .f j t0 ; : : : ; tn / von f an t0 ; : : : ; tn , dass Pn .t / D Œt0 ; : : : ; tn f  t n C an1 t n1 C    C a0 D Œt0 ; : : : ; tn f  !n .t / C Qn1 .t /

210

7 Interpolation und Approximation

mit einem Polynom Qn1 2 P n1 . Nun erfüllt aber Qn1 D Pn  Œt0 ; : : : ; tn f  !n offensichtlich die Interpolationsbedingungen für t0 ; : : : ; tn1 , so dass Qn1 D Pn1 D

n1 X

Œt0 ; : : : ; ti f  !i :

iD0

Damit ist die erste Aussage des Satzes bewiesen. Insbesondere folgt, dass Pn C Œt0 ; : : : ; tn ; t f  !nC1 die Funktion f an den Knoten t0 ; : : : ; tn und t interpoliert und daher (7.7).



Aus den Eigenschaften der Hermite-Interpolation lassen sich sofort folgende Aussagen über die dividierten Differenzen von f ableiten. Lemma 7.11. Für die dividierten Differenzen Œt0 ; : : : ; tn f gilt .f 2 C n /: (i) Œt0 ; : : : ; tn P D 0 für alle P 2 P n1 . (ii) Für zusammenfallende Knoten t0 D    D tn gilt Œt0 ; : : : ; tn f D f .n/ .t0 /=nŠ:

(7.8)

(iii) Für ti ¤ tj gilt die Rekursionsformel Œt0 ; : : : ; tn f D

ti ; : : : ; tn f  Œt0 ; : : : ; b tj ; : : : ; tn f Œt0 ; : : : ; b : tj  ti

(7.9)

Beweis. Da der n-te Koeffizient eines Polynoms vom Grad kleiner oder gleich n  1 verschwindet, gilt (i). (ii) folgt aus der Taylor-Interpolation (7.6) und (iii) aus Lemma 7.8 und der Eindeutigkeit des führenden Koeffizienten.  Durch die Eigenschaften (ii) und (iii) lassen sich die dividierten Differenzen rekursiv aus den Funktionswerten und Ableitungen f .j / .ti / von f an den Knoten ti berechnen. Die Rekursionsformel benötigen wir auch im Beweis des folgenden Satzes, der eine überraschende Interpretation dividierter Differenzen bietet: Die n-te dividierte Differenz einer Funktion f 2 C n bezüglich der Knoten t0 ; : : : ; tn ist das Integral der n-ten Ableitung über den n-dimensionalen Standardsimplex n ° ± X †n WD s D .s0 ; : : : ; sn / 2 RnC1 W si D 1 und si  0 : iD0

211

7.1 Klassische Polynom-Interpolation

Satz 7.12 (Hermite-Genocchi-Formel). Für die n-te dividierte Differenz einer n-mal stetig differenzierbaren Funktion f 2 C n gilt Z n X

(7.10) Œt0 ; : : : ; tn f D f .n/ si ti ds: iD0

†n

Beweis. Wir beweisen die Formel durch Induktion über n. Für n D 0 ist die Aussage trivial. Wir schließen von n auf n C 1. Wenn alle Knoten zusammenfallen, folgt die Behauptung aus (7.8). Wir können also ohne Einschränkung davon ausgehen, dass t0 ¤ tnC1 . Dann gilt Z Z n n X



X .nC1/ f si ti ds D f .nC1/ t0 C si .ti  t0 / ds nC1 P iD0

i D0

nC1 P

si D1

Z

1

n P

ZiD1

iD1

si

D n P iD1

D

si 1

n

X f .nC1/ t0 C si .ti  t0 / C snC1 .tnC1  t0 / ds iD1

s0 D0

1 tnC1  t0

Z n P iD1

iD1 si 1

°

n

X f .n/ tnC1 C si .ti  tnC1 / iD1

si 1

n

± X  f .n/ t0 C si .ti  t0 / ds iD1

  1 D Œt1 ; : : : ; tnC1 f  Œt0 ; : : : ; tn f tnC1  t0 D Œt0 ; : : : ; tnC1 f:



Korollar 7.13. Die durch die n-te dividierte Differenz einer Funktion f 2 C n gegebene Abbildung g W RnC1 ! R mit g.t0 ; : : : ; tn / WD Œt0 ; : : : ; tn f ist stetig in ihren Argumenten ti . Ferner existiert für alle Knoten t0      tn ein  2 Œt0 ; tn , so dass f .n/ . / : (7.11) Œt0 ; : : : ; tn f D nŠ Beweis. Die Stetigkeit ist in der Integraldarstellung (7.10) offensichtlich und (7.11) folgt aus dem Mittelwertsatz der Integralrechnung, da das Volumen des n-dimensio nalen Standardsimplex gerade vol.†n / D 1=nŠ ist.

212

7 Interpolation und Approximation

Für paarweise verschiedene Knoten t0 <    < tn lassen sich die dividierten Differenzen aufgrund der Rekursionsformel (7.9) ähnlich wie beim Schema von Neville anordnen: f0 D Œt0 f & f1 D Œt1 f :: :

! Œt0 ; t1 f ::

fn1 D Œtn1 f !



:

! Œt0 ; : : : ; tn1 f &

fn D Œtn f

!



! Œt1 ; : : : ; tn f

! Œt0 ; : : : ; tn f

Beispiel 7.14. Wir berechnen das Interpolationspolynom zu den Werten ti 0 1 2 3 fi 1 2 0 1 mit Hilfe der Newtonschen dividierten Differenzen: f Œt0  D 1 f Œt1  D 2

f Œt0 ; t1  D 1

f Œt2  D 0

f Œt1 ; t2  D 2

f Œt0 ; t1 ; t2  D 3=2

f Œt3  D 1

f Œt2 ; t3  D 1

f Œt1 ; t2 ; t3  D 3=2

f Œt0 ; t1 ; t2 ; t3  D 1;

also .˛0 ; ˛1 ; ˛2 ; ˛3 / D .1; 1; 3=2; 1/: Das Interpolationspolynom ist daher P .t / D 1 C 1.t  0/ C .3=2/.t  0/.t  1/ C 1.t  0/.t  1/.t  2/ D t 3  4:5 t 2 C 4:5 t C 1: Eine weitere wichtige Eigenschaft dividierter Differenzen ist die folgende LeibnizRegel. Lemma 7.15. Seien g; h 2 C n und t0  t1      tn eine beliebige Knotenfolge. Dann gilt n X Œt0 ; : : : ; ti g  Œti ; : : : ; tn h: Œt0 ; : : : ; tn gh D iD0

213

7.1 Klassische Polynom-Interpolation

Beweis. Seien die Knoten t0 ; : : : ; tn zunächst paarweise verschieden. Setzen wir iY 1

!i .t / WD

.t  tk /

und

n Y

!Nj .t / WD

.t  tl /;

lDj C1

kD0

so sind nach Satz 7.10 die Interpolationspolynome P; Q 2 P n von g bzw. h durch P D

n X Œt0 ; : : : ; ti g  !i

und

QD

i D0

n X

Œtj ; : : : ; tn h  !Nj

j D0

gegeben. Daher interpoliert das Produkt n X

PQ D

Œt0 ; : : : ; ti g Œtj ; : : : ; tn h  !i !Nj

i;j D0

die Funktion f WD gh in t0 ; : : : ; tn . Da !i .tk /!Nj .tk / D 0 für alle k und i > j , ist daher n X Œt0 ; : : : ; ti g Œtj ; : : : ; tn h  !i !Nj 2 P n F WD i;j D0

i j

das Interpolationspolynom von gh in t0 ; : : : ; tn . Der höchste Koeffizient ist gerade wie behauptet n X Œt0 ; : : : ; ti g Œti ; : : : ; tn h: i D0

Für beliebige, nicht notwendig verschiedene Knoten ti folgt die Behauptung nun aus  der Stetigkeit der dividierten Differenzen in den Knoten ti .

7.1.3

Approximationsfehler

Wir wollen uns nun der zweiten Forderung, der Approximationseigenschaft, zuwenden und analysieren, inwieweit die Polynome P .f j t0 ; : : : ; tn / die ursprüngliche Funktion f approximieren. Mit Hilfe der oben hergeleiteten Eigenschaften dividierter Differenzen ist es einfach, eine Darstellung des Approximationsfehlers zu finden. Satz 7.16. Falls f 2 C nC1 , so gilt für den Approximationsfehler der HermiteInterpolierenden P .f j t0 ; : : : ; tn / und ti ; t 2 Œa; b, dass f .t /  P .f j t0 ; : : : ; tn /.t / D für ein  D  .t / 2 a; bŒ.

f .nC1/ . / !nC1 .t / .n C 1/Š

(7.12)

214

7 Interpolation und Approximation

Beweis. Nach Satz 7.10 und Satz 7.13 gilt für P WD P .f j t0 ; : : : ; tn /, dass f .t /  P .t / D Œt0 ; : : : ; tn ; t f  !nC1 .t / D

f .nC1/ . / !nC1 .t / .n C 1/Š

für ein  2 a; bŒ.



Beispiel 7.17. Im Fall der Taylor-Interpolation (7.6), d. h. t0 D    D tn , ist die Fehlerformel (7.12) gerade das Lagrangesche Restglied der Taylorentwicklung f .t /  P .f j t0 ; : : : ; tn /.t / D

f .nC1/ . / .t  t0 /nC1 : .n C 1/Š

Betrachten wir die Funktionenklasse ® ¯ F WD f 2 C nC1 Œa; b W sup jf nC1 . /j  M.n C 1/Š 2Œa;b

für eine Konstante M > 0, so hängt der Approximationsfehler offenbar entscheidend von der Wahl der Knoten t0 ; : : : ; tn in Form von !nC1 .t / D .t  t0 /    .t  tn /

(7.13)

ab. Wir werden im nächsten Abschnitt zeigen (siehe Beispiel 7.20), dass sich der Ausdruck (7.13) für paarweise verschiedene Knoten auf einem Intervall Œa; b minimieren lässt, max j!nC1 .t /j D min; t2Œa;b

indem man für die Knoten ti wieder die Tschebyscheff-Knoten wählt. Kommen wir zurück zu der Frage, ob die Polynominterpolation die Approximationseigenschaft erfüllt. Für lediglich stetige Funktionen f 2 C Œa; b und die Supremumsnorm kf k D sup t2Œa;b jf .t /j kann der Approximationsfehler prinzipiell über alle Schranken wachsen. Genauer existiert nach Faber für jede Folge fTk g von Stützstellensätzen Tk D ftk;0 ; : : : ; tk;nk g  Œa; b eine stetige Funktion f 2 C Œa; b, so dass die Folge fPk g der zu den Tk gehörenden Interpolationspolynome nicht gleichmäßig gegen f konvergiert.

7.1.4

Minimax-Eigenschaft der Tschebyscheff-Polynome

Wir haben im vorigen Kapitel wiederholt die sogenannten Tschebyscheff-Knoten erwähnt, für die die Polynominterpolation besonders günstige Eigenschaften hat (beschränkte Kondition bzw. optimale Approximation von f über der Klasse F ). Die Tschebyscheff-Knoten sind die Nullstellen der Tschebyscheff-Polynome, die wir in Kapitel 6.1.1 kennengelernt haben. Sowohl bei der Untersuchung des Approximationsfehlers als auch bei der Konditionsanalyse der Polynominterpolation sind wir auf

215

7.1 Klassische Polynom-Interpolation

folgendes Approximationsproblem gestoßen: Gesucht ist das Polynom Pn 2 P n vom Grad deg P D n mit führendem Koeffizienten 1 und der kleinsten Supremumsnorm über einem Intervall Œa; b, d. h. max jPn .t /j D min :

(7.14)

t2Œa;b

Wir werden nun sehen, dass die Tschebyscheff-Polynome Tn , die wir bereits als Ortho1 gonalpolynome zur Gewichtsfunktion !.x/ D .1  x 2 / 2 über Œ1; 1 kennengelernt haben, diese sogenannte Minimax-Aufgabe lösen (bis auf einen skalaren Faktor und eine affine Transformation). Dazu reduzieren wir das Problem zunächst auf das den Tschebyscheff-Polynomen angemessene Intervall Œ1; 1 mit Hilfe der affinen Abbildung Š

x W Œa; b ! Œ1; 1; t 7! x D x.t / D 2

2t  a  b t a 1D ba ba

Š

mit der Umkehrabbildung t W Œ1; 1 ! Œa; b, t D t .x/ D

1Cx 1x aC b: 2 2

Ist Pn 2 P n mit deg P D n und führendem Koeffizienten 1 die Lösung des Minimaxproblems max jPn .x/j D min; x2Œ1;1

so ist POn .t / WD Pn .t .x// die Lösung des ursprünglichen Problems (7.14) mit führendem Koeffizienten 2n =.b  a/n . Wir hatten die Tschebyscheff-Polynome in Beispiel 6.3 eingeführt durch Tn .x/ D cos.n arccos x/ für x 2 Œ1; 1 und allgemein für x 2 R durch die Drei-Term-Rekursion Tk .x/ D 2xTk1 .x/  Tk2 .x/;

T0 .x/ D 1;

T1 .x/ D x:

Die folgenden Eigenschaften der Tschebyscheff-Polynome sind offensichtlich oder leicht nachzurechnen. Insbesondere können wir die nach Satz 6.5 einfachen reellen Nullstellen x1 ; : : : ; xn von Tn .x/ direkt angeben (siehe Eigenschaft 7. unten). Bemerkung 7.18. 1. Die Tschebyscheff-Polynome haben ganzzahlige Koeffizienten. 2. Der höchste Koeffizient von Tn ist an D 2n1 . 3. Tn ist eine gerade Funktion, falls n gerade, und eine ungerade, falls n ungerade ist.

216

7 Interpolation und Approximation 1.5

+

T0

1

T1

0.5

T4

0

T3

-0.5 -1 -1.5

T2 +

-1 -0.8 -0.6 -0.4 -0.2

0

0.2 0.4 0.6 0.8

1

Abbildung 7.3. Tschebyscheff-Polynome T0 ; : : : ; T4

4. Tn .1/ D 1; Tn .1/ D .1/n . 5. jTn .x/j  1 für x 2 Œ1; 1. 6. jTn .x/j nimmt den Wert 1 an den sogenannten Tschebyscheff-Abszissen xN k D cos.k=n/ an, d. h. jTn .x/j D 1 ” x D xN k D cos

k n

für ein k D 0; : : : ; n.

7. Die Nullstellen von Tn .x/ sind  xk WD cos

2k  1  2n

 für k D 1; : : : ; n.

8. Es gilt 8 ˆ falls 1  x  1, 1 H) Pn .xN 2kC1 /  Tn .xN 2kC1 / > 0; d. h. die Differenz Tn  Pn ist an den n C 1 Tschebyscheff-Abszissen abwechselnd positiv und negativ und hat daher mindestens n Nullstellen in Œ1; 1 im Widerspruch zu 0 ¤ Tn  Pn 2 P n1 . Also muss es für jedes Polynom Pn 2 P n mit führendem Koeffizienten an D 2n1 ein x 2 Œ1; 1 geben, so dass jPn .x/j  1. Für ein beliebiges Polynom Pn 2 P n mit führendem Koeffizienten an ¤ 0 folgt die Behauptung n1 daraus, dass PQn WD 2an Pn ein Polynom mit führendem Koeffizienten aQ n D 2n1 ist.  Beispiel 7.20. Bei der Minimierung des Approximationsfehlers der Polynominterpolation suchen wir die Knoten t0 ; : : : ; tn 2 Œa; b, die das Minimaxproblem max j!.t /j D max j.t  t0 /    .t  tn /j D min

t2Œa;b

t2Œa;b

lösen. Anders formuliert gilt es, das normierte Polynom !.t / 2 P nC1 mit den reellen Nullstellen t0 ; : : : ; tn zu bestimmen, für das max t2Œa;b j!.t /j D min. Nach Satz 7.19 ist dies für das Intervall Œa; b D Œ1; 1 gerade das .nC1/-te Tschebyscheff-Polynom !.t / D TnC1 .t /, dessen Nullstellen   2i C 1 ti D cos  für i D 0; : : : ; n 2n C 2 gerade die Tschebyscheff-Knoten sind. Wir wollen nun noch eine zweite Minimax-Eigenschaft der Tschebyscheff-Polynome ableiten, die uns in Kapitel 8 gute Dienste leisten wird. Satz 7.21. Sei Œa; b ein beliebiges Intervall und t0 62 Œa; b. Dann ist das modifizierte Tschebyscheff-Polynom Tn .x.t // TOn .t / WD Tn .x.t0 //

ta mit x.t / WD 2 ba 1

218

7 Interpolation und Approximation

minimal bzgl. der Maximumnorm kf k1 D max t2Œa;b jf .t /j unter den Polynomen Pn 2 P n mit Pn .t0 / D 1. Beweis. Da alle Nullstellen von Tn .x.t // in Œa; b liegen, ist c WD Tn .x.t0 // ¤ 0 und TOn wohldefiniert. Ferner ist TOn .t0 / D 1 und jTOn .t /j  jcj1 für alle t 2 Œa; b. Nehmen wir an, es gebe ein Polynom Pn 2 P n , so dass Pn .t0 / D 1 und jPn .t /j < jcj1 für alle t 2 Œa; b. Dann ist t0 eine Nullstelle der Differenz TOn  Pn , d. h. TOn .t /  Pn .t / D Qn1 .t /.t  t0 /

für ein Polynom Qn1 2 P n1 .

Wie im Beweis von Satz 7.19 hat Qn1 an den Tschebyscheff-Abszissen tk D t .xN k / wechselndes Vorzeichen für k D 0; : : : ; n und daher mindestens n verschiedene Null stellen in Œa; b. Dies steht im Widerspruch zu 0 ¤ Qn1 2 P n1 .

7.2

Trigonometrische Interpolation

In diesem Abschnitt wollen wir periodische Funktionen durch trigonometrische Polynome, d. h. Linearkombinationen von trigonometrischen Funktionen, interpolieren. Diese Klasse gehört neben den Polynomen zu den wichtigsten für die Interpolation, nicht zuletzt, weil es einen äußerst effektiven Algorithmus zur Lösung der Interpolationsaufgabe, die sogenannte schnelle Fourier-Transformation, gibt. Wir haben bereits in Beispiel 6.20 den Algorithmus von Goertzel und Reinsch zur Auswertung eines trigonometrischen Polynoms fn .t / D

n n X a0 X C .aj cos jt C bj sin jt / D cj e ijt 2 j D1

j Dn

kennengelernt. Wir definieren zunächst die N -dimensionalen Räume trigonometrischer Polynome sowohl im Reellen wie auch im Komplexen. Im reellen Fall ist dabei stets eine Fallunterscheidung für gerade bzw. ungerade N notwendig. Daher werden wir die folgenden Überlegungen meist im Komplexen durchführen. Definition 7.22. Mit T N C bezeichnen wir den N -dimensionalen Raum der komplexen trigonometrischen Polynome N .t / D

N 1 X

cj e ijt

mit cj 2 C

j D0

vom Grad N  1. Die N -dimensionalen Räume T N R enthalten alle reellen trigonometrischen Polynome N .t / der Form a0 X C .aj cos jt C bj sin jt / 2 n

2nC1 .t / D

j D1

(7.16)

219

7.2 Trigonometrische Interpolation

für ungerade N D 2n C 1 bzw. a0 X an C cos nt .aj cos jt C bj sin jt / C 2 2 n1

2n .t / D

(7.17)

j D1

für gerade N D 2n, wobei aj ; bj 2 R. Die lineare Unabhängigkeit der jeweiligen Basisfunktionen fe ijt g bzw. f1; cos jt; sin jt g garantiert uns wie bei der Polynominterpolation, dass es zu N Stützpunkten .tj ; fj / mit j D 0; : : : ; N  1 genau ein interpolierendes trigonometrischen Polynom N N 2 T N C bzw. N 2 T R gibt, so dass N .tj / D fj

für j D 0; : : : ; N  1.

Dabei sind die Stützwerte fj natürlich im einen Fall komplex und im anderen reell. Für äquidistante Knoten tj D 2j=N;

j D 0; : : : ; N  1;

auf die wir uns hier beschränken, führen wir die N -ten Einheitswurzeln !j WD e itj D e 2 ij=N ein. Damit erhalten wir für die Koeffizienten cj der komplexen trigonometrischen Interpolierenden N 2 T N C das Vandermonde-System 2 1 6 6 :: 6: 4 1 „

30 1 0 1 f0 : : : !0N 1 c0 7B C B C :: 7 B :: C B :: C 7B : C D B : C: : 5@ A @ A 2 N 1 : : : ! c f !N 1 !N N 1 N 1 1 N 1 ƒ‚ … DW VN 1

!0 :: :

!02 :: :

Liegt die P Lösung einer reellen Interpolationsaufgabe, fk 2 R, in komplexer Form 1 cj e ijt vor, so können wir daraus leicht die reellen Koeffizienten aj N .t / D jND0 und bj des reellen trigonometrischen Polynoms berechnen. Lemma 7.23. Ist das .komplexe/ trigonometrische Polynom N .t / D

N 1 X

cj e ijt

j D0

reell, d. h. N .t / 2 R für alle t , so gilt N 2 TRN mit den Koeffizienten aj D 2