Lineare Modelle: Algebraische Grundlagen und statistische Anwendungen [Reprint 2018 ed.] 9783486786200, 9783486229103

Citation preview

Lehr- und Handbücher der Statistik Herausgegeben von Universitätsprofessor Dr. Rainer Schlittgen

Lineare Modelle Algebraische Grundlagen und statistische Anwendungen

Von

Univ.-Prof. Dr.-Ing. Wilhelm Caspary und

Univ.-Prof. Dr. rer. nat. Klaus Wichmann

R. Oldenbourg Verlag München Wien

Die Deutsche Bibliothek — CIP-Einheitsaufnahme Caspary, Wilhelm: Lineare Modelle : algebraische Grundlagen und statistische Anwendungen / von Wilhelm Caspary und Klaus Wichmann. München ;Wien : Oldenbourg, 1994 (Lehr- und Handbücher der Statistik) ISBN 3 - 4 8 6 - 2 2 9 1 0 - 9 NE: Wichmann, Klaus:

© 1994 R. Oldenbourg Verlag GmbH, München Das Werk außerhalb lässig und filmungen

einschließlich aller Abbildungen ist urheberrechtlich geschützt. Jede Verwertung der Grenzen des Urheberrechtsgesetzes ist ohne Zustimmung des Verlages unzustrafbar. Das gilt insbesondere für Vervielfältigungen, Übersetzungen, Mikroverund die Einspeicherung und Bearbeitung in elektronischen Systemen.

Gesamtherstellung: R. Oldenbourg Graphische Betriebe GmbH, München

ISBN 3-486-22910-9

V

INHALTSVERZEICHNIS Vorwort

XI

1

VEKTOREN UND MATRIZEN

1

1.1

VEKTOREN UND VEKTORRÄUME

1

1.1.1

Reelle Vektorräume

1

1.1.2

Basis und Dimension

2

1.1.3

Lineare Abbildungen zwischen Vektorräumen

4

1.1.4

Euklidische Vektorräume

4

1.1.5

Summe und Zerlegung von Vektorräumen

5

1.1.6

Projektionen

8

1.1.7

Lineare Mannigfaltigkeiten

10

1.2

MATRIZEN

12

1.2.1

Addition und skalare Multiplikation

12

1.2.2

Matrizenprodukt

13

1.2.3

Quadratische Matrizen und reguläre Inverse

14

1.2.4

Rechenregeln der Matrizenalgebra

15

1.2.5

Partitionierung in Submatrizen

16

1.2.6

Der Rang als charakteristische Matrixgröße

17

1.2.7

Elementare Umformungen

19

1.2.8

Darstellung von linearen Abbildungen durch Matrizen

21

1.2.9

Äquivalenz- und Orthogonaltransformation

23

1.2.10

Zeilenraum, Spaltenraum und Nullraum

24

1.2.11

Die Matrix A x

25

1.2.12

Lineare Gleichungssysteme

26

1.2.13

Die MPB-Inverse

27

1.2.14

Determinante und Spur einer quadratischen Matrix

29

1.2.15

Die Neumannsche Reihe

32

1.3

EIGENWERTE UND MATRIXZERLEGUNGEN

34

1.3.1

Spezielles Eigenwertproblem

34

1.3.2

Algebraische und geometrische Vielfachheit

35

1.3.3

Eigenwerte rationaler Matrixfunktionen

36

1.3.4

Invarianz der Eigenwerte bei Ähnlichkeitstransformationen

37

1.3.5

Eigenwerte symmetrischer Matrizen

39

1.3.6

Spektralzerlegung

40

1.3.7

Verallgemeinertes Eigenwertproblem

41

1.3.8

Kanonische Form und Normalform

41

1.3.9

LR-Zerlegung

42

1.3.10

Singulärwertzerlegung

43

1.3.11

Cholesky-Zerlegung

45

VI 1.4

QUADRATISCHE FORMEN

47

1.4.1

Nichtnegativ definite quadratische Formen

47

1.4.2

Hauptachsentransformation definiter Matrizen

49

1.4.3

Eigenwerte nichtnegativ definiter Matrizen

50

1.4.4

Zerlegung quadratischer Formen

51

1.4.5

Bedingungen für die Elemente definiter Matrizen

53

1.4.6

Abschätzung der Eigenwerte symmetrischer Matrizen

54

1.4.7

Zerlegung der Spaltenräume von Summen und Produkten

56

1.5

VEKTOR- UND MATRIXNORMEN

60

1.5.1

Normierte Vektorräume

60

1.5.2

Kompatibilität von Matrixnormen mit Vektomormen

61

1.5.3

Eigenschaften und Anwendungen von Normen

63

1.5.4

Kondition einer Matrix

65

1.6

PROJEKTIONEN

68

1.6.1

Projektionseigenschaft idempotenter Matrizen

68

1.6.2

Vorgegebene Projektionsrichtungen

68

1.6.3

M-orthogonale Projektionen

70

1.6.4

Abstandsminimierung in seminormierten Räumen

72

1.6.5

Q - und Q _ 1 -orthogonale Projektionen im £ m

75

1.7

DIFFERENTIATION VON MATRIZEN

78

2

INVERSE MATRIZEN

81

2.1

INVERSEN REGULÄRER MATRIZEN

81

2.1.1

Inversen von partitionierten Matrizen

81

2.1.2

Links- und Rechtsinverse

82

2.2

DIE ALLGEMEINE INVERSE

84

2.2.1

Definition und Rangeigenschaften

84

2.2.2

g-Inverse bei vorgegebener LR-Zerlegung

84

2.2.3

Unbestimmtheit generalisierter Inversen

85

2.2.4

Einfache Form einer g-Inversen

86

2.2.5

Reflexive g-Inverse

87

2.2.6

Gesamtheit der g-Inversen

88

2.2.7

Projektoren

88

2.2.8

Rechenregeln

89

2.2.9

Projektionen auf Spaltenräume beliebiger Matrizen

91

2.2.10

Lineare Gleichungssysteme

93

2.2.11

Gleichungssysteme mit Matrizen als Unbekannten

94

2.3

G-INVERSEN NICHTNEGATIV DEFINITER MATRIZEN

97

2.3.1

Invarianz bezüglich der Wahl der g-Inversen

97

2.3.2

Projektoren in seminormierten Spaltenräumen

98

2.3.3

Nichtnegativ definite g-Inversen

98

VII 2.3.4

g-Inversen von Summen nichtnegativ definiter Matrizen

2.4

DIE MKQ - INVERSE (Methode der Kleinsten Quadrate)

99 105

2.4.1

Normalgleichungen für inkonsistente Gleichungssysteme

105

2.4.2

Existenz der MKQ-Inversen

105

2.4.3

Menge aller MKQ-Inversen

107

2.4.4

MKQ-Lösungen inkonsistenter Gleichungssysteme

108

2.4.5

Reflexive MKQ-Inversen

109

2.5

DIE MNX-INVERSE (Minimale N - Norm von i )

112

2.5.1

Existenz und Eigenschaften von MNX-Inversen

112

2.5.2

Lagrange - Multiplikatorenmethode

113

2.5.3

Menge aller MNX-Inversen einer mXn-Matrix

114

2.5.4

Reflexive MNX-Inversen

115

2.5.5

Zusammenhang zwischen MKQ- und MNX-Inversen

117

2.6

DIE MPB - INVERSE (Moore-Eenrose-Bjerhammar-Inverse)

119

2.6.1

Definition und Bedingungsgleichungen

119

2.6.2

Darstellungen für A + MN Die Pseudoinverse A+

120

2.6.3 2.7

G-INVERSEN PARTITIONIERTER MATRIZEN

127

2.7.1

1X2 - Partitionierung

127

2.7.2

Nichtnegativ definite 2X2-Partitionen

129

2.7.3

2x2-Partitionen (Aijk) mit M 2 2 = O

131

2.7.4

Berechnung von A + durch sukzessive Partitionierung

137

Literatur

139

3

BERECHNUNG VON MPB-INVERSEN

142

3.1

VORBETRACHTUNGEN ZU NUMERIK, KONDITION UND RANG

142

3.1.1

Schlecht konditionierte Gleichungssysteme

143

3.1.2

Störungen und Rundungsfehler

145

3.2

GAUSSSCHE ELIMINATION

148

3.3

HOUSEHOLDER TRANSFORMATION

151

3.4

GRAM - SCHMIDT - ORTHOGONALIS IERUNG

156

3.5

SINGULÄRWERT - ZERLEGUNG

159

3.6

REGULARISIERUNG DURCH RÄNDERN

161

3.7

REGULARISIERUNG DES PRODUKTES a'A

164

3.8

INVERSION EINER REGULÄREN BLOCKMATRIX

169

3.9

122

+

REKURSIVE BERECHNUNG VON A

171

Literatur

172

VIII

4

STATISTISCHE GRUNDLAGEN

175

4.1

NORMALVERTEILTE ZUFALLSVEKTOREN

175

4.1.1

Wahrscheinlichkeitsdichte und Verteilungsfunktion

175

4.1.2

Rechenregeln für die Erwartungswertbildung

179

4.1.3

N-dimensionale Normalverteilung

180

4.1.4

Testverteilungen

184

4.2

DIE SINGULARE NORMALVERTEILUNG

188

4.3

VERTEILUNG QUADRATISCHER FORMEN

191

4.3.1

Erwartungswert und Spur quadratischer Formen

191

4.3.2

Chi-Quadrat Verteilungen quadratischer Formen

192

4.3.3

Stochastische Unabhängigkeit quadratischer Formen

194

Literatur

196

5

LINEARE MODELLE

198

5.1

DAS GAUSS-MARKOV MODELL

199

5.1.1

Modelldefinition

199

5.1.2

Der Beobachtungs- und der Fehlerraum

201

5.2

GAUSS-MARKOV MODELL MIT RESTRIKTIONEN

203

5.3

MODELLE MIT ZUFALLSPARAMETERN

205

5.4

DAS STOCHASTISCHE MODELL

208 211

5.5

MODELLTRANSFORMATIONEN

5.5.1

Homogenisierung des Modells

211

5.5.2

Äquivalenz des QSLM zum BRLM

213

5.6

SCHÄTZBARE FUNKTIONEN IN LINEAREN MODELLEN

215

5.6.1

Schätzbarkeit des Parametervektors

215

5.6.2

Schätzbare Linearformen der Parameter

216

5.6.3

Charakterisierung von Schätzern minimaler Varianz

218

5.7

DIE LINEARE HYPOTHESE

222

5.7.1

Testbare Hypothesen in linearen Modellen

222

5.7.2

Die normale lineare Hypothese

224

5.7.3

Quadratische Formen bei richtiger Hypothese

226

Literatur

227

MODELLE MIT REGULÄRER VARIANZ-KOVARIANZ MATRIX Z

231

6 6.1

SCHÄTZBARE LINEARFORMEN

233

6.1.1

Charakterisierung schätzbarer Linearformen

233

6.1.2

Schätzbarkeit linearer Transformationen

236

6.1.3

Schätzen des Parametervektors

237

IX 6.1.4

Restriktionen zur Schätzung der Parameter im ASLM

238

6.1.5

Referenzsystem für die Parameterschätzung

241

6.1.6

Schätzung der Modellkomponenten

243

6.1.7

Linearformen mit verschwindendem Erwartungswert

246

6.2

SCHÄTZUNG DES VARIANZFAKTORS

248

6.2.1

Erwartungstreue Schätzer des Varianzfaktors

248

6.2.2

Optimale Schätzung des Varianzfaktors

249

6.3

MODELLE MIT RESTRIKTIONEN

253

6.3.1

Schätzbare Linearformen

253

6.3.2

Reparametrisierung

259

6.3.3

Separierung der Restriktionen

262

6.3.4

Äußere Restriktionen im BASLM

265

6.3.5

Innere Restriktionen

269

6.3.6

Innere und äußere Restriktionen

273

6.3.7

Schätzung der Modellkomponenten

277

6.3.8

Varianzfaktor im Modell mit Restriktionen

282

6.4

HYPOTHESENTESTS BEI REGULÄRER VKM E

286

6.4.1

Schätzung bei linearer Hypothese

286

6.4.2

Teststatistik für die normale lineare Hypothese

289

6.4.3

Projektionsdarstellung

292

6.4.4

Lineare Hypothese in Modellen mit Restriktionen

295

7

MODELLE MIT SINGULÄRER VARIANZ-KOVARIANZ-MATRIX E

300

7.1

ANALYSE DES MODELLRAUMES

300

7.1.1

Die Modellraummatrix

301

7.1.2

Darstellungen des Modellraumes

301

7.1.3

T~-orthogonale Zerlegung des Modellraumes

303

7.1.4

T -orthogonale Projektoren im Modellraum

305

7.2

SCHÄTZBARE LINEARFORMEN

311

7.2.1

Herleitung des Schätzers nach der Lagrangeschen Methode

311

7.2.2

Charakterisierung linearer Schätzer

313

7.2.3

Projektionsdarstellung des Schätzers

314

7.2.4

Lineare Parametertransformationen

315

7.2.5

Schätzung des Parametervektors

316

7.2.6

Die Methode der kleinsten Quadrate

320

7.2.7

Schätzer der Modellkomponenten

326

7.3

SCHÄTZUNG DES VARIANZFAKTORS

331

7.4

RESTRIKTIONEN

336

7.4.1

Der Parameterraum

336

7.4.2

Schätzbare Funktionen

339

X 7.4.3

Reparametrisierung

343

7.4.4

Äußere und innere Restriktionen

345

7.4.5

Schätzung der Modellkomponenten

352

7.4.6

Quadratische Form und Varianzfaktor

357

7.5

TEST LINEARER HYPOTHESEN BEI SINGULÄRER VKM

362

7.5.1

Schätzung bei linearer Hypothese

362

7.5.2

Teststatistiken bei singulärer VKM

366

7.5.3

Geometrische Deutung der linearen Hypothese

367

Literatur (zu 6 und 7)

369

Monographien und Lehrbücher

371

SACHWORTVERZEICHNIS

374

LISTE VON SYMBOLEN UND ABKÜRZUNGEN

380

XI VORWORT Aus langjähriger Erfahrung in der universitären Lehre auf den Gebieten angewandte Mathematik, Statistik und Meßdatenverarbeitung für Ingenieure wissen die Autoren, daß aus Zeitmangel viele wichtige Grundlagen nur gestreift werden können und daß in den anwendungsbezogenen Vorlesungen nur exemplarisch vorgegangen werden kann. Als Folge davon erfordert jede wissenschaftliche und praktische Spezialisierung oder Vertiefung ein intensives Selbststudium als Vorbereitung, welches aber die Verfügbarkeit geeigneter Studienunterlagen voraussetzt. Die Autoren haben sich die Aufgabe gestellt, die für das Schätzen und Testen in linearen Modellen erforderlichen algebraischen Grundlagen umfassend darzustellen, das statistische Werkzeug zusammenzutragen und das Arbeiten mit unterschiedlichen Modellvarianten ausführlich zu behandeln. Sie haben sich dabei von der Zielsetzung leiten lassen, daß das Buch sowohl für Studenten zur vorlesungsbegleitenden Lektüre und zur Vorbereitung auf einschlägige Diplom- und Magisterarbeiten geeignet sein soll als auch zum Selbststudium für in Forschung und Praxis tätige Wissenschaftler. Aus diesem Grunde wurde eine geschlossene Behandlung der Thematik einschließlich der Grundlagen angestrebt, damit ohne Rückgriff auf weitere Literatur das nötige Wissen erarbeitet werden kann. Um der großen Spannweite des Einsatzgebietes linearer Modelle, die von den Geisteswissenschaften über Gesellschafts- und Naturwissenschaften bis zu den Ingenieurwissenschaften reicht, gerecht zu werden, wurde eine weitgehend anwendungsneutrale Behandlung und Darstellung des Stoffes gewählt. Die ersten drei Kapitel sind der linearen Algebra gewidmet. Die Stoffauswahl orientiert sich an dem, was zum Verstehen linearer Modelle nötig ist und was für die praktische Durchführung von Schätz- und Testverfahren gebraucht wird. Der Aufbau wurde so gestaltet, daß dieser Teil eine geschlossene Darstellung aller zur Lösung linearer Gleichungssysteme wichtigen Grundlagen und Rechenverfahren enthält. Einen gewissen Schwerpunkt bildet die verallgemeinerte Inversion von Matrizen, für die auch die gängigen numerischen Verfahren mit durchgerechneten Beispielen angegeben sind. Ferner sind die Projektionsmatrizen recht ausführlich behandelt worden, die ein sehr vielseitiges und elegantes Werkzeug beim Arbeiten mit linearen Modellen darstellen. Die relative breite Darstellung der algebraischen Grundlagen, die nahezu die Hälfte des Buches einnehmen, soll es den Studenten höherer Semester und solchen von weniger mathematisch orientierten Studiengängen erleichtern, ihre Defizite auf diesem Gebiet abzubauen, die nach Erfahrung der Autoren regelmäßig erkennbar werden, wenn im Rahmen von Seminar- und Abschlußarbeiten statistische Methoden eingesetzt werden müssen. Die gewählte Schreibweise Ax = y für lineare Gleichungssysteme entspricht der in der numerischen Mathematik üblichen Bezeichnung. Sie wurde auch in den folgenden Kapiteln im Prinzip beibehalten, um eine konsistente Darstellung zu gewinnen. Dafür mußte allerdings eine Abweichung von der in der Statistik üblichen Notation linearer Modelle inkauf genommen werden. Im vierten Kapitel werden statistische Grundlagen abgehandelt. Aus der Erfahrung heraus, daß die grundlegenden Konzepte und Begriffe der Statistik einen festen Platz in den

XII Curricula aller empirischen Fächer haben und daß es eine Fülle ausgezeichneter Lehrbücher auf diesem Gebiet gibt, haben sich die Autoren entschlossen , bei der Konzeption des Kapitels statistisches Basiswissen vorauszusetzen und sich auf eine Zusammenstellung der für die Zielsetzung des Buches relevanten Verteilungen zu beschränken. Zur Ergänzung des Basiswissens wird ausführlich auf Normalverteilungen mit positiv semidefiniten Varianz Kovarianz Matrizen und auf die statistischen Eigenschaften quadratischer Formen eingegangen. Das fünfte Kapitel dient der Einführung und Charakterisierung linearer Modelle. Der Schwerpunkt liegt auf Modellen mit nichtstochastischen Parametern, von denen in Abhängigkeit vom Rang der Modellmatrix und der Dispersionsmatrix unterschiedliche Typen definiert werden. Äquivalenzbeziehungen und Transformationen zwischen den Modelltypen werden ausführlich behandelt, und die Konzepte der Schätzbarkeit linearer Funktionen und des Testens linearer Hypothesen werden mit der gebotenen Tiefe dargestellt. Leser mit guten Vorkenntnissen in linearer Algebra und in Statistik können ohne weiteres die ersten vier Kapitel überspringen und an dieser Stelle mit dem Studium beginnen. Im sechsten und siebten Kapitel werden Schätzer für Parametervektoren, Modellkomponenten, lineare Funktionen und Streuungsparameter für lineare Modelle verschiedener Ausprägung entwickelt. Neben dem Standardmodell mit festen Parametern werden Modelle mit singulärer Modell- und Dispersionsmatrix behandelt und beliebige Restriktionen bezüglich der Parameter zugelassen. Ein einfaches, mit Handrechnung nachvollziehbares Beispiel aus dem Gebiet der Geodäsie wird zur Veranschaulichung der Modellvarianten und des Einflusses von Singularitäten und Restriktionen durch alle Abschnitte mitgeführt. Ferner werden die Teststatistiken für den Test linearer Hypothesen unter den verschiedenen Modelltypen abgeleitet und die Vorgehensweise mithilfe desselben Beispiels illustriert. Hinweise auf weiterführende Literatur werden thematisch geordnet nach dem zweiten, dritten, vierten, fünften und siebten Kapitel gegeben. Monographien und Lehrbücher, die mehrere Teilgebiete betreffen , sind am Ende des Buches zusammengestellt. Ein Sachwortverzeichnis und eine Zusammenstellung von Abkürzungen und Symbolen sollen dem Leser, der nur gelegentlich etwas nachschlagen möchte, oder der sich nur für eine spezielle Thematik interessiert, das Arbeiten mit dem Buch erleichtern.

1 1 VEKTOREN UND MATRIZEN Die Anwendung statistischer Schätz- und Testverfahren ist weitgehend an lineare mathematische Modelle gebunden. Obwohl in Natur und Technik kaum lineare Probleme auftreten, bedeutet dies keine Beschränkung für den erfolgreichen Einsatz statistischer Methoden, denn die Betrachtungen können meist auf einen relativ kleinen Variationsbereich begrenzt werden, in dem ein mit Hilfe einer Taylor-Entwicklung formuliertes lineares Modell die Situation ausreichend approximiert. Wichtigste mathematische Grundlage für das Arbeiten mit solchen Modellen ist die lineare Algebra, die in diesem ersten Kapitel, soweit sie für die Zielsetzung des Buches wichtig ist, ausführlich behandelt wird. Es wird dabei eine elementare und anschauliche Darstellung gewählt, die nur geringe Vorkenntnisse voraussetzt und ohne Verzicht auf mathematische Strenge auf die Bedürfnisse von Anwendern ausgerichtet ist. Wo immer dies möglich erscheint, werden geometrische Interpretationen angeboten, die von den Vorstellungen des Vektorraumes und den darin erklärten Transformationen und Projektionen Gebrauch machen. Die gewählte Vektor/Matrix-Notation erlaubt eine sehr übersichtliche und kompakte Darstellung der mathematischen Beziehungen. Darüberhinaus erleichtert ihre Nähe zur Arbeitsweise höherer Programmiersprachen den Einsatz der elektronischen Datenverarbeitung, ohne die größere Modelle gar nicht bearbeitet werden können.

1.1 VEKTOREN UND VEKTORRÄUME 1.1.1 REELLE VEKTORRÄUME DEF. 1.1-1 (Struktureigenschaften von Zahlen) Ein Zahlenbereich K ist ein Körper, wenn er bezüglich der Addition, Subtraktion, Multiplikation und Division mit Ausnahme der Division durch Null (Nullteilerfreiheit) abgeschlossen ist, d.h. diese Operationen sind ausnahmslos erlaubt und führen nicht aus K hinaus. Es gelten die vom Rechnen mit reellen Zahlen bekannten Kommutativ- , Assoziativ- und Distributivgesetze. Spezielle Beispiele sind der Körper Q der rationalen Zahlen, der Körper R der reellen Zahlen und der Körper C der komplexen Zahlen, während die Menge IN der natürlichen Zahlen keinen Körper darstellt. Obwohl fast alle Ergebnisse und Sätze dieses Kapitels auch für den komplexen Zahlenbereich gelten, beschränken wir uns im Hinblick auf die späteren Anwendungen von vornherein auf den reellen Zahlkörper IR. DEF. 1.1-2 (Linearer Vektorraum) Ein linearer Vektorraum V über dem Skalarkörper R (kurz: reeller Vektorraum oder reeller linearer Raum) ist eine Menge V von Elementen x , y , . . . , für die eine Additon ( x + ;y)e V ;

x,yeV

2 und eine Multiplikation mit Skalaren Ae IR Xxs V;

xeV.AeR

erklärt ist. Die Elemente von V heißen Vektoren. Die Addition ist kommutativ, assoziativ und jede Gleichung a + x = b hat eine eindeutige Lösung x = b - a (d.h. V ist eine Abelsche Gruppe). Die Verträglichkeit von Addition und Multiplikation wird durch die üblichen Distributivgesetze gewährleistet. Bekannte Beispiele sind die reellen Vektorräume Rn = { jc = (x!,x 2 , ... , x n ) | x, € IR }, bei denen die Vektoren x aus geordneten n-Tupeln reeller Zahlen x ; (den Komponenten von x) bestehen. Addition und skalare Multiplikation sind komponentenweise erklärt. Es ist üblich, die Komponenten von x als Spalte zu schreiben. Man spricht dann auch vom Spaltenvektor x und bezeichnet die Schreibweise X — ( X], x 2 , . . . , x n )

als Zeilenvektor (transponierter Vektor). DEF. 1.1-3 (Linearer Unterraum) Ein Unterraum oder linearer Teilraum U von V ist eine Teilmenge U c V, die bezüglich der in V definierten Addition und Multiplikation abgeschlossen ist, d.h. selbst ein Vektorraum ist. Der Durchschnitt beliebig vieler Vektorräume ist wieder ein Vektorraum. Besteht der Durchschnitt zweier Vektorräume nur aus dem Nullvektor 0 , dessen sämtliche Komponenten Null sind und der ein trivialer Unterraum jedes Vektorraumes ist, so heißen die Vektorräume disjunkt 1.1.2 BASIS UND DIMENSION DEF. 1.1-4 (Lineare Ab- und Unabhängigkeit von Vektoren) V heißt linear unabhängig, wenn jede Eine Menge von n Vektoren xt, x2, ... , Linearkombination A[xx + A2*2 + ... + AnJCn = 0 , A; € IR stets A, = A2 = ... = A„ = 0 zur Folge hat. Andernfalls heißen xu x2, ... , xn linear abhängig. BEISPIEL 1.1-1

a) Im IR4 sind die drei Vektoren

x{ = (-5, 3,-4,-1), x{ = (-2, 1,-1, 1), xl = ( 1,-1, 2, 3) wegen jcj - 2x2 + x} = 0 linear abhängig. b) Die drei Vektoren

t

t

t

_x[ =( 1, 2, 0,-1), xi = ( 2 , 1,-1, 0), x3 =( 1, 0, 1, 1)

sind dagegen linear unabhängig. Schreibt man nämlich

A ^ + A2x2 + A3x3 = 0 als Gleichungssystem

mit den Unbekannten A; ,

A, + 2A2 + A3 = 0 -A2 + A3 = 0

2Aj + A2 = 0 -A, + A3 = 0

,

so zeigen die letzten beiden Gleichungen A[ = A2 = A 3 . Aus den ersten beiden Gleichungen folgt dann

3 Ai = 0 für i = 1, 2, 3. DEF. 1.1-5 (n-dimensionaler Vektorraum) Gibt es in einem Vektorraum V höchstens endlich viele linear unabhängige Vektoren, so heißt V endlichdimensional. In diesem Fall existiert eine Zahl neN mit der Eigenschaft, daß man zwar Vektorsysteme mit n , nicht aber mit n+1 linear unabhängigen Vektoren angeben kann. Man nennt V dann n-dimensional und schreibt dim V = n . Ein System von n linear unabhängigen Vektoren eines n-dimensionalen Vektorraumes heißt Basis. Vektorräume unendlicher Dimension treffen wir häufig als Funktionenräume an, wie z.B. bei den Räumen Ck(a,b) der auf einem Intervall (a,b) definierten und dort k-fach stetig differenzierbaren Funktionen. Beispiele für n-dimensionale Vektorräume, mit denen wir uns im folgenden ausschließlich beschäftigen werden und die wir durch die Schreibweise Vn kennzeichnen, sind die reellen Vektorräume IRn mit der kanonischen Basis Sk = {

| e[ := (i, b2, ... , bn) und die Vektoren x, b\ heißen Komponenten von x. Bei fest gewählter Basis entspricht so jedem xe Vn in umkehrbar eindeutiger Weise das n-Tupel seiner Koordinaten, das sich seinerseits dann als Vektor x l = (x,, ... ,x n ) des üblichen IRn auffassen läßt. Da sich die linearen Operationen des Vn unmittelbar auf die Koordinatenvektoren übertragen, braucht man i.a. nicht zwischen dem Vn und Rn zu unterscheiden. Der Vektorraum R3 = V3 kann noch geometrisch veranschaulicht werden, da er im Einklang mit unserer Vorstellung und Erfahrung des natürlichen Raumes steht. Drei beliebige nicht komplanare Vektoren reichen aus, den V3 aufzuspannen. BEISPIEL 1.1-2 Jede Kombinaüon von zwei der in Abb. 1.1-1 dargestellten Vektoren v; spannt eine Ebene auf, die als Vektorraum V 2 aufzufassen ist. Jeder Vektor v; ist selbst ein Basisvektor für einen eindimensionalen Vektorraum V 1 . Jeder weitere Vektor u des Raumes läßt sich als Linearkombination der Vektoren v,, v 2 , v 3 darstellen und ist damit linear abhängig. Die drei Vektoren v j , v 2 , v 3 sind eine Basis des V 3 . In diesem Basissystem hat der Vektor u die Koordinaten A ^ A 2 , A3 und kann daher als u nentenschreibweise dargestellt werden.

= (A t , A 2 , A 3 ) in Kompo-

4

vi Abb. 1.1-1: Geometrische Veranschaulichung des V 3

1.1.3 LINEARE ABBILDUNGEN ZWISCHEN VEKTORRÄUMEN DEF. 1.1-6 (Lineare Abbildung) Eine Abbildung A : Vn Vm , die jedem Element xe Vn ein Element ye Vm als Bild zuordnet, heißt linear, wenn gilt: A(xt + x2) = AX\ + AX2 , JCi, x2 e V n XAx , xeV n , Ae IR Man spricht in diesem Fall auch von einer linearen Transformation A des Vn in den Vm und für m = n (Selbstabbildung des Vn) von einem linearen Operator des V". Ein Sonderfall der Selbstabbildung ist die identische Abbildung A : = / , mit Ix =x. A(AJC) =

Das Bild eines linearen Raumes unter einer linearen Abbildung ist selbst ein linearer Raum. BEISPIEL 1.1-3

(Dualraum)

n vorgegebene Zahlen a \ definieren in

n Ax=

Z

Cüi

XJ

,

X =

(X!, ... ,x n )'

i = 1 eine lineare Abbildung A: IRn -»IR , die als Linearform über dem IRn bezeichnet wird. Diese Linearformen bilden einen n-dimensionalen Vektorraum (Dualraum zum IRn) mit einer durch A; ej = 5jj Basis B = {A; | i = 1 , 2

bestimmten

n}.

1.1.4 EUKLIDISCHE VEKTORRÄUME DEF. 1.1-7 (Innerer Produktraum - Euklidischer Raum) Vn heißt Vektorraum mit einem inneren Produkt oder Euklidischer Raum, wenn je zwei Elementen x ,yeVn eine reelle Zahl (x, y) (das innere Produkt oder Skalarprodukt von x und y) zugeordnet ist mit den Eigenschaften (*, y) = (y. x)

5 (x, Xy + ßz) = (Ar, y) + (px, z)

; A, ßs R, ze V" .

Für (JC, y) = 0 heißen die Vektoren x und y orthogonal. Als Beispiel betrachten wir das übliche Skalarprodukt für den Rn mit der kanonischen Basis }. Fürx = Xj = i x; e; undy = £i = 1 y; e\ wirddurch n

(1.1-2)

(x,y):=

1 xiyi

i=1

=jfy

ein inneres Produkt definiert. Für das Skalarprodukt der Basisvektoren folgt daraus insbesondere (e; = e IRn,

17

A = [al5 a2, ... , an] =

1.2.6 DER RANG ALS CHARAKTERISTISCHE MATRIXGROSSE Die maximale Anzahl linear unabhängiger Zeilenvektoren aJ (Spaltenvektoren a\ ) einer mxn-Matrix A wird als Zeilenrang rz(A) (Spaltenrang r s (A)) von A bezeichnet. r z (A) linear unabhängige Zeilenvektoren a 1 , . . . , aTz bilden eine Basis des Zeilenraumes 2(A). Ein beliebiger Zeilenvektor al läßt sich dann in der Form TZ

a 1 = I bij flj , i = 1,... ,m j= • oder elementweise zu rz a

ik = l b i j a jk j= i

.

k

= 1. - >n

darstellen. Hieraus erhält man durch Zusammenfassung der Elemente bj j zur m x r z - Matrix (bij) = (bl, ... , bTz) mit den Spaltenvektoren bj die Darstellung der Spaltenvektoren von A, rz a k = I ajk b j , i= i

woraus zunächst r s (A) < r Z ( A ) folgt. Eine entsprechende Überlegung für die transponierte Matrix A1 zeigt r z (A) = tS(A1)

< r z (A f ) = r s (A).

Zeilen- und Spaltenrang einer Matrix sind also stets gleich. DEF. 1.2-4 (Rang) Der Rang einer mxn-Matrix A ist die Maximalzahl linear unabhängiger Zeilen- und Spaltenvektoren von A , r(A) = r z (A) = r s (A) < min {m, n} . Für r z = m (bzw. r s = n) heißt A zeilenregulär (spaltenregulär). Eine quadratische nxn-Matrix A heißt für t(A) = n regulär, sonst singulär. Die Gleichheit von Zeilen- und Spaltenrang bedeutet insbesondere die Gleichheit der Dimensionen von Zeilenraum 2(A) und Spaltenraum S(A), r(A) = dim 2(A) = dim S(A) . Leicht zu zeigen sind auch die für die Zeilen- und Spaltenräume von Summen und Produkten von Matrizen geltenden Beziehungen 2{A +B) (1.2-3)

c 2(A) u 2(B)

i ( A + ß ) c 5(i4)ui(Ä) S(AB)

c S(A) , 2(AB)

c 2{B)

18 BEISPIELE 1.2-3 a) Die Nullmatrix O ist die einzige Matrix mit dem Rang 0. Die Einsmatrix Jn und jede andere als dyadisches Produkt darstellbare Matrix A = xy haben den Rang 1. b) Der Rang einer Diagonalmatrix ist gleich der Anzahl der von 0 verschiedenen Diagonalelemente. Insbesondere ist der Rang der Einheitsmatrix r ( / n ) = n . c) Die Matrix

A=

2 5 10 10 3 5 3 7 2 1

hat den Rang 2, da zwei beliebig herausgegriffene Spaltenvektoren linear unabhängig sind und die übrigen sich stets als Linearkombination dieser beiden darstellen lassen. Wählt man z.B. die ersten beiden Spaltenvektoren, so erhält man für die beiden letzten 1 3 2

= 3

2 1 3

0 5 1

5 0 7

-

= 5

2 1 3

- 2

5 0 7

SATZ 1.2-1 (Allgemeine Rangbeziehungen) Für Matrizen A, B, C passender Ordnung gilt: a)

r(A)=r(-A)

b)

t ( A ) - r(B) < r(A + B)

c)

r (AB) < min { r(A), r(B) ) A Ol

d)

OC\ AB OC

e)

~ 1

J

O A CO

< T(A) +

T(B)

= r(A) + r(C ) ; A , C quadratisch

> r(A) + r(C),

wobei das Gleichheitszeichen für B =ABX + B2C mit Matrizen BU B2

passender Ordnung gilt. > r(B) + r(C),

f)

'[c'o]

g)

wobei das Gleichheitszeichen für A = ÄjC + BB2 mit Matrizen BU B2 passender Ordnung gilt. die Ungleichung von Frobenius: T(ABC

Beweis:

und damit

+ I(BC)

-

R(B)

a) ist evident, b) folgt aus (1.2-3) mit T(A

woraus

) > R(AB)

+B)=

dim

S(A

+ B)

< dim S ( A )

+

dim S(B) = r(A) +

T(B),

r(^) =r((A + B) + (- B)) < T(A + B) + T(B) r(A) - r(ß) < R(A + B)

folgen. Die behauptete Ungleichung ergibt sich dann durch Vertauschung von A und B. c) folgt ebenfalls aus (1.2-3), d) ist offensichtlich.

19 e)

Für B =ABX + B2C ist A B O C

=r

A O O C

/ B2 O I

I Bx O I

Der erste und dritte Faktor der rechten Seite sind regulär, so daß für diesen Fall A B O C

—r A 0 O C

= r(A) + r ( C )

folgt. Da durch die Matrix B die Gesamtanzahl linear unabhängiger Spalten nicht vermindert, wohl aber bei einem Spaltenrangdefekt von C vergrößert werden kann, gilt im allgemeinen Fall die ">"-Beziehung. f) wird analog zu e) gezeigt mit A O B C g)

=r

I Bx O C

O B C O

1 O B, I

Die behauptete Ungleichung ergibt sich unter Berücksichtigung von f) aus r(AßC)+r(ß)=r[g / = rr [[ A °I i\ [AB r B

=r [ J o

B

0

B C

O

I O

-C I

] * rCAID + rCBC).

1.2.7 ELEMENTARE UMFORMUNGEN DEF. 1.2-5

Elementare Umformungen einer Matrix sind:

a) Multiplikation einer Zeile (Spalte) mit einem Skalar Ae IR b) Vertauschen zweier Zeilen (Spalten) c) Addition des A-fachen einer Zeile (Spalte) zu einer anderen Zeile (Spalte). Die elementaren Umformungen a)-c) lassen sich durch Links- bzw. Rechtsmultiplikation von A mit quadratischen regulären Elementarmatrizen L, P, U, O darstellen. Sie lassen den Rang der Matrix A unverändert. Eine Linksmultiplikation mit der Diagonalmatrix 1 L= die sich von der Einheitsmatrix I nur im i-ten Diagonalelement A unterscheidet, hat die Multiplikation der gesamten i-ten Zeile von A mit dem Faktor A zur Folge. Eine Rechtsmultiplikation von A mit L bewirkt die entsprechende Multiplikation der i-ten Spalte von A mit A. Permutationsmatrizen P besitzen in jeder Zeile und Spalte genau eine Eins und auf allen übrigen Positionen Nullen. Befinden sich alle Einsen auf der Diagonalen von P bis auf zwei, die die Position (i,k) und (k,i) einnehmen, so bewirkt die Linksmultiplikation PA, daß

20 die k - t e Zeile von A mit der i-ten Zeile vertauscht wird und die Rechtsmultiplikation AP , daß die k - t e Spalte von A mit der i-ten Spalte vertauscht wird. Unterscheidet sich P von der Einheitsmatrix nur in diesen beiden Positionen, i

0 P =

k

1

1

1

k-

0

so bedeutet dies eine einzige Zeilen- bzw. Spaltenvertauschung, bei der alle übrigen Zeilen bzw. Spalten unverändert bleiben. Wegen PP=I gilt P = Pl. Elementare untere Dreiecksmatrizen U\ (bzw. elementare obere Dreiecksmatrizen 0\) unterscheiden sich von der Einheitsmatrix durch eine unterhalb bzw. oberhalb der Diagonalen besetzte i - t e Spalte bzw. Zeile, wobei u ( = O; gilt:

1 O i)i+1 Oi

Ui =

=

...Oi,

1 1

Sie sind regulär invertierbar, wobei sich U\~l aus U\ durch einen Vorzeichenwechsel der Elemente u ; + ) , i , ... , u m ; ergibt. Das Produkt U\ • Uy erhält man für i < j einfach durch ein Übereinanderkopieren von U\ und i / j , l l Ui+l.i U, • i/j =

Uj+l.j u

mj

Derselbe Sachverhalt gilt auch für Produkte von mehr als zwei dieser Matrizen. Die Linksmultiplikation einer mxn-Matrix A mit t/j bewirkt, daß die i - t e Zeile von A nacheinander mit den Elementen u; + 1 ,j , ... ,u m i multipliziert und zur (i+l)-ten bis m - t e n Zeile von A hinzuaddiert wird,

21

í/¡ A =

Ui + i .i

an

ain

a

ain

i1

a

i i +

a

i+M

u

i + l >i a i n + a i +i,i

u u a mi a¡ n amnbewirkt die entsprechen¡ i + am!oberen Dreiecksmatrix Rechtsmultiplikation mit einer mi elementaren den Spaltenoperationen.

1.2.8 DARSTELLUNG VON LINEAREN ABBILDUNGEN DURCH MATRIZEN Die Bedeutung von Matrizen beruht vornehmlich auf ihrem engen Zusammenhang mit linearen Abbildungen zwischen Vektorräumen (Def. 1.1-6). Sei O: V" -» Vm eine lineare Abbildung und B = {c¡ | i = 1, 2,... ,n} bzw. B = {e¡ | i = 1, 2, ..., m} eine Basis des Vn bzw. des Vm. Dann ist O eindeutig bestimmt durch die Bilder der Basisvektoren (1.2-4)

i = 1, ... ,n ®(«i) = l b i k e k k= 1 mit der nxm-Matrix B = (b ik ). Ist dann I , =1 Xj e1 ein beliebiger Vektor des Vn und I i = 1 y k e k sein Bild im Vm unter der linearen Abbildung O, so besteht zwischen den Koordinatenvektoren x = (x,, ... , xn)^ und y=(y\,... .ym)' die Beziehung (1.2-5)

y=Ax

mit

,t A:=B

Diese Zuordnung zwischen den linearen Abbildungen des V" in den V m und den mxn-Matrizen ist umkehrbar eindeutig, so daß man auch von der Matrix als einer linearen Abbildung zwischen Vektorräumen spricht. Zu einer solchen Abbildung existiert genau dann die Umkehrabbildung, wenn sie bijektiv (umkehrbar eindeutig) ist. Bijektivität bedeutet, daß die Abbildung sowohl suijektiv ist, d.h. daß jedes Element des Bildraums als Bildelement vorkommt, als auch injektiv ist, d.h. daß verschiedene Urbilder auch verschiedene Bilder besitzen. Ist Vm = Vn und die dann quadratische Abbildungsmatrix A regulär, so wird durch (1.2-5) für verschiedene Basen B und B eine Koordinatentransformation mit einer entsprechenden Basistransformation (1.2-4) definiert, y und x stellen dann denselben Vektor bezüglich der verschiedenen Basen B und B dar. Andererseits wird durch (1.2-5) für B = B eine lineare Abbildung des Vn in sich definiert, bei der jedem Vektor x ein Vektor y, bezogen auf dasselbe Basissystem, zugeordnet wird. BEISPIEL 1.2-4 a)

(Ebene Drehungen)

(Drehung des Koordinatensystems): Der Drehung eines ebenen kartesischen Koordinatensystems um

den Winkel

£ 2 mit

(«i) = cos0 et - sin0 e2 4>(e2) = sin0 «! + cos e2

22

Abb. 1.2-1: Ebene Drehung Zur Transformation der Basisvektoren mit der Abbildungsmatrix ß

_

cos0 sinij>

- sin cosij)

gehört eine Transformation (1.2-5) der Koordinatenvektoren y =B lx yi

=

y2 = b)

,

cos0 X] + sin0 x 2 - sin0 X! + cos0 x 2 .

(Punktdrehung)

Einer Punktdrehung um den Winkel 0 entspricht die Basistransformation (1.2-4) (mit B = B) i i (c\) = cos(/>e] + sin e 2 i i («2) = - s i n ^ « ! + costj> e 2

Auch hier erkennt man leicht, daß sich die Abbildung der Koordinatenvektoren (Punkte) mit der transponierten Abbildungsmatrix der Basistransformation vollzieht, y! = cos0 Xj - sin0 x 2 y2 =

sin0 x t + cos

B~A ; A ~ B , B ~ C => A~ C . Zwei Matrizen sind genau dann äquivalent, wenn die eine in die andere durch endlich viele elementare Umformungen überführt werden kann. Sie besitzen also auch den gleichen Rang. Ist insbesondere Vm = Vn und S = T, so erhält man v = T~'ATx = Bx , d.h. eine lineare Abbildung A des Vn transformiert sich bei einer durch T definierten Koordinatentransformation (Basiswechsel) zu T~^AT. DEF. 1.2-7 (Ähnlichkeitstransformation) Die Matrizenbeziehung B = T 'AT mit regulärer quadratischer Matrix T heißt Ähnlichkeitstransformation und A heißt ähnlich zu B. DEF. 1.2-8

(Orthogonale Matrix)

Gilt für eine quadratische Matrix A AAt

=AlA

= / ,

so heißt A orthogonal. = At.

Die Orthogonalitätsbedingung ist gleichbedeutend mit DEF. 1.2-9 (Orthogonaltransformation) Die Transformation y = Ax heißt Orthogonaltransformation. BEISPIELE 1 . 2 - 5 a) b)

, A orthogonal

(Orthogonale Matrizen)

Alle Permutationsmatrizen P sind orthogonal. Die Matrizen der ebenen Drehungen (Beispiel 1 . 2 - 4 ) sind orthogonal und lassen sich zu n-reihigen

orthogonalen Matrizen erweitem ,

1 '

cos0

. . +sin0

1

" . 1

+ sin0

. .

cosip

1 '1

24 Durch geeignete Produkte solcher ebenen Drehungen können beliebige Drehungen im £

n

beschrieben wer-

den, wie z.B die Drehungen eines körperfesten relativ zu einem raumfesten Koordinatensystem im £ 3 i) um die Eulerschen Winkel

y,8,

r ( B l a i , B l a 2 , . . . , ß ± ' a r ) = r und wegen r ( ß l A ) < r(A) folgt die behauptete Ranggleichung.

•

Für B =A± liefert der Satz einen neuen Beweis für r ( A { A ) =r(A). 1.2.12 LINEARE

GLEICHUNGSSYSTEME

Lineare Gleichungssysteme spielen eine herausragende Rolle in linearen Modellen. Sie lassen sich mit Hilfe der Matrixnotation besonders kompakt und übersichtlich darstellen. Dasselbe gilt für die Lösungsverfahren, die in großer Zahl ausgearbeitet worden sind. In den folgenden Definitionen und Sätzen werden lineare Gleichungssysteme charakterisiert und ihre Lösungen in allgemeiner Form angegeben. Die Konkretisierung der Lösungsverfahren erfolgt auf der Basis von Matrixzerlegungen, die im Abschnitt 1.3 behandelt werden, und von Matrixinversionen, denen das Kapitel 2 gewidmet ist. DEF. 1.2-11

(Lineares Gleichungssystem)

Eine Gleichung Ax =y mit bekannter mxn-Koeffizientenmatrix A, bekanntem Vektor ;ye[Rm und unbekanntem Vektor xe Rn heißt lineares Gleichungssystem. Für y = 0 heißt das Gleichungssystem homogen, sonst inhomogen. Das Gleichungsystem heißt konsistent, wenn wenigstens eine Lösung existiert, sonst inkonsistent Eine Darstellung der Menge aller Lösungen heißt allgemeine Lösung. SATZ 1 . 2 - 4

(Eindeutige Lösbarkeit des inhomogenen Gleichungssystems)

Das inhomogene Gleichungssystem hat genau dann eine eindeutige Lösung, wenn ye S(A)

und

r(A) = n

gelten, d.h. wenn A spaltenregulär ist und y in ,S(A) liegt. Beweis: j e S(A) ist gleichbedeutend mit der Konsistenz, d.h. der Existenz einer Lösung jc,. Nach (1.2-9) ist dim M(A) = 0 wegen r(A) = n , d.h. M(A) = 0. Für jede weitere Lösung x2 folgt

27 y

=

AX, = AX2

=>

A(x{ - x2) = 0 =>

- x2 = 0 => X! = x2 . •

SATZ 1.2-5 (Allgemeine Lösung des homogenen Gleichungssystems) Das homogene Gleichungssystem mit o(i4) = mxn, r(A) = r < n hat genau n - r linear unabhängige nichttriviale Lösungen x,, x2, ... , x n _ r * 0, aus denen sich die Lösungsmenge n-r (1.2-14) £ 0 = { z | Az = 0 , z = l XiXi } i=1 mit frei wählbaren Konstanten Aj zusammensetzt. Beweis: Die Lösungsmenge besteht aus dem Nullraum CQ := II(A), für den nach (1.2-9) dim M(A) = n - r gilt. Daher gibt es genau n-r linear unabhängige Lösungen. Wegen n-r n-r A ( I Ai jq ) = I Ai Ax, i=1 i=1

=0

ist jede Linearkombination von Lösungen jq des homogenen Systems wieder eine Lösung des homogenen Systems. (Die triviale Lösung x = 0, die immer existiert, soll hier außer Betracht bleiben.) • Da die Differenz zweier Lösungen des inhomogenen Systems eine Lösung des homogenen Systems bildet, folgt unmittelbar der SATZ 1.2-6 ( Allgemeine Lösung des inhomogenen Gleichungssystems ) Ist XQ eine spezielle Lösung des inhomogenen Gleichungssystems und £ 0 die allgemeine Lösung des homogenen Systems, so ist (1.2-15) C=x0+C0 die Lösungsmenge des inhomogenen Systems. Selbstverständlich ist bei spaltenregulärer Koeffizientenmatrix £ 0 =0 und folglich x =x0 die eindeutige Lösung nach Satz 1.2-4. Hat A hingegen den Defekt n - r und gilt yt S(A), so enthält C genau n - r + 1 linear unabhängige Lösungen des inhomogenen Systems, die nach Def. 1.1-11 eine lineare Manigfaltigkeit bilden. 1.2.13 DIE MPB -INVERSE Die Auflösung eines inhomogenen Gleichungssystems Ax=y durch x = A~]y ist nur bei quadratischer nxn-Koeffizientenmatrix A erklärt. Notwendigerweise müssen dabei wegen der Regularität der n-reihigen Einheitsmatrix / n nach n = r(/ n ) = T(A~1A) < min (r(A _ 1 ), T(A) }

sowohl A_1 als auch A regulär sein. Wünschenswert ist ein allgemeinerer Inversenbegriff, der uns im nächsten Kapitel beschäftigen wird. Er beruht im wesentlichen auf den Eigenschaften einer mxn-Matrix A als linearer Abbildung A : IRn -i IRm. Der folgende Satz beschreibt den für eine mxn-Matrix geltenden Sachverhalt.

28 SATZ 1.2-7 (Bijektive Abbildungseigenschaften einer mxn-Matrix) Eine mxn-Matrix A bildet den Zeilenraum Z(A) c IRn bijektiv (umkehrbar eindeutig) auf den Spaltenraum S(A) c IRm ab. Beweis: Wegen S(A) = {Ax \ xe IRn} gibt es zu beliebigem yt S(A) ein jce IRn mit Ax =y. Nach (1.2-8) ist IRn = Z(A) ® i(A), so daß die nach Satz 1.1-2 eindeutige Zerlegung x=xz

+ xn, xze Z(A), xne Jf(A)

gilt. Mit Axn = 0 folgt Axz =y, d.h. zu jedem yeS(A) gibt es ein Urbild xze Z(A). A : Z(A) -» S(A) ist also suijektiv. Wäre A auf Z(A) nicht injektiv, so gäbe es in Z{A) Elemente XI * jc2 mit Axx =AX2, woraus A(xx - x2)=0 oder (jc, - x 2 )e Jf(A) folgt. Da aber (jc, - x2)eZ(A), müßte x, - x2 =0 oder xx =x2 im Widerspruch zur Voraussetzung sein. Die Abbildung A ist also auch injektiv auf Z(A).

• +

Hieraus resultiert die Existenz der ebenfalls linearen Umkehrabbildung A : S(A) -> Z(A). Nach (1.2-8) ist IRm = i ( A ) ® ji(A{), so daß A+ mit A+y := 0 für ye MiA1) zu einer linearen Abbildung des IRn in den IRm erweitert werden kann. DEF. 1.2-12

(Pseudoinverse oder MPB-Inverse)

Sei A eine mxn-Matrix. Die durch x, (1.2-16) 0,

Ax = y e S(A) y€

KA*)

definierte nxm-Matrix A+ heißt Pseudoinverse oder Moore-Penrose-Bjerhammar-Inverse von A. Ist A quadratisch und regulär, so stimmen die reguläre Inverse A~l

und die Pseudoinverse

A+ überein. A ist dann eine bijektive Abbildung Z(A) »—> ..., i n ) durch eine gerade Anzahl (bzw. ungerade Anzahl ) von Vertauschungen benachbarter Ziffern in die natürliche Reihenfolge 1,2,... ,n überführt werden kann. Die Summe ist über sämtliche n! Permutationen n zu bilden.

Anstelle von det (A) sind auch andere Schreibweisen wie det A oder | A | üblich. BEISPIEL 1 . 2 - 6

(Determinante einer 3X3-Matrix) a

ll

a

12

a

13

a21 a 2 2 a23 a

31

a

32

a

33

a

lla22a33 +

a

12a23a31 +

a

13a21a32 "

a

13a22a31

- a 2 3 a 3 2 a n - a 3 3 a 1 2 a2i

Die Tabelle zeigt die Permutaüonen der Elemente

1,2,3 und die sich aus der Anzahl der Vertauschungen

ergebenden Vorzeichen: (ii,i 2 ,i 3 ) 1 2 3

13 2 2 13

2 3 1 3 12 3 2 1

Vertauschung

sign(i 1 ,i 2 ,i 3 )

0

+

2 2 3

+ +

1 1

Da in jedem der n! Summanden der Determinante einer n-reihigen Matrix A jede Zeile und jede Spalte von A genau einmal vertreten sind, gilt der SATZ 1.2-8 (Die Determinante als Multilinearform) Für eine nxn-Matrix A mit den Spaltenvektoren a\ ist det(A) = det (au eine in jedem Argument a, lineare Funktion ( Multilinearform ) (1.2-18) det (... , a, + Xb{ , ...) =det (... , a,,...

) + Adet (... , & ; , . . . ) ; AelR .

Das Entsprechende gilt für die Zeilenvektoren d x .

a2, ... ,fln)

30 Mit Hilfe dieses Satzes läßt sich zeigen, daß elementare Umformungen der Matrix (Def. 1.2-5) die Determinante bis auf einen Vorzeichenwechsel bei der Vertauschung zweier Zeilen oder Spalten unverändert lassen. Diese Eigenschaft bildet die Grundlage für die tatsächliche Berechnung von Determinanten, die in der Regel über ein numerisches Verfahren zur Auflösung von Gleichungssystemen (Gauß-Algorithmus, vgl. auch Bsp. 1.2-8)), seltener auch durch eine Rückführung auf Unterdeterminanten geschieht. Werden in einer quadratischen Matrix A = (a;k) gleich viele Zeilen und Spalten gestrichen, so bezeichnet man die Determinante der Restmatrix als Unterdeterminante von A. Werden nur die i - t e Zeile und k - t e Spalte gestrichen, so heißt die mit ( - l ) 1 + k multiplizierte Unterdeterminante Adjunkte des Elements a ^ - Hierfür gilt der ebenfalls aus der Summendefinition 1.2-13 ableitbare SATZ 1.2-9 ( Entwicklungssatz ) Die Determinante einer nxn-Matrix A ist gleich der Summe aus den Produkten der Elemente der i-ten Zeile ( k-ten Spalte ) mit ihren Adjunkten. BEISPIEL 1.2-7 det(A) =

1 1 2 -2

2 -1 4 3 0 -1 0 1 -2 0 0 1

= 2(-1) 1+2

=

1 0 -1 2 1 -2 -2 0 1

2 -1 4 3 0 -1 0 1 -2

-2(-l)4

+ 3(-l) 2 + 2

+ (-1) 4+4

1 2 -1 1 3 0 2 0 1

= 16 + 7 = 23

1 -1 4 2 1 -2 -2 0 1

Dabei stellt das obere Beispiel die Entwicklung der Determinante nach der vierten Zeile und das untere die Entwicklung nach der zweiten Spalte dar, die sich beide durch das Verschwinden von zwei Elementen hierfür anbieten. Die transponierte Matrix der Adjunkten wird auch als adjungierte Matrix adj (A) bezeichnet. Hervorzuheben ist die Eigenschaft (1.2-19)

A • adj (A) = a d j ( A ) A = d e t ( A ) / .

Man erkennt hieraus, daß die Inverse A1

sich in der Gestalt

A _1 = —!

(1.2-20)

adj (A)

det(A) darstellen läßt und weiter, daß A~x nur bei nichtverschwindender Determinante existiert. Für die praktische Berechnung der Inversen kommt die adjungierte Matrix wegen des zu hohen Rechenaufwandes allerdings nicht in Frage. Auch hier bietet die numerische Mathematik rechentechnisch günstigere Verfahren an, wie z.B. das Gauß-Jordan Verfahren. SATZ 1.2-10 (Eigenschaften von Determinanten) Für die Determinante einer nxn-Matrix A gelten die folgenden Eigenschaften: a) det(A) * 0 r(A) = n b)

det(AA) = An det(A)

c)

det(A i )=det(A)

31 d)

det(A- 1 ) = ( d e t ( A ) ) - 1

e)

det(Afi) =dct(A)-dct(B) für o ( B ) = o(A)

f)

det

B C

= det(A) • det( C),

A und C quadratisch .

Als Anmerkung für einen Beweis von e) und f) sei erwähnt, daß jede reguläre Matrix als Produkt von Elementarmatrizen L, P, U ( vgl. Def. 1.2-5 ) geschrieben werden kann, für die die beiden Eigenschaften d) und e) leicht nachzuweisen sind. Die Eigenschaft f) besagt insbesondere, daß die Determinante einer oberen Dreiecksmatrix a

det

I 1 a12 " ' ' a l n a 22 ' ' ' a2n

- a u a 2 2- • a n

o

gleich dem Produkt der Elemente in der Hauptdiagonalen ist. Durch elementare Umformungen der Matrix kann diese Gestalt stets realisiert werden. BEISPIEL 1 . 2 - 8

(Berechnung einer Determinanten)

Wir erläutern das typische Vorgehen bei der Determinantenberechnung an der in Beispiel 1 . 2 - 7 bereits berechneten Determinante, 1 1 2 2

2 -1 4 3 0 -1 1 -2 0 0 0 1

(D

» m—>»

33 und damit für A * I 00

(1.2-26)

I

k= 0

A k = (/ - A)-1

.

Ist Al = (a* jk) und a > | ajic | für j, k = 1, 2,... , n eine obere Schranke der Elemente von A, so gilt | a ( j k | < n I _ l a1 und die Potenzreihe (1.2-25) konvergiert sicher, falls die reelle Potenzreihe |ai|(na)' konvergiert. Genauere Konvergenzkriterien erfordern die Kenntnis der Eigenwerte von A , die in Kap. 1.3 betrachtet werden. BEISPIEL 1.2-9

„m

Die reelle Exponentialreihe e x = 2. j = 1 ( x m /(m!)) ist für jedes x e R konvergent. Daher konvergiert auch die durch

Ax

=

j. m= l. m!

definierte Matrix - Exponentialreihe ohne Einschränkung für jedes reelle x. Die Lösung des linearen homogenenen Differentialgleichungssystems

y ' = Ay ; y(0) = yQ Ax läßt sich damit durch y = e

yQ darstellen.

Weitere Beispiele, insbesondere für die Anwendung der Neumannschen Reihe auf die Lösungen linearer Gleichungssysteme, folgen in Abschnitt 1.5 (vgl. Beispiel 1.5.3 c)).

34 1.3 EIGENWERTE UND MATRIXZERLEGUNGEN In diesem Abschnitt wenden wir uns zunächst quadratischen nxn-Matrizen zu, die lineare Selbstabbildungen des IRn repräsentieren. Unser besonderes Interesse gilt dabei invarianten eindimensionalen Unterräumen, die bei einer solchen Abbildung in sich selbst abgebildet werden und deren Elemente lediglich um eine charakteristische Zahl A verkürzt oder gestreckt werden. 1.3.1 SPEZIELLES EIGENWERTPROBLEM DEF. 1.3-1 (Spezielles Eigenwertproblem) Eine Lösung A des homogenen Gleichungssystems mit der nxn-Matrix A

Ax = Xx ( AI - A)x = 0 heißt Eigenwert von A und der zugehörige Vektor x heißt Eigenvektor zum Eigenwert A. Die Aufgabe, zu einer vorgegebenen Matrix A die Eigenwerte und Eigenvektoren zu bestimmen, heißt spezielles Eigenwertproblem. Nach Satz 1.2-5 hat das homogene Gleichungssystem ( A / - A)x = 0 nur für r( XI - A) < n nichttriviale Lösungen x * 0 und dies ist nach Satz 1.2-10 a) gleichbedeutend mit dem Verschwinden der Koeffizientendeterminante. Die Eigenwerte sind daher genau die Nullstellen des charakteristischen Polynoms (1.3-1)

det (XI - A) = An + ajA"- 1 + a 2 A n -> + ... + a n .

Nach dem Fundamentalsatz der Algebra hat dieses Polynom genau n Nullstellen, wenn jede Nullstelle mit ihrer Vielfachheit gezählt wird. Die Matrix A hat daher ebenfalls genau n nicht notwendig verschiedene Eigenwerte. Zwischen den Koeffizienten ot; und den Nullstellen Aj bestehen nach dem Wurzelsatz von Vieta die Beziehungen A, + A2 + ... + An = - a { A,A2 + A,A3 + ... + An_,An =

a2

A ^ A j + A,A2A4 + ... + An_2An_, An = - oc3 (1.3-2) A,A2-An=(-l)"an

.

Die für den ersten und letzten Koeffizienten des charakteristischen Polynoms geltenden Eigenschaften - a , = sp(A) , ( - l ) n a n = det(A), zeigen die beiden nützlichen Beziehungen n

(1.3-3)

n

sp(A) = l A; , det(A) = II A; . i=1 i=1 Die Summe sämtlicher Eigenwerte ergibt also gerade die Spur von A, während das Produkt aller Eigenwerte gleich der Determinante von A ist. Notwendig und hinreichend für

35 det(A) = 0 ist daher A, = 0 für wenigstens einen Eigenwert A¡ . Eine quadratische Matrix ist also genau dann regulär, wenn sämtliche Eigenwerte von Null verschieden sind und genau dann singular, wenn wenigstens einer ihrer Eigenwerte Null ist. Die Länge eines Eigenvektors ist offenbar nicht eindeutig bestimmt, da mit x auch jedes skalare Vielfache von x wieder ein Eigenvektor ist. 1.3.2 ALGEBRAISCHE U N D GEOMETRISCHE

VIELFACHHEIT

Die durch die Vielfachheit einer Nullstelle definierte Vielfachheit eines Eigenwerts wird als dessen algebraische Vielfachheit bezeichnet. Ist A ein k - f a c h e r Eigenwert der n x n - Matrix A, so besitzt das homogene Gleichungssystem (A - A I ) x = 0 nach Satz 1.2-5 genau n - r(A - XI) linear unabhängige Lösungen x, die den zu A gehörenden Eigenraum aufspannen. Diesen Defekt der Koeffizientenmatrix A - XI nennt man die geometrische Vielfachheit des Eigenwerts. Nun erkennt man leicht, daß die zu verschiedenen Eigenwerten gehörenden Eigenvektoren linear unabhängig sind. Gäbe es nämlich zu A, * X2 linear abhängige Eigenvektoren jcj = ax2, so würde sich wegen A,*, =Axt

= Accx2 - ccAx2 =

Xx.

Die Behauptung folgt dann mit Ai x = AJ x aus

lßiAlxf(X) = BEISPIELE a)

I ri

=>

f(A)x = ( X f t A V - I n

1.3-2

p(t) = - t, q(t) = 1, / ( A ) = - A , f(A) = - A. Die Matrix - A hat als Eigenwerte die negativen Eigen-

werte von A. b)

P(t) = 1. q(t) = t, / ( A ) = A ~ 1 , f(A) = A _ 1 . Die inverse Matrix hat als Eigenwerte, die Kehrwerte

der Eigenwerte von A.

= 1, q(t) = t - m ,

c)

p(t)

d)

p(t) =

1, q(t) = ^

fW

=A -

, / ( A ) = (A

ßl,

f(A) = A -

- ß i y 1 , f(A) =

ß. .

37 1.3.4 INVARIANZ DER EIGENWERTE BEI ÄHNLICHKEITSTRANSFORMATIONEN Für die numerische Praxis der Eigenwertberechnung spielt das charakteristische Polynom nur eine untergeordnete Rolle. Bereits das Aufstellen dieses Polynoms ist mit einem nicht unerheblichen Rechenaufwand (etwa n3 Operationen ) verbunden. Die Koeffizienten sind dann schnell durch Rundungsfehler verschmiert und die Wurzelbeziehungen (1.3-2) von Vieta lassen erkennen, daß die Polynomkoeffizienten bereits für Matrizen geringer Ordnung sehr große Werte annehmen können. Eine genauere Untersuchung zeigt zudem, daß Ungenauigkeiten in den Koeffizienten des charakteristischen Polynoms die Eigenwerte viel stärker verfälschen als Ungenauigkeiten in den Koeffizienten der Matrix. Nach einem bekannten Satz der Mathematik gibt es keine formelmäßige Darstellung der Nullstellen für Polynome höheren Grades (n>5), so daß eine Eigenweitberechnung mit Hilfe des charakteristischen Polynoms eine numerisch sehr aufwendige Nullstellenbestimmung erfordert. Fast alle praktischen Verfahren zur Eigenwertberechnung machen daher Gebrauch von der Invarianz der Eigenwerte gegenüber gewissen Transformationen der Matrix und transformieren die Matrix auf eine Gestalt, die eine ähnlich einfache Eigenwertbestimmung wie in den Fällen des Beispiels 1.3-1 d) gestattet. Die wichtigsten Transformationen dieser Art sind Ähnlichkeitstransformationen (Def. 1.2-7). SATZ 1.3-2 (Ähnlichkeitstransformation und Eigenwerte) Eine Ähnlichkeitstransformation T'lAT ändert die Eigenwerte nicht. Beweis: det (T-^AT - XI) =det (T~l(A - XI)T) =det(T- 1 7') det(>i - XI) = det(A/ - A) . o Mit den Eigenwerten einer Matrix bleiben auch Determinante und Spur bei einer Ähnlichkeitstransformation invariant. Um die numerisch sehr aufwendige Matrixinversion zu umgehen, bieten sich für diesen Zweck Ähnlichkeitstransformationen mit orthogonalen Matrizen an, bei denen die Inversion durch einfaches Transponieren der Matrix vorgenommen werden kann. Der folgende Satz zeigt, daß es zu jeder Matrix eine entsprechende Ähnlichkeitstransformation gibt. Ein besonderes Augenmerk gilt seinem Beweis, der die Grundlage für einen sehr effizienten Algorithmus der numerische Eigenwertberechnung bildet. SATZ 1.3-3 (Transformation auf Dreiecksform mit Eigenwertdiagonale) Jede beliebige nxn-Matrix A läßt sich orthogonal in eine Dreiecksmatrix D transformieren, deren Diagonalelemente die Eigenwerte sind, A[ d (1.3-4)

TlAT = D =

Beweis: Zum Eigenwert A, mit dem Eigenvektor x, und x/jr, = 1 gibt es durch Hinzunahme weiterer linear unabhängiger Vektoren u2, «3, ... , un eine orthogonale Matrix Ui = (x,, h 2 , ... , n n ) , für die

38 A, A,

Ii Ö

0

U\AU X = 0

ist. Wird dieses Vorgehen auf die ( n - 1 ) - reihige Submatrix A, ( die außer A, alle Eigenwerte von A besitzt ) mit einer analog gebildeten ( n - 1 ) - reihigen orthogonalen Matrix U übertragen, so gilt mit der orthogonalen nxn-Matrix A, 0 a2 U,=

l u ]

< (UÌU2)'-A-(U1U2)

0

= 0

0

A2

Da das Produkt orthogonaler Matrizen wiederum orthogonal ist, läßt sich die behauptete Darstellung in höchstens n - 1 solcher Schritte erreichen. o BEISPIEL

1.3-3 A =

Die Matrix

2 8 3 4

hat einen Eigenwert A = 8 mit dem auf die Länge Eins normierten Eigenvektor x = f ( 4 , 3 ) , zu dem der 5 1 t ebenfalls normierte Vektor u = j (3, - 4 ) orthogonal ist. Mit der damit gebildeten orthogonalen Transformationsmatrix T= (x , u) gilt TlAT = i

"4

3 " ' 2 8" _ 3 -4 3 4

1 '4 3 " 5 _ 3 -4

"8 - 5 " 0 -2

In der Tat ist A = - 2 der zweite Eigenwert (vgl. Beispiel 1.3-1 a)).

DEF 1.3-2 (Diagonalähnliche Matrix) Besitzt die nxn-Matrix A genau n linear unabhängige Eigen vektoren x , , so bilden diese eine Basis im Vn, das sog. System der Eigenachsen von A. Matrizen mit dieser Eigenschaft heißen diagonalähnlich. Faßt man die Eigenvektoren x; als Spaltenvektoren zur regulären Matrix T zusammen, so erhält man die Diagonalmatrix A2 AT

= (Axu

... ,Ax„)

O

T = d i a g ( A„ A 2 ,... , A n )T

= O

mit der Ähnlichkeitstransformation (1.3-5)

r - ' A r = diag(A 1

An) .

Läßt sich umgekehrt A durch eine Ähnlichkeitstransformation B~lAB =D auf Diagonalgestalt bringen, so folgt aus AB = BD , daß die Diagonalelemente von D Eigenwerte von A mit den linear unabhängigen Spaltenvektoren von B als Eigenvektoren sind. Da die Reihenfolge der Eigenvektoren jq beliebig ist und mit x-t auch axt für ae IR ein

39 Eigenvektor ist, ist die Matrix T der Ähnlichkeitstransformation nicht eindeutig bestimmt. Es läßt sich zeigen, daß eine Matrix genau dann diagonalähnlich ist, wenn für sämtliche Eigenwerte algebraische und geometrische Vielfachheit übereinstimmen. Jede n x n - M a t r i x mit n verschiedenen Eigenwerten ist also diagonalähnlich. Weiter kann gezeigt werden, daß eine Matrix A genau dann diagonalähnlich ist, wenn sie zur Klasse der normalen Matrizen gehört, die durch die Eigenschaft AAl = A*A charakterisiert ist. Zu dieser Klasse gehören neben den orthogonalen und schiefsymmetrischen insbesondere die symmetrischen Matrizen. 1.3.5 EIGENWERTE SYMMETRISCHER

MATRIZEN

SATZ 1.3-4 (Eigenwerte und Eigenvektoren symmetrischer Matrizen) Sei A eine reelle symmetrische nxn-Matrix. Dann gilt: a) Alle Eigenwerte A; und Eigenvektoren X[ sind reell. b) Die zu verschiedenen Eigenwerten gehörenden Eigenvektoren sind orthogonal, x\ = 0 für A; * Aj . c) Ist r(A) = r < n , so tritt der ( n - r ) - f a c h e Eigenwert A=0 auf, zu dem n - r orthogonale Eigenvektoren gehören. Beweis: a) Komplexe Nullstellen eines reellen Polynoms treten stets in konjugiert komplexer Form a + ib, a - ib auf. Hätte das charakteristische Polynom daher eine komplexe Nullstelle a + i b , so wäre die Matrix C = [(a + ib) / - A] [ ( a - i b ) / - A] = (a / - A)2 + b 2 / reell und singulär, da jeder der beiden Faktoren singulär ist. Folglich (Satz 1.2-5) gibt es mindestens einen Vektor x*0 mit Cx=0 und x'Cx =x'(a I - A)2x + b2xlx = 0 . Da dies nur für b = 0 möglich ist, folgt die Behauptung. b) Seien A, * A2 zwei Eigenwerte mit den Eigenvektoren je, bzw. x2- Dann gelten Ax^ und

Ajj^i , AX2

=

A2jc2

X[AXy = A , j c j , xf/4o: 2 = A 2 jcfjt 2

Hieraus folgen \\x{xx = A2jcfjc2 und damit x[x2 =0 wegen A, * A2. c) Dieser Teil der Behauptung folgt unmittelbar aus Satz 1.3-3.

o

Eine symmetrische nxn-Matrix A besitzt demnach stets n orthogonale Eigenvektoren, die man durch geeignete Wahl als Orthonormalsystem jcfjtj = 5 2 > ... > 5 r > 0 gilt. b) (Hauptachsentheorem) Ist A symmetrisch, so kann V = W gewählt werden. Die 5; sind dann die Eigenwerte von A und es gilt (1.3-10) D = V'AV. c) Sind V;, w¡ die Spaltenvektoren von V bzw. von W, so ist

44

(1.3-11)

A=

I 8i v¡ i=1

.

Beweis: a) AA* und A*A haben dieselben r positiven Eigenwerte, während die restlichen m - r bzw. n-r Eigenwerte Null sind. Wir numerieren die Eigenwerte der Größe nach , 8 X 2 > 8 2 2 > ... > 5 r 2 > 0

=»

5! > S 2 > ... > 5 r > 0 ,

und fassen die 5, zur Diagonalmatrix D zusammen, die wir durch Hinzufügung von Nullen zur mxn-Matrix D erweitem. Seien nun v¡ e IRn die zu

Aw[

5¡ v¡ = Aw{ 5¡ W[ =5¡Atví

=AtAw¡

.

Da sich die Orthonormalität der v, auf die Vektoren w¡ überträgt, ist durch die Hinzunahme weiterer n-r geeigneter Vektoren w r + 1 ,... , wn e M(A) eine orthogonale Matrix W = (wu w2, ... , w n ) mit AtAW = DtDW bestimmt. Die Behauptung folgt dann aus (1.3-13)

AtV = DtW,

AW = DV .

b) Für symmetrisches A ist V = W wegen AlA= A A1 offensichtlich. c) (1.3-11) ergibt sich aus (1.3-13) durch Rechtsmultiplikation mit W~l = Wl.

•

SATZ 1.3-10 (Zerlegung in orthogonale Matrizen und Normalform) Zu jeder mxn-Matrix A vom Rang r existieren eine reguläre mxm-Matrix M und eine orthogonale nxn- Matrix N mit A

Beweis:

'

u

[ o

o

Mit

und N = W{ folgt die Behauptung aus Satz 1.3-9.

]"

45 Ist A quadratisch, so kann offensichtlich Ml = N gewählt werden mit M=

Dxn O

O Im.t

V.

1.3.11 CHOLESKY - ZERLEGUNG Eine für viele spätere Betrachtungen besonders wichtige Matrixzerlegung betrifft symmetrische Matrizen. Hier versucht man, die aus der Symmetrie resultierenden günstigen Eigenschaften zu erhalten, indem man die Zerlegung ebenfalls symmetrisch durchführt. Zwar gelingt dies nicht für beliebige symmetrische Matrizen, aber immerhin doch für den in der Praxis wichtigsten Fall symmetrischer nichtnegativ definiter Matrizen Q, die durch die Eigenschaft xCQx > 0 Vor (vgl. Def. 1.4-2) charakterisiert sind. SATZ 1.3-11 (Cholesky-Zerlegung) Sei A eine symmetrische, nichtnegativ definite Matrix der Ordnung nxn. Dann existiert eine obere Dreiecksmatrix C der Ordnung nxn mit der Eigenschaft (1.3-14)

A=ClC.

Wenn A regulär ist, ist auch C regulär und eindeutig. Es existiert dann die Inverse A~l = C " 1 ( C V 1 • Hat A den Rang r(i4) = r < n, so hat C ebenfalls den Rang r und n-r Diagonalelemente von C nehmen den Wert Null an. Durch Pivotisierung kann stets erreicht werden, daß dies die letzten n-r Elemente sind. Beweis: Wegen der Symmetrie von A besitzt das Gleichungssystem (1.3-14) im regulären Fall genau n(n+l)/2 unabhängige unbekannte Elemente Cjj von C ; über die restlichen n(n-l)/2 Elemente kann frei verfügt werden. Bei der Cholesky-Zerlegung werden alle unterhalb der Diagonalen liegenden Elemente von C zu Null festgelegt. Alle anderen Elemente sind dann durch die Rekursionsformel i-l 2 di = a n - I cki ; c i ; (1.3-15) i = l, ... , n ; j = i + l , . . . , n i-1 Cij = ( ajj - I c ki c kj )/c i ; eindeutig bestimmt. Aus der Dreiecksform mit voll besetzter Diagonale ergibt sich unmittelbar r(C ) = n . Wenn r(A) < n ist, tritt genau (n-r)-mal d; = 0 auf, womit c ; i = 0 gilt. Für die entsprechende Zeile ergibt sich dann auch ( a;j - Xk=1 ck; c k j ) = 0, so daß c ; j unbestimmt ist. Durch Zeilen- und Spaltenvertauschung kann stets erreicht werden, daß dieser Fall genau für i = r+1, r+2, ... , n eintritt. Für i > r werden die Elemente c;j zweckmäßigerweise zu Null festgelegt. • Mit Hilfe einer Cholesky-Zerlegung läßt sich in vielen Fällen das allgemeine Eigenwertproblem (1.3-7) unter Erhaltung der Symmetrie in ein spezielles Eigenwertproblem überführen. Ist nämlich B = ClC eine Cholesky-Zerlegung mit einer regulären Matrix C, so gilt

46 (1.3-16)

Ax = XBx

Ax = XClCx

&

= Xy ; y = C lx .

d^AC^y

BEISPIELE 1.3-7 1 1 -1 1 1 5 -1 3 1 -1 2 -1 1 3 -1 3

A =

a)

Der Algorithmus (1.3-15) liefert der Reihe nach die Werte di = 1, c , j = 1, c, 2 = 1, c, 3 = - 1 , c, 4 = 1 d 2 = 4 . C22 = 2, c 2 3 = 0, c 2 4 = 1 d 3 = 1, C33 = 1, C34 = 0 ¿ 4 = 1 , C44 = 1 . Die Zerlegung ist damit abgeschlossen und zeigt

A = CC

1 1 2 -1 0 1 1 1 0 1

=

b)

1 1 - 1 1 2 0 1 1 0 1

0 0 0 0 1-1 1 0 -1

Q =

Wegen q n = 0 ist d, = 0 und folglich Cn = 0 . Die Elemente Ci2 und c 1 3 sind daher nicht eindeutug bestimmt . Wir setzen Ci2 = c 1 3 = 0 . Mit den weiteren Elementen d2

=

1, c 2 2 = 1, c 2 3 = - 1 , d 3 = 0, c 3 3 = 0

erhalten wir die Zerlegung

Q = C'C =

0 0 1 0-10

0 0 0 1 -1 0

Eine Pivotisierung von Q mit einer Vertauschung von erster und dritter Zeile und Spalte 1 -1 0 -1 1 0 0 0 0 und anschließender Cholesky-Zerlegung von dl

=

1> c i 1

=

,

p =

0 0 1 0 1 0 1 0 0

p'qP 1» Cj 2 = -1, c 1 3 = 0 ; d 2 = 0

führt nach Rückvertauschung zu der Zerlegung 0 0 0 -1 0 0 1 0 0

0 -1 1 0 0 0 0 0 0

47 1.4 QUADRATISCHE FORMEN Quadratische Formen sind aufs engste mit den im nächsten Abschnitt behandelten Normen verbunden. Sie haben große Bedeutung bei der geometrischen Interpretation von Vektorbeziehungen und treten häufig bei statistischen Problemstellungen auf, insbesondere bei der Betrachtung von Varianzen. 1.4.1 NICHTNEGATIV DEFINITE QUADRATISCHE FORMEN DEF. 1.4-1

(Quadratische Form)

Sei xl = (x l t x 2 , . . . , x n ). Ein homogenes Polynom n n q(x) = I l aijXiXj =x'Qx ; q ; j

(ajj + a j; )

i = 1 j= 1

heißt quadratische Form in den Variablen x 1 ; ... , x n . Die symmetrische Matrix Q heißt Formmatrix. DEF. 1 . 4 - 2

(Definite quadratische Formen)

Die quadratische Form q und die Formmatrix Q heißen positiv définit, wenn xlQx

>0

ist. Sie heißen positiv semidefinit, wenn x'Qx

>0

Vjc * 0

ist und wenn für mindestens einen Vektor x * 0 das Gleichheitszeichen gilt. Sie heißen nichtnegativ définit, wenn sie entweder positiv définit oder positiv semidefinit sind. Die quadratische Form q und die Formmatrix Q heißen negativ (semi-) définit,wenn -Q positiv (semi-) définit ist. In allen anderen Fällen heißen q und Q indefinit. BEISPIELE

1.4-1

a)

ö =

10 01

b)

ß =

1 1 1 1

, q = X[2+ x22 > 0

, q = xt2-l- 2x,x2 + x 2 2 = (xj + x2)2 > 0

Vx!,x2 # 0 ;

q ist positiv definit.

Vx,,x 2 # 0

Für X! = - x 2 ist q = 0 und deswegen nur positiv semidefinit.

c)

Q=

d)

Qx = 0 .

Für einen beliebigen Vektor y und beliebiges a e IR gilt 0 < (ax + y)lQ(ax = 2a (y*Qx) +

+ y) = a2xlQx

+ 2aylQx

+ ylQy

=

l

y Qy

l

Da dies für alle ae IR gilt, folgt y Qx = 0. Weil y beliebig ist, folgt Qx = 0. • Nachdem das homogene Gleichungssystem Qx = 0 bei regulärem Q nur trivial lösbar ist, geht der folgende Satz aus dem vorangehenden unmittelbar hervor. SATZ 1 . 4 - 2 Eine

(Notwendige und hinreichende Bedingung für positive Definitheit) Formmatrix

Q

ist

genau

dann

positiv

définit,

wenn

sie

nichtnegativ

définit und regulär ist, d.h. wenn r ( ß ) = m für o(Q) = m x m gilt. SATZ 1 . 4 - 3 (Übertragung der Definitheit von Q auf

A*QA)

Sei Q eine symmetrische m x m - M a t r i x und A eine beliebige m x n - M a t r i x . a)

Ist Q nichtnegativ définit, so ist auch AlQA

b)

Ist Q positiv définit und ist A spaltenregulär, so ist auch A*QA positiv définit.

nichtnegativ définit.

Beweis: Seien xe IRr, y =Ax und Q nichtnegativ définit. Dann ist xt(AtQA)x

= ytQy

> 0

für alle x , d.h. es gilt a). Ist A spaltenregulär und ist Q positiv définit, so ist y * 0 für x * 0 und damit xt(AtQA)x

•

> 0 .

Der Sonderfall A = Q'1 zeigt, daß die Inverse einer positiv definiten Matrix ebenfalls positiv définit ist. Einen weiteren wichtigen Sonderfall erhalten wir für Q = I : SATZ 1 . 4 - 4

(Gaußsche Transformation einer Matrix A)

Die symmetrische Matrix AlA spaltenregulär ist. Neben AlA BEISPIEL 1.4-2

ist nichtnegativ définit. Sie ist positiv définit, wenn A ist dann auch AAl

nichtnegativ définit.

(Methode der kleinsten Quadrate)

1, = x , 12 = x, + x 2 h = x i + x2 + x3 14 = x 2

;

l=Ax

15 = x2 + x 3 1« =*3 Abb. 1.4-1: Winkelmessung in allen Kombinationen

49 Zur Bestimmung dreier Winkel x = (xj, x 2 , x 3 ) ' werden sechs Messungen / = (lj, 1 2 , ... , 1«)' durchgeführt. Auf Grund der unvermeidbaren Meßfehler sind die einzelnen Gleichungen widersprüchlich, d.h. das Gleichungssystem ist inkonsistent. Um die Gleichungen miteinander verträglich zu machen und die Konsistenz des Gleichungssystems herzustellen, wird eine noch zu bestimmende Verbesserung

v = (v!,v 2

v 6 ) an-

gebracht, 1, + v, = x , 12 + V2 = X] + x 2 13 + v 3 = X, + x 2 + x 3 14 + v 4 =

x2

>5 + v 5 =

x2 +

>6 + v 6 =

;

/ + v = Ax

.

x3

Eine sinnvolle Methode, den durch die Meßfehler bedingten Widerspruch in den Ausgangsgleichungen auszugleichen, besteht dann darin, die Korrektur v in einem gewissen Sinn minimal zu machen und v aus der Forderung

6

q = v'v =

X v;2 i = 1

-

Min

zu bestimmen. Das inkonsistente Gleichungssystem l = Ax wird bei dieser auf Gauß zurückgehenden Methode der kleinsten Quadrate durch die Fehler- oder Vcrbesserungsgleichungcn v=Ax

- l

ersetzt. Die Forderung nach minimaler Quadratsumme der Verbesserungen bedeutet q(x,, x 2 , x 3 ) = v'v = (Ax - l)'(Ax

- l) = X'A'AX - X'A'I - llAx

+ l'l = Min.

Die aus der Infinitesimalrechnung bekannten notwendigen Extremumsbedingungen d q / d x ; = 0

sind in

diesem Fall auch hinreichend, da die Hessesche Matrix der zweiten partiellen Ableitungen mit der positiv definiten Matrix AlA übereinstimmt und liefern zur Bestimmung von v das System der Normalglcichungcn AlAx - All = 0 . Im vorliegenden Fall ist A offensichtlich spaltenregulär und das System der Normalgleichungen hat die eindeutige Lösung ^

x =

t

1

t

(AA)~xAl.

Das skizzierte und in der Geodäsie als Ausgleichung nach vermittelnden Beobachtungen bekannte Verfahren kann unmittelbar auf den Fall von n unbekannten Größen x; und

m > n Beobachtungen übertragen

werden.

1.4.2 HAUPTACHSENTRANSFORMATION DEFINITER MATRIZEN In Satz 1.3-4 wurde gezeigt, daß jede symmetrische Matrix ausschließlich reelle Eigenwerte und Eigenvektoren besitzt, wobei die zu verschiedenen Eigenwerten gehörenden Eigenvektoren orthogonal sind. Ein Defekt der Matrix hat den Eigenwert A = 0 mit der entsprechenden Vielfachheit und ebenso vielen orthogonalen Eigenvektoren zur Folge. Die Eigenvektoren einer symmetrischen Matrix können zur orthogonalen Modalmatrix T zusammengefaßt werden und die damit gebildete Ähnlichkeitstransformation (Hauptachsentransformation) transformiert die symmetrische Matrix auf Diagonalgestalt. Für den hier interessierenden Sonderfall positiv definiter und semidefiniter Matrizen lassen sich daraus wichtige Eigenwert- und Zerlegungseigenschaften ableiten, die in den

50 nachfolgenden Sätzen 1 . 4 - 5 bis 1 . 4 - 8 zusammengestellt sind. SATZ 1.4-5

(Hauptachsentransformation definiter Matrizen)

Eine reelle symmetrische n x n - M a t r i x Q ist dann und nur dann positiv definit, wenn ihre Hauptachsentransformation (1.4-1)

T , ß T = diag(Ai) auf nur positive Diagonalelemente führt. Sie ist positiv semidefinit vom Rang r genau dann, wenn r Diagonalelemente positiv und die restlichen Null werden.

Beweis:

Die mit Q als Formmatrix gebildete quadratische Form ergibt sich unter Berück-

sichtigung der Orthogonalität von T und mit y = Tlx zu n = xtT- diag (A;)• Tlx = I y;2 . i=1 Sind alle Diagonalelemente Aj positiv, so ist auch q positiv. Ist umgekehrt q > 0 und wäre q = xtQx

(1.4-2)

ein Diagonalelement

A; < 0 , so würde dies mit dem zu A; gehörenden Eigenvektor x\ zu

einem Widerspruch führen, 0 < q =x\Qx\ = A i x ' j f i

< 0.

Im Falle lediglich nichtnegativer Aj gilt q > 0 und der analoge Widerspruch ergibt sich für ein Aj < 0 .

•

1.4.3 EIGENWERTE NICHTNEGATIV DEFINITER MATRIZEN W i r betonen die in diesem Satz enthaltene eindeutige Charakterisierung positiv definiter und semidefiniter Matrizen mit Hilfe ihrer Eigenwerte noch einmal durch den folgenden SATZ 1.4-6

(Eigenwerte definiter Matrizen)

Eine reelle symmetrische n x n - M a t r i x Q ist genau dann nichtnegativ definit, wenn alle Eigenwerte von Q nichtnegativ sind und genau dann positiv definit, wenn alle n Eigenwerte positiv sind. Ist Q semidefinit mit r(Q) < n, so muß also wenigstens einer ihrer Eigenwerte verschwinden. Besonders häufig wird uns dieser Fall bei symmetrischen Projektionsmatrizen P begegnen, die als idempotente Matrizen singulär sind und für die nach Satz 1 . 3 - 5 nur die Eigenwerte Null und Eins mit r ( P ) = sp(P) in Frage kommen. BEISPIEL 1.4-3 Die Quadratsumme der Abweichungen vom Beobachtungsmittel 7 aus n Beobachtungen / = 0 , 2

(qji >0) ; i = l , 2 , . . . , n

qij < qn qjj,

(q?j ^ qu qjj)

54 c)

max | qij | liegt in der Diagonalen . i 'j

Beweis: Sei xt = (x,, x 2 , ... , x n ). Wegen X'QX > 0 für alle x * 0 folgt a) für Xj = 1 und xj = 0 für i * j. Sind xj = 1, x; beliebig und x^ = 0 für i * k * j, so ist x'Qx = qn x ; 2 + 2q ;j x ; + qjj > 0 2

= (x; +3LL) 2 + ä i ^ - 3 i j _ f ü r q i i 4n 4ii n.. 4i l Hieraus folgt b) für x, = - q;J¡/q;; . Ist bei einer positiv semidefiniten Matrix q ; ; = 0 , so t zeigt x Qx = 2qijXi + q_y > 0 , daß sämtliche Elemente in der entsprechenden Zeile und Spalte verschwinden. Die Bedingung c) folgt unmittelbar aus b). • 1.4.6 ABSCHÄTZUNGEN DER EIGENWERTE SYMMETRISCHER MATRIZEN Über die Elemente der Formmatrix lassen sich auch Eigenwertabschätzungen gewinnen. Wählt man die Diagonalelemente q ; i als Mittelpunkte von "Kreisen" mit den Radien I |qjk| mit k * i, so liegen nach dem Kreisesatz von Gerschgorin die Eigenwerte in der Vereinigung dieser n Kreisscheiben. Es sei angemerkt, daß dieser Satz für beliebige, auch nicht symmetrische Matrizen gilt und diese Kreise dann in der komplexen Ebene betrachtet werden müssen. In dem hier allein interessierenden Fall reell symmetrischer Matrizen erhält man in der Regel sehr viel bessere Abschätzungen durch den Rayleigh-Quotienten: DEF 1.4-3 (Rayleigh-Quotient) Für eine symmetrische Matrix Q heißt der Quotient

X

Rayleigh - Quotient.

X

Eine erste Eigenschaft des Rayleigh-Quotienten erkennen wir, wenn wir für x einen Eigenvektor von Q einsetzen, XX XX Der Rayleigh-Quotient liefert also an der Stelle eines Eigenvektors den zugehörigen Eigenwert. Für symmetrische Matrizen resultiert daraus eine ganz besonders wichtige Extremaleigenschaft des Rayleigh-Quotienten. SATZ 1.4-11 (Minimax-Eigenschaft des Rayleigh-Quotienten) Sei Q eine symmetrische nxn-Matrix mit den Eigenwerten A[ > A2 > ... > An und den zugehörigen orthonormierten Eigenvektoren v 1 ; v 2 ,... , v n . Für j = 1 , . . . , n gelten: a) (1.4-3)

Aj = max {

x*0 X

X

, x'v; = 0 , i = 1,... , j - l }

55 b) Courantsches Maximum-Minimum-Prinzip

(1.4-4)

Aj =

min

X\, ...

,

i

{ m a x ^ ^ | x*0, X X

A j =0, i = 1,... , j-1 } ,

wobei jcj, ... , acj_j beliebige j - 1 Vektoren des IRn sind. Beweis: a) Aus jc'v; = 0 für i = 1,... , j - 1 folgt x = X k= j «k v k und damit n

(1.4-5)

x tQx

=(

n

«icVk/

I k=J

n

n

ß-i I«,vi)= l aka,A, i-j ¿=.

< Aj

I o,, k=j

.

Für a. = 1 und a,+x =... = a n = 0 gilt in (1.4-5) das Gleichheitszeichen, d.h. das Maximum t 1 2 wird tatsächlich angenommen. Mit x x = Zk=j «k folg 1 (1-4-3). b) Aus (1.4-3) folgt, daß das Minimum für je, = v l 5 ... , = vj_, angenommen wird. Der von beliebigen x u ... , x ; _ { aufgespannte Unterraum des IRn ist höchstens ( j - l ) - d i m e n s i o j nal. Also gibt es einen Vektor x = I i = 1 ß t v ; aus dem von v 1; v2> ... , Vj aufgespannten j-dimensionalen Unterraum mit xv\ = 0 , i = 1, ..., j - 1 . Es folgen = ( l ß i v j - i I /3kvk)= I ßi2 , i=1 k=1 i= 1

A

x lQx = ( I ß

i=1

und damit (1.4-4).

i Vi/i

L/3kAkvk)= I X k= 1 i= 1

ißi

2 >Aj I

i= 1

ßf, •

Die durch den Satz skizzierten Extremaleigenschaften des Rayleigh-Quotienten sind für die Numerik des Eigenwertproblems symmetrischer Matrizen von größter Bedeutung. Der Rayleigh-Quotient stellt bei vorgegebenem Näherungs-Eigenvektor eine sehr gute Schätzung des zugehörigen Eigenwerts dar, wobei man in der Praxis feststellen kann, daß gute Schätzungen eines Eigenvektors zu noch besseren Eigenwertschätzungen durch den Rayleigh-Quotienten führen. BEISPIEL 1 . 4 - 5

ö =

7

-2

1

-2

10

-2

1

-2

7

EW : A! = 6

EV : x , = ( 1 ,

0,-1)'

A2 = 6

x2 =(1,

1, 1)'

A3 = 12

jc3 = (1,-2, 1)'

Zu dieser uns bereits aus Bsp. 1.4-4 bekannten Matrix berechnen wir den Rayleigh-Quotienten für einige Näherungsvektoren x :

x

p{x)

(1.50, 2.00, 3.00)

6.00

(2.00, -3.00, 2.00)

11.88

(1.00, 2.00, 3.00)

6.00

(3.00, 4.00, 5.00)

6.00

Man erkennt, daß auch numerisch schlechte Eigenvektorschätzungen brauchbare Eigenwertschätzungen durch den Rayleigh-Quotienten zur Folge haben. Eine genauere Untersuchung zeigt, daß der Fehler in der Näherung eines Eigenwertes durch den Rayleigh-Quotienten

56 quadratisch klein wird gegenüber dem Fehler in der benutzten Schätzung des Eigenvektors. Durch den vorangehenden Satz wird auch die stetige Abhängigkeit der Eigenwerte von Störungen der Matrixkoeffizienten sichtbar. Kleine Störungen in den Koeffizienten haben auch nur kleine Störungen der Eigenwerte zur Folge. Dies bedeutet, daß die Eigenwerte robust sind insbesondere gegen die unvermeidlichen Rundungsfehler beim numerischen Rechnen. Genauer wird dieser Sachverhalt durch den folgenden Satz beschrieben: SATZ 1.4-12 (Eigenwerte gestörter symmetrischer Matrizen) A, B und F seien symmetrische nxn-Matrizen mit B =A + F. Seien \ x > X2 ^ An die Eigenwerte von A mit den orthonormierten Eigenvektoren V], v 2 , ... , v n ; ¿i, > /x2 - — - Hn die Eigenwerte von F mit den orthonormierten Eigenvektoren yu y2, ... , yn und > k2 > ... > Kn die Eigenwerte von B mit den orthonormierten Eigenvektoren z 1 ; z 2 ,... , z n . Dann gilt für k = 1,... , n (1.4-6)

ic k < m i n ( A j + / i i ) ,

füri+jck =

min { m a x - i ^ i | ¿vk=0, V!, . ..,Vj_! XX >i» • ->yi-i

< max { i p i | A XX < \j + Vi .

k

k = 1, ... , j - 1 ; xly^ = 0 , 1 = 1,..., i - 1 }

= 0 , k=l, ..., j - 1 } + max {

| jfyx = 0 , 1 = 1,... , i - 1 } XX

•

Da -A und -F gerade die negativen Eigenwerte von A und F haben, führt die Anwendung von Satz 1.4-10 in diesem Fall auf "K"n-k+i ^ " V j + i " Mn-i+i i

i +

j ^

k + 1

oder

(c^ > max { Aj + /i; | i + j > n + k }) . Zusammen mit (1.4-4) ergeben sich daher die bequemen Abschätzungen (1.4-8)

Ak + ßn < Kk < Ak + /i, ,

k = 1,...,n.

1.4.7 ZERLEGUNG DER SPALTENRÄUME VON SUMMEN UND PRODUKTEN Nach den beiden vorangehenden Sätzen zur Numerik der Eigenwerte, die als charakteristische Zahlen und Strukturkonstanten für die Matrizen quadratischer Formen eine wesentliche Rolle spielen, wollen wir uns zum Schluß dieses Abschnitts mit einigen algebraischen Eigenschaften speziell nichtnegativ definiter Matrizen beschäftigen. Wir werden in den Kapiteln 4 - 7 sehen, daß die beiden nachfolgenden Sätze eine herausragende Bedeutung für die Algebra linearer Modelle besitzen. SATZ 1.4-13 (Spaltenraum einer Summe nichtnegativ definiter Matrizen) Für nichtnegativ definite symmetrische Matrizen M, N mit o(M) = o ( N ) ist der Spaltenraum ihrer Summe gleich der Vereinigung der einzelnen Spaltenräume, (1.4-9)

S{M +

N)=S(M)vS(N)=S(M\N).

57 Beweis:

Nach Satz 1.4-8 gibt es spaltenreguläre Matrizen C, D mit M = CC\

S(M)=S(C)

; N=DD*y

S(N)=S(D).

Für die partitionierte Matrix F := (C\D) gilt daher S{F)=S{C\D)

=S(M\N)

FF1 = Cd

und

=S(M) u S(N)

+ DD* =M + N .

Die Behauptung folgt dann wegen S(F) = S(FFC) .

o

Eine direkte Folgerung für disjunkte Spaltenräume S(M) n S(N) = 0 ist die Rangbeziehung (vgl. Satz 1.1-1) (1.4-10) r(Af + N) =T(M) + r(N) . Der folgende Satz beschreibt eine weitere und sich für spätere Betrachtungen als außerordentlich wichtig erweisende Eigenschaft nichtnegativ definiter Matrizen. Er besagt u.a., daß für eine beliebige Matrix A die zueinander orthogonalen Spaltenräume S(A) und S(A±) wenigstens disjunkt bleiben, wenn eine der beiden Matrizen mit einer nichtnegativ definiten Matrix multipliziert wird. SATZ 1.4-14 (Disjunkte Zerlegbarkeit von