Statystyka dla fizyków 8301137029

Citation preview

WYDAWNICTWO NAUKOWE PWN WARSZAWA 2002

a k y t s y | Stat w ó k y z f a l d

1 Roman Nowak

Projekt okładki i stron tytułowych MARYNA WIŚNIEWSKA

Redaktor MAŁGORZATA KOPCZYŃSKA

Tytuł dotowany przez Ministra Edukacji Narodowej i Sportu

Copyright © by Wydawnictwo Naukowe PWN Warszawa 2002

Wydawnictwo Naukowe PWN SA

ul. Miodowa

10, 00-251

Warszawa

tel.: 69 54 321, e-mail: pwn©pwn.com.pl

www.pwn.pl

ISBN 83-01-13702-9

SA

BŁĄD

Człowiek jakoby w stroju podróżnym, z zawiązanymi oczami; kroczy macając przed sobą kijem, szuka bowiem drogi,

tak by była jak najpewniejsza. Ale niemal zawsze podąża on w Niewiedzy.

*Wszystkie alegorie i cytaty pochodzą z Ikonologii sporządzonej przez Cesarego Ripę, a wydanej przez Towarzystwo Autorów i Wydawców Prac Naukowych UNIVERSITAS,

Kraków 1998.

Spis treści

Spis przykładów

.................

Tytułem wstępu ..................

Część I. DANE ............... 1. Statystyka w fizyce

Część II.

............

JĘZYK ...........

m...

o...

3.

|...

o.

zr

e

BR

0

o

2

a...

|...

z...

m...

o...

ne

PE

o...

o...

i

o

2

Be.

R

A

R.

2

A.

2

0

ER

o

R

0

e

0

i.

R.

A

A

R

BŁ

2

Ra

2

2

0

0

PM

0

0

4

23

3

O

2

A

e

2

21

2

22

23

+

P+

33

>

2

0

0

R

2

A

I

4

RA

A

A

2.

2

2

A

>

A

2

A

A

A

A

o

oe

A

BE

A

8

R.

a

2

13

2

35

aan zaniki 011 -weeae aaa aaa nana 2. Prawdopodobieństwo i jego rozkład ...........-

35

a zana n nana narnii: aaa aa ea aaauaeeaaeen 2.1. Pojęcie rozkładu prawdopodobieństwa.........

2.2. Układ pewników ...........

Że

2.3. Prawdopodobieństwo warunkowe 2.4. Zdarzenia niezależne........ 2.5. Dystrybuanta...............

0

0

e

R

2

A.

0.

0

o

A

20.

2

0

e

ne

3

2

2

3

e

2

52 56

e

>

68 88 104

2

+

11ł

2

111 116 124 128 134 136

na enea nart iii: aaaeaa aaa ana aaa nana .....uuereez dd...

z...

w...

2.

o...

e

o.

e

e

Ro

2...

BR o

A

o

0

BŁ

R

BV

A

A

A

2

A

0

z

R

A

o

A

A

e

A

Pe: e

2

A Ba

aaa aaa naa i iii: aaa anna nana aaaaaa 2.6. Przekształcenia zmiennych losowych ......uuaeaaaa

ana az nn ia: enea nana za eeaa ..uea aaa 2.7. Rozkłady warunkowe i randomizacja .....

2.8. Twierdzenie Bayesa.........

3. Parametry zmiennej losowej ... 3.1. Wartość oczekiwana ........

3.2. 3.3. 3.4. 3.5. 3.6.

w...

e.

e

|...

2

0

a:

o.

|...

Po

z...

i

o

A

R

A

0

a

R

A

R

2

2.

0

2.

ża

o

2

0

A

M

O HE e

A

R

2

2

2

2

Het

A

o

2

A

i

ROB.

2

BŁ

2

22:

Momenty ..........-1221--. az iii: aa aaa eee cana c nn .ueaea aaa aaa Kowariancja i współczynnik korełacji ...... nana n aa naaz naniaacia: eaeaaaa eee enea Momenty funkcji zmiennych losowych ......u Krzywe regreSji ............ Parametry pozycyjne........ m...

..

O.

w...

o...

0:

R.

i...

O

ORA

2.

BO

2

O

0

VO

PA

EE

A

M

OVO

2

e

2

8

R

O

0

PW

0

R

M

R

O

R

e

R

A

2

A

A

O

20

2

0.

A

2

OP

un

ŁA

2

2

5

O

>

e

z nania iii: aaa nana aaa eeea . Momenty i statystyki pozycyjne z próby ..........-eem

139

netii: aaa nawa a anawa nna ca aaa aaa ..uaa 4.1. Wartość średnia —— prawo wielkich liczb .....

140 144 153 157 160 167

4.2. 4.3. 4.4. 4.5. 4.6.

nan aaa niania ii: eee aaa na aaa -u.ea Odchyłenie standardowe i wyższe momenty....... Średnia ważona ............ Kowariancja ............... narnii 1: ana nana nanaaaa .ueaaa aa naaaaaaaaan Efekty systematyczne i ich błędy .....u Statystyki pozycyjne z próby o... w...

Że

A

0

B.B.

o

o

R

R

2

a

Ee

R

O

o

0.

2.

A

2

e

A

2

2

e:

2

2

o

0

0

PA

e

A.

A HE R

i

e

A

ee

HA

A

2

i

2

e

2

6

Spis treści

Część III.

MODELE

5. Niektóre rozkłady

5.1. 5.2.

...............................

...........muuuuueumeaaumaaaaa LLL aaiaiiiLL.

175

Elementy analizy kombinatorycznej..............uuuaaaaaaaaaaaaaaa ii LILII Rozkład dwu- i wielomianowy .......uuuuuuuaaauaaaaaaaaaazaaaiaa LL LLL ii

175 191

5.2.1. Rozkład dwumianowy — wyprowadzenie ..........uuuazaaaaai i LLLLLL. i 5.2.2. Momenty rozkładu dwumianowego i ich estymatory...............-...i.1i11.. 5.2.3. Postacie graniczne rozkładu dwumianowego ..........meuaaaaaaai LLL. aa

5.2.4. Rozkład wielomianowy — wyprowadzenie ............uzuaaaaaaaiLLL. L

5.3.

5.4.

5.5.

5.6.

5.2.5. Momenty rozkładu wielomianowego i ich estymatory ..............aaaaaaLL.... 5.2.6. Postać graniczna rozkładu wielomianowego............uuaaaaaaaiaa LLL. Rozkład wykładniczy .........muuaaa aaa aaaaaaanaaza LLLLJL 5.3.1. Wyprowadzenie .......uuuua aaa auaaaaaaaaa LIIL 5.3.2. Momenty i ich estymatory .........uuuaaaaaaaaaaaa LILII aaaii LL. 5.3.3. „Brak pamięci”.........uuu aaa aaauaaa aaa aaaaaaaa 5.3.4. Szeregi promieniotwórcze .......uuuaaaaaaaaa aaa. Rozkład POoiSSOna...... ..... aaa anawauuaaeaaaaaaa LLL 5.4.1. Wyprowadzenie ........zaa .uuu zazn aeaa a aaaaaLIJI 5.4.2. Momenty ........uuua zania aaaa aaa aaaaaza LL. 5.4.3. Postać graniczna rozkładu Poissona ...........umuaaaaaaaaaazaaaiiai LLL] 5.4.4. CZAS Martwy .......uuuuu aa azaaa aaaa aaa aaaaaaaa LLLL Rozkład Gaussa ......... aaa zaa uaa eaaiiiiiL iiaiia aawLLLL. aa 5.5.1. Wyprowadzenie — modele Laplace'a i Herschela .............u.aaazzLLiLL. 5.5.2. Własności rozkładu Gaussa ......uu aaa euaeuaaaa LLLL. 5.5.3. Centralne twierdzenie graniczne .............muuaa aaaaaaLILII] aaa aaa

5.5.4. Binormalny i wielowymiarowy rozkład Gaussa ...........uzuaaaaaaaiii LLL. Rozkład x? ......uuauaa aaa aaaaaaeaaaaa LLILLLLLaz LLL

5.6.1. Wyprowadzenie

.........uuuaaaazaaa zana aaaaaaaaa LLL

5.6.2. Własności rozkładu X*.....uuuuuueuaaaaaaaaaiii aaaaaazaiia LLLL I.

5.7.

173

5.6.3. Postać graniczna rozkładu X?........uu.uuaaaaaaaaaaaaia LLL.

191 199 203

207

208 214 216 216 222 231 235 243 243 261 275 276 295 295 300 309

313 323

323

324

331

Rozkład Studenta............aaa .uaaa aaaaiaizi aaaaa ii LL aaaaa LLLLLLL. a 5.7.1. Wyprowadzenie ........uuuuuueaaaan aaa aaaaaaaaa LLL. 5.7.2. Własności rozkładu Studenta .............muuuaaaaaaaaaaa iii azia LL LIL 5.7.3. Postać graniczna rozkładu Studenta ...........uuuuaaaaaaazaaaii LLL. 5.8. Rozkład F Fishera...........uuuuuuaaaaaaaaaaaaaaaaaanaaaaai LL LLLLLL. a 5.8.1. Wyprowadzenie ..........muuuaaaaaaaaa niania LII 5.8.2. Własności rozkładu F........muuueuuaaaaaaaaaaaaaaaanaa ai LLL iia 5.8.3. Postać graniczna rozkładu F...........muuuuuuaaaaaaaaaaaaiai LLL 5.9. Rozkład Breita-Wignera ........aaa ..uuueaueaaaa LLILL 5.10. Rozkład jednostajny ......muuuuuuauaauaaaaaaaaaa iii aaaaaaa LLL... aaiia 5.11. Podsumowanie. Związki między rozkładami ..........m.auaaaaaaaiiLLLLLLL.

333 333 337 338 341 341 342 343 344 347 352

6. Metoda Monte Carlo ............... aaa ..uuueuuueee LI

355

6.1. 6.2. 6.3. 6.4.

Idea symulacji komputerowej.............meuaaaaaaa ii aaazaai LLLLLLLLL. a Generatory liczb losowych ......uuuaaauaa aaa aaaaaaaaa LILII Metody generowania rozkładów prawdopodobieństwa .........muuaaaaiaaii LLL. Typowe zastosowania technik Monte Caflo ...........uuaaaaaaaaaaaaiia LLL.

Część IV.

355 359 363 365

WNIOSKI .............................. LL

369

7. Estymacja parametryczna............mu.meumeuaa aaaaaaLLLLLLLLL. i aaiai

371

7.1.

Własności estymatorów ........uuuauaaaaa aaaaaaaaaaaaaa LLL

372

Spis treści 7.2.1. Zasada największej wiarogodności ......uauaaaaaa aaa ana aaa nana anni c i 7.2.2. Własności estymatorów największej wiarogodnoŚci ..........-emaaeaaaaraniti0i1 ana aaa nana e nana cieni: 7.3. Metoda najmniejszych kwadratów.......umueaaeaeaneaaaaaena 7.3.1. Zasada najmniejszych kwadratów 7.3.2. Przypadek |MQoWy ...-auaaeaaana aa eaaaawaaaaana nana aaa ania aa cenia ara ea aaa ni cct: 7.3.3. Przypadek liniowy z liniowymi równaniami WIĘZÓW ......uuaaaa wana aaea anna aaa ne ena rena nai ii A 7.3.4. Przypadek nieliniowy .......uauaeaaeaea 7.3.5. Analiza regresji ini i: nan anaaaaaaananizaaa aan 7.4. Estymacja z ufnoŚcią .....aueeaaeaenaaaeaaa 7.4.1. Metoda estymacji przedziałowej 7.4.2. Estymacja przedziałowa parametrów rozkładu Gaussa 7.4.3. Estymacja przedziałowa w metodzie największej wiarogodnoŚci .................. 7.4.4. Estymacja przedziałowa w metodzie najmniejszych kwadratów ............-1..... ener ani ii aaa naa a arena 7.4.5. Ufność z ograniczeniami ........uuaa aaa aaa aaa o...

0

m...

o

o...

R.

a...

o

a...

o

ERA

A.

o.

p...

e

e

o

e

0.

a

e

|...

r

e

BE

O

R

R.

2

b

e

o

0

R

o

o

2

o...

|...

8. Weryfikacja hipotez

0

R.

O

0

Ł

2

a

Ba

O

R

2

oe

r.

e

o

R:

e

O

o

b

e

A

2

e

O

+

0

2

a

BA tt

że

+

7

A

Pet

a...

2

8.

0

R

e

A

e

Po i

ea aa kaza aaa z azaaaaana a nana LLLuuuuuz zazna 8.1. TesbAStobmoŚlł...L

8.2. Test zgodności

o...

9, Stopień racjonalnego zaufania

0

o...

o...

0

R

O

R

a

o.

i: o

Łe

BŁ

o

0.

20

R

A

ne.

e

a

e

A

e

b

a

BA

0

e

+

+

9.1. Prawdopodobieństwo i statystyka ani ri: na nana znaa a naa aaa a aaneaaaaaaa 9.2. Sposobność i jej miara........eae nii 1: aaa nana aan a aaa aaa n ..uuuua nana aaaa aaa ....... 9.2.1. Algebra Boole'a m...

0

o

e

e...

p.

r

e

Pt

o

R

e

2a

a nana e near i c A nana nana naa nanaaaaaa aaa.-meu 9.2.2. Dezyderaty teorii .....

9.2.3. Prawa operowania stopniem racjonalnego zaufania cana naci: anawa aaa neea cnaaaaaa 9.2.4. Ku prawdopodobieństwu .......uuuueeaaa e nei c i: nna wana wana aaa aan eaza 9.3. Wnioskowanie probabilistyczne .......-m.uuaaaeae ni ii ii aana naa naaaaa aaa aa aaa nawa aaa BayeSa........emeaa 9.3.1. Twierdzenie a...

o

e

0

e

O

>

2

e

»

2

aaa cana nana n nic: nawa aaa a aaaeaaeaaana 9.3.2. Probabilistyczna indukcja........uu

ani 1 1 nana .eeeea aaa aaa 9.3.3. Estymacja parametrów z twierdzenia BayeSa ........ 9.3.4. Weryfikacja hipotez z twierdzenia Bayesa ..........

0...

o

e

e

0

RL

BU

EE

2

O

e

Rae i

a nana anni cia aaa aaa a eee 9.4. Prawdopodobieństwo bezpośrednie .........uuueaaeaaea 9.4.1. 9.4.2. 9.4.3. 9.4.4, 9.4.5.

aaaiii aa narnii aa nawa a nawe wana uuaaea Nieinformatywne zaczątki .....u Minimalnie informatywny zaczątek parametru skalującego .........-222:212-1111. Minimalnie informatywny zaczątek parametru lokacji...........eaasaeet2001. aiii: aaaaaa nana ana naenai aaa nawa .uaeaaa Zasada maksymalnej entropii ....... anni: nana a aan aan auaeaeaa aaa aaa Metoda najmniejszych kwadratów .......u

nania iii: znana nana nanaaaaaa 9.5. Prawdopodobieństwo personalne .........uuuaeaaeaaa

aaa

Część V. DODATKI............aaaae

c era rin iii: aaa nana aaa .eea Dodatek A. Unormowania terminologiczne ...........iii: c nan nnn a ana aaa aaa anna eeeaaaa Dodatek B. Uzupełnienie .............m

anawa nania aaa aaa aaa neeeaa Dodatek C. Prawo mnożenia sposobności ..........-uez za i aana anawa nana narnii uueeeeeza Dodatek D. Prawo dodawania sposobności .........naa anna nana wa aaanararai: aaa....-.eee aaa Dodatek E. Twierdzenie Shannona..........

aan t nii i: aaa ana c eeeea ......uu zana Dodatek F. Rozkłady — podsumowanie....

Podziękowania Skorowidz

o...

i...

e

i...

aoi

e

o

>

.

..

00

r

ne

ra

e.

o...

i

ne

o

a in

a

o

A

e

200

e

oe

no

e

2

e

Pt

e

o

e

e2

631 633 635 637 640 644 647 654 656

Spis przykładów

2.1.1. 2.1.2. 2.1.3. 2.2.1. 2.2.2. 2.2.3. 2.3.1. 2.4.1.

2.4.2. 2.4.3.

2.5.1. 2.5.2.

Normowanie rozkładu dyskretnego ..........uuumuuaaaaaaaaaaaazaziiiaiii LLL. Rozkład Benforda...........uumuuuaeaaaaaaaaaaaaaaaaa aaa LLL Straty energii na jonizację — rozkład Moyala ...........muauaaaaaaaaaai LLL LL. Przestrzeń zdarzeń elementarnych ............muauaaaaaaaaaaaaiaii LL. Prawdopodobieństwo geometryczne — definicja .............uuaaaaaaaaaaaaaii LLL. Paradoks Bertranda............umuueuuaaaaaaaaaaaaaaaaaaaiaa iiiaaiiii LLL I. Układ Kop...........Luuuzania aaaaaa iii aaaanaaaaaa L LL.

37 37 42 45 49 51 55

Żart Pauling. .......uuu aaa aaeaa aaa aa aaaaaa zizi aaaaaaaaa LLL LI

58

Dystrybuanta rozkładu grubości książek ..........mu..aaaaaaaaaaaaaaaiiaa LIIL] Odległość do sąsiada .........uuuaaaaaa aaa aaa aaaaaa iii aaa LILII

65 66

Efektywność detektora.......uuuuuuuuaaaaaaaa iii aaaaaaaaini LLL. Szansa detekcji Cząstki ........uuauaaaaaa aaa aaaaaaaa LLILI

61 63

2.5.3. 2.6.1.

Rozkład Maxwella .........uumuuaaaaaaaaazaaaaaaaaa ciaza L Odwracanie dystrybuanty .....uuuumuaaaaaaaaaaaaa ii aaaaaiaiza LL.

68 70

2.6.3.

Zamiana zmiennych — przypadek niejednoznaczny ............umaa aaaaaaaaa iL LLL.

74

2.6.2. 2.6.4. 2.6.5.

Rozkład energii produktu rozpadu ..........uu.uuuuuaaaaaaaaaaaaaaaiacizi LLL

Rozkład kąta emisji cząstki ......uuuu aa aaaaaaaaaan auaua aaiiiii aaaaa LLL. Rozkład sumy i różnicy zmiennych losowych..........uaaaaaaaaaaaaawaaii iii.

2.6.6. 2.6.7. 2.6.8. 2.7.1. 2.7.2. 2.7.3.

Rozkład iloczynu i ilorazu zmiennych losowych .........uuaaaaaaaaaaaaaiaiiiii LLL. Maksimum Jacobiego .......uuuaaaaaaaa aaa iaazaizii anaaaa iii aaa LLL. Rozkład podstawowych stałych fizycznych............uuaaaaaaazaazaiaii LLL.i Splatanie rozkładu wykładniczego .......muuaaaeauaaaaaaaaaaaaaaaaaiziia LLL I. Masa neutrina ...........uueaaaa aaa aaaia aiz eaaaaawaaza LL I. Profil Volgta.........muunana uaaaaa aaa aaaaaaaaaaaa LLLLLL.

2.8.1. 3.1.1. 3.1.2. 3.1.3.

Twierdzenie Bayesa Wartość oczekiwana Wartość oczekiwana Wartość oczekiwana

2.7.4.

Randomizacja — rozkład ładunku ........uuuuumuuaaaaaaaaaaaaaaazaii LL

71

74 79

79 80 81 92 94 97

102

— licznik Czerenkowa............uuaaaaaaaaaaai LLL. — bankier .............uu.uuuaaaaaaaaaaaaiaiai LLL. ii — rozkład Maxwella .............uuazaaaaaaaaaaaai LiLii LL. zmiennej losowej .............uuamaaaaaaaaaazazaia LLL LIL.

108 lil 112 114

3.2.1. 3.2.2. 3.4.1. 3.4.2. 3.4.3. 3.5.1.

Momenty rozkładu złożonego ........uuuuuaaaaaaaaaaaaaaaaaaanaiaiaii LLL. Momenty losowej sumy zmiennych losowych..........uuaaaaaaaaaaaiiaaizii LL LLLL. Korelacja między oporem i mocą.........uuuuuuuaaaaaaaaaaaaazaa LLiiii LLL. Efektywność detektora..............uaum aaa azaaaa i. aaaaaa nawa aaaaa a ca: Wariancja w ekstremum ......uuuuua a aaaana aaaaaia aizaaaaaa LLL aLL] Linia prosta regresji drugiego typu .......muuau aaa aaaaaaaaaa LIIL.

118 122 130 131 133 135

4.2.2.

Błąd nowicjusza .........uumuaaaaa wana aa ania aaaaaaanana LLL.

3.1.4.

4.2.1.

4.2.3. 5.1.1.

Rozkład pędowy partonów ........uuuuaaaeaz zaa awaaazaaaa iL I.

Zdolność rozdzielcza licznika — źródło ÓFe..........muuaaaaaaaaaaaLLL. aaia

Korełacja wartości średniej i odchylenia standardowego ...............eaaaaaaaiiaL... Wariacje z powtórzeniami — problem de Mórć...........uuauazaaaaaaaiizaiii LLL LL]

114

145

147

151 177

9

Spis przykładów

5.1.2. 5.1.3.

— 5,14.

5.1.5.

5.16. 5.2.1.

5.2.2.

5.2.3.

5.24. 5.3.1. 5.3.2. 5.3.3. 5.3.4. 5.3.5. 5.3.6. 5.3.7. 5.3.8. 54.1. 5.4.2.

5.4.3. 5.4.4. 5.4.5. 5.4.6. 5.4.7. 5.4.8. 5.4.9.

Permutacje — skojarzenia, czyli roztargniona sekretarka

..........

e.

2

o...

o...

.

a

o

pe

st

Wariacje bez powtórzeń — winda .......uuuuaaaaa aaa aaa a aaa n aaa naa znana ana cia: Szansa wygranej w totka

m...

BŁ

2

0...

.

.

.

r

e

BR

BR

e

e

o.

e

3

R

i

ai

Kombinatoryka w fizyce statystycznej........uuaaaaaeaaa aaa aaa nana a aaaaa ana ai ich

Kombinacje z powtórzeniami...........uuuuaaeaaaaaaananana wana wanna nana nna niani iii

Układ komór wielodrutowych

o...

.

o

A

BO

BO.

2.

a

R:

o

A

e

Be

A

2

0

2

0

2

0

e

4

>

Obszar wykluczania ....-.uueeeaaaana wena naa a nana aaa nana n ana ana nanE Wir wodny Optymalna szerokość przedziału histogramowania Prawo zaniku jąder promieniotwórczych Obszar wykluczania ....-emaeeeaa aaa aa aaa ana w nana nawa ania aria narazie r ar iiaH Częstość przypadkowych koincydencji Oczekiwanie na przejazd samochodu — wykres kwantyli.........uuaeeeaa aa aaa a niic2 Obcięty rozkład wykładniczy w...

w...

e...

.

o

B.A

a.

R

a

o

0

e

0

R

A

R

O

........

w...

o...

|...

w...

.

o...

a...

nn...

o.

Rozkład dróg oddziaływania

o...

a...

m...

r.

r...

2

0

Łe

e

0

2.

2

a

e

a

e

o

e

Be

O

>

02

e

ho

o

a.

u

o

2...

e

o

e

BŁ

2

a

o

a

e

Ba

8

e

O

>

2.

ret

00

0

e

i

Ba

s

st

toe

o

2

4

e

aaa rei

te 2

e

eo

a aaaaa

R...

o...

8

0...

Czasy przeliczania — rozkład Erlanga ........aea aaa aaa aaa ana Przeżywanie i rozkład Weibulla

2

2

O

02

0

e

ne

RO

nA

ee

iu

e

Liczba par jonów w detektorze gazowym Zagadnienie Erlanga........uueeeeaa aaa ea aaa nana nna aaa zazna na nana a nania c iii Rozkład czasów przeliczania z rozkładu Poissona........uaaaaaaa ea aaanaa nana nania ca Obszar wykluczania ......u.eeemawaaaa aaa aaa aa naa nana aaa a zazna naka a nei rich Odległość do najbliższego sąsiada ........uaaaaaaa aaa aaa aaa aaa n aaa nana aa nana acc h ASyMetnia ....Luaae eee eea aa aaa aaa naneanna naka a rana zina 0 A Błąd liczby przypadków w przedziale histogramowania.......uuuaaaaaa aaa aaa aa c ii: Reguła zatrzymania Optymalny czas pomiaru |...

0

|...

Pa.

e

BA

0...

O...

w...

a.

a...

e

e

BA

R

O

e

e

o

A

Ba

2

A

o.

Pt

9

R

2

e...

0

R.

0

2

BOR

2

a

o.

e

e

e

2

u

e

>.

0

A

+

A

e

a

Pe

naa aaaanaaaa nna aa nana anna nana ciii 5.4.10. Efektywność detektora.........uuuuuaeaa saa nana r aaa a znana naa aa ranach 5.4.11. Efektywność trygera drugiego stopnia..........uemaaa

5.5.1. 5.5.2.

5.5.3.

5.5.4. 5.5.5. 5.5.6. 5.5.7.

5.5.8. 5.5.9. 5.5.10. 5.6.1.

5.6.2. 5.7.1. 5.7.2. 5.7.3. 5.8.1. 5.10.1.

5.10.2. 510.3. 5.10.4. 5.10.5. 6.4.1. 6.4.2. 6.4.3. 6.4.4.

7.1.1. 7.1.2.

Rozkład Gaussa i pomiary ......umaeaaaaeeaa aan ana nazaaaka nana z aaa znana nar ch Błąd błędu Suma gaussowskich zmiennych losowych........uuuaaaaaaaaaaa aaa anaaara nara rcai Grubość książek — wykres kwantyli logarytmiczno-normalnych 2...

0.

e

ER

R

0

EE

o

2...

Be

0

O

A

O

Łe

A

2

0

R

A

ŁR.

2

|...

Rozkład graniczny sumy zmiennych dwumianowych

................

0

o

0

e

2

u

e

e

to

e.

Rae

nei

0

o

e

2

e

Rozkład graniczny sumy zmiennych poissonowskich Rozkład graniczny sumy zmiennych wykładniczych ......uuaaaaaaaaaaaaaanananecanccić Centralne twierdzenie graniczne — rozkład D'Agostiniego Rozkłady brzegowe, warunkowe i krzywe regresji dla rozkładu binormalnego ........... Rozkład współczynnika korelacji Rozkład estymatora wariancji i dyspersji .........umuaa aaa az anna a na naa naa nara ia: Rozkład x? dla różnych zmiennych gaussowskich ..........uueaaaaa aaa aaa wanna nai i1: Średnia arytmetyczna — rzetelność producenta cukru .......-..---.-eeaaa aaa aiai11 Statystyka Studenta dla dwóch Średnich arytmetycznych ......uuaaaaaa aaa aaa nana aaa cić Współczynnik korelacji z próby — profil wiązki..........aaaeaaa aaa aaa aaa aa nana cć Porównanie odchyleń standardowych........uuuauanaeaaaaaaaaananaanana nana nai ch Wykładnicza zmienna losowa Normalna zmienna losowa ........uueeeaaaaaaaawawanawaanawawakakia nana nana ia Skorelowane normalne zmienne losowe |...

e...

......|..|.....

|...

w...

w...

w...

o

o...

r...

.

a.

e

o

Że

z...

a...

e

eu

e.

e

eż

e

A

ŁO

A

sa

b

O

zo.

e

ne

RO

>

2

02

OŁ

a

8

>

e

2

Bu

2

0

A

ae

9

Łe

a.

A

2

a

Be

0

R

b

o

0

2.

00

>

a

o

i

e

Het

ot

b

tt

o

0

e

A

s

Sprawdzanie poprawności programów analizy danych Poprawki i ocena zanieczyszczeń .......uuuaaa aaa aa aaa aa wanna znana naa ti ani ii: Jaką metodę wybrać?.........uuuaeeaaanawawaanaaaana znana na anna na znani n ania i Stara teoria 1 „NOWA fizyka” L.LLuauaaaaeaa zaa zazna zana naa aan aan ze znika za kaaka aaa aria Odchylenie średnie ..........muuuaaaaa nana aaa anaaa anna nana zazna aaa naci: Minimalna wariancja estymatora wariancji — rozkład Gaussa 0

o

e

R

......d..|.............

o.

0

a.

03

tb

A

2

tO

ae

2

0

2

2

pi

Zmienna losowa x? Zmienna losowa z rozkładu Breita-Wignera........aaaaaaaaaaaaaa zana aaa aa nana ciii: m...

>

>

i

e

2

+

10 7.1.3. 7.1.4. 7.1.5. 7.2.1. 7.2.2. 7.2.3. 1.2.4. 7.2.5. 7.2.6. 7.2.7. 7.2.8. 7.2.9. 7.2.10. 7.2.11. 7.2.12. 7.3.1. 7.3.2. 7.3.3. 7.3.4. 7.3.5. 7.4.1. 7.4.2. 7.4.3. 7.4.4. 7.4.5. 7.4.6. 7.4.7. 7.4.8. 9.1.1. 9.1.2. 9.1.3. 9.1.4. 9.3.1. 9.3.2. 9.3.3. 9.3.4. 9.3.5. 9.3.6. 9.3.7. 9.3.8. 9.4.1. 9.4.2. 9.4.3. 9.4.4. 9.4.5. 9.4.6. 9.4.7. 9.4.8. 9.4.9. 9.4.10. 9.4.11. 9.4.12. 9.4.13. 9.4.14. 9.4.15.

Spis przykładów

Minimalna wariancja estymatora parametru rozkładu Poissona ..................1......

Najefektywniejszy estymator parametru rozkładu dwumianowego ...................... Estymatory dostateczne parametrów rozkładu normalnego ................aaaaaaaiii12 Pomiar sygnału w obecności tła — rozkład Poissona.............u.uaaaaaaaaaazaiii ii. Estymacja parametru rozkładu wykładniczego .........uuuuauuaaaa aaa L ada Estymacja parametrów rozkładu normalnego ........uuuaeaaaa aaa aaa iaiaaii LL Estymacja parametrów rozkładu Breita-Wignera................uaaaaaaaaaaaaa ida LA Wariancja estymatora parametru rozkładu wykładniczego ................a-.aaaa111. Wariancje estymatorów parametrów rozkładu normalnego ...............aaaaaaiiaii1. Ocena czasu życia — symulacja....-uuuauaaaaaaaaaaaaaa aaa aaa iii LI Ocena czasu życia i tła — symulacja ......uuuuuaaaaaaaa aaa aaa LiL Efektywność detektora.........uaeaaaaaaaaaaa aaa aaa ian ziiiii Projektowanie eksperymentu ......uuuaaaaaaaaaaaaaaaaaaa iii iii: Dane zgrupowane .........uuueuuaeaaaaaaaaaaaakaaa aaa naaiiiiaiiziaiiiiZ Poprawka Shepparda ..........uuuaeaaaaaawaaaaaaaakaaaaaa aaa ii LI Dopasowanie liniowe — pełna macierz kowariancji ..........uu.aa aaa aaa aaa LL]

Dopasowanie liniowe — skalowana macierz kowariancji...............-.aaaaaaaa iii 12 Dopasowanie z więzami — geodeta .........uuuaaaaaaaaa aaa nii iii,

382

383 385 388 391 392 394 397 397 401 404 406 409 411 413 424

434 438

Dane zgrupowane .........uuuueuaaaaaaaaaaaaaa kazania iii LL Analiza regresji — profil wiązki ......uuueaaaaa aaa aaa aaa niania ili LI Przedział ufności — wir Wodny ...L.uauaaaaaaazawawaa aaa aaa aaa z ina ia LI Przedział ufności — CZaS ŻYyCHa...-uauuauaaanaaaaa nana aaaaa ana iai iii LI Losowy charakter przedziału ufnoŚci.......uuuuzaaaaaaaaaaaaaaaa aan iaiai ii. Przedział ufności — rozkład PoiSSOnA .....uuuuuamaaaaa aa aaaaa zazna i ILE Przedział ufności dla czasu życia — rozkład Erlanga................-aaaaaaa aaa iii.

440 451 458 458 460 462 462

Przedział ufności — rozkład jednostajny .........u..uamaaaaaaaaaaaaaaaaaaaiaia dil iL] Kalibracja licznika germanowego — porównanie ............u.maaaaaaaa aaa iii LJ Estymator nieobciążony ....uuueaaaaaaaaazaaaaaaa nazi aai iza L LiL Metoda największej wiarogodności — nieefektywny licznik .............eaaaaaaa aaa aL. Estymacja przedziałowa — licznik z czasem martwym............m. aaa aaa iii i. Test istotności — reguła zatrzymania ......uueuuuaaaaaaaaaaaaaaiaaiaiaiaii iii L. Twierdzenie Bayesa — hipoteza zagłady ......uuuuauaa aaa aaa aan nna L Rozkład dwumianowy wg Bayesa .......uuuuaaaaaaaaaazaaaa aaa L LL Reguła następstw Laplace'a.........muuuauaaaaaaaaaanaaaanaa zaa iii LA Rozkład dwumianowy — obszar akceptacji ........muuuuuuaaaaaa aaa i iii LL. Efektywność detektora.........uuuaaeaaaaaaaaaaaazaa nania ii LI Estymacja stałej Natury.......umuuaaaaaaaaaaaazana znani LiL. Odplatanie wg Bayesa .........uueaaaaaaaaaaaaaananaaaaaa nana n aaa LA Prawdopodobieństwo profetyczne — rozkład beta dwumianowy........................ Rozkład wykładniczy wg Bayesa .......uuaaaaaaaaaaaaaaaaaa nana ana iaz ii L. Rozkład Poissona wg BayeSa.........uuueaaaaaaaaaaaaaaa aaa aaa iii L Rozkład Poissona — obszar akceptacji.......muuamuauaaaa aaa aan iaiaz iii Prawdopodobieństwo profetyczne — ujemny rozkład dwumianowy ..................... Najmniej informatywny zaczątek — dyspersja rozkładu Gaussa ............aaaaaaiiai.. Ocena czasu życia z jednego przypadku .....uuuuaauuaaaaaaaa aaa aaaaaaa nazi ai iii. Najmniej informatywny zaczątek — nadzieja rozkładu Gaussa ...............a-.aii22.. Najmniej informatywny zaczątek — estymacja parametrów rozkładu Gaussa ............

464 469 502 503 505 507 529 534 539 544 545 552 553 557 569 572 574 557 584 585 591 592

Przedział ufności — bogata próbka ......uuuuaaazaaaaaaaa aaa zaaa iii iii ii.

Najmniej informatywny zaczątek — rozkład Breita-Wignera .....................-11..

Błędy systematyczne wg Bayesa.......-ueaaauaaaaaaaaaaaaa aaa i.

Entropia informacyjna — rozkład geometryczny .........uuuuaaaaaaaaaaa aaa iii a i.

Entropia informacyjna — rozkład dyskretny z zadaną nadzieją ......................... Przejście od zmiennej dyskretnej do ciągłej ..........auu.m.auaaaaa aaa aaaaana ii iL. Rozkład Gaussa z zasady entropii .........auaaeaaaaaaaaaaa aa naa nana nai i ii ia. Masa antyneutrina — przedział wiarogodnoŚci .........umuuaaaaa aaa aaaaaa ciii

463

595

595

601

604 609 613 617

Dedykuję Rodzinie

STUDIUM

Maluje się go młodym, ponieważ wiek młodzieńczy dobrze znosi trudy studiów. Jest blady, ponieważ studia zwykle wyczerpują i przeszkadzają ciału ... Ubiera się skromnie, bo uczeni zwykli obywać się umiarkowaniem i surowością. ... Zapalona lampa mówi nam, że uczeni więcej konsumują oliwy niż wina.

Tytułem wstępu

... śmiertelnych — stu na stu. Liczba, która jak dotąd nie uległa zmianie. WISŁAWA SZYMBORSKA, PRZYCZYNEK DO STATYSTYKI

Tytuł książki zawiera w sobie pewien skrót myślowy. Zapewne słuszniejszy byłby tytuł

taki jak „Statystyka matematyczna dla fizyków” lub „Analiza statystyczna danych do-

świadczalnych... ”, lub „Metody analizy statystycznej... ”. Może należałoby uzupełnić

każdy z tych tytułów o słowo „wstęp” lub „elementy” albo „podstawy”, jako że w zadnym wypadku materiał tu prezentowany nie ma charakteru całościowego i nie jest to

monografia. Zadaniem tego podręcznika jest przedstawienie w szczegółach pewnych podstawowych pojęć i standardowych metod, jakich każdy fizyk doświadczalnik używa przy opracowywaniu swoich danych eksperymentalnych, jak również zarysowanie ich mozżliwych rozwinięć i uzupełnień, a także zasygnalizowanie (bez dowodów 1 uzasadnień) istnienia specjalnych wyników (pewne z nich to wręcz ciekawostki), które niekiedy są przydatne przy rozwiązywaniu szczególnych zagadnień. Ostatecznym celem tych wszystkich „zabiegów” jest jednak przekazanie Czytelnikowi umiejętności obliczenia czegoś, co powszechnie, choć niepoprawnie (patrz koniecznie dodatek A), nazywamy błędem

pomiaru. Dlaczego fizycy, a już na pewno ci spośród nich, którzy parają się fizyką jądra atomowego i cząstek elementarnych, opanowani są obsesją (bo tak to może wyglądać dla postronnego obserwatora) o nazwie błąd pomiaru? Najprostsza odpowiedź na to pyta-

nie brzmi: A czyż mogłoby być inaczej, jeśli w fizyce spotykamy się, z jednej strony, z przewidywaniem typu: moment magnetyczny elektronu wynosi (1,00115965220 + 0,00000000004) jednostek zwanych magnetonami Bohra (gdzie błąd w wartości to oszacowanie niepewności wynikającej z przybliżeń rachunkowych), a z drugiej — elemen-

tarne doświadczenie początkującego fizyka eksperymentatora podpowiada mu, że „tak naprawdę” nie jesteśmy w stanie „porządnie” mierzyć? Bez większego ryzyka można powiedzieć, że fizyka jest jedyną dziedziną wiedzy przyrodniczej, w której spotykamy absolutnie Ścisłe, a nie tylko modelowe przewidywania. Prognozy te dostarczają wyzwania, a sprostanie im wymaga stosownych narzędzi.

Narzędzia teoretyczne, takie jak pojęcie rozkładu prawdopodobieństwa, prawdopo-

dobieństwo warunkowe, niezależność statystyczna, dystrybuanta, operacje nad rozkładami, randomizacja i twierdzenie Bayesa znajdzie Czytelnik w rozdziale 2, który dostar-

cza reguł „gramatycznych”. Rozdział 3, o momentach zmiennej losowej, to podstawowy

14

Tytułem wstępu

słownik dziedziny. Terminy tam podane zawsze mamy pod ręką, gdy analizujemy dane.

Tłumaczenia słów ze słownika na język codzienny to treść rozdziału 4, czyli pierwszy kontakt ze statystyką, a raczej z tą jej częścią, która określana jest mianem opisowej.

Wyłliczone są tam najbardziej fundamentalne konstrukcje „frazeologiczne”: średnia, odchylenie standardowe, współczynnik korelacji i własności tych wielkości, czyli „chleb

powszedni” analizy danych. Zgodnie z tą lingwistyczną analogią, rozdział 5 to niemalże pełne zdania. Modelowe rozkłady — dwumianowy, Poissona, wykładniczy, Gaussa i jego

pochodne, tj. x*, Studenta i Fishera — są wygodnymi, gotowymi wzorcami, które upar-

cie pojawiają się w wielu problemach

statystycznych. Rozpoznanie któregoś z takich

schematów w zagadnieniu, nad którym pracujemy w danym momencie, pozwala nam na natychmiastowe wykorzystanie całego wachlarza gotowych wyników. Rozdział 6, poświęcony metodom symulacyjnym w elementarnym zakresie, omawia swoisty, meto-

dologiczny „synonim”. Wielokrotnie zdarza się, że choć teoretycznie wiemy, jak należy

rozwiązać napotkany problem, to nie potrafimy tego dokonać analitycznie z powodu piętrzących się trudności matematycznych w postaci sum, które nie mają prostej postaci, lub całek, które nie wyrażają się przez funkcje elementarne. Rozkładamy wtedy

zagadnienie na najprostsze elementy i do pracy, kolejno nad każdym z nich, zaprzęgamy komputer, który „syłabizując”, konstruuje „syntetyczną mowę”. W pełni rozwi-

nięta „mowa” konwencjonalnej metody statystycznej analizy danych to dwa następne rozdziały: rozdział 7 o estymacji parametrycznej, w tym o metodzie największej wia-

rogodności, najmniejszych kwadratów i estymacji przedziałowej, oraz rozdział 8 o weryfikacji hipotez, czyli testy istotności i test x? Pearsona. Stanowią one ukoronowanie

tej części wykładu. W końcu ostatni rozdział 9 to „nowy język”, nowe spojrzenie na

rachunek prawdopodobieństwa. Język ten dostarcza alternatywnej formy wyrażania treści probabilistycznych w stosunku do tej, która stanowi główny trzon wykładu. Dodat-

kowe informacje o tym rozdziale znajdzie Czytelnik poniżej. W

podsumowaniu

tym

został pominięty rozdział 1, który dostarcza widoku z lotu ptaka — ukazuje rozmaite typowe zagadnienia, jakie fizyk doświadczalny zajmujący się fizyką jądra atomowego

i cząstek elementarnych napotyka w codziennym trudzie statystycznym. Rozdział ten spełnia także funkcję specyficznego „elementarza”, jako że Czytelnik znajdzie w nim

wybrane, najbardziej fundamentalne pojęcia dziedziny, wyłożone metodą ilustrowania przykładami. Dostarczył on także autorowi pretekstu do zaprezentowania Czytelnikowi metod wizualizacji danych doświadczalnych. Pracę kończy kilka dodatków: pierwszy, wcześniej wspomniany, o unormowaniach terminologicznych. Drugi ukazuje szczegóły

techniki rachunkowej przydatnej przy określaniu własności pewnej klasy estymatorów.

Do następnych trzech przenieśliśmy niektóre dowody matematyczne,

a ostatni sumuje

najważniejsze wnioski matematyczne w odniesieniu do wszystkich omawianych (oraz

kilku dodatkowych) rozkładów. Jak wspomniano na wstępie, wykład

nie daje pełnego obrazu rachunku prawdo-

podobieństwa i statystyki matematycznej. Czytelnik nie znajdzie tu np. pojęcia funkcji tworzącej prawdopodobieństwa i funkcji charakterystycznej. Są to ważne narzędzia, ale są to narzędzia „tylko” teoretyczne. Funkcja charakterystyczna jest bardzo przydatna

np. w dowodzie centralnego twierdzenia granicznego i przy konstruowaniu momentów

Tytułem wstępu

15

zmiennej losowej, jednak celem wykładu nie jest konsekwentna, matematyczna prezenta-

cja całej dziedziny wiedzy wraz z jej aparatem formalnym. Do formalizmu odwołujemy się sporadycznie i dość liberalnie i raczej po to, by uwiarygodnić prezentowaną tezę, niż jej dowieść (w przeciwieństwie do przykładów, gdzie staramy się być dość szczegółowi). Podobnie, do treści wykładu nie zostały włączone klasyczne tematy, takie jak analiza sekwencyjna i analiza wariancji, procesy stochastyczne, ani też nowsze, jak teoria decyzji, a po macoszemu potraktowane zostało zagadnienie statystyk pozycyjnych. Z całej

gamy testów statystycznych ograniczamy się do jednego, najczęściej stosowanego testu

Pearsona, pomijając milczeniem pozostałe. W przekonaniu autora pojęcia te nie stanowią dla fizyka materiału „pierwszej potrzeby”. Autor ufa, że zrozumienie zagadnień ujętych

w treści wykładu da Czytelnikowi dobre podstawy do samodzielnego uzupełnienia wie-

dzy, gdyby taka potrzeba się pojawiła, jeśli tylko zechce on skorzystać z sugerowanej niżej literatury. Adresatem książki, jeśli chodzi o zakres stosowanych w nim narzędzi matematycz-

nych, jest osoba, która posiadła elementarne umiejętności różniczkowania i całkowania i dysponuje podstawowymi umiejętnościami z zakresu algebry liniowej. Podobnie przedstawia się kwestia niezbędnego poziomu merytorycznego Czytelnika w obszarze

umiejętności opracowywania danych doświadczalnych. Jako test rozważmy następujący przykład. Przypuśćmy, że pewien geodeta, używając teodolitu (lunetki), wymierza w terenie kąty w trójkącie, którego ramiona są rzędu kilometrów. W rezultacie swego pomiaru znalazł on, że kąty te wynoszą: 73”, 63” 1 52, przy czym błąd każdego z pomiarów wy-

nosi 2” (w rzeczywistości pomiary są znacznie bardziej precyzyjne, co nie zmienia istoty zagadnienia). Czytelnik, który analizując ten przykład dojdzie do wniosku, że pomiary

geodety dowodzą kulistości Ziemi, powinien raczej zaprzestać czytania prezentowanego tu materiału i rozpocząć od studiowania poniższej literatury:

e J. R. Taylor, Wstęp do analizy błędu pomiarowego, Wydawnictwo Naukowe PWN, Warszawa 2001.

e L. G. Squires, Praktyczna fizyka, Wydawnictwo Naukowe PWN, Warszawa 1992. e C. M. Grinstead i J. L. Snell, Introduction to Probability, Dartmouth College-AMS, 1997; książka zawiera bogactwo materiału z historii rozwoju rachunku prawdopodobieństwa i jest osiągalna w Internecie pod adresem: http://www.dartmouth.edu/ chance/ teaching_aids/books_articles/ probability _book/book.html. Alternatywnie, stosowny materiał można znaleźć w skrypcie autora: Podstawy rachunku

błędów (http://www.fuw.edu.pl/ rjn/PRB/ptb.zip). Czytelnik, który w konkluzji swego rozumowania

stwierdzi, że wynik uzyskany

przez geodetę jest w doskonałej zgodności z zasadami geometrii Euklidesa, może posiłkować się przy czytaniu niniejszego materiału następującą literaturą uzupełniającą:

e H. Abramowicz, Jak analizować wyniki pomiarów, Warszawa 1992.

Wydawnictwo

e S. Brandt, Analiza danych, Wydawnictwo

Naukowe

e W.

Wydawnictwo

Klonecki,

1999.

Statystyka

dla inżynierów,

PWN,

Naukowe

PWN,

Warszawa 2002.

Naukowe

PWN,

Warszawa

16

Tytułem wstępu

e T. Eadie, D. Drijard, F. E. James, M. Roos i B. Sadoulet, Metody statystyczne w fizyce

doświadczalnej, PWN, Warszawa 1989. e A. Strzałkowski i A. Sliżyński, Matematyczne metody opracowywania wyników pomiarów, PWN, Warszawa 1978. e W. I. Goldanski, A. W. Kucenko i M. I. Podgorecki, Statystyka pomiarów przy rejestracji promieniowania jądrowego, PWN, Warszawa 1963.

Gorąco polecane jest również studiowanie pełnego wydania kompendium Review of Particle Properties, wydawanego w cyklu dwuletnim przez grupę fizyków cząstek elementarnych

z CERN

1 Berkeley.

Są tam opisane podstawowe

i najczęściej spotykane

w codziennej praktyce procedury statystyczne. Kompendium to osiągalne jest również w Internecie pod adresem http://pdg.lbl.gov. Z opracowania tego pochodzą wszystkie cytowane w niniejszym wykładzie dane dotyczące własności cząstek elementarnych, o ile nie jest podane jawnie inne Źródło.

Inna interesująca, choć angielskojęzyczna literatura, to:

e P. R. Bevington i D. K. Robinson, Data Reduction and Error Analysis for Physical Sciences, McGraw-HiH,

New

York

1992.

e A. G. Frodesen, O. Skjeggestad i M. Tofte, Probability and Statistics in Particle

Physics, Universitetsforlaget, Bergen-Oslo-Tromsg 1979. e I. A. Bancroft i C.-P. Han, Szatistical Theory and Inference in Research, M. Dekker,

Inc., New York 1981.

e R. J. Barlow,

Statistics. A Guide

Sciences, Wiley, New

York

to the Use of Statistical Methods

in the Physical

1989.

e L. Lyons, Szafistics for Nuclear and Particle Physicists, Cambridge University Press,

Cambridge 1992.

e B. P. Roe, Probability and Statistics in Experimental Physics, Springer, New 1992. e B. R. Martin, SZzafistics for Physicists, Academic Press, London and New

York

York 1971.

e N. Arley i K. R. Buch, /ntroduction to the Theory of Probability and Statistics, Wiley,

New York 1956.

e D. J. Hudson, Szatistics — Lectures on Elementary Statistics and Probability, Geneva 1964. e W. Hamilton, Szatistics in Physical Science, New York

1964.

Natomiast „„amatorom” poszukującym bardzo ścisłego i szerokiego przedstawienia teorii

prawdopodobieństwa i/łub statystyki matematycznej możemy polecić książki: e W. Feller, Wstęp do rachunku prawdopodobieństwa t. I i II, PWN, Warszawa 1969.

e M. Fisz, Rachunek prawdopodobieństwa i statystyka matematyczna, PWN, Warszawa 1969. e H. Cramer, Metody matematyczne w statystyce, PWN, Warszawa 1958. e Z. Hellwig, Elementy rachunku prawdopodobieństwa i statystyki matematycznej, Wy-

dawnictwo Naukowe PWN, Warszawa 1995.

e L. Gajek i M. Kałuszka, Wnioskowanie statystyczne, WNT, Warszawa 2000. e A. Stuart i J. A. Ord, Kendall's Advanced Theory of Statistics, vol. 1, Distribution Theory, Hodder Headline Plc., London

1994.

Tytułem wstępu

17

e J. A. Ord, Kendall s Advanced Theory of Statistics, vol. ŻA, Classical Inference, Hodder Headline Plc., London 1999.

Niniejszy wykład uzupełnia wydany w odrębnym tomie wybór zadań (po części orygi-

nalnych) o różnym stopniu trudności, do rozwiązywania których autor gorąco Czytelnika zachęca.

e R. Nowak, Statystyka dla fizyków. Ćwiczenia, PWN, Warszawa 2002.

Na rynku wydawniczym można znaleźć również inne zbiory. Interesujący zestaw zadań z rachunku prawdopodobieństwa na poziomie elementarnym prezentowany jest w książce e W. Łeński i A. Patkowski, Rachunek prawdopodobieństwa dla leniwych, Wydawnictwo Naukowe PWN,

Warszawa—Poznań

1996.

Zbiory zadań o poważniejszym stopniu zaawansowania to: e W. Krysicki, J. Bartos, W. Dyczka, K. Królikowska i M. Wasilewski, Rachunek praw-

dopodobieństwa i statystyka matematyczna w zadaniach, część I i II, Wydawnictwo Naukowe PWN, Warszawa 2002. e A. Plucińska i E. Pluciński, Zadania z probabilistyki, PWN, Warszawa 1983. Parę interesujących zadań można także znaleźć w książce: J. Araminowicz, Zbiór zadań z fizyki jądrowej, PWN, Warszawa 1980. Niektóre z probłemów zamieszczonych w tych zbiorach, jak również wcześniej cy-

towanych podręcznikach, trafiły także do niniejszej pracy. Wykład, jaki niemal wszystkie powyższe książki, utrzymuje się w kręgu tradycyjnie rozumianego rachunku prawdopodobieństwai statystyki matematycznej. Wyjątkiem jest

tutaj praca autorstwa T. Eadie' go i innych, w której większość prezentowanego materiału także utrzymana jest w duchu „klasycznym”, jednakże Czytelnikowi dana jest również

możliwość posmakowania podejścia współczesnego, zwanego też bayesowskim. Niestety, jest to praktycznie jedyna taka pozycja na rynku w języku polskim. Dlatego Czytelnik zainteresowany alternatywnym ujęciem tematu skazany jest na literaturę obcojęzyczną, z której najważniejsze pozycje to: e D. S$. Sivia, Data Analysis — A Bayesian Tutorial, Oxford University Press 1997. e C. Howson i P. Urbach, Scientific Reasoning: The Bayesian Approach, Open Court, La Salle 1998.

e J. M. Bernardo i A. F, M. Smith, Bayesian Theory, Wiley, New York 1994.

e G. E. P. Box i G. C. Tiao, Bayesian Inference in Statistical Analysis, Wiley, New York

1992.

e S. J. Press, Bayesian Statistics: Principles, Models and Applications, Wiley 1994. e A. O' Hagan, Kendall's Advanced Theory of Statistics, vol. 2B, Bayesian Inference,

Hodder Headline Plc., London 1994.

e A. Gelman, J. B. Carlin, H. S$. Stern i D. B. Rubin, Bayesian Data Analysis, Chapmann

X Hall/CRC, London 2000. e H. Jefireys, Theory of Probability, Oxford University Press, 1961. e B. de Finetti, Theory of Probability, Wiley, New York 1989.

Należy jednak zaznaczyć, że o ile środowisko klasycznych statystyków jest właściwie bardzo homogenne w swym rozumieniu tematu, o tyle nie istnieje coś takiego jak jed-

18

Tytułem wstępu

nolita szkoła współczesnej teorii prawdopodobieństwa. Występują dość głębokie różnice między prezentacjami różnych autorów, do czego zresztą autorzy ci się przyznają. Jest to

oznaką bujnego rozwoju dziedziny, w której pojawia się wiele nowych pomysłów 1 ścierają się różne idee. Dodatkową trudnością, jaką trzeba niekiedy pokonać, czytając różne, a zwłaszcza mniej ambitne ujęcia, jest nieukrywany, lekceważący stosunek, jaki zwolennicy współczesnego podejścia żywią do „ortodoksów”. Ci, naturalnie, nie pozostają im dłużni. W konsekwencji praktykowanie tych czy innych metod statystycznych staje się bardziej demonstracją i aktem wyznania wiary niż elementem rzetelnego dociekania prawdy naukowej.

Mimo tych psychologicznych komplikacji i uprzedzeń stosowanie bayesowskiej metody analizy danych powoli toruje sobie drogę i zyskuje coraz to szersze grono zwo-

lenników, także wśród fizyków — dlatego też w rozdziale 9 przedstawione są niektóre

fundamentalne fakty z tej dziedziny. Prezentacja ta czerpie intensywnie z pisanej bardzo żywym i barwnym (żeby nie powiedzieć egzaltowanym) językiem wszechstronnej i bogatej publikacji: E. T. Jaynes, Probability Theory: The Logic of Science, która obecnie dostępna jest jedynie w nieco fragmentarycznej

formie na WWW,

pod adre-

sem http://bayes.wustl.edu/etj/prob.html, oraz z paru innych publikacji. Dwie z nich to

T. J. Loredo, The Promise of Bayesian Inference for lenges in Modern Astronomy, red. E. D. Feigelson i 1992 oraz From Laplace to Supernova SN 1987A — sics, w Maximum Entropy and Bayesian Methods, red. Publishers, Dordrecht 1990. Oba artykuły dostępne

Astrophysics, w Statistical ChalG. J. Babu, Springer, New York Bayesian Inference in AstrophyP. F. Fougere, Kluwer Academic są w sieci WWW pod adresem

http://astrosun.tn.cornell.edu/staff/loredo/bayes/tjl.html. Trzecią jest praca P. Sahy: Principles of Data Analysis, a można ją odnaleźć na WWW pod adresem http://www-astro.

physics.ox.ac.uk/ saha/pda.html. Czwarta publikacja to notatki z wykładu: G. D'Agostini, Bayesian Reasoning in HEP — Principles and Applications, CERN Report 99-03, osią-

galne pod adresem http://www.cern.ch/Training/ACAD/reglec_E.html. Teraz słowo o symbolice matematycznej. Chcemy zwrócić uwagę na dwa symbole, które występują w książce. Różnica między nimi jest dość umowna

z akcentu i chęci zwrócenia symbol to = i stosujemy go In(1 + x) = x dla wartości to %, który zastępuje frazę

i wynika raczej

uwagi na różny aspekt tego samego zagadnienia. Pierwszy do zaznaczenia przybliżonej równości, jak np. w wyrażeniu wielkości x bliskiej zera, lub też x = 3,14. Drugi symbol „zachowuje się jak”, jak np. w wyrażeniu: n(n + 1) %n*

dla dużych wartości wielkości n. Sporadycznie wykorzystywany jest też symbol toz-

samości == dla oznaczenia definicyjnej równoważności

występujących po jego lewej

i prawej stronie wielkości oraz symbol x dla określenia prostej proporcjonalności. Po-

nadto czcionką wytłuszczoną, np. x, konsekwentnie oznaczane są zespoły wielkości x;: Xx = (X, X9,..., X„) i tylko wspomnimy, że punktem naszego zainteresowania nie jest tu charakter wektorowy tych wielkości, choć będziemy wykorzystywać do nich aparat alge-

bry liniowej. Symbole opatrzone kreską „nad”, jak x, to wartości średnie, z wyjątkiem sytuacji, w których odwołujemy się do teorii zbiorów lub rachunku zdań, kiedy to kreska

nad symbolem określa zbiór dopełniający lub tezę przeciwną. Gruba czcionka prosta, szeryfowa, np. V, zarezerwowana jest dla macierzy. Symbol „daszka” ” jest używany do

Tytułem wstępu

19

oznaczenia estymatora lub estymaty wielkości, nad którym ten symbol występuje. Na specjalny symbol zasłużyły sobie zmienne losowe w treści niniejszego wykładu. Aby odróżnić je od zmiennych matematycznych przedstawionych wyżej, zmienne te są pi-

sane czcionką bezszeryfową, np. x, jeśli chcemy użyć zmiennej prostej, oraz pogrubioną X = (X,X,...,X„) dla wektora losowego.

Niektóre z rozkładów prawdopodobieństwa pojawiają się na tyle często, że warto

zarezerwować dla nich specjalną symbolikę, ukazaną w tabeli 1. Tabela 1. Oznaczenia rozkładów

B(n, p)

rozkład dwumianowy oraz p

dyskretnej zmiennej

losowej

k z parametrami n

G (p)

rozkład geometryczny dyskretnej zmiennej losowej k z parametrem p

Un, p)

rozkład ujemny dwumianowy dyskretnej zmiennej losowej k, opisującej liczbę prób, z parametrami n oraz p; stosujemy także wariant 24,(n, p), jeśli zmienna k opisuje liczbę porażek

H(N,K,n) Wk,...k; (n, Py,-.., Pj)

rozkład hipergeometryczny dyskretnej zmiennej losowej k z parametrami N, K oraz n

rozkład wiełomianowy j dyskretnych zmiennych losowych k;, ka,...

określony parametrami n, py,...

, k;,

, p;

P.(u)

rozkład Poissona dyskretnej zmiennej losowej k z parametrem

E(t; A)

rozkład wykładniczy ciągłej zmiennej losowej t z parametrem intensywności A; w przypadku gdy zamiast tego parametru używamy jego odwrot-

ności: T = A !, stosujemy oznaczenie €(t; T) N Q; u,o)

rozkład normalny (Gaussa) ciągłej zmiennej losowej x z parametrami u oraz o

XA, (x)

rozkład x? ciągłej zmiennej losowej x o n stopniach swobody

S,()

rozkład Studenta ciągłej zmiennej losowej t o n stopniach swobody

Fnm(2)

rozkład Fishera ciągłej zmiennej losowej x o (n, m) stopniach swobody

W rozdziale 9 indeksy odgrywające rolę zmiennej niezależnej promujemy do pełnoprawnych argumentów rozkładów przez umieszczenie ich w nawiasach, oddzielając je przy okazji pionową kreską | od parametrów. Z uwagi na rozmaitość symboli, jakie występują w literaturze dla określenia niepewności pomiaru, podamy także naszą definicję. Symbołem s, będziemy oznaczali wartość, jaką przyjmuje dla próbki danych pierwiastek kwadratowy z nieobciążonego estymatora

20

Tytułem wstępu

wariancji. W warunkach wielokrotnego pomiaru odpowiada to l n=1

Sx =

— 2

— x),

podczas gdy

= |„20: — 2.

N=

Popularny symbol o, o ile nie oznacza przekroju czynnego, rezerwujemy dla pierwiastka

kwadratowego z wariancji zmiennej losowej lub czynnika skalującego dla tej zmiennej. I jeszcze jedna uwaga. Aby w treści wykładu wyraźnie oddzielić prezentowane przykłady od głównego toku rozumowania,

stosowana jest mniejsza czcionka, a także

symbol II, kończący treść każdego przykładu. Autor dziękuje prof. A. K. Wróblewskiemu za życzłiwość, zachętę i wsparcie, jakie

otrzymywał od niego przez szereg lat, gdy przygotowywane były kolejne wersje tego wy-

kładu w formie skryptu dla studentów. Bez jego pomocy książka ta nigdy by nie powstała.

On także wskazał autorowi źródło wartości liczb x, /3 oraz e z dokładnością do miliona

cyfr. Autor jest wdzięczny prof. A. Majhoferowi oraz prof. J. Crittenedowi za iluminujące dyskusje, a prof. B. Murynowi za wiele cennych wskazówek i krytycznych uwag o manuskrypcie. Podziękowania kieruje także ku prof. Ch. Drostemu za udostępnienie mu danych o kalibracji licznika germanowego i widma, które posłużyło do ilustracji rozważań nad metodą najmniejszych kwadratów w problemie nieliniowym, jak również

dr. J. M. Pawlakowi za dane o czasie oczekiwania na przyjazd metra, prof. M. Kałuszce

—

za wskazanie źródła do zagadnienia oceny optymalnej szerokości przedziału histo-

gramowania, a dr. hab. A. F. Żarneckiemu — za wskazanie na typ eksperymentu, który

posłużył do uzasadnienia metody największej wiarogodności.

Nie bez znaczenia i wpływu na ostateczny kształt i treść wykładu były uwagi i dyskusje z wieloma studentami, które autor prowadził w trakcie wykładów i po nich. Wiele

z tych rozmów pozwoliło lepiej zrozumieć i docenić trudności, jakich doświadczają Ci,

którzy przystępując do rozwiązania konkretnego problemu, próbują go zidentyfikować jako zagadnienie z zakresu statystyki matematycznej i sformułować w języku tej dziedziny. Dzięki im za to.

Wyrazy wdzięczności należą się także Rodzinie, która zawsze z entuzjazmem śledziła postęp prac, zachęcała, pomagała, a przede wszystkim ze zrozumieniem odnosiła się do męża i ojca, gdy ten, przygotowując manuskrypt, spędzał godziny przed kompu-

terem, co bez wątpienia odbywało się kosztem obowiązków domowych. Na zakończenie autor pragnie zwrócić się z prośbą do Czytelnika i zachęcić go do przekazania mu wszelkich uwag, spostrzeżeń i komentarzy. Może pomogą one ulepszyć jeśli nie następne wydanie tej książki, to wykład dla studentów. Ponieważ w dzisiejszej dobie najsprawniejszą i najwygodniejszą formą komunikacji są media elektroniczne, © fuw.edu.pl. toteż autor pozostawia Czytelnikowi swój adres: Roman.Nowak

Roman J. Nowak

PRAKTYKA

Słowo Praktyka brzmi dla nas tak samo jak dla Greków, u których oznacza ona coś związanego z Teorią i coś przeciwnego.

O ile bowiem Teoria dotyczy racji i poruszeń intelektu, o tyle Praktyka obraca się wokół czynności i poruszeń rozsądku; pierwsza tedy ma związek ze spokojem kontemplacyjnym, będącym głównie dążeniem duszy, druga zaś wiąże się ze spokojem aktywnym, będącym głównie dążeniem rozsądku.

Statystyka w fizyce

Najprostszy przykład pomiaru to pomiar prostej wielkości fizycznej typu długości wybranej fali Światła, współczynnika lepkości, oporu lub przyspieszenia ziemskiego. Tę

ostatnią wielkość możemy znaleźć, np. mierząc czas staczania się walca z równi pochyłej, a rezultat takiego pomiaru (dane własne) zilustrowany jest na rys. 1.1. W odniesieniu do tego histogramu, jak również innych przedstawionych poniżej, często używany jest termin wykres częstości, choć nazwa ta, Ściśle rzecz biorąc, powinna być stosowana do rysunku, na którym prezentowana jest nie liczba pomiarów o określonej własności, lecz ułamek bądź procent takich pomiarów. Jeszcze częściej stosowana jest szersza nazwa:

rozkład (w tym przypadku eksperymentalny, jako że budując modele probabilistyczne różnych pomiarów, będziemy mieli również rozkłady teoretyczne lub modelowe), ściślej — rozkład wyników pomiarów przyspieszenia ziemskiego. W odniesieniu do wielkości mierzonej używamy terminu zmienna losowa i zmienne takie będziemy oznaczali czcionką prostą o kroju bezszeryfowym, np.: k, l, m,... „t,

20

T

15

TI

liczba pomiarów

25

900

940

980 1020 przyspieszenie [cm/s”]

1060

1100

Rys. 1.1. Rozkład rezultatów pomiaru przyspieszenia ziemskiego uzyskanych metodą pomiaru czasu staczania się walca z równi pochyłej

24

1. Statystyka w fizyce

X, y, ... , natomiast do wyników pomiarów oraz zwykłych zmiennych matematycznych

zastosujemy kursywę: k, I, m, ... „t, x, y,... . Niedostatkiem tej konwencji jest brak możliwości rozróżnienia w piśmie między zmienną losową a zmienną matematyczną dla

wielkości oznaczanych symbolami z alfabetu greckiego. Autor ufa jednak, że nim takie symbole się pojawią, Czytelnik na tyle będzie wprowadzony w temat, że będzie potrafił zorientować się z kontekstu, o którą z wielkości chodzi. Zbiór (skończony) wszystkich

wyników pomiarów to próbka. Pojęcie to wiążemy z jeszcze jednym, pochodzącym z nauk socjologicznych, terminem — populacja, czyli zbiorem wszystkich przedstawicieli naznaczonych wybraną cechą. Termin ten, choć używany będzie przez nas przy analizie statystycznej danych doświadczalnych, ma raczej charakter pomocniczy, ponieważ, jako żywo, nikomu jeszcze nie udało się wyczerpać pomiarami wszystkich możliwych wartości np. przyspieszenia ziemskiego.

Wszystkie proste pomiary pouczają nas o pewnej charakterystycznej własności każdego procesu pomiarowego: ze względu na wpływ, jak sądzimy, pewnej liczby różnorodnych i niekontrolowanych czynników zewnętrznych, rezultaty pomiarów dowolnej wielkości makroskopowej mają charakter statystyczny —

powtarzając pomiary, nie

otrzymujemy jednej i tej samej wartości. Rozrzut rezultatów, jak ten na histogramie pomiarów przyspieszenia ziemskiego, czyli coś co zwiemy fłuktuacją, wiążemy z procesem pomiarowym — brakiem absolutnej wierności w każdym akcie pomiarowym. Jakościowo inny problem napotykamy, badając np. izotop bizmutu o liczbie masowej

211, który rozpada się w około 65% na polon drogą przemiany 8: *3Bi > *34Po + e” + 0,, a w pozostałych 35% na tal w wyniku emisji cząstki a: 41Bi > "TI + He. Podobne zachowanie wykazuje wiele jąder wzbudzonych i cząstek elementarnych, przy

czym liczba możliwych sposobów, zwanych także kanałami, ich rozpadów jest niekiedy znaczna — np. dla ciężkich leptonów T dochodzi ona do kilkudziesięciu. Trudność w wyznaczaniu częstości takich rozpadów polega na tym, że biorąc próbki np. po sto jąder bizmutu, w jednym przypadku znajdziemy, że 65 z nich rozpadło się na drodze emisji B, w innym może to być tylko 60, a jeszcze w innym aż 80. Niedoskonałość powtórzeń w kolejnych kopiach pomiaru nie jest w tym przypadku związana z warunkami pomiaru

ani instrumentami (nawet jeśli nie są idealne), których używamy, ani z tym, że jedne sto jąder bizmutu ma inne własności niż jakieś inne sto jąder, lecz z naturą zjawiska, które usiłujemy zbadać — ono samo ma charakter statystyczny. Znaczenie statystycznego po-

dejścia jest tu znacznie głębsze niż w przykładzie z przyspieszeniem ziemskim, stąd też

dobre jego zrozumienie jest warunkiem wstępnym do poprawnej analizy eksperymentalnej i znalezienia błędu pomiarowego częstości rozpadu, w nomenklaturze fizycznej zwanej stosunkiem rozgałęzienia.

Inny przykład realizacji identycznego procesu statystycznego znajdujemy w analizie asymetrii. Ilustrację tego zagadnienia stanowi sytuacja, w której badamy polaryzację wyprodukowanej cząstki przez określenie kierunku lotu produktów jej rozpadu względem tzw. płaszczyzny reakcji, czyli płaszczyzny, w której znajdują się wektory pędu

padającego pocisku i wyprodukowanej

cząstki. Okazuje się, że wybrany produkt roz-

padu „chętniej” wybiega na jedną ze stron takiej płaszczyzny niż na drugą. Liczba cząstek nad płaszczyzną 1 pod płaszczyzną to analogia liczb rozpadów jądra bizmutu

1. Statystyka w fizyce

25

10 r

> PA

>s 78] .©

2 Ń

8

6lL

ł

SI

3 4)

4d

Ś

a

5

3 |-

+ —

ee

2 t

ł

+

LL

TASSO, 34,5 GeV |

0

-0,8

l

J

i

l

-0,6

-0,4

-0,2

0

l

0,2

l

l

|

0,4

0,6

0,8

cosi

Rys. 1.2. Rozkład kątowy leptonów u” emitowanych w reakcji anihilacji efe > UTuUT

na dwu drogach. Bardziej rozbudowana realizacja identycznego modelu statystycznego (rys. 1.2, za M. Althoff i inni, An Improved Measurement of Electroweak Couplings from ete —> ete” andete" > U*u', Z. Phys. C — Particles and Fields 22 (1984), 13), to asymetria w liczbie emitowanych leptonów u" w kierunku zgodnym bądź przeciwnym do kierunku lotu pozytonu w układzie środka masy w reakcji e*e > uu. Asymetria ta była jedną z pierwszych wskazówek bozonu pośredniczącego Z.

sugerujących istnienie neutralnego

Poszerzeniem opisywanych przykładów jest następujący eksperyment. Wyobraźmy sobie licznik, np. Geigera-Miillera, z umieszczoną w nim próbką jąder promieniotwórczych, który uruchamiamy wielokrotnie na pewien stały, zadany przedział czasu. W każdym z okresów pracy licznik zarejestruje różne liczby rozpadów. Możemy oczekiwać, że liczby te będą grupowały się około pewnej wartości określającej typową liczbę zliczeń. Spodziewamy się jednak, że od czasu do- czasu zarejestrujemy zarówno małe, jak i bardzo duże liczby rozpadów. Nic nie stoi na przeszkodzie, aby przyjąć model, w którym możliwa liczba rejestrowanych rozpadów to: 0, 1, 2,3,....

W powyższym przykładzie z rozpadem jądra bizmutu każdy indywidualny akt roz-

padu jądra był losowym wydarzeniem o gamie ściśle określonych wyników. Liczba tych wyników, może niekiedy duża — jak w przykładzie z leptonem T — a nawet przy odrobinie wyobraźni nieskończona, jest jednak przeliczałna. Poszczególne możliwości

możemy ponumerować i ustawić w konwencjonalnej lub naturalnej (z jakiegoś punktu widzenia) kolejności i w dalszym toku odwoływać się do numeru w (skończonym lub nieskończonym) szeregu. Do opisu takiej sytuacji wygodnie jest wprowadzić nowy termin — mówimy o dyskretnym charakterze danego procesu losowego lub zbiorze jego możliwych rezultatów, czyli o dyskretnej zmiennej losowej podlegającej dyskretnemu rozkładowi prawdopodobieństwa. Trochę inaczej wygląda następujący problem. Rozważmy przykład elastycznego rozpraszania np. elektronu o zadanym pędzie p na stacjonarnym protonie (patrz rys. 1.3).

W wyniku rozproszenia otrzymujemy elektron o pędzie k i proton o pędzie q. Czy mo-

26

1. Statystyka w fizyce

Rys. 1.3. Definicja zmiennych kinematycznych w procesie elastycz-

nego rozpraszania ep

żemy znaleźć wartości tych pędów? Wprowadzając oznaczenia jak na rysunku, możemy

wypisać zasady zachowania pędu i energii:

p=kcosog +qcosv, 0 =ksing

+qsin3,

myc” + ;/mżc* + p?c? = „/m2c* + k?c? + ,/mąc* +ą?c*, gdzie przez m, i m, oznaczyliśmy odpowiednio masy elektronu i protonu. Jest to układ

trzech równań na cztery niewiadome:

g, %, k oraz q, co oznacza, że możemy je roz-

wiązać, przyjmując jedną z nich, np. kąt pojedynczym akcie rozproszenia? O tej być ona zawarta w granicach od 0” do w każdym konkretnym przypadku i które

p, za znaną. Ale ile wynosi ten kąt w każdym wielkości wiemy a priori tylko tyle, że może 180? i nic nadto. To, ile ona będzie wynosiła wartości (małe, czy też duże kąty) będą prefe-

rowane, zadecyduje losowy proces uwarunkowany dynamiką rozpraszania. Mówimy, że

mamy tu do czynienia z ciągłą zmienną losową, ponieważ zbiór jej wartości przebiega nieprzeliczalną liczbę możliwości. Interesującym przykładem takiej sytuacji jest rys. 1.4 (S. Herb i inni, Phys. Rev. Let. 39 (1979), 252), gdzie przedstawiono wyniki eksperymentu, w którym badano masę niezmienniczą par

u "u* uzyskanych w procesie nieelastycznego rozpraszania protonów na

jądrach atomowych. Mimo że na osi rzędnych odłożona jest pewna forma różniczkowego przekroju czynnego, o wykresie takim też często mówimy luźno jako o rozkładzie. Wy-

niki takie jak ten dostarczyły swego czasu dowodu na istnienie rodziny cząstek ypsilon, będących stanem związanym kwarka b i jego antykwarka. Analiza statystyczna w całej swej krasie ujawnia się jednak dopiero na następnym wy-

kresie — rys. 1.5 — który uzyskano, usuwając z rys. 1.4 coś, co nazywamy tłem (zwróćmy

uwagę na zastosowanie na pierwotnym rysunku skali logarytmicznej, dzięki czemu nadmiar przypadków w okolicy 9-10 GeV

wybija się ponad „coś”, co wygląda jak linia

prosta) i dopasowano do otrzymanych punktów krzywe Breita-Wignera, które pozwoliły wyznaczyć masy nowych cząstek (G. Fliigge, w Proceedings of the EPS Conference on High Energy Physics, Geneva 1979, Geneva, CERN Scientific Information Service). Następna komplikacja, jaka pojawia się w związku ze zmienną ciągłą, to wielowymiarowość. Jeśli wrócimy do przykładu rozpraszania, tym razem nieelastycznego, w którym

powstaje n cząstek w stanie końcowym, to układ taki charakteryzujemy w pełni, podając 3n składowych pędu cząstek, o ile potrafimy zidentyfikować te cząstki. Równania zacho-

1. Statystyka w fizyce

27

24 ©

|

.

,

w 1035

L

do

»,

dmdy |,-, ., 7

——

, Pa,

6

He

la >

*

+

,

ję

4

vo

9,

+

ł

107 |

O:

+ł | |

10?

|

6

7

8

9

10

11

|

12

13

masa [GeV]

Rys. 1.4. Podwójny różniczkowy przekrój czynny na produkcję par u". w procesie nieelastycznego rozpraszania protonów na jądrach jako funkcja masy niezmienniczej pary mionów

wania energii i pędu wyeliminują nam 4 z tych wielkości, a te, które pozostaną, w liczbie 3n — 4, staną się, w każdym indywidualnym akcie rozpraszania, zmiennymi losowymi.

Prosty, a zarazem bardzo pouczający jest dwuwymiarowy przykład na następnym wykresie — rys. 1.6 (dane własne), który przedstawia tzw. profil wiązki cząstek ele-

mentarnych wybiegających z akceleratora i docierających do pewnego detektora. Jest to rozkład punktów trafień tych cząstek w płaszczyznę prostopadłą do osi wiązki, a każdy z 386 punktów reprezentuje sobą jedną cząstkę. Ten chaotyczny, na pierwszy rzut oka,

układ ma jednak pewną strukturę. Widać, że punkty trafień układają się w obszarze elipsy, której dłuższa oś nachylona jest pod pewnym kątem do poziomej osi współrzędnych. Oznacza to, że jeśli cząstka wychyla się „w prawo”, to jednocześnie ma tendencję do odchylenia „w dół”. Zależność taka, nie mająca charakteru zależności matematycznej,

lecz statystycznej, określana jest mianem korelacji.

1. Statystyka w fizyce

liczba przypadków

28

i

| 8,50

9,00

9,50

10,00

10,50

masa niezmiennicza

Rys. 1.5. Rozkład — po odjęciu tła — masy niezmienniczej par u*u" uzyskanych w procesie nieelastycznego rozpraszania protonów na jądrach 100

r

50

|

,

.

:

2

Ę

0

—50

|

.

«

"

—200

*

WC.

1

**

ze

.

Ba

dą"

s.

,

sze”3

JOCK ,

.

"

.

|

-100

Z

-”

.

Z

.

,

e

l

0

i

,,

.

e

+

.

4.

„.

wo,

*

.-

,

.,

. -

, Ó

..

4

.

RJ

+

Wż

*

s"

.

.*., wa

.

|

*

—100

*

.

.

i

.

..

*

*

„..

. .„*.

A

"

,

.

4

,

*

.

".

.*

.

.

..

* .

.

. .

+

.

J

100

mm

Rys. 1.6. Rozkład punktów trafień wiązki w płaszczyznę detektora (dane własne)

Piękny przykład korelacji uwidoczniony jest na rys. 1.7 (S. Kopp, Dalitz Analysis of the Decay D > K'n*n', Eksperyment CLEO, http://arXiv.org/abs/hep-ex/ 0011065), na którym jest przedstawiony rozkład mas niezmienniczych par cząstek Kx" oraz n*n/, powstających w rozpadzie mezonu D” > K"n*n'. Jeśli przejdziemy do układu środka masy tych trzech cząstek, to zasada zachowania pędu ogranicza wszystkie ich możliwe pędy do płaszczyzny, co oznacza, że mamy 6 wielkości (po dwie składowe pędu każdej z cząstek), które charakteryzują taki rozpad. Dodatkowo ta sama zasada wraz z zasadą zachowania energii (razem trzy równania) eliminują 3 z tych wielkości, pozostawiając 3 wolne parametry. Jeśli nadto ustalimy kierunek lotu w tej płaszczyźnie jednej z cząstek (np. kaonu), pozostaną nam dwie wielkości, które w pełni opisują konfigurację przypadku. W omawianej pracy za owe dwie wielkości przyjęto kwadraty mas niezmienniczych kaonu i dodatniego pionu oraz obu pionów. Obrys obszaru wypełnionego punktami zadaje dozwolony zakres zmienności obu mas niezmienniczych.

1. Statystyka w fizyce T

T

T

T

3111100-011

wu

U

=

.

„pe

ł

w

R

SĄ:Se

wyga

z.

swe ",

+

e 41

p

.

7

7

. 4

ZPA

7" «wa +

4

,

.

+

»

>

- as Ta .

;

Ma

4

w

Sapąia 9 a BŚ AGIT

a

-

:

P tn

M(n' n ) (GeVc” )

——

2,0

29

Rys.

1.7.

Rozkład

masy

niezmienniczej

K-n* oraz n*n" z rozpadów mezonu D”

par

3

M(K n ) (GeVc

22

Gdybyśmy mieli do czynienia z absolutnie statystycznym charakterem zjawiska lub, jak to mówią fizycy, rozkład był zdeterminowany przez przestrzeń fazową procesu, punkty na wykresie powinny układać się jednorodnie we wnętrzu tego obszaru. Jak widzimy, para dwóch pionów i para złożona z kaonu i pionu preferuje, w części przypadków, pewne obszary wartości masy niezmienniczej, co uwidacznia się w postaci „wysp” większej gęstości punktów na wykresie. 8 -

]

2

j

Rys. 1.8. Rozkład energii poprzecznej dwóch dżetów

ZEUS

UCAL transverse energy

30

1. Statystyka w fizyce

Wykresy takie jak na rys. 1.7 służą do wizualizacji funkcji zależnej od dwóch zmiennych. Jeśli chcemy pokazać wartości tej funkcji, uciekamy się do tzw. wykresów lego, których przykład widzimy na rys. 1.8 (dane współpracy ZEUS). Oderwijmy się teraz na moment od fizyki i wróćmy do geodety, który wymierza

trzy kąty pewnego trójkąta w terenie. Nikt nie oczekuje, że suma tych kątów, z uwagi na

błędy pomiarowe, wyniesie równo 180”. Jeśli jednak nasz geodeta zamierza wykorzystywać zmierzone przez siebie trójkąty w dalszej pracy i stosować odpowiednie wzory trygonometryczne, to musi zmienić wartości tych kątów tak, aby ich suma wynosiła tyle, ile tego wymaga geometria euklidesowa. Podobny problem występuje przy pomiarach

pędów w rozpraszaniu np. elektronów na protonach. Mierząc pędy cząstek w tej reakcji, nie możemy oczekiwać, z uwagi na błędy pomiarowe, że wyniki naszych pomiarów będą spełniać ściśle zasady zachowania pędu i energii. Ale jednocześnie nie możemy dopuścić do tego, byśmy dałej pracowali z niespójnymi danymi. Musimy, w granicach dopuszczonych przez błędy poszczególnych pomiarów, zmodyfikować wartości mierzone, aby

podstawowe prawa Natury były spełnione. Służy do tego procedura zwana dopasowaniem kinematycznym, oparta na tzw. teście x*, o którym będziemy mówili w dalszej

części tego wykładu. 13 657

5 0

4.2

4.3

$.5

4,

.

TASSO

a RŃ

u

-

|

47

Rys. 1.9. Przykład rejestracji torów cząstek w wielodrutowej komorze dryfowej

Inny, klasyczny przykład dopasowania z zastosowaniem testu x* zaprezentowany

jest na rys. 1.9. Przedstawia on schematyczny, w przekroju poprzecznym, obraz umiesz-

czonej w polu magnetycznym wielodrutowej komory cylindrycznej, otaczającej punkt oddziaływania wiązek przeciwbieżnych (G. Wolf, Deutsches Elektronen Synchrotron Internal Report, DESY 81-086). Naładowane produkty reakcji rozbiegają się wzdłuż linii spiralnych ze środka rysunku i są rejestrowane za pomocą owych drutów. W wyniku

1. Statystyka w fizyce

31

otrzymujemy dyskretną informację o kształcie toru cząstki. Naszym zadaniem jest od-

tworzenie tego toru w przestrzeni i znalezienie jego parametrów, co pozwala określić

pęd cząstki. Na zakończenie przeglądu problemów, jakie typowo spotykamy w trakcie pracy eksperymentalnej, rozwaźmy następujące zagadnienie. Wiemy, że w przyrodzie obowiązuje (jak na razie) eksperymentalne prawo zachowania mionowej liczby leptonowej. Oznacza to, że np. przy obserwacji rozpadu leptonu u", wśród produktów znajdziemy zawsze cząstkę — w tym przypadku tzw. neutrino mionowe v,, — wynoszącą mionowy „ładunek” leptonowy. Wyobraźmy sobie, że wykonujemy doświadczenie, którego celem jest sprawdzenie tego prawa przez poszukiwanie np. rozpadu: u" > ee'e”, który jest z owym prawem sprzeczny (nawiasem mówiąc, jest on również sprzeczny z prawem zachowania elektronowej liczby leptonowej). Załóżmy, że zebraliśmy próbkę jednego

miliona rozpadów i nie znaleźliśmy ani jednego interesującego nas przypadku. W pierwszym momencie moglibyśmy powiedzieć, że prawo jest słuszne, a jeśli nie, to łamane jest co najwyżej raz na milion. Jest to jednak stwierdzenie zbyt kategoryczne. Jeśli

przypomnimy sobie nasze rozważania z początku rozdziału o liczniku Geigera-Miillera zliczającego rozpady jąder promieniotwórczych, zauważymy, że w naszym doświadczeniu mamy identyczny model probabilistyczny —— prawo może być istotnie łamane na

poziomie w okolicy jeden na milion lub nawet nieco silniej, lecz los spłatał nam figla i nie dał nam szansy jego wykrycia!

Dlatego też stwierdzenie, że badany rozpad

zachodzi rzadziej niż raz na milion to zbyt mało. Powinniśmy opatrzyć takie stwierdzenie oceną możliwości wystąpienia takiego zachowania. Tę ocenę nazywamy poziomem ufności. t

BP |

JON

jet aen

|

NS = 130 > 189GeV

m,, = 173,9GeVc

M,., susy = 1TeVc”

PES

10

|

HĄ

|

||

—— mieszanie maksymalne „.. bez mieszania

|

|

4

|LĄ

*

hoM; - 4

m, < 20GeVc* _ wykluczany „© s

20

30

40

50

60

70

80

90

100

110

120

My, [Gevc ]

Rys. 1.10. Rezultat poszukiwania cząstki Higgsa — obszary wykluczonych wartości mas i parametru 8

32

1. Statystyka w fizyce

Bardziej wyrafinowana forma identycznego zagadnienia prezentowana jest na rys. 1.10 (patrz A. Hocker, http://arXiv.org/abs/hep-ex/9903024). Podsumowuje on pewien etap poszukiwania najbardziej nieuchwytnej cząstki elementarnej, jaką jest tzw. bozon Higgsa. W standardowym modelu oddziaływań cząstek elementarnych istnienie jednego takiego obiektu jest niezbędne. Mimo że do chwili obecnej nie udało się go odkryć, nie przeszkadza to fizykom teoretykom w spekulacjach odnoszących się do jeszcze bardziej finezyjnej teorii tzw. minimalnego supersymetrycznego modelu standardowego,

w którym kwarki i leptony traktowane są równorzędnie. Model ten prowadzi do jeszcze

bardziej skomplikowanego

układu tych bozonów,

gdyż przewiduje istnienie aż pięciu

takich cząstek, z których jedna, oznaczana symbolem h;, powinna być relatywnie lekka, choć model nie specyfikuje, ile jej masa wynosi. Zagadnienie komplikuje trudność, jaką

jest pewien

dodatkowy,

zupełnie nieznany

parametr modelu,

zaznaczony

na rysunku

symbolem 8, który ma wpływ na masę tej najlżejszej cząstki. Dlatego mierzenie masy bozonu Higgsa jest jednocześnie badaniem wartości nieznanego parametru. Ponieważ, jak na razie, w żadnym z eksperymentów bozon ten nie został wykryty, więc wyniki owych doświadczeń prezentowane są w formie „negatywnej” — obszarów wartości masy

i parametru 8 wykluczonych przez eksperyment przy zadanym poziomie ufności.

Na zakończenie tego rozdziału przyjrzyjmy się bliżej słowu statystyka. Używane jest ono w wielu znaczeniach. W języku potocznym, w zdaniu jak Statystyki opubliko-

wane przez GUS wskazują na ... jest ono synonimem słowa dane, rozumianego jako liczby, tabele, wykresy itp. W nazwie Główny Urząd Statystyczny poszerzamy warstwę znaczeniową o proces zbierania i przetwarzania tychże informacji, a także ich przechowywania. My będziemy używać tego słowa w innym znaczeniu, zdefiniowanym w podrozdziale 4.2: statystyka to funkcja zmiennych losowych, i właściwym dziedzinie nauki

zwanej statystyką matematyczną, czyli wiedzy o metodach uzyskiwania informacji z danych. Ta gałąź matematyki stosowanej, mimo że ma swój zestaw twierdzeń, związana

jest ze swej natury z wnioskowaniem indukcyjnym i przechodzeniem od szczegółu do ogółu, czego parę próbek przedstawiliśmy w tym rozdziale. Statystyka matematyczna rozwinęła się z dziedziny czystej matematyki: rachunku (teorii) prawdopodobieństwa, który jest jej podstawowym językiem. Dlatego teraz przejdziemy do przedstawienia paru

najbardziej fundamentalnych faktów tej dziedziny.

PRZYUCZENIE

Przyuczenie jest ćwiczeniem się

w nabywaniu zacnych nawyków i chwalebnych zalet za pośrednictwem głosu lub pisma, przedstawia się je w postaci wspaniałej, bo tylko dusze szlachetne łatwo naginają się do przykrości poprzedzających cnoty.

Prawdopodobieństwo i jego rozkład

—— 21. Pojęcie rozkładu prawdopodobieństwa Przypomnimy teraz przykład z licznikiem Geigera-Miillera z rozdziału 1 oraz zilustrujemy go historycznymi danymi Rutherforda i Geigera (E. Rutherford, H. Geiger i H. Bateman, Phil. Mag. 20 (1910), 698) z 1910 roku, kiedy to obserwowali oni liczbę cząstek

a emitowanych przez substancję promieniotwórczą w n = 2612 przedziałach czasowych po 7,5 s każdy. Rysunek 2.1 przedstawia częstości Nę

F,y=—, n

gdzie n, określa liczbę pomiarów (okresów pomiarowych po 7,5 s każdy), w których

uległo rozpadowi k jąder. Na przykład w około jednej pięćdziesiątej (2%) wszystkich

przedziałów czasowych nie obserwowali oni w ogóle rozpadów promieniotwórczych. Dokonajmy teraz myślowego przejścia do nieskończoności z liczbą n pomiarów wykonanych przez obu uczonych. Oczekujemy, że w granicznym przypadku z obserwowanych często-

0,25 r

0,15

|

0,10

1

częstość

0,20 |

0,05 0,00

kó

A

de)

ŚĆ

SA

aÓ

Ę

0

1

2

3

4

5

6

7

Łoś

ża

8

9

:

40

liczba k rozpadów Rys. 2.1. Rozkład liczby rozpadów obserwowanych przez Rutherforda i Geigera

11

12

36

2. Prawdopodobieństwo i jego rozkład

ści F, otrzymamy prawdopodobieństwa P,, że wielkość k, określająca liczbę rozpadów w wybranym przedziale czasowym, przyjmie wartości O, 1, 2,...:

F, = ki

—

Pk=R =P.

(2.1)

Na powyższe przejście graniczne należy patrzeć z dużą dozą ostrożności, gdyż nie ma

ono tego charakteru, do jakiego przywykliśmy w analizie matematycznej. Poza formalnie wypisaną zależnością od liczby pomiarów w mianowniku mamy jeszcze ukrytą, statystyczną zależność w liczniku. Intuicja i praktyka podpowiada nam, że wraz ze wzrostem

liczby pomiarów n wzrastać będzie także liczba n,. Z doświadczenia życiowego także

wynika, że będziemy obserwowali fluktuacje tej wielkości: jeśli np. liczbę n pomiarów zwiększymy dwukrotnie, to także dwukrotnie, ale tylko w przybliżeniu, wzrośnie liczba

nę. Nie spodziewamy się, że zależność ta będzie Ściśle proporcjonalna. Czasami wzrost

ten będzie więcej, a czasami mniej niż dwukrotny. Sądzimy jednak, że im większa będzie liczba n, tym dokładniej n, będzie do niej proporcjonalna. O wielkości k wiemy, że może ona przyjmować każdą dopuszczalną wartość ze

swego zakresu, dlatego określamy ją, jak w matematyce, jako zmienną. Ponieważ nie

my kontrolujemy wartości, jakie ona przyjmuje w każdym indywidualnym przypadku, dlatego uzupełniamy tę nazwę o słowo losowa, a skoro nasza zmienna losowa może

przyjmować tylko pewne wybrane wartości, mówimy o niej, że jest dyskretną zmienną losową.

Uzyskana w ten sposób zależność prawdopodobieństwa P, od zmiennej losowej k

zwana jest w terminologii rachunku prawdopodobieństwa rozkładem prawdopodobień-

stwa. Efektywnie, słowo rozkład zastępuje tu słowo funkcja. Do kompletu informacji powinniśmy dodać wiadomość, iż mamy do czynienia z dyskretnym rozkładem prawdopodobieństwa.

Wielkości P, spełniają, z warunków konstrukcji, tożsamość

3 P,=1,

(2.2)

k=0

zwaną warunkiem unormowania prawdopodobieństwa. Warunek ten odczytujemy jako gwarancję pojawienia się któregokolwiek ze wszystkich możliwych zdarzeń.

Definicja częstości pozwala rozwiązać pewien elementarny problem. Możemy znaleźć eksperymentalne oszacowanie szansy F'(i < k < m) wystąpienia zdarzeń, w których

wartość zmiennej k zawarta jest między wartościami i oraz m:

Fi pl4) (P(A) + P (Z')) + P(Z* + p|Z*)P(2*) =

JA>p(PA

+

Po)

+

fs>pP-:

Koncepcja prawdopodobieństwa warunkowego nie jest jednak w żaden organiczny

sposób związana z chronologią zdarzeń. Ilustruje to następujący, prosty przykład. Wspomniany wcześniej lepton T rozpada się na elektron lub na mion, w każdym z przypadków

z prawdopodobieństwem około 18%, oraz na stany hadronowe, bez udziału naładowanego leptonu, w pozostałych przypadkach. Pytanie o prawdopodobieństwo rozpadu leptonu Tt na elektron, jeśli wiadomo, że wśród cząstek stanu końcowego obserwowano

naładowany lepton, jest dobrym pytaniem o prawdopodobieństwo warunkowe i nie im-

plikuje ono żadnego uporządkowania czasowego zdarzeń. Zwykłe prawdopodobieństwo P(A) zdarzenia A jest także prawdopodobieństwem warunkowym P(A|£2), z tym, że warunkiem jest cała przestrzeń zdarzeń elementar-

nych 42:

P(A|2)

=

P(ANQ) PQ)

P(A) 1

= P(A).

Ten absolutny charakter zdarzenia warunkującego sprawia, że prawdopodobieństwa takie

jak P(A) nazywamy prawdopodobieństwami absolutnymi.

——

24. Zdarzenia niezależne

Wyobraźmy sobie dwa liczniki Geigera—Miillera, nazwijmy je A oraz B, ustawione na poziomej płaszczyźnie, w pewnej odległości od siebie i wystawione na promieniowanie kosmiczne. Przyjmijmy, że każdy z liczników, pracując samodzielnie, notuje typowe

częstości przechodzących promieni jako f4 oraz fg (różnice w wartościach częstości mogą wynikać z różnicy w budowie liczników, np. jeden może mieć większą pojem-

2.4. Zdarzenia niezależne

57

ność czynną niż drugi) i oczekujemy, że przybywanie promieni jest losowo rozrzucone w czasie. Oznacza to, że w pierwszym liczniku typowy odstęp czasu między dwiema

kolejnymi cząstkami promieniowania wynosi Tą = 1/fą4, a w drugim Tp = 1/fg. Przyjmijmy, że impuls wyjściowy każdego z liczników ma standardowy kształt prostokątny

o czasie trwania 74 1 Ig. O czasach tych założymy, że są one wielokrotnie krótsze od CZASÓW TĄ Oraz Tg. W następnym kroku standardowe impulsy wysyłane są na układ elektroniczny, zwany układem koincydencyjnym, który generuje impuls na swoim wyjściu tylko wtedy, gdy dwa standardowe impulsy wejściowe nałożą się na siebie, przy czym

przekrywanie czasowe nie musi być pełne, wystarczy, aby jeden impuls pokrywał się minimalnie z drugim. Przy tak skonstruowanym układzie oczekujemy, że od czasu do czasu zdarzy się przypadkowe nałożenie impulsów z liczników i układ koincydencyjny zarejestruje koincydencję przypadkową — jak to jest zilustrowane rys. 2.19. Jak często

wystąpi taka koincydencja, lub inaczej: jakie jest prawdopodobieństwo

P(A ) B) zda-

rzenia będącego iloczynem zdarzeń, z których jedno oznacza rejestrację promieniowania za pomocą licznika A, a drugie rejestrację innej cząstki za pomocą licznika B?

Licznik A czas czas Licznik B |

Koincydencja

5 8

czas

— ||

> > >

czas czas

>

Rys. 2.19. Orientacja czasowa impulsów, prowadząca do koincydencji przypadkowej i czas jej trwania

Na mocy prawa mnożenia prawdopodobieństw

(2.14), odpowiedź

na to pytanie

sprowadza się do odpowiedzi na następujące pytanie: jakie jest prawdopodobieństwo P(A |B) zarejestrowania cząstki promieniowania kosmicznego za pomocą licznika A, przy warunku, że jednocześnie zadziałał licznik B, lub: jakie jest prawdopodobieństwo

P(B|A) zarejestrowania cząstki promieniowania kosmicznego za pomocą licznika B,

przy warunku, że jednocześnie zadziałał licznik A? Jeśli założymy, że promienie kosmiczne przychodzą z zenitu pojedynczo i bez związku między sobą, to odpowiedź na

takie pytanie jest, z fizycznego punktu widzenia, oczywista: to, że zadziałał licznik A,

nie ma żadnego wpływu na to, czy zadziała, bądź nie zadziała licznik B i odwrotnie: działanie licznika B nie ma wpływu na licznik A. Innymi słowy, P(B | A) = P(B) oraz P(A|B) = P(A) i mówimy, że zdarzenie określone symbolem przed kreską pionową jest statystycznie niezależne (używany też bywa termin stochastycznie niezależne) od

58

2. Prawdopodobieństwo i jego rozkład

zdarzenia określonego symbolem stojącym po kresce pionowej. Zauważmy, że z równo-

ści (2.16) wynika, że jeśli zdarzenie A jest niezależne od zdarzenia B, to zdarzenie B jest niezależne od zdarzenia A. Jeśli wyrazenie P(A | B) = P(A) podstawimy do związku (2.14), to otrzymamy P(A AB) = P(A)P(B).

(2.17)

Słuszne jest także stwierdzenie odwrotne: jeśli zachodzi (2.17), to zdarzenia A oraz B

są statystycznie niezależne, dlatego związek ten możemy

potraktować nie tylko jako

przejaw statystycznej niezależności, ale także jako samodzielną definicję tego pojęcia.

—— Przykład 2.4.1 Żart Paulinga L. ©. Pauling podczas uroczystości wręczenia mu po raz drugi Nagrody Nobla za-

uważył, że niepotrzebnie wokół tej okoliczności czyni się tyle szumu. Przecież ży-

jących laureatów nagrody jest około setki, tak więc prawdopodobieństwo zdobycia tego wyróżnienia po raz wtóry wynosi raptem 1:100, podczas gdy wszystkich kan-

dydatów do pierwszej Nagrody Nobla na całym świecie jest przynajmniej miliard,

tu więc konkurencja jest znacznie większa. Naturalnie, żart badacza polegał na celowej zamianie miejscami dwóch pojęć. Jeśli przez N oznaczymy zdarzenie okre-

ślające zdobycie wyróżnienia, to słynny uczony pomieszał, rozumiane dość pokręt-

nie prawdopodobieństwo warunkowe — P(N | N) i absolutne — P(NNYN), które tylko z pewnym przybliżeniem możemy uznać za zadane iloczynem P(N)P(N) (w przypadku Paulinga można sądzić, że przybliżenie to jest lepiej uzasadnione,

jako że pierwszą nagrodę uzyskał on za osiągnięcia w chemii, podczas gdy druga była nagrodą pokojową, ale nie możemy wykluczyć, że tytuł noblisty z chemii ułatwił mu zdobycie drugiej).

T)

Wróćmy do naszego problemu i rozważmy dowolny, ale długi w porównaniu z czasami TĄ 1 TB przedział czasu r. W tym czasie licznik pierwszy zadziała T/Tą = Tfą razy,

a łączna długość przedziałów czasowych impulsów wytworzonych przez niego wynosić

będzie TfATĄ, co oznacza, że zajmą one ułamek (geometryczna definicja prawdopodobieństwa) Pą = f4TĄ czasu T. Innymi słowy, jeśli popatrzymy na wyjście naszego licznika w dowolnym momencie czasowym, wielkość P4 jest prawdopodobieństwem na-

potkania w tym momencie impulsu wytworzonego przez promień kosmiczny. Podobnie,

prawdopodobieństwo Pg napotkania impulsu promieniowania kosmicznego w drugim liczniku wynosi Pp = fpTp. Ponieważ „odpalenie” jednego licznika nie zależy od tego, co się dzieje w drugim, więc prawdopodobieństwo P przypadkowego nałożenia się przedziałów czasowych jest iloczynem obu prawdopodobieństw: P = PĄPg = fąTą fBTB. Z. prawdopodobieństwa koincydencji znajdziemy teraz jej częstość. Ponownie dokonujemy obserwacji przez długi przedział czasu r. Jeśli pomnożymy ten przedział

czasu przez prawdopodobieństwo koincydencji, to otrzymamy całkowity czas Pz trwa-

2.4. Zdarzenia niezależne

nia wszystkich koincydencji w czasie r. Gdybyśmy

59

znali czas T' trwania pojedynczej

koincydencji, moglibyśmy znaleźć liczbę tych koincydencji w czasie r, a zatem 1 ich częstość. Zauważmy jednak, że czasy trwania koincydencji są różne i zależą od wza-

jemnej konfiguracji impulsów. Jeśli jeden z impulsów jest zawarty we wnętrzu drugiego,

to czas T koincydencji jest równy czasowi trwania impulsu krótszego, natomiast jeśli impulsy pokrywają się tylko w części, to czas ten jest krótszy i równy części wspólnej.

Widzimy, że potrzebujemy pewnego typowego czasu T trwania pojedynczej koincydencji. Czas ten możemy określić z następującego rozumowania, w którym przyjmiemy,

EEE

dla ustalenia uwagi, że sygnały z licznika A są dłuższe niż sygnały z B: 74 > IB. Wyobraźmy sobie, że kręcimy film z ekranu oscyloskopu, na którym rejestrujemy wzajemne orientacje impulsów wyjściowych z obu liczników. Następnie przeglądamy ten film klatka po klatce i wyrzucamy z niego te klatki, na których nie wystąpiła koincydencja. W końcu porządkujemy klatki w taki sposób, abyśmy otrzymali ciągły obraz „przepływania” z lewa na prawo impulsu z licznika B od jednej skrajnej pozycji, w której jego prawa krawędź „właśnie” pokryła się z lewą krawędzią impulsu z licznika A, do pozycji, w której impuls z B „właśnie” opuszcza od prawej strony impuls z A (rys. 2.20).

Rys. 2.20. Ilustracja do wyznaczenia prawdopodobieństwa i częstości koincydencji przypadkowych

Ponieważ impulsy zdarzają się losowo, tak „sfabrykowany” film powinien zacho-

wać proporcje czasowe wszystkich możliwych konfiguracji. Spróbujmy teraz wypisać postać funkcji 7T (t), która będzie podawała nam czas koincydencji w zależności od tych

konfiguracji. Za zmienną niezależną tej funkcji przyjmiemy odstęp czasowy £ między prawą krawędzią impulsu z B a lewą krawędzią impulsu z A. Dla wartości ujemnych

60

2. Prawdopodobieństwo i jego rozkład

T(1) |

| I l

I I | I

T

4

—»

TTG

Rys. 2.21. Zależność czasu 7 trwania koincydencji od wzajem-

t

nej orientacji czasowej impulsów

zmiennej niezależnej oba impulsy się nie przekrywają i czas trwania koincydencji jest

równy zeru. Dla czasów 0 < t < Tg przekrywanie wynosi dokładnie t i tyleż samo

czas koincydencji. Dla czasów

Tp < t < TĄ impuls z B jest w pełni przekryty przez

impuls z A, tym samym czas koincydencji jest stały i równy Tp. Natomiast dla czasów IB k, to liczba kwadratów o powierzchni zawartej między

S„ a S$, jest równa n(F(x,) — F(x,)). Aby

uzyskać rozkład g, liczbę tę odniesiemy do całkowitej liczby n kwadratów i przedziału AS = Sp — Sk n (Fam) — Fx)

n(S„-S)

_ F (Sm)

— FOe(S2)) _ F (als + AS)) — F(x(Sz))

Sm — SŁ

me

AS

|

W wyrażeniu stojącym po ostatnim znaku równości rozpoznajemy iloraz różnicowy dla funkcji złożonej. Jeśli zastosujemy naszą standardową procedurę zwiększania liczby n

kwadratów i zawęzania przedziału

AS, to zauważymy,

że w granicy otrzymamy

po-

70

2. Prawdopodobieństwo i jego rozkład

chodną funkcji złożonej F(x(S$; + AS)) — FQx(Sz))

>

dF(x) z=x(5)

dx

n—>oo, AS-—>0

AS

dx

dx

—c dS =

J al

=g(0). S))— gl ) Wąs

Przeprowadźmy to rozumowanie jeszcze raz, ale tym razem całkiem formalnie. Niech będzie dana zmienna losowa x o gęstości f(x) oraz zmienna losowa y, związana z war-

tościami zmiennej losowej x jednoznacznym przekształceniem y = h(x). Jak mamy

znaleźć gęstość g(y) zmiennej losowej y? Ponieważ założyliśmy, że przekształcenie jest jednoznaczne, więc istnieje funkcja odwrotna x = h"'(y). Niech [x;; x ] będzie dowol-

nym przedziałem należącym do zbioru wartości zmiennej losowej x i niech y; = h(x) oraz yą = h(x2). Prawdopodobieństwo, że zmienna losowa x przyjmuje wartości zawarte między x; a x, jest równe całce z gęstości, przy czym twierdzenie o zamianie zmiennych całkowania mówi nam, że

x2

y2

P(X

)

M

N2TRO

l

1 -

[ exp |( —Af z — ——— ( z) e

0

—(t' —Aa2)

0

J

2o?

y”

exp ( ——z)

dt

|d y

—00

Ostatnią całkę możemy obliczyć jedynie numerycznie, a rezultat widzimy na rys. 2.31, gdzie dla ustalenia uwagi przyjęliśmy, że wartość parametru r jest jednostkowa, a parametrowi o nadano trzy wartości podane na wykresie. Grubsza linia ciągła przedstawia pierwotny rozkład (na osi rzędnych odłożono logarytm funkcji gęstości, dlatego niezdeformowany rozkład ma postać linii prostej), nato-

1,0

Tr=l

CZAS

Rys. 2.31. Przykłady randomizacji rozkładu wykładniczego rozkładem Gaussa; T = I

miast linie cieńsze to rozkłady po „pomiarze”. Widzimy, że jeśli precyzja pomiaru

czasu jest porównywalna z wielkością mierzoną, tj. wtedy, gdy T o, zniekształcenie uzyskiwanego spektrum jest bardzo silne. Zauważmy, że w wyniku splotu uzyskaliśmy również wartości ujemne. Przesłanie, jakie przynosi ten rysunek, polega na tym, że splatanie prowadzi zawsze do „wygładzenia rozkładu — różne

ostre struktury lub maksima zostają spłaszczone, minima przysypane, a wszelkie nachyłenia złagodzone. Stopień nasilenia tych efektów jest tym większy, im mniej precyzyjnie wykonujemy pomiary.

n

94 ——

2. Prawdopodobieństwo i jego rozkład

Przykład 2.7.2 Masa neutrina

Rozważmy następny przykład, w którym randomizacja może, potencjalnie, odgrywać bardzo poważną rolę. Jedną z metod pomiaru masy antyneutrina elektro-

nowego jest badanie rozkładu widma energii kinetycznej padu trytu: 'H >

*He + 8 +v,

w spoczynku.

E elektronów $8 z

roz-

Kształt h(E; Eg, m,) tego widma,

przedstawiony grubszą linią (dła m, = 0) na rys. 2.32 określony jest zależnością

(D. H. Perkins, Wstęp do fizyki wysokich energii, PWN, Warszawa 1989)

h(E; Eo, m,) = NF(v)(E, — E)VE/(E— E)?—m,

0 Po) dwóch zdarzeń, pierwszego, oznaczonego przez Pb i symbolizującego rozpad polonu

2.8. Twierdzenie Bayesa

105

218Po na ołów, a następnie tegoż na bizmut, oraz drugiego (Bi >

Po), opisującego rozpad bizmutu na końcowy izo-

top polonu ?*Po. Gdy w wyniku rozpadu izotopu *'*Po pojawi się astat, co określimy zdarzeniem At, układ zdarzeń, z uwagi na występujące tu rozgałęzienie, jest nieco bardziej skomplikowany. Dlatego najpierw wypiszemy po-

stać zdarzenia prowadzącego do powstania izotopu *'%Po

pod warunkiem, że wyruszamy z izotopu astatu. Uzyska-

nie izotopu ?!*Po jest wtedy określone przez alternatywę (At >

Rn) U(At >

Bi +

Po), gdzie pierwsze zdarzenie

opisuje ciąg rozpadów *$At > **Rn —> **Po, a sekwen-

cję (At > Bi % Po) możemy wyrazić przez koniunkcję (At > Bi) N (Bi + Po). Pełną postać zdarzenia opisują-

Thomas Bayes,

1702-1761

cego łańcuch rozpadów: 29Po — *8At — ?%Po otrzymamy po uzupełnieniu o zdarzenie At: At N [(A£ > Teraz już możemy 214pg:

Rn) U((At >

Bi)

(Bi >

Po))].

podać pełną postać zdarzenia opisującego pojawienie

się izotopu

[Pb N (Bi > Po)]UfAtN[(AŁ > Rn) U((At > Bi) A (Bi > Po))]), gdzie dodaliśmy nawiasy zwykłe, kwadratowe i klamrowe dla przejrzystości i uwypuklenia relacji między różnymi zdarzeniami. Poszukiwanie prawdopodobieństw takich złożonych zdarzeń opiera się na wykorzy-

staniu praw (2.11) rozdzielności względem dodawania i mnożenia oraz wielokrotnym

Rys. 2.38. Fragment szeregu promieniotwórczego ilustrujący rozgałęzienie w rozpadzie izotopów polonu, astatu i bizmutu

106

2. Prawdopodobieństwo i jego rozkład

stosowaniu związku (2.9). Wymaga to jednak pewnej ostrożności, gdyż przy ich lekkomyślnym użyciu możemy popełnić błąd następującej natury. Otóż, dla dwóch zdarzeń

niezależnych A oraz B mamy oczywiście spełniony związek P(A M B) = P(A)P(B), ale jeśli A = B, to P(AN A) = P(A), a nie P(ANA) = P(A)P(A), gdyż zdarze-

nie A nie jest niezależne statystycznie od siebie, co wynika ze związku P(A|A) = 1, a ponadto obowiązuje ANA=A.

Z prawa (2.9) otrzymujemy, że prawdopodobieństwo P(*'%Po) wynosi

PCĆ"Po) = P(Pb N (Bi > Po))+P(At M [(At-> Rn) U ((At > Bi) M (Bi > Po)))) — P(PbN (Bi

Po) N At N[(At> Rn) U ((At > Bi) N (Bi > Po))]).

Prawdopodobieństwo skomplikowanego zdarzenia Pb N (Bi >

Po) N AtN[(At >

Rn) U((At >

Bi) N (Bi +

Po))]

jest, w istocie, równe zeru, gdyż zdarzenie to ma postać PbNAtN(. --) i jego elementem jest koniunkcja PbNAŁ, która jest zdarzeniem niemożliwym: polon nie może się rozpaść

jednocześnie na ołów i na astat. A ponieważ ON(. - -) = ,, więc upraszcza to nieco nasz problem. Z niezależności statystycznej zdarzeń Pb oraz (Bi — Po) otrzymujemy

P(PbN (Bi > W zdarzeniu (At >

Po)) = P(Pb)P(Bi

Rn) U ((At >

Bi) N (Bi >

ności dodawania względem mnożenia: (At >

Rn) U((At >

Bi) N (Bi > = ((Af >

Ponieważ zdarzenie (At >

>

Po) = qyp3.

Po)) wykorzystamy prawo rozdziel-

Po)) Rn) U(At

Rn) U (At +

>

Bi)) N ((At >

Rn) U (Bi +

Po)).

Bi) jest zdarzeniem pewnym — astat może

się rozpaść tylko na radon lub na bizmut — więc (A! > Rn) U((At > Bi)

(Bi + Po)) = (At > Rn) U (Bi + Po),

(2.33)

a to prowadzi do At NO ((At > Rn) U((At + Bi) N (Bi + Po))) = At N((At > Rn) U (Bi + Po)). Tu ponownie zastosujemy prawo rozdzielności: At N((At > Rn) U (Bi + Po)) = (At

(At > Rn)) U(At N (Bi > Po)),

aby w końcu przejść do prawdopodobieństwa P(At NO [(At > Rn) U ((At > Bi) N (Bi > Po)))]) = P((At (At > Rn)) U(At M (Bi > Po))) = P(AtN (At > Rn)) + P(At N (Bi

Po)) — P(At£N (At > Rn) N (Bi + Po))

= P1P2 + P1P3 — P1P2P3 = PipP3 + P1P293.

2.8. Twierdzenie Bayesa Po uzupełnieniu tego rezultatu o prawdopodobieństwo otrzymujemy

zdarzenia

Pb i (Bi

107 +

Po),

P("'Po) = q1P3 + P1P3 + P1P243 = P3 + P1P243-

Słuszność tego wzoru możemy łatwo zweryfikować, jeśli uświadomimy sobie, że do

izotopu polonu *!'*Po dotrze wszystko, co nie „ucieknie” nam do izotopu talu *'*T1. Ten ostatni uzyskamy w ułamku q3 ze wszystkiego, co dotrze do izotopu bizmutu **Bi, a do bizmutu dotrze ułamek q; pierwotnej liczby jąder izotopu polonu *'*Po, które rozpadną

się na ołów *'*Pb oraz ułamek q» tych, które rozpadną się na izotop * "At. Razem daje to nam: P(*Po) = 1 — gz(q, + pig»), Co jest równoważnym rezultatem. Wynik tej wprawki w zakresie elementarnych metod rachunku prawdopodobieństwa

wykorzystamy do rozwiązania problemu, do którego potrzebujemy znajomości prawdo-

podobieństwa uzyskania astatu, które odczytujemy bezpośrednio z rysunku: P(7"At) = p, oraz prawdopodobieństwa P (?Po | SAt) uzyskania *'*Po pod warunkiem, że prze-

chodzimy przez astat. Ta ostatnia wielkość dana jest sumą prawdopodobieństw na nieza-

leżnych drogach przez radon i przez bizmut: P (**Po | "SAt) = p + qap3. Wynik ten łatwo odtwarzamy, obliczając prawdopodobieństwo zdarzenia (2.33). Jakie jest jednak

prawdopodobieństwo P (?8At | 7*Po) przejścia przez izotop **At, jeśli mamy już izotop

214Po? W podrozdziale 2.3 pokazaliśmy, że prawdopodobieństwa warunkowe spełniają

równość (2.16)

P(A|B)P(B) = P(A)P(B|A),

skąd znajdujemy, że P

("At

| *4Po)

—

P (At) P ("Po | *"At) _ py(pz + qap3)

P (214Po)

ps + PiPaq3

W przykładzie tym mamy elementarne zastosowanie w najprostszej postaci tzw. twier-

dzenia Bayesa, które teraz zaprezentujemy w ogólnej formie. Przepiszmy równanie łączące prawdopodobieństwa warunkowe w postaci

P(A|B)P(B

P(BIA) = PAIB)E (8) P(A)

(2.34)

i przypomnijmy oczywiste wyrażenie na prawdopodobieństwo P (A) z podrozdziału 2.3: P(A) =P(AN

QQ).

Rozłóżmy zbiór 62 na wykluczające się podzbiory B; (zdarzenie B w (2.34) to po prostu

jedno ze zdarzeń B;)

K9,

=

U

B;,

które mogą warunkować zdarzenie A. Daje to, po wykorzystaniu (2.11), wyrażenie na tzw. formułę pełnego prawdopodobieństwa dla P(A):

P(A) =P (. n (U 3)

=P (U AN »

=). P(A 0 B,) = >. P(A|B,)P(B,).

108

2. Prawdopodobieństwo i jego rozkład

Zastosowanie formuły pełnego prawdopodobieństwa widzieliśmy wcześniej, w przy-

kładzie 2.3.1, a cały podrozdział 2.7 jest oparty na wersji ciągłej tego prawidła.

Formuła na pełne prawdopodobieństwo pozwala zapisać związek (2.34) w formie określanej także mianem twierdzenia Bayesa P(B,|A) =

P(A|B,)P(B,) _ _ P(A|B,)P(B,) P(A) XP(AIB,)P(B,)'

(2.35)

J

gdzie w miejsce dowolnego zdarzenia B wstawiliśmy jedno ze zdarzeń B, (oczywiście niektóre ze zdarzeń B, mogą nie mieć wpływu na zdarzenie A lub nawet je wykluczać). Interpretacja tego twierdzenia jest następująca. Przypuśćmy, że zdarzenie A może

wystąpić pod warunkiem pojawienia się pewnej liczby wzajemnie wykluczających się zdarzeń B,. Każde z tych zdarzeń ma określone prawdopodobieństwo a priori P(B;).

Każde z nich może przyczynić się do wystąpienia zdarzenia A z prawdopodobieństwem

P(A|B;). Twierdzenie Bayesa pozwala „odwrócić” prawdopodobieństwa P(A|B;) i daje

nam warunkowe prawdopodobieństwa a posteriori P (B,|A) rozmaitych zdarzeń B;, gdy wiadomo, że zdarzenie A nastąpiło.

-——

Przykład 2.8.1 Twierdzenie Bayesa — licznik Czerenkowa Rozważmy (za G. D'Agostini, Bayesian Reasoning in HEP — Principles and Applications, CERN Report 99-03) detektor cząstek, np. licznik Czerenkowa, ustawiony

na wiązce składającej się z protonów i pionów, używany do wyzwalania (trygero-

wania) eksperymentu, w którym interesujące oddziaływania to te wywołane przez proton. Niech detektor ten ma efektywność detekcji protonu 95%, co oznacza, że prawdopodobieństwo zainicjowania zbierania danych (trygera T) przez proton wynosi P(T|p) = 0,95. Niech prawdopodobieństwo mylnego zidentyfikowania

pionu jako protonu, a tym samym prawdopodobieństwo uzyskania trygera wynosi: P(T|ax) = 0,02. Wiedząc, że wiązka składa się w 90% z pionów i 10% z protonów, obliczyć prawdopodobieństwo, że tryger zostanie faktycznie spowodowany przez proton Jeśli skorzystamy z twierdzenia Bayesa w formie (2.35), to prawdo-

podobieństwo pojawienia się trygera spowodowanego przez proton dane jest przez

P(T|p)P(p) P(p|T) = P(T|p)P(p ) + P(Tln)P(n)

0,95 - 0,1 0,95-0,1 +0,02-0,9 = 0,84.

Podobnie, prawdopodobieństwo uzyskania trygera w wyniku przejścia pionu wynosi

P(x|T) =

P(T|nx)P

U lm)E (r)

P(T|p)P(p) + P(T|x)P(Gr)

= 0,16.

2.8. Twierdzenie Bayesa

109

Znajdziemy także stosunek liczby prawdziwych trygerów do fałszywych, czyli stosunek sygnału do tła:

P(piD) _ PA|p) PD) 2

P(x|T)

P(Tln)P(n)

Wynik ten odzwierciedla znaną regułę pomiarową: w trudnych warunkach eksperyment musi być bardzo sełektywny. Ponieważ zanieczyszczenie wiązki jest duże — tylko co dziesiąta cząstka wiązki nas interesuje — musimy silnie dyskryminować szum, abyśmy w nim nie „utonęli”.

TI

Związek (2.35) powszechnie przypisywany jest anglikańskiemu pastorowi T. Bayesowi i kojarzony jest z jego pracą wydaną (pośmiertnie) w 1763 r., mimo że on nigdy tego twierdzenia nie napisał. Jako wniosek z (2.34) znany on już był wcześniej J. Bernoulliemu i A. de Moivre, ale P. $. de Laplace pierwszy dostrzegł jego ogólny charakter i potencjał możliwych zastosowań. Przypisanie rezultatu Bayesowi wynika z pewnego przyczynku, jaki ma on na swym o czym szerzej traktuje rozdział 9.

koncie w związku

z zastosowaniem

tej równości,

Postać twierdzenia Bayesa dla ciągłych zmiennych losowych x oraz y zapisujemy

jako

fFOlx) =

g(x|y)h(y)

|

J galy)h() dy Granice całkowania są zaznaczone symbolicznie i powinny uwzględniać zakres zmiennej losowej y, a także własności gęstości warunkowej g(x | y).

KONIECZNOŚĆ

Konieczność to taki sposób istnienia rzeczy, że nie mogą one istnieć inaczej.

|

Rozdział3

Parametry zmiennej losowej

Ze zmienną losową związane są pewne wielkości, zwane parametrami opisowymi

tej

zmiennej, odgrywające niezwykle ważną rolę w statystyce matematycznej. Parametrami zmiennej są momenty oraz tzw. parametry pozycyjne. Są to wielkości, które w zwięzły 1 uproszczony sposób opisują charakter zmiennej.

—-

3.1. Wartość oczekiwana

Rozpoczniemy

od definicji pojęcia wartości oczekiwanej. Jeśli h(k) jest losową funk-

cją dyskretnej zmiennej losowej k o rozkładzie prawdopodobieństwa P;, to wartością oczekiwaną funkcji h(k) nazywamy wielkość (patrz także komentarz po wzorze (3.3)):

€ [h(k)] = (h(k)) = ) h(k)PŹ,

(3.1)

k

gdzie sumowanie przebiega po całym zakresie zmiennej losowej.

-—

Przykład 3.1.1 Wartość oczekiwana — bankier Przypuśćmy,

że gramy

z drugą osobą, bankierem,

w następującą grę: rzucamy

rzetelną kostką sześcienną do gier planszowych 1 jeśli wypadnie parzysta liczba oczek, bankier płaci nam sumę złotych, jaką pokazuje liczba oczek na kostce. Jeśli wypadnie liczba nieparzysta, my płacimy bankierowi sumę złotych wskaza-

nych przez kostkę. Lepiej być bankierem, czy rzucającym kostką? Typowo raz na 6 rzutów zapłacimy bankierowi złotówkę lub 3 złote lub 5 złotych. Podobnie, raz na 6 rzutów dostaniemy 2 złote lub 4 złote lub 6 złotych. Typowo, po sześciu rzutach, rezultat netto takiej zabawy wynosi: 2+4+6—1—3—5 = 3 złote.

Tak więc w pojedynczym rzucie oczekujemy typowo wygranej 0,5 zł. Zauważmy, że to, czego tu dokonaliśmy, to znałezienie wartości oczekiwanej

(m) zmiennej

losowej m = (—1)kk, gdzie k jest zmienną losową o rozkładzie P, = 1/6 6

6

1

1

(m) = ) (-1)'kP, = ) —D'kz = ;(-1+2-3+4-5+6=0,5. Wartość oczekiwana odgrywa rolę stawki, jaką powinniśmy zapłacić bankierowi za przyjemność każdego rzutu kostką, jeśli zabawa ma być uczciwa. n

112

3. Parametry zmiennej losowej

Dla losowej funkcji h(X) ciągłej zmiennej losowej x, podlegającej rozkładowi f(x), wartością oczekiwaną funkcji h(x) nazywamy wielkość +00

€ [hQO] = (h(X)) = J h(x) f(x)dx,

(3.2)

gdzie przez nieskończone granice całkowania umownie zaznaczyliśmy cały zakres zmienności zmiennej losowej x. Przy obu definicjach, (3.1) oraz (3.2), powinniśmy dodać zastrzeżenie: o ile odpowiednia suma bądź całka istnieje. Zastrzeżenie to nie jest bez znaczenia, jako że w dalszej części wykładu poznamy rozkład (podrozdział 5.9), dla którego wartość oczekiwana nie istnieje. Jak zaznaczyliśmy, obok symbolu € [. : -] stosowany jest również symbol (: : -).

——

Przykład 3.1.2 Wartość oczekiwana — rozkład Maxwella Jako przykład znajdziemy wartość oczekiwaną energii kinetycznej

l

EA =

7”

(vż +v,

+ v>)

cząsteczki gazu doskonałego, w którym prędkości opisane są rozkładem Maxwella (przykład 2.5.3)

r

Ux,

v,)

z

Vy,

=

(= ki1 my ) a

MonkT/

PA

(-

-

2kT

(U; + v;v; + u:))

—

00

k+1l

(k) = ) „klogy k=1

ko


n=4, 0

0

a stąd

d(x) =5(1— x)”,

oraz

4

0 SI cov [x x; | s

— i,j=l

0x; I

X;J

(3.20)

Jeśli, dodatkowo, zmienne losowe nie są skorelowane (macierz V [x] jest diagonalna), to

w (3.20) pojawia się dalsze uproszczenie: h

3

WUEDS (37) i=1

0X;

2

vba].

(3.21)

Zauważmy, że dla funkcji f zadanej kombinacją liniową zmiennych x, wyrażenia (3.18) oraz (3.19) sprowadzają się do Ścisłych wyników (3.16) oraz (3.17).

132 -—-

3. Parametry zmiennej losowej

Przykład 3.4.2 Efektywność detektora Właściwym miejscem dla tego przykładu jest podrozdział 5.4, gdyż za chwilę wykorzystamy jedną z własności rozkładu Poissona, jednakże wzgląd dydaktyczny skłania nas do zaprezentowania go w tym miejscu. Otóż, rozważmy wariancję (3.19) szacunkowej liczby N (wzór (2.18))

=

(3.22)

cząstek użytych do wyznaczenia efektywności detektorów. Typowy błąd metodologiczny, jaki popełniany jest w takiej sytuacji, polega na potraktowaniu zmiennych losowych Ny, Ng i Nc jako statystycznie niezależnych i odwołaniu się do związku (3.21). Poprawny wynik uzyskamy, jeśli zauważymy, że do wielkości N, i Ng wnosi

wkład wielkość Ne, co indukuje korelacje nie tylko między N4 oraz Ne i Ng oraz N., ale także między N4 i Ng, a to wymaga zastosowania związku (3.20).

Od komplikacji związanej z istnieniem tych korelacji możemy się uwolnić, jeśli wielkość Na wyrazimy przez zmienną ną, określającą liczbę cząstek zareje-

strowanych tylko przez licznik A i zmienną Nec: NĄ = ną + Ne. Podobnie, dla

zmiennej Ng otrzymujemy Np = ng + Ne, gdzie ng jest zmienną losową, zadającą liczbę cząstek zarejestrowanych tylko przez licznik B. Przy takim wyborze nowych zmiennych losowych szacowana liczba N wynosi _ (na + Nc)(tg + N£) N N = i wyrażona jest przez wielkości statystycznie niezależne. Związek (3.18) prowadzi nas do rezultatu (3.22) na szacowaną liczbę cząstek, natomiast z (3.21) otrzymu-

jemy

NY?

Y[N] = (3) —N

(-

N

Vv [na] + (2) — Pa)

— PB)

YZ

+ )

3N

Y[nzżl + (c)

YŻ

YT[NCJ

|

PAPB

gdzie za wariancje zmiennych losowych ną, ng i Nc podstawiliśmy wartości ocze-

kiwane ny, ng 1 Ne, O czym poucza nas podrozdział 5.4. Zwróćmy uwagę na to, że

wariancja ) [N] jest proporcjonalna do oczekiwanej liczby N przypadków. Natural-

nie w realnym eksperymencie za wielkości N4, Ng, Nc, N, pa 1 pB podstawiamy

oszacowane wartości.

|

Podobne rozumowanie prowadzi nas do wariancji efektywności p, = Nc/NB: Y [pa] = pa

| —

Pa)

która jest tym mniejsza, im większej liczby przypadków użyjemy w eksperymencie.

Analogiczny związek dla efektywności licznika B znajdziemy zamieniając indeksy. Pełne zrozumienie tych wyników działów 5.2 i 5.4.

Czytelnik uzyska po przeczytaniu podroz7

3.4. Momenty funkcji zmiennych łosowych

133

Istnieje interesujące rozszerzenie procedury wyznaczania przybliżonych momentów funkcji zmiennych losowych. Przy jej prezentacji ograniczymy się do jednej funkcji

f(x) jednej zmiennej x. Polega ona na rozwinięciu tej funkcji w szereg Taylora wokół

wartości oczekiwanej u zmiennej x do wyrazów kwadratowych:

0 = fW+

2

qq s X—

1) F> q3 s (C=

HL).

Jeśli obliczymy wartość oczekiwaną funkcji f(x), to otrzymamy

(00)

£=

FM)+

df

—

5 (K— 1) —

l df

+5>

5

l

—

>

u?)

=—

FU)+

l df

———| > 3

YI, Sa

(3.23) a więc dodatkową poprawkę do wartości funkcji w punkcie oczekiwanej wartości zmiennej losowej x. Żeby być konsekwentnym, do obliczenia wariancji wielkości mierzonej pośrednio musimy użyć trzeciego i czwartego momentu centralnego. Jeżeli przez f, f'

oraz f” oznaczymy wartość funkcji, jej pierwszej i drugiej pochodnej w punkcie x = m,

to znajdziemy, że następujące wyrażenie opisuje wariancję zmiennej losowej f:

1

1

Y1=(f- ()) 2 ( (Fo - U) + zf”(x— 1)? — U l = [VB + g67 (6-0) z7l — f7V

l

[x] + gf V

a

+

|

PM FP (= W)

[x] (7 + 2) + ff'D

[x] Y1:

Po ostatnim znaku równości skorzystaliśmy z definicji (3.10) i (3.11) współczynników

asymetrii y, 1 spłaszczenia ». Jeśli rozkład zmiennej losowej x jest symetryczny, to współczynnik asymetrii y; jest równy zeru i wyrażenie to upraszcza się do postaci VI] =/VBI]

1

+ j/7V

[x] (72 + 2),

natomiast gdy mamy do czynienia z rozkładem gaussowskim dla zmiennej x, wtedy, jak to znajdziemy w podrozdziale 5.5.2, związek (5.71), mamy dodatkową relację:

(«= 1)”) =3V*pq, prowadzącą do znikania współczynnika spłaszczenia )», co też ostatecznie daje nam |

VI] = f7VDJ + > FV BA.

(3.24)

Wynik ten może być przydatny wtedy, gdy aproksymacja liniowa dla funkcji f nie jest wystarczająca, a tym samym model małych błędów pomiarowych jest nieadekwatny, na przykład w okolicy ekstremum tej funkcji. W takiej sytuacji wyrażenie (3.21) reprezentowane we wzorze (3.24) przez pierwszy składnik zwraca dla wariancji wielkości złożonej wartość bliską zera (lub dokładnie zero, jeśli pomiar wypadł w punkcie eks-

tremalnym). Stosownej poprawki dostarcza wtedy wyraz zależny od drugiej pochodnej funkcji f.

134

3. Parametry zmiennej losowej

--—- Przykład 3.4.3 Wariancja w ekstremum Chcemy znałeźć dyspersję wartości przekroju czynnego Breita—Wignera pĄŻ o(E)

(3) ryż

= 00

(z) ——

(EK) —

opisanego

wyrażeniem

2

w maksimum, tzn. dla wartości energii równej wartości parametru „w. Obliczamy

pierwszą pochodną, która w punkcie E = „ wynosi zero, oraz drugą pochodną: do dE?

E=u

co pozwala nam, po podstawieniu do (3.24), wyprowadzić wyrażenie na dyspersję

1

[o(E = n)] 2=—— ||f

D[o(E =

44/20,

z

Y[E] =

VIET,

a także, z (3.23), wartość mierzonego przekroju czynnego o(E=n)żo która jest nieco mniejsza Możemy łatwo zrozumieć jest rozmyta, to faktycznie czynnego, lecz przekroju z rozkładem tejże energii.

(! —

7)

,

(3.25)

niż wartość wyrażenia Breita-Wignera w maksimum. ten wynik, jeśli zauważymy, że skoro wartość energii nasz pomiar nie jest pomiarem bezpośrednio przekroju czynnego splecionego, według reguł podrozdziału 2.7, Wskazaliśmy tam, że splatanie to łagodzi zachowanie

randomizowanej wielkości i powoduje obniżenie wartości w maksimum, czego właśnie jesteśmy Świadkami. Jeśli za model funkcji zdolności rozdzielczej eksperymentu przyjmiemy rozkład Gaussa, jak to uczyniliśmy w przykładzie 2.7.3,

to w granicy małych, w porównaniu z parametrem

/', wartości dyspersji tego

rozkładu dokładnie odtworzymy wynik (3.25).

7

—- 3.5. Krzywe regresji Powróćmy do definicji (2.29) rozkładów warunkowych: f,(y|x) oraz f,(x|y), podanych

w podrozdziale 2.7. Obliczymy teraz warunkową wartość oczekiwaną € [y|x] zmiennej

losowej y (patrz przykład 3.2.1):

OO

ebals40= o | yFObody= |o

|

OO

f(x)

Ray

(3.26)

oraz warunkową wartość oczekiwaną € [x|y] zmiennej losowej x Efdy]=m0)=

J xf(x|y)dx= | —00

—00

x

CY

dx,

(3.27)

3.5. Krzywe regresji

135

gdzie obydwie wartości oczekiwane j« oznaczyliśmy jako zależne od drugiej zmiennej,

jako że otrzymujemy pewną funkcję j4, argumentu x oraz „4, argumentu y. Otrzymane

zależności noszą nazwę krzywych regresji pierwszego typu zmiennej losowej x względem y dla u,(y) lub zmiennej y względem x dla uy(x). W ogólności, obie krzywe nie

pokrywają się na płaszczyźnie (x, y). Zauważmy, że nietrywialne wyrażenia uzyskujemy jedynie dla przypadku zależnych statystycznie zmiennych losowych, gdyż w przeciwnym razie, z uwagi na faktoryzację funkcji gęstości, wartości oczekiwane stają się stałymi niezależnymi od wartości drugiej zmiennej. Interesującą cechą krzywych regresji jest to, iż spełniają one następujące równania wariacyjne: 00 00

[eu] -| J G — WÓYYŻfG,y) dxdy= min(u,(7)) —00

—00

na nieznaną funkcję u,(y) oraz analogiczne wyrażenie na nieznaną funkcję Ly(X):

e[0-460)7]= | | 0-4607f0.))dxdy = minu, (w). przy zadanej funkcji rozkładu f(x, y), czego tu nie będziemy dowodzili. Na zakończenie wspomnimy o krzywych regresji drugiego typu. Mamy z nimi do

czynienia, gdy poszukujemy zadanej krzywej y = h(x;a,b,...) zależnej od nieznanych parametrów a, b,..., wymagając spełnienia warunku

J J (y — hlx;a,b,...))* f(x, y) dxdy = min(a,b,.. .)

(3.28)

ze względu na nieznane parametry. Podejście takie zwane jest metodą najmniejszych kwadratów. —-

Przykład 3.5.1

Linia prosta regresji drugiego typu Jako przykład rozważmy krzywą regresji drugiego typu w postaci linii prostej: h(x; a, b) =ax +b.

Po podstawieniu do funkcjonału minimalizującego (3.28) otrzymujemy

£E[v-ax-b)]=E|(Y-1) - au)+ my — au, — b) | 2

— 0y + a*o2 — 2acov [x,y] + (Hy — aux — b)” = oy + a*0j — 2a0x0yp + (Hy — any — b)” = min(a, b).

136

3. Parametry zmiennej losowej

Stosujemy, wykonując różniczkowanie, mum względem a oraz b:

0

zyk 0

35

standardowe metody poszukiwania mini-

[(y — ax — b)” | = 2a0; — 2Gx0yP — ŻLx(Hy — ai, — b) =0,

[vy — ax

b)”] = —2(u, — au, — b) =0.

Rozwiązanie tego układu daje o

a =p—, Ox

b = Hy

o

— a Ax = Hy — p— Hy, Ox

a stąd otrzymujemy poszukiwaną prostą regresji drugiego typu zmiennej y względem zmiennej x: Qy

Y —Hy=p—(x — A). Ox

Podobnie, możemy zmiennej y

znaleźć prostą regresji drugiego typu zmiennej

x względem

h(y; a, b) = ay +b,

która przyjmuje postać dx

X — Ux = P—(Y — Ly) dy

lub też Y) —Hy

=

o

——(

— Ly).

p ox Jak widzimy, obie proste regresji są identyczne tylko wtedy, gdy współczynnik korelacji p jest jednostkowy, czyli wtedy gdy, jak to pokazaliśmy w podrozdziale 3.3

(wyrażenie (3.15)), istnieje funkcyjna, matematyczna zależność o liniowym cha-

rakterze między zmiennymi.

r

-—— 3.6. Parametry pozycyjne Na zakończenie tego rozdziału wspomnimy o parametrach pozycyjnych zmiennej losowej, czyli wartościach szczególnych tej zmiennej. Najprostsza z nich, tzw. moda, zwana

także dominantą, to po prostu wartość najbardziej prawdopodobna, czyli taka wartość zmiennej losowej x, przy której funkcja gęstości bądź rozkład prawdopodobieństwa przyjmuje wartość maksymalną.

Naturalnie nic nie stoi na przeszkodzie, aby rozkład

miał kilka maksimów i w związku z tym kilka wartości lokalnie najbardziej prawdopodobnych.

Oprócz wartości najbardziej prawdopodobnych

zmiennych losowych napotykamy

często wielkości zwane kwantyłami. Kwantylem rzędu p zmiennej losowej x o dystry-

3.6. Parametry pozycyjne

Ff)

A

137

moda |

mediana

I

| | | wartość oczekiwana I

SI

ME tj oo|

Rys. 3.5. Relacja między modą, medianą a wartością ocze-

kiwaną

buancie F (x) nazywamy

|1

OLI

I

1] l

x

>

taką wartość x„, dla której spełniona jest równość

F(xp) = p.

(3.29)

Tym samym poniżej wartości x, zgromadzony jest ułamek p prawdopodobieństwa.

Punkt, który dzieli prawdopodobieństwo na połowę, czyli kwantyl rzędu 0,5, nazywamy medianą. Typową relację między modą, medianą a wartością oczekiwaną, dla

rozkładu asymetrycznego ze współczynnikiem asymetrii większym od zera, prezentuje rys. 3.5. Gdy skośność zmiennej jest przeciwna, relacje między parametrami ulegają odwróceniu. Dla rozkładu symetrycznego moda, mediana i wartość oczekiwana są Sobie równe. Kwantyle odznaczające 25% i 75% prawdopodobieństwa zwane są dolnym i górnym kwartylem. Obok wielkości, określających typową wartość zmiennej losowej, mamy również parametry pozycyjne opisujące rozrzut tej zmiennej. Najczęściej używany jest tzw. odstęp międzykwartylowy, zwany też ćwiartkowym, czyli różnica między górnym i dolnym kwartylem.

NIEZDECYDOWANIE CH SZ Ż ŻA

o ŻA) o c

ECYA

M1

DALA

AŚ

cŻ

Jk

A

A A i

LĄ NI

=

Czarna chusta wokó ł głowy oznacza omroczenie

i zamieszanie umysłu od natłoku my. Śli, które wtrącają go w niezdecydowanie.

Rozdział 4.

Momenty i statystyki pozycyjne z próby

W dotychczasowych rozważaniach rozdziału 2 oraz 3 przyjmowaliśmy, że rozkłady roz-

ważanych zmiennych losowych są nam znane. Takie podejście jest właściwe dla teorii prawdopodobieństwa, kiedy to podążamy metodą dedukcyjną od ogółu do szczegółu. Przy wykonywaniu pomiarów natomiast rozkład prawdopodobieństwa leżący u podstaw

badanej cechy nie jest nam z reguły znany, a celem analizy, w krańcowym przypadku, jest właśnie uzyskanie jego postaci. Zadaniem statystyki matematycznej jest wypraco-

wanie metod osiągnięcia tego celu. Najczęściej

zadowalamy

się (bądź musimy

się zadowolić) pewnymi

częściowymi

informacjami o rozkładzie. Informacje te wydobywamy z próbki i aby były one wiarygodne, próbka nasza musi być losowa. Nie będziemy tu ściśle definiować znaczenia tego słowa, gdyż jego definicja w sensie operacyjnym prawdopodobnie nie istnieje, odwołamy się jedynie do często, zwłaszcza w prasie, używanego synonimu, jakim jest próbka

reprezentatywna i do intuicyjnego zrozumienia tego terminu, który podpowiada nam, że próbka taka jest zminiaturyzowaną formą całej populacji, odzwierciedlającą wszelkie

cechy i relacje, jakie w niej występują. Rozważmy taki przykład. Przypuśćmy, że usiłu-

jemy zmierzyć typowy czas życia cząstki bądź jądra, która porusza się, przyjmijmy dla uproszczenia, z zadaną prędkością. Długość odcinka przebywanego przez badany obiekt przed rozpadem możemy przeliczyć na czas życia. Jeśli zbiór naszych przypadków ma

być reprezentatywny, musimy umieć zmierzyć każdą długość, nawet tę bardzo dużą, co

zakłada nieograniczoną objętość detektora. Tak więc w praktyce zawsze nasza próbka będzie miała w sobie niedomiar przypadków o dużych czasach życia. W takich sytuacjach

mówimy, że próbka jest obciążona. Próbki obciążone to raczej „chleb powszedni” fi-

zyki cząstek i jądra atomowego. Detektory, którymi obudowujemy punkt oddziaływania, nie pokrywają pełnego kąta bryłowego, ich wydajność zależy od liczby przechodzących

przez niego cząstek i parametrów geometrycznych torów, zakres dynamiczny układów elektronicznych jest skończony i niekoniecznie liniowy, metody trygerowania ekspery-

mentu mają swoje ograniczenia — wszystko to prowadzi do gubienia pewnych klas przypadków. Straty te musimy później wykryć i uwzględnić, dobierając odpowiednie metody analizy danych. I jeszcze jeden termin. Próbę nazywamy prostą, gdy wszystkie występujące w niej zmienne losowe są niezależne. Można wyobrazić sobie schematy losowania, w któ-

140

4. Momenty i statystyki pozycyjne z próby

rych prawdopodobieństwo wyboru następnego elementu załeży od wyników uzyskanych wcześniej. Przykładem takiego postępowania jest losowanie, ze skończonego zbioru, elementu, który następnie nie jest zwracany do populacji, co powoduje, że jej własności ulegają zmianie w trakcie pobierania próby. O takich metodach uzyskiwania próby mówimy, że są to schematy losowania zależnego, a uzyskana próba nie jest już wtedy

prosta.

Próbki złożone (nie proste) to raczej rzadkość w fizyce. W typowym eksperymencie analizujemy kolejne przypadki, jakich dostarcza nam akcelerator, źródło lub promienio-

wanie kosmiczne i taki bądź inny charakter jednego przypadku nie ma wpływu na to, co zaobserwujemy w następnym. Nie jest to jednak prawda w odniesieniu do różnego

rodzaju procesów kaskadowych, kiedy to specyficzny przebieg takiego procesu w jednej fazie może istotnie zdeterminować jego charakter w następnych etapach. O ile nie powiemy tego wyraźnie, całość naszych rozważań będzie odnosiła się do prób losowych prostych. Najprostszą informacją o badanej zmiennej, jaką możemy uzyskać z próbki, jest informacja o jej momentach.

—- 4.1. Wartość Średnia — prawo wielkich liczb Zarówno dla dyskretnej, jak i dla ciągłej zmiennej losowej x o wartościach x, w próbce losowej o liczebności n, uzyskanej z tego samego rozkładu charakteryzującego Się Wwar-

tością oczekiwaną (x) = pm, definiujemy średnią arytmetyczną x jako

xX

—

l

R

—

2,7

(4.1) 4.1

i

I oczekujemy od niej, że jest miarą wielkości, której dotyczy pomiar. Dlaczego? Przyj-

rzyjmy się sytuacji ze zmienną dyskretną. Bez zmniejszenia ogólności możemy przyjąć,

że zmienna ta przyjmuje wartości od jedności do nieskończoności. Wszystkie wartości x, z próby możemy uporządkować w niemalejący ciąg, który może przykładowo wyglądać w sposób następujący: 1, 1, 1, 2, 2, 3, 3, 3, 3, 4, 5, 5,... , a następnie pogrupować,

uzyskując krotności n,: n;, = 3, m = 2, nz =4,ną4 =l,... wystąpienia zmiennej k=1,2,3,4, ... Po takim przekształceniu danych wartość średnią możemy zapisać w innej, równoważnej formie

1 1=-1+1+1+2+2+3+3+3+3+4+:-)) 1

l

n

= — (ny + 2m + 3nz + 4n4 +*--) = — | kny =) k— =) kF, n H tI k=l o kal gdzie wprowadziliśmy eksperymentalne częstości F, występowania zmiennych losowych,

a sumowanie przebiega do maksymalnej wartości w próbce. Teraz już widzimy, że przy

zwiększaniu liczebności próbki częstości doświadczalne dążą, na mocy propozycji (2.1),

4.1. Wartość średnia — prawo wielkich liczb

141

do prawdopodobieństw P,, a ostatnia suma dąży do wartości oczekiwanej (3.3): =)

kF,

noo

) KP

=

u

kal Przypatrzmy się teraz, jak ta konstrukcja działa w odniesieniu do zmiennej losowej ciągłej. W tym przypadku nie mamy z góry narzuconych wartości, których krotność moglibyśmy

zliczać. Możemy jednak pogrupować

nych przedziałach

zmiennej:

[xq); xQ)),

dane x; w N arbitralnych, rozłącz-

[X0:xG)+.-.

» LXW); XN+1v), których długość

przyjmiemy, dla uproszczenia, stałą i równą A, a następnie znaleźć liczby nz określające, ile danych trafiło do k-tego przedziału. Wartość Średnią możenoy wtedy zapisać jako N

Xx = dE

= DELE

i=l

) sj

4 =

Z

k=l

gdzie xy. opisuje wybrany punkt z przedziału, np. jego Środek. Zwróćmy uwagę na wprowadzoną gęstość (2.4) doświadczalną f4. Jeśli będziemy zwiększali liczbę n danych doświadczalnych, to tak jak dyskutowaliśmy to w podrozdziale 2.1 przy wprowadzaniu pojęcia gęstości prawdopodobieństwa, będziemy mogli zawężać szerokość przedziału A,

a nasze przybliżenie będzie będzie dążyła, jak w (2.5), nas, że w takim przypadku, zbiega do definicji wartości l

n

coraz to bardziej dokładne, natomiast gęstość empiryczna do funkcji f(x) rozkładu. Analiza matematyczna poucza w granicznej sytuacji nieskończonej próbki, nasza formuła oczekiwanej (3.3): N

%

X = —n 2 Xx; = > x [k] fk A

— 20

J xf J (x) (x)dx = iL

Mamy także drugą relację, wskazującą na Ścisły związek między wartością średnią a oczekiwaną. Jeśli uświadomimy sobie fakt, że w kolejnych replikach tego samego

eksperymentu będziemy otrzymywali różne wartości średniej, a więc średnia traktowana

jako zależna od zmiennych losowych sama jest zmienną losową albo jeszcze lepiej: statystyką — czyli funkcją zmiennych losowych —

co stanowi definicję tego pojęcia,

to możemy zastanowić się nad wartością oczekiwaną tej statystyki: _

=(,2,%)5,2,%0=,2,00=,2,/=« l

n

i=l

14

l

e€)

0x

n

przy czym równość zachodzi dla o, = O, a więc i ten estymator jest gorszy od estymatora danego średnią.

Teraz wróćmy do wielkości (SX):

(S;) =V[x] — Lytz] = A LY[x]. n n Widać, że wybrana przez nas „próbna” vY[x], a jedynie dąży do niego dla n asymptotycznie nieobciążone.

statystyka (4.5) nie spełnia warunku (S>) = oo. O takich estymatorach mówimy, że są

Jeśli na estymator kwadratu odchylenia standardowego

(błędu pojedynczego po-

miaru) wybierzemy wyrażenie

s; = o 2,6—%), i=|

(4.7)

to jego wartość oczekiwana będzie równa pożądanej wariancji zmiennej losowej x. Poprawka wynikająca z dzielenia przez n — 1 zamiast przez n zwana jest poprawką Bessela.

r-—

Przykład 4.2.2 Błąd nowicjusza Autor był kiedyś świadkiem prezentacji wykresu, którego główne cechy odtwo-

rzone są schematycznie na rys. 4.2. Przedstawia on serię dwudziestu kolejnych

i niezależnych pomiarów tej samej wielkości fizycznej. Numer pomiaru znajduje

się na osi odciętych, a wartości odpowiada rzut punktu na oś rzędnych. Błąd każdego indywidualnego pomiaru reprezentowany jest przez połowę pionowego odcinka. Wykres ten jest wart krótkiego omówienia, gdyż z punktu widzenia staty-

styki matematycznej jest on wewnętrznie sprzeczny. Indywidualne punkty pomiarowe charakteryzują się pewnym rozrzutem wokół wartości średniej. Rozrzut ten, w sensie błędu pojedynczego pomiaru, wynosi około jednej jednostki i jest zdecydowanie mniejszy niż zaznaczone przez wykonawcę ramiona” błędu, które można

ocenić na około cztery jednostki. Druga, ekstremalna ewentualność ukazana jest

" 4. Momenty i statystyki pozycyjne z próby

14

T

12

I

wynik pomiaru

16

T

18

10

0

J

0

2

i

l

l

l

l

l

I

l

J

4

6

8

10

12

14

16

18

20

numer pomiaru Rys. 4.2. Przykład niespójnych wyników pomiarowych: błąd indywidualnego rezultatu jest istotnie większy niż rozrzut miedzy wynikami kolejnych pomiarów

20p

15 |

|

wynik pomiaru

148

l

0

2

4

6

8

l

10

l

12

.

14

l

16

l

18

20

numer pomiaru

Rys. 4.3. Przykład niespójnych wyników pomiarowych: błąd indywidualnego rezultatu jest istotnie mniejszy niż rozrzut między wynikami kolejnych pomiarów

na rys. 4.3, kiedy to rozrzut poszczególnych wyników pomiaru jest istotnie większy niż ukazana wartość błędu dła każde go z nich. Wyniki takie powinny nas zawsze skłonić do ponownego rozważenia metod,

jakie zastosowaliśmy do uzyskania wartości centralnych oraz błędów.

r

4.2. Odchylenie standardowe i wyższe momenty

0,25

149

p

0,20

0,15 1030 0,10

0,05

0,00 średnie

dane

980

Rys. 4.4. Porównanie rozkładu wszystkich wyników pomiarów i dziesięciokrotnie mniejszej próbki wartości średnich, każdej obliczonej z dziesięciu pomiarów

Ze związków (4.6) oraz (4.7) otrzymujemy wyrażenie na błąd Średniej arytme-

tycznej (odchylenie standardowe dla średniej arytmetycznej): Sz

2__542 = na

_ 1) =D

= X

—_

x)

z)2

(4.8)

i mówimy o nim, że jest on statystyczny, mając na myśli fakt, że wynika on z zastosowania metod rachunku prawdopodobieństwa i że maleje ze wzrostem liczebności próbki.

Istotnie, wielkość s;, na mocy prawa wielkich liczb, dąży do wartości stałej: wariancji zmiennej losowej, a dzielnik n wykonuje „mokrą robotę”.

Specyfikę tego faktu demonstruje rys. 4.4. Przedstawia on (na pierwszym planie)

rozkład 1600 wyników pomiarów, w hektopaskałach, ciśnienia atmosferycznego (dane własne). Odchylenie standardowe dła tych danych wynosi 5,9 hPa. Drugi plan prezentuje rozkład 160 średnich arytmetycznych dla 160 podpróbek zbudowanych z kolejnych dzie-

siątek indywidualnych pomiarów. Odchylenie standardowe dla średnich wynosi 1,9 hPa i wyśmienicie zgadza się z prawem odwrotnego pierwiastka z liczby pomiarów — nie-

pewność średniej arytmetycznej istotnie maleje jak Ji

Powyższy wynik jest jednocześnie ilustracją dobrze znanej reguły pomiarowej: jeśli chcesz zmniejszyć błąd dwakroć, próbkę musisz powiększyć czterykroć,

a ci, którzy marzą o zmniejszeniu błędu o rząd wielkości, muszą się liczyć z tym, że

ich eksperyment potrwa sto razy dłużej!

150

4. Momenty i statystyki pozycyjne z próby

Wielkość s;, będąc funkcją zmiennych losowych, jest statystyką, a więc będzie pod-

legała pewnemu rozkładowi. Wartość oczekiwana tej statystyki, jak pokazaliśmy, wynosi

Y [x], a jaka jest jej wariancja? Aby ją znałeźć, musimy obliczyć, z definicji, następujące wyrażenie: > > NE 4 >

v[s] = (8 — (5) ) = (s) - V* bq.

Po odpowiednich obliczeniach, których wykonanie (np. z pomocą dodatku B) zalecamy Czytelnikowi, otrzymujemy związek l

n-3

2n

v[s| [5] ==-(a— > (6— (x))”) 00))- - ——)> > wzypy

wy —— M=„YPl(mt=7

4.9 (4.9)

określony przez współczynnik > spłaszczenia (3.11). Rezultat ten dostarcza nam wyrażenie na wariancję kwadratu błędu Średniej arytmetycznej 2

vy [s|= MOZE

—)

=

l

ba (m+

2

2).

Zauważmy, że obie wielkości maleją ze wzrostem liczebności próbki. Estymatorem wielkości Y |sĘ 4 jest kwadrat błędu kwadratuo 2

3

czyli wielkość sS2:

azaazy(e 2,0-3 l

==———— ' Y

n

3) 5

72 „(% (— x)

2) . sz)

Podobny związek, „wzbogacony” o dodatkowy dzielnik n*, otrzymujemy dla kwadratu błędu S> (autor ma nadzieję, że Czytelnik wybaczy mu to „monstrum notacyjne) kwadratu błędu Średniej arytmetycznej. Wyrażenia te mają swoje znaczenie w praktyce, gdyż

określają precyzję, z jaką powinniśmy zapisywać znalezione błędy, a więc i zmierzone

wartości. Istotnie, wiemy, że jeśli u = v*, to s, 2 (v) s,. Gdy za wielkość v podstawimy s,, to znajdziemy, że s.ż = 2s,5,, skąd otrzymujemy wyrażenie na błąd s., błędu s;:

x S$

X 25 Do tego zagadnienia powrócimy w przykładzie 5.5.2, a tu tylko zwrócimy uwagę Czytelnika na fakt, ze wielkość s. jest błędem statystycznym: ze wzrostem próbki maleje

on jak +/n.

W kontekście powyższych rezultatów dotyczących wartości średniej i odchylenia

standardowego z całą mocą należy podkreślić, że:

Jeśli fizyk widzi rezultat pomiaru w postaci: wynik + błąd, to implicite przyjmuje trzy założenia dotyczące tego wyniku: e wartość zmierzona estymuje wartość oczekiwaną, e błąd jest statystyczny i jego kwadrat estymuje wariancję, e rozkład prawdopodobieństwa wielkości mierzonej jest symetryczny. Gdy którykolwiek z tych warunków nie jest spełniony — wynik musi być opatrzony komentarzem!

4.2. Odchylenie standardowe i wyższe momenty

151

--—- Przykład 4.2.3

Korelacja wartości Średniej i odchylenia standardowego Czy wartość Średnia x jest skorelowana z estymatorem wariancji s;? Rachunki z wykorzystaniem wyników dodatku B przekonują nas, iż

(8-W (£-07)|= >E[G= m0]. Dla rozkładu symetrycznego trzeci moment centralny znika i badane zmienne lo-

sowe nie są skorelowane, co jednak w żaden sposób nie przesądza o ich statystycznej niezależności (patrz podrozdział 3.3).

T)

Na marginesie rozważań nad odchyleniem standardowym warto wspomnieć o zagadkowym dzielniku n — 1, jaki pojawia się w definicji tej wielkości. Pozostawimy Czytelnikowi przeprowadzenie dowodu, że jeśli wartość oczekiwana m rozkładu jest dana, to nieobciążony estymator wariancji ma postać zbliżoną do (4.5):

28 G — 2. n

(4.11)

i=l

Pomniejszanie liczby n punktów danych o jedność przy obliczaniu odchylenia standardowego przy nieznanej wartości oczekiwanej jest ceną, jaką płacimy za zastosowanie średniej arytmetycznej. Często w praktyce doświadczalnej stosujemy jeszcze jedną wielkość statystyczną —

błąd względny, zazwyczaj wyrażany w procentach, w literaturze określany też mianem współczynnika zmienności w próbie: s;/x. Pozwala on, za pomocą jednej liczby, opisać statystyczną jakość naszego wyniku pomiarowego. Pod względem formalnym nie jest to dobrze zdefiniowana wielkość statystyczna, jeśli rozkład, z którego pobierana jest próba, dopuszcza zerową wartość średniej arytmetycznej. Jeśli jednak rozkład ten jest określony jedynie dla dodatnich wartości zmiennej losowej lub wartość błędu względnego jest istotnie mniejsza od jedności, wtedy współczynnik zmienności jest asymptotycznie nieobciążonym estymatorem stosunku dyspersji i wartości oczekiwanej

o wariancji

Sz] _ A (4 — V*[X]) — 4AV [X] pa + 40 [X]

v[z]=

dnżusY [x]

+o(n

_

piw

[io

):

Dla próbki z rozkładu Gaussa N (x; a, o) wyrażenie to upraszcza się do postaci

v[>]- = (1+257) +0(wr

NIA

p

)

152

4. Momenty i statystyki pozycyjne z próby

o ile spełniony jest warunek wymagający, aby błąd standardowy średniej arytmetycznej

był istotnie mniejszy od wartości tej średniej. Wtedy bowiem możemy uważać, iż średnia

jest na tyle oddalona od wartości zero, że możliwość przyjęcia przez Średnią tej wartości jest praktycznie wykluczona. Jest to, oczywiście, przybliżenie. Jaką postać mają estymatory wyższych momentów centralnych? Ponieważ nieobciążony estymator trzeciego momentu centralnego 43 to A

Ham

GZDGZBi

0

-%*

więc wyrażenie na estymator współczynnika asymetrii (3.10) moglibyśmy zaproponować jako A

„_ Ma

=

_

n

2

n

X; —X

>(

s

1

Rdz

—

3

).

jednakże dość powszechnie przyjmowana jest następująca definicja: A

Yi =

1




(

Xi

— X

5,

)

j

.

gdzie 5, jest estymatorem (4.5) średniego błędu kwadratowego. Estymator j? jest jednak,

w ogólnym przypadku, tylko asymptotycznie nieobciążony:

(|=

+0 (17?)

h

z wyjątkiem próbki wylosowanej z rozkładu Gaussa, kiedy to wartość oczekiwana estymatora jest dokładnie równa współczynnikowi asymetrii y, (a ten współczynnik dla zmiennej z tego rozkładu wynosi zero). Chociaż dla czwartego momentu centralnego j14 także dysponujemy jego nieobcią-

żonym estymatorem

»

n(n> — 2n + 3)

|

8

HAT n=Dn=25n=3)n270%

_

n — 1)(2n — 3)

RE

;

3) ©

to jednak konwencjonalnie dla estymatora spłaszczenia (3.11) wybieramy definicję w postaci

hm

i=l

S

|

wykorzystującej estymator średniego błędu kwadratowego. Okazuje się jednak, że wiel-

kość ta jest tylko asymptotycznie nieobciążona, nawet gdy próbka pochodzi z rozkładu Gaussa:

(72) = Y+OÓ

(r 3).

Wart odnotowania jest fakt, że dla próbki gaussowskiej obciążenie to jest znane: 6

(7) = "nil

4.3. Średnia ważona

153

a powinniśmy pamiętać, że sam współczynnik », dla zmiennej z tego rozkładu jest równy zeru. Jest rzeczą interesującą, że dla obu estymatorów znana jest Ścisła postać ich wariancji, o ile elementy próby pochodzą z rozkładu Gaussa:

Y[Al=Geparh r a

6(n — 2)

6

(n+1)n +3)

n

[5 | _

24nn—2)n—3)

_ 24

2 (n+D?(n+3)m+5)

n

Dla innych rozkładów wiadomo tylko, że wariancje estymatorów obu współczynników,

przy wykorzystaniu dużych liczebnie prób, zgodne są z asymptotycznymi postaciami wariancji tychże współczynników dla próbki wylosowanej z rozkładu Gaussa, z dokład-

nością do wyrazów rzędu O(n'*/*).

W literaturze funkcjonuje wiele definicji obu współczynników, dlatego Czytelnik nie

powinien się dziwić, jeśli napotka np. podany wcześniej estymator j; oraz

e

n*(n + 1)

ię

ks q=Da=Da=312(

sni) -3 s

(n — 1)?

(n — 2)(n — 3)”

gdzie skomplikowana postać współczynników zależnych od liczebności n próbki wynika z wykorzystania nieobciążonego estymatora czwartego momentu

centralnego i wyma-

gania braku obciążenia dla przypadku próbki gaussowskiej. Zwróćmy uwagę na to, że dla dużych prób oba alternatywne estymatory przyjmują asymptotyczną postać

ZE Aj

I

X;

—

X

hs;

1

(5)

/x-XV

—

ł

i=l

z) (7 n

n

i=l

Yu

3

i=l

—3Z—

(

-43

Sx

|

|

-3=,2(5) 1

/x=XN* ł

— 3,

w zgodzie z tym, czego byśmy oczekiwali.

——

43. Średnia ważona

W praktyce zdarza się, że musimy wyciągać wniosek co do wartości wielkości zmie-

rzonej w różnych eksperymentach, a więc z różnymi dokładnościami. Jeśli np. plano-

walibyśmy eksperyment, w którym znaczenie miałby rozpad 4X(lp) + yT(1s), to na pewno pomocna byłaby dla nas informacja o stosunku rozgałęzień dla tego rozpadu. Istnieją dwa pomiary tej wielkości, a wynoszą one: 0,32 + 0,06 oraz 0,47 -:0,18. Pierwszy z tych pomiarów jest bardziej precyzyjny, więc i jego wartość centralna jest

zapewne bliższa rzeczywistości. Czy w naszych pracach przygotowawczych do eksperymentu mamy użyć tylko wartości 0,32 i zapomnieć o drugim pomiarze? Czujemy,

154

4. Momenty i statystyki pozycyjne z próby

że nie byłoby to właściwe postępowanie — drugi z cytowanych wyników jest rezulta-

tem dobrego, niezależnego doświadczenia i gdybyśmy go odrzucili, to wyzbylibyśmy się

części informacji, co jest przecież karygodne. Jak możemy „uwspólnić” oba rezultaty? Czy poprawne jest obliczenie dla nich średniej? Średnia taka traktuje oba wyniki jako równocenne 1 dostarczyłaby wyniku „w połowie drogi”, podczas gdy pierwszy pomiar,

jako dokładniejszy, powinien silniej odznaczyć się na końcowym rezultacie. Kluczem do rozstrzygnięcia tych wątpliwości są właśnie niepewności obu pomia-

rów. Widzimy, że niepewność drugiego pomiaru jest 3 razy większa niż pierwszego.

Gdyby drugi eksperyment został powtórzony jeszcze 8 razy, to sądzimy, że w każdej z takich powtórek otrzymywalibyśmy wynik o zbliżonej niepewności, każda około 0, 18,

a wtedy sami moglibyśmy uśrednić te 9 rezultatów i otrzymać jedną liczbę obarczoną błędem porównywalnym z błędem pierwszego eksperymentu. Dopiero w odniesieniu do takich danych moglibyśmy zastosować średnią arytmetyczną. Widzimy, że pomiar pierwszej grupy fizyków jest wart dziewięciu pomiarom drugiej grupy. Wniosek ten pozwala zaproponować następującą metodę obliczania średniej: Stosunek t k rozgalęzień łęzień

=

l

9

149 - ———0,32 140 —— 0,47 +

= 0,335.

W formule tej współczynniki 1/10 oraz 9/10 ważą poszczególne pomiary, przechylając szalę w stronę tego, który jest dokładniejszy. Sformalizujmy to rozważanie. Niech będzie dana seria nieskorelowanych zmiennych losowych x,, każda o identycznej wartości oczekiwanej „ i różnych dyspersjach o;.

Utwórzmy statystykę:

x, = >. W;X;,

(4.12)

i=l

zwaną Średnią ważoną, gdzie wielkości w, to stałe, pozbawione własności statystycz-

nych, współczynniki. Aby średnia ważona x,„ była nieobciążonym estymatorem wielkości

U:

(Xw) = ) w,

i=l

(x) = > wia

i=l

=u) w,

i=l

= HL,

musimy zażądać, by >.

i=l

W;

=

l.

Wariancja o; średniej ważonej x„, na mocy ogólnych reguł — patrz (3.9) — WynoSI:

04 = V[Xw] = ) wło?. i=l

Czytelnik winien zwrócić uwagę na to, że powyższy wzór jest słuszny tylko wtedy, gdy

wielkości w; są pewnymi stałymi, a nie statystykami. W przeciwnym razie we wzorze tym musiałyby się pojawić (przynajmniej) momenty wielkości w,;. Współczynniki w,

4.3. Średnia ważona

155

znajdziemy, domagając się minimalnej wariancji n

)

i=l

przy warunku wiążącym

w?o/EO = min(w

Yu,

ly:::,

)

Wn),

=|l.

i=l

Jest to typowe zagadnienie minimalizacyjne z więzami, które rozwiązujemy metodą współczynników Lagrange'a, tzn. warunek więzów przepisujemy w postaci uj-1=0

i=l

i dodajemy go do minimalizowanej funkcji po pomnożeniu przez dowolną stałą A (współczynnik Lagrange a):

YU użo? +2 (> e ) = min(wi, i=l

i=l

10.)

wymagając minimum ze względu na wielkości w, oraz stałą A. Stosownie różniczkując, otrzymujemy układ równań 2w,0j +A=(0,

i

=1,2,...,A,

uj-1=0 i=l

do rozwiązania względem w; oraz A. Rozwiązując pierwsze z nich względem w; A Wi

=

———

20;

i podstawiając do drugiego, otrzymujemy wyrażenie na współczynnik Lagrange'a A:

l

A=—2

s

„2 i=l Si 1 a stąd na, jak to nazywamy, wagi w; l Ww;

0;

=

n

|

i=l

ł

233 Wariancja uzyskanej średniej ważonej wynosi: OŻ

=

Y [xw]

—

n

156

4. Momenty i statystyki pozycyjne z próby

Zauważmy,

że oba ostatnie wzory redukują się do wyrażeń

arytmetycznej

identyczne.

właściwych

dla średniej

(4.1) i jej wariancji (4.6), gdy dyspersje o, wszystkich zmiennych są

Ponownie zwróćmy uwagę na to, że powyższe wyprowadzenie jest słuszne, gdy niepewności wielkości mierzonych x; są zadane przez dyspersje, a nie przez ich estymatory.

W konsekwencji kwadrat błędu średniej ważonej jest stały w sensie statystycznym, a nie

statystyką podlegającą fluktuacjom. Jest to, naturalnie, idealna sytuacja, jakiej z reguły

nie spotykamy przy analizie statystycznej danych, dlatego zawsze powinniśmy pamiętać o przybliżonym charakterze naszych wyników, jeśli obliczając błąd średniej ważonej, stosujemy estymaty niepewności wielkości wchodzących do średniej.

Czy dysponując próbką wielkości x; oraz ich dyspersjami o;, możemy zaproponować

statystykę, która byłaby estymatorem wariancji średniej ważonej? Okazuje się, że tak.

Wielkość s, zdefiniowana jako

-

S„

=

M

)

l

(n — 1) ) — i=l i

2

,

=

Oi

ma wymagane własności — jej wartość oczekiwana dana jest wariancją średniej ważonej:

€|s,|=VXl =

l

w

Uzasadnienie tych związków Czytelnik znajdzie w przykładzie 5.6.2. W nomenklaturze statystycznej wielkość s„ nosi nazwę błędu zewnętrznego, w przeciwieństwie do

wielkości o„, o której mówi się, że jest błędem wewnętrznym. Błąd zewnętrzny ma swoje zastosowania przy badaniu zgodności danych. Jeśli oba

błędy różnią się znacznie od siebie, mamy prawo podejrzewać, że dane nie są spójne,

a ilustrację takiego braku spójności widzieliśmy w przykładzie 4.2.2. Sama rozbieżność między wartościami obu błędów nie rozstrzyga między nierzetelnością wartości zmie-

rzonych lub też ich błędów. Jednakże wartość oczekiwana sumy kwadratów w definicji statystyki s„ jest równa liczbie składników tej sumy pomniejszonej o jedność:

> (* 5) co pozwala na wyizolowanie

=n-l,

z całej próbki tych danych,

dla których przyczynki do

sumy są istotnie różne od jedności, a następnie poddanie krytycznej analizie metody pomiarowej, która doprowadziła do problematycznych wyników. Jest to, naturalnie, procedura wysoce arbitralna. Rezultaty w fizyce nie są osiągane metodami demokratycz-

nego majoryzowania mniejszości przez większość i historia fizyki dostarcza nam w tym zakresie wielu pouczających przykładów. Alternatywna procedura, stosowana przy określaniu „najlepszych” danych o własnościach cząstek elementarnych prezentowana we

wspomnianym we wstępie kompendium Review of Particle Properties, zakłada jednolite

4,4, Kowariancja

157

traktowanie wszystkich danych doświadczalnych. Polega ona na takim przeskalowaniu dyspersji o; wszystkich wielkości mierzonych przez wspólny czynnik korekcyjny S$, aby równość )

=p

1.

SO;

i=|

BT da a po a

w

spełniona była Ściśle. Nie zmienia to wartości średniej ważonej, powiększa jednak jej błąd wewnętrzny o, o tenże czynnik $ 1 prowadzi do zastąpienia błędu wewnętrznego

błędem zewnętrznym.

PEPE

TYTUSA JETTA R

AMY

ZĘ

i

—- 44. Kowariancja Niech będzie dana próbka prosta zbudowana z par (x;, y;) wylosowanych z łącznego roz-

kładu f(x, y). Spróbujmy znaleźć wyrażenie na estymator kowariancji. Z definicji (3.12) wiemy, że

cov [xy] =(6— AUY — 4,)) = Gy) — ty.

Rozważmy wielkość

R la = 2,6 _5y © (y; — V)

(4.13)

i obliczmy wartość oczekiwaną tej statystyki:

n(R)= (> b —X)(y; — ») = > % — MW -K- u) (y; - 4 — G — 20) i=l

i=l

=) (6-406; — 49) -n(8— 406 — 1) i=l

l

n

=n(6- LOU — y)) — 7 3 (GG — LOG; — 1%) i,j=l

1

ń

n

= ncov |x, y| — H (le

— LJ; — wy) + ).

iźij=1

=

(6 — ŁOly; — 29)

= nCOV [x. y| — Cov [x y | = (n — l)cov [x y] .

Jeśli definicję (4.13) nieco zmodyfikujemy i wybierzemy statystykę R w postaci R =

l n-l

SCEZYWEZY i=l

(4.14)

to jej wartość oczekiwana będzie równa kowariancji, czyli będzie to jej nieobciążony estymator. Wariancja tak zdefiniowanego estymatora ma postać l y[R] => l (6-176 — 47) + „a—pYBMAYP]-

nan 2 KRE -G=Dp"

158

4. Momenty i statystyki pozycyjne z próby

Z kolei nieobciążony estymator tej wariancji, czyli kwadrat błędu kowariancji z próbki, to

n

2 Sp

R

n* >) (% — X?ly, — 1) + (m — 3)(n — 1)sżs; — (n* — n* — 3)R i=l

=

(n — 2)(n* — 3n2 + 2n — 3)

Analogicznie do estymatora (4.10) wariancji kwadratu podać w przemawiającej do wyobraźni postaci 2 SR

1

—

IK

—————— G-DGZ3

i=l

dyspersji, wynik ten możemy

-

-09,-Y)-R). (6-36, -5) -R)

2

Powyższe rezultaty wykorzystamy do obliczenia estymaty R kowariancji dla profiłu

wiązki, o którym mówiliśmy w rozdziale 1: R = —(720 + 120) mm”. Jak widzimy, wielkość ta jest różna od zera i potwierdza wskazywany wcześniej statystyczny związek między zmiennymi losowymi. Oczywiście, z uwagi na normalizację, jaką wnoszą szerokości rozkładów zmiennych x oraz y, ciekawsze byłoby znalezienie współczynnika

korelacji r z próby, który możemy zdefiniować, za K. Pearsonem i w analogii do (3.14), w następujący sposób: R Y

=

SxSy

,

(4.15)

(otrzymując, nota bene, wartość r = O, 32) i jego błędu. Jednakże patrząc na tę definicję, uświadamiamy sobie łatwo, że nie mamy szans na wykazanie, że wartość oczekiwana tej wielkości jest w istocie równa współczynnikowi (3.14) korelacji p, nie mówiąc już o wykonaniu naszego programu poszukiwania estymatora błędu tej wielkości, tzn. zna-

lezienia wariancji wielkości

r, odgadnięcia estymatora tej wariancji

i w końcu sprawdzenia jego poprawności. Nasze metody matematyczne

są zbyt skromne i nie dają możliwości realizacji takiego zadania. Moglibyśmy jednak pokusić się o realizację innego zadania. Zakładając,

Karl Pearson,

NE

-

2

.

-.

>

4

4

że istotnie współczynnik (4.15) korelacji r z próby ma coś wspólnego

1857-1936

z parametrem p, możemy obliczyć wielkość 2 r= R SZSY

i znaleźć błąd tej wielkości, stosując przybliżone metody z podrozdziału 3.4 na błąd wielkości złożonej:

>

ar*

2

ar2

ar? ar

+2 (i

ar? 2

5

*

dr> dr?

2

21

dr70r?

0

gsz 0" [R”, s] + GRE Bzz” [R”, s/] + sz ds” [5;. s,] | -

Od razu jednak widać,

że jest to zaiste tytaniczna praca, jako że wymagałaby

znalezienia z próby trzech zaznaczonych

we wzorze

kowariancji, jak również

błędu

4.4. Kowariancja

159

wielkości R”. W tej sytuacji największą szansę praktycznego powodzenia ma program,

w którym współczynnik korelacji r z próby potraktujemy jako funkcję Żn zmiennych x, OrTAZ y;: r=r(Xxj,Xo,...; Xp, VI; Y2; ---, Yn) 1 Zastosujemy przybliżony wzór (3.20):

Sr

—

2

=

>

dr )

((

ą

S

2

+ |

(3, )

S$;

—

dy;

2 ”

Or dr

0X;

)

R

2——

+

,

dy;

gdzie oczywiście wszystkie błędy wielkości x; oraz y;, a także kowariancję R między owymi zmiennymi przyjęliśmy za identyczne (niezależne od indeksu i). Przy tym podejściu otrzymujemy: r = —0,32 + 0,05. Winniśmy jednak pamiętać, że tak otrzymane

wyniki mają jedynie przybliżony charakter. Więcej na temat własności i rozkładu współczynnika korelacji będziemy mieli do powiedzenia w podrozdziale 5.5.4 oraz w przykładzie 5.7.3. 34

8r 7 6] 5

|

3] >|

-

Pra

4|-

0

Log

7

am

TT

EPE

.

a

y

.

p

zx

* o

hm

l

/

©

/

.

h

8

/

/

ś

.

lp. 0 -

7

Le”

>

A

a

noz e

mt

2

Z

ET

3

J

4

|

5

l

6

J

x 7

Rys. 4.5. Przykład trzech układów punktów o tej samej wartości współczynnika korelacji

W podrozdziale 3.3, dyskutując własności współczynnika korelacji, wspomnieliśmy o jego słabości w relacji do rozkładów, w których dane nie wydają się układać w miarę regularną, owalną „chmurę”. Rysunek 4.5 podaje przykład trzech układów punktów, dła których współczynnik korelacji r z próby jest dokładnie taki sam i wynosi 0,840.

Tylko dla tych pierwszych gotowi bylibyśmy zaakceptować wartość współczynnika r jako naturalną miarę zależności statystycznej między współrzędnymi (x, y) określającymi

położenie pełnych punktów na płaszczyźnie. W pozostałych dwóch przypadkach miarę tę

uznalibyśmy za sztuczną i absolutnie nieadekwatną do opisu istniejącej współzależności. Istotnie, dodatkowa linia łącząca puste kwadraty i romby interpoluje postać funkcyjną

y x x”, w której potęga a została stosownie (dla każdego ze zbiorów) dobrana, aby uzyskać tę samą wartość współczynnika korelacji.

Skoro poznaliśmy pojęcia estymatora wariancji i kowariancji, wróćmy teraz na chwilę do zagadnienia momentów funkcji losowych, omawianego w podrozdziale 3.4. Pokazaliśmy tam, jak w wyniku linearyzacji badanych zależności funkcyjnych, otrzy-

mujemy macierz kowartancji, zadającą korelacje między zmiennymi losowymi określonymi przez te funkcje. Jeśli do tak uzyskanego wyrażenia na macierz kowariancji

160

4. Momenty i statystyki pozycyjne z próby

podstawimy wartości uzyskane w doświadczeniu, a więc estymaty wariancji poszczególnych pierwotnych zmiennych

losowych i estymaty kowariancji dla indywidualnych

par tych zmiennych, to otrzymujemy macierz V(f) liczb: estymat wariancji 1 kowariancji nowych zmiennych losowych. Macierz tę, jak również macierz V (x) estymatorów wariancji 1 kowariancji pierwotnych wielkości mierzonych, powszechnie określa się dość mylącym terminem macierz błędów, który sugeruje, że wśród jej elementów, np. na jej diagonali, występują błędy. Powinniśmy pamiętać, że w rzeczywistości mamy tam ich kwadraty, a poza przekątną estymaty kowariancji. Niestety, statystyka matematyczna nie wypracowała bardziej precyzyjnego specjalnego terminu dla takiego obiektu.

—— 4.5. Efekty systematyczne i ich błędy Zacznijmy od przykładu, który pozwoli wyjaśnić pewne pojęcia. Wyobraźmy sobie, że strumień © cząstek kierujemy na stacjonarną tarczę o liczbie p centrów rozpraszających na jednostkę objętości, a pod pewnym kątem © umieszczamy detektor pokrywający kąt

bryłowy AŚ2. Jeśli w wyniku eksperymentu zaobserwujemy w detektorze n cząstek, to

różniczkowy przekrój czynny wynosi:

Ao

n

AQ

pó

Wynik ten będzie bez wątpienia poprawny, o ile poprawne będą wszystkie trzy występujące w nim wielkości: n, p oraz ©, ale przy pomiarze każdej z nich czyha na eksperymentatora wiełe zasadzek. Jeśli detektor nie jest w pełni efektywny, liczba n rozproszonych cząstek będzie zaniżona. Jeśli pomiar prowadzimy w Środowisku, w którym występuje dodatkowe tło, np. od promieniowania kosmicznego lub od wiązki, która „Ociera się” o elementy systemu jej transportu i nie zadbamy o eliminację tego tła, liczba zarejestrowanych rozproszeń będzie zawyżona. Gdy wiązka cząstek nie składa się tylko 1 wyłącznie z tych cząstek, które nas interesują, lecz ma domieszkę innych, będziemy mierzyć przekrój czynny uśredniony względem składu wiązki cząstek pocisków.

Jeśli gęstość masową tarczy wzięliśmy z tablic, to nie znajdziemy rzetelnej wartości liczby p centrów rozpraszających, gdyż nasza próbka może być zanieczyszczona innymi substancjami. Prowadzi to również do pewnego średniego, tym razem względem składu chemicznego tarczy, przekroju czynnego. Jeśli tarcza jest zbyt gruba, to ryzykujemy

wielokrotnym rozpraszaniem w jej wnętrzu, a tym samym staje pod znakiem zapytania poprawność wyznaczenia kąta © rozproszenia. Do podobnego efektu doprowadzi także

duży przekrój poprzeczny wiązki — różne elementy tarczy będą wtedy widziane przez licznik pod różnymi kątami bryłowymi. Podobnie zadziała brak precyzyjnej wiedzy na temat całej geometrii układu: pozycji detektora względem tarczy, odległości, rozmiarów 1 orientacji jego części czynnej. Strumień © mierzymy za pomocą specjalnych przyrządów umieszczonych w pewnym punkcie wiązki przed tarczą. Jeśli na ostatnim odcinku, do tarczy tracimy część wiązki, to faktyczny strumień cząstek padających na tarczę jest mniejszy, niż sądzimy.

4.5. Efekty systematyczne i ich błędy

161

Wszystkie wyliczone wyżej efekty, a kompetentny fizyk łatwo uzupełni tę listę wie-

loma innymi, mogą obrócić wniwecz cały nasz pomtar. Cechą tych efektów jest to, że

działają one metodycznie i z zaciętością — globalnie psują nasze zabiegi i trud oraz fałszują wynik. Jeśli nie zwrócimy na nie uwagi, nie sprawdzimy i ewentualnie nie

poprawimy naszego pomiaru, to popełnimy błąd. Nie jest to jednak ten typ błędu, o któ-

rym mówiliśmy do tej pory. Nie jest to także błąd systematyczny, z którym to terminem Czytelnik zapewne się już spotkał. Będzie do błąd sztuki, określany niekiedy mianem grubego, dyskwalifikujący pomiar.

Aby precyzyjniej wyjaśnić, co będziemy rozumieli przez pojęcie błędu systematycznego, rozpatrzmy, jako przykład, niektóre elementy analizy danych doświadczalnych, jaką spotyka się w fizyce wysokich energii. Celem tej analizy (G. Grzelak, Production

of Intermediate W and Z Bosons in ep Interactions at 300 GeV Centre of Mass Energy,

rozprawa doktorska, Instytut Fizyki Doświadczalnej, Uniwersytet Warszawski 1998) jest pomiar całkowitego przekroju czynnego na produkcję bozonów pośredniczących W oraz Z. W pomiarze takim całkowity przekrój czynny o określony jest związkiem O

n

_

Nef

_€L L

gdzie n jest liczbą znalezionych przypadków (bozonu W lub też Z), € jest wydajnoŚcią, z jaką te przypadki znaleziono, natomiast £ jest Świetlnością akceleratora wy-

korzystującego wiązki przeciwbieżne. Zauważmy,

że zarówno wielkość e, jak i £ są

swoistymi czynnikami skalującymi, pozwalającymi przeliczyć jedną wielkość fizyczną na drugą: faktyczną liczbę n przypadków na liczbę neg przypadków, jaka byłaby znaleziona, gdyby metoda poszukiwania tych przypadków była doskonała oraz, w drugim

kroku, tak poprawioną liczbę przypadków na przekrój czynny. Jest to jeden z fundamen-

talnych schematów metodologicznych, analogiczny do kalibracji przyrządu. Przyjrzyjmy się niebezpieczeństwom, jakie on stwarza w odniesieniu do rezultatu pomiaru takim przyrządem.

Surowy odczyt, np. liczba neg przypadków, ale także wskazanie strzałki woltomierza 1 amperomierza przy pomiarze oporu, musimy „poprawić”, dzieląc go (w omawianym przypadku) przez czynnik £, który także otrzymujemy w wyniku pomiaru wzorca tymże samym przyrządem, bądź w innym układzie doświadczalnym,

w sposób nieza-

leżny (w najprostszym przypadku) od pomiaru właściwego. Ponieważ szansa uzyskania dokładnie „prawdziwej” wartości czynnika skalującego jest równa zeru (przynajmniej w przypadku zmiennej ciągłej), musimy liczyć się z tym, że wszystkie następne pomiary

wykorzystujące tenże czynnik będą systematycznie zaniżone bądź zawyżone, w zależności od tego, co podarował nam los w trakcie procedury kalibracyjnej. Właśnie z uwagi na ów ustalony i uporczywy, zawsze działający w jedną stronę (przynajmniej do czasu następnej kalibracji) charakter obciążenia, mówimy o efektach systematycznych i ich wpływie na wynik pomiarowy. Najtrudniejszym aspektem analizy efektów statystycznych jest uświadomienie sobie faktu ich istnienia. Nieomal zawsze działają one w ukryciu i nie objawiają się w żaden spektakularny sposób — wynik końcowy wydaje się rozsądny, choć nie jest wart kartki papieru, na którym go zapisaliśmy. Pomocną w ich wykryciu może być tylko daleko

162

4, Momenty i statystyki pozycyjne z próby

posunięta rezerwa:

nie ufaj niczemu

(nawet liczbie x —

czy na pewno powinna się

ona pojawić w tym miejscu?), podejrzewaj metodę (ktoś kiedyś powiedział Ci, że to

można tak zrobić — zweryfikuj to teraz!) i sprzęt (zapewnij sobie narzędzia do monitorowania na bieżąco), sprawdzaj 1 kontroluj (zadbaj o nadmiar informacji — prowadzi to

w pierwszym momencie do zamieszania, ale pozwała za to na niezałeżne sprawdzenia 1 na kontrolę sprawdzeń), bądź krytyczny (lub tez pozwól się skrytykować kolegom).

Zmierz wszystko co się da i najłepiej jak się da. Jeśli dysponujesz jakąś wielkością:

masą cząstki lub stanu rezonansowego, poziomem energetycznym, czasem Życia, nawet

dystansem geometrycznym, który możesz zlustrować za pomocą swojej aparatury — zrób to! Niektóre z metod analizy statystycznej danych, np. metoda najmniejszych kwadratów, dostarczają narzędzi kontrolnych — skorzystaj z nich! Gdy już błyśnie Ci w głowie myśl, że Twój współczynnik kalibracyjny może być źródłem efektu systematycznego, sprawdź

go, tj. zgadnij, oszacuj, zmierz i znajdź niepewność jego wartości.

Tak długo, jak kwadrat niepewności sę ma charakter estymaty wariancji wielkości L£, możemy mówić o przyczynku s„. do całkowitej niepewności standardowej s, zmierzonego przekroju czynnego od niepewności standardowej sz czynnika kalibrującego.

Jeśli spełnione są założenia modelu małych błędów pomiarowych (podrozdział 3.4),

przyczynek ten możemy znaleźć z zależności

i mieć uzasadnioną nadzieję, że przedstawia on sobą estymator dyspersji przekroju czynnego przy ustalonej wartości liczby neg. Ponieważ błąd s,. szacuje nasze wyobrażenie o wpływie „mglistej” wartości czynnika systematycznego, utarło się określanie tego błędu jako błędu systematycznego, choć lepiej jest mówić o niepewności systematycznej i oba terminy są skrótem myśłowym dla sformułowania: niepewność oceny wpływu efektu systematycznego. W ten sposób dochodzimy do definicji tego, co będziemy okre-

ślali błędem systematycznym: każda wielkość, która ma wpływ na końcowy wynik, a którą znamy ze skończoną dokładnością, jest źródłem niepewności tego wyniku, a nie-

pewność ta to właśnie błąd systematyczny.

Dalsze przyczynki do pełnego błędu przekroju czynnego są oczywiście związane

z niepewnością pomiarową liczby neg. Tu jednakże sytuacja jest z reguły nieporównanie

bardziej skomplikowana. Jej jedyny łatwy fragment, to ten związany z obserwowaną liczbą n przypadków. Ocena s, niepewności tej wielkości nałeży (w najprostszym przypadku)

do klasycznych

zagadnień

statystyki matematycznej

i wyprzedzając

nieco tok

wykładu, odwołamy się do rezultatów punktu 5.4.2, gdzie pokazujemy, że niepewność

ta ma, jak mówimy, charakter poissonowski i zadana jest pierwiastkiem kwadratowym

z obserwowanej liczby przypadków: s, = „/n. Dlatego też Sp Z

l nn Sh 5 z — el ELn

© „4n

= —— Z Sat.

Zwróćmy uwagę na to, że przyczynek ten maleje wraz ze wzrostem liczby przypadków w próbce i dlatego błąd ten, jak wskazywaliśmy na to w podrozdziale 4.2, jest błędem

4.5. Efekty systematyczne i ich błędy

163

statystycznym. Jest to jego kluczowa cecha, odróżniająca go od błędu systematycznego,

dlatego błąd systematyczny niekiedy zdefiniujemy jako ten, którego nie możemy się wyzbyć metodą wzbogacania próbki. Jego pomniejszenie wymaga niezależnych prac,

rozprasza nasz wysiłek i odciąga od zasadniczego kierunku naszego badania. Jeśli inte-

resuje nas przekrój czynny na produkcję bozonu Z, a bozon ten identyfikujemy w naszym eksperymencie przez wykrywanie powstającego z niego elektronu, to liczbę wszystkich bozonów otrzymamy, dzieląc liczbę zidentyfikowanych przez stosowną częstość rozpadu.

Jeśli częstość tę znamy z błędem, to żadna liczba bozonów zidentyfikowanych w kanale elektronowym nie uwolni nas od niepewności co do liczby wszystkich wyprodukowanych (a nie tylko zarejestrowanych) bozonów w eksperymencie. Wyzbyć się jej (pomniejszyć jej udział) możemy tylko na jednej drodze: musimy wymyślić, zbudować i przeprowadzić niezależny eksperyment poświęcony temu zagadnieniu. Zasadnicza część analizy niepewności wartości zmierzonego przekroju czynnego ukryta jest w ocenie niepewności s. wydajności e detekcji. Typowo, ocenę efektywnoŚci detektora uzyskujemy na drodze identycznej analizy dwóch próbek: tej znalezionej

w doświadczeniu oraz sztucznej próbki, nazwijmy ją „teoretyczną”, uzyskanej na drodze

symulacji numerycznej, zwanej metodą Monte Carlo, wykorzystującej całość teoretycz-

nej wiedzy o przebiegu zjawiska fizycznego i o detektorze. Na obie nakładamy identyczne cięcia geometryczne i kinematyczne, których zadaniem jest oczyszczenie próbki z przypadków pochodzących z procesów zanieczyszczających dane doświadczalne, jak np. oddziaływania na resztkowym gazie w rurze akceleracyjnej lub ściankach tejże rury, oddziaływania nie zachodzące w nominalnym obszarze czasowym i przestrzennym przecięcia wiązek, oddziaływania wywołane przez halo wiązki itp. Potem przychodzi kolej na cięcia, zadaniem których jest amplifikacja poszukiwanego

sygnału (autor nie musi

w tym miejscu mówić, że rasowego fizyka, jego kunszt i umiejętności, można poznać właśnie po tym, jak dobiera te cięcia). Cięcia te zawsze pozbawiają nas części inte-

resujących przypadków, a to, co z nich zostaje, odniesione do pierwotnej ich liczby, definiuje wydajność e. Wydajność tę możemy określić niezależnie, badając, jaki ułamek interesujących przypadków pozostał w próbce teoretycznej, o której mamy pełną

wiedzę. Ponieważ omówienie metody Monte Carlo „odroczyliśmy” do jednego z dalszych rozdziałów,

wyjaśnijmy

powyższe

rozważania

przykładem

analitycznym,

czyli

wykonajmy na papierze dokładnie to, co symulacja numeryczna realizuje w pamięci komputera.

Przypuśćmy, że liczbę ney interesujących przypadków próbujemy ocenić, konstruując doświadczalny odpowiednik teoretycznego rozkładu f(E;a), na przykład energii

E mierzonej w kalorymetrze. Postać funkcyjna rozkładu jest nam znana, jak również wiadoma jest nam, z wcześniejszych analiz, wartość występującego w nim parametru a, jednak z dokładnością s,. Nasz kalorymetr, jak każdy, charakteryzuje się pewnym szumem, tzn. w stanie jałowym, bez padających na niego cząstek, mierzy on określoną, różną od zera, energię. Dlatego też musimy wprowadzić cięcie odrzucające przypadki o energii E mniejszej niż pewna wartość E. Potrzeba takiego cięcia może również wynikać z charakteru danych, jakimi dysponujemy, np. układ wyzwalający eksperymentu miał w sobie celowo zakodowany warunek usuwający przypadki o zbyt niskiej energii

164

4. Momenty i statystyki pozycyjne z próby

zdeponowanej w kalorymetrze. W rezultacie do dalszej analizy przechodzi część €

€=P(E>E)= J f(E';a)dE' E wszystkich danych. Skoro parametr a znany jest nam z określoną precyzją, jego niepewność dostarczy przyczynku s„, do całkowitego błędu w przekroju czynnym

"a

n

|0€

2_£

|a|

=

o

— €

0€E

da

Sa.

W realnej sytuacji wskazana całka ma najczęściej charakter wielowymiarowy i uwzględnia zarówno wielkości kinematyczne, jak i geometryczne, a 1 parametrów a jest od kilku do kilkunastu, jeśli nie kilkudziesięciu. Ich typowymi przykładami są wspomniane wcze-

Śniej stosunki rozgałęzień, ale możemy je także znaleźć w modelowych uproszczeniach

występujących w konstrukcji funkcji f. Wtedy wystarczy, że dokonamy podstawienia 0€

[5

>

—

0€

i j=1

da;

dE

2, 330V [ai a;] z: dj

o ile znana jest nam pełna postać macierzy błędów. Zwróćmy

uwagę, że przyczynek

ten, niezależnie od liczby „występującnych” parametrów, tak jak przyczynek s„., opisuje niepewność efektu systematycznego 1 niepewność ta jest równa pierwiastkowi kwadra-

towemu z estymaty wariancji. Przed chwilą wspomnieliśmy, że błąd systematyczny cechuje się niezależnością od

wielkości zgromadzonej próbki danych. Jest to jego dość niezła charakterystyka, jednak nie do końca prawdziwa. Niekiedy wpływ systematycznych czynników możemy doprecyzować, dysponując bogatszą próbką. Przykładem takiego błędu systematycznego jest właśnie omawiana wyżej efektywność detektora. Przystępując do eksperymentu, znamy ją z różnego rodzaju testów i symulacji, ale jej dokładny charakter poznajemy w trakcie eksperymentu, kiedy to zbieramy coraz to większą liczbę przypadków

w różnych

obszarach detektora i budujemy coraz to bardziej precyzyjną „„mapę” jego własności. W jaki sposób, dysponując trzema przyczynkami: sę,, Sa, OraZ s, do niepewności

przekroju czynnego, mamy wyrazić pełną i ostateczną niepewność zmierzonej wartości? Powszechnie utarła się pewna podstawowa i dobra praktyka. Polega ona na tym, że w żadnym przypadku nie łączymy błędu statystycznego s,, z innymi błędami — ten błąd cytujemy na zasadzie równorzędności z samym wynikiem pomiaru. Jest on miarą jakości statystycznej naszej pracy badawczej, a następcom pozwoli uzyskać wgląd w to, co ich czeka, gdy podejmą ten sam wysiłek w warunkach próbki o zbliżonej liczebności i przy

wykorzystaniu analogicznej metody analizy. A co mamy zrobić z błędami systematycz-

nymi? Przede wszystkim powinniśmy je wszystkie wyliczyć i podać każdy oddzielnie

oraz opisać procedury, które posłużyły do ich otrzymania. W szczególności, z owego

opisu powinno jasno wynikać, jaka jest interpretacja statystyczna kazdego z nich. Wtedy, gdy mają one charakter odchyleń standardowych, możemy złożyć je w kwadratach (o ile są statystycznie niezałeżne, w przeciwnym razie czeka nas jeszcze trud określenia pełnej

4.5. Efekty systematyczne i ich błędy

165

macierzy błędów) do ostatecznej niepewności systematycznej: —

Ssyst =

2

2

V Soc + Sza”

a końcowy wynik pomiaru zapisujemy w formie: o

=

n

EL

-E Sstat E Ssyst*

W ten sposób naszym sukcesorom wskażemy

główny kierunek natarcia: powiększanie

próbki, gdy błąd statystyczny jest większy niż systematyczny, czy też poprawa procedur i ulepszanie detektora, gdy relacja między błędami jest odwrotna.

Problem efektów systematycznych ulega zaostrzeniu, jeśli funkcja f(E; a) ma kon-

kurentów. W opisywanej analizie Grzelaka rolę takiej funkcji odgrywają różne generatory Monte Carlo, a także algorytmy definiujące obiekt zwany dżetem, na który nie ma precyzyjnego przepisu, oraz, w mniejszym stopniu, procedury identyfikacji elektronu. Zastosowanie

różnych podejść

prowadzi

do różnych

ostatecznych

wartości

przekroju

czynnego. Nawet gdybyśmy określili całą tabelkę możliwych wariantów analizy danych

i określili przekrój czynny dla wszystkich możliwych algorytmów i procedur, to takiego

zbioru rezultatów nie moglibyśmy rozpatrywać pod względem własności statystycznych: nie istnieje przecież przestrzeń zdarzeń elementarnych, np. produkcji bozonu W, realizowana przez różne opisy teoretyczne, a co za tym idzie, uzyskana kolekcja liczb

nie stanowiłaby reprezentatywnej próbki wyników pomiaru, której własności możemy

podsumować, obliczając wartość średnią arytmetyczną i jej błąd. Szczególnie jaskrawo problem ten pojawia się w momencie, gdy przechodzimy do bardziej szczegółowych

pytań fizycznych, takich jak np. ekskluzywna produkcja pewnych typów cząstek. Tu, za-

zwyczaj, opisy teoretyczne, poszukując rozmaitych rozwiązań, stają się coraz to bardziej

modelowe, pojawiają się nie wyspecyfikowane parametry, a różnice w przewidywaniach mogą być znaczne. Oznacza to, niestety, że nie mamy żadnego narzędzia, które pozwoliłoby nam na probabilistyczną interpretację takich wyników i inkorporowanie ich rozrzutu w osta-

teczną formę niepewności. Rozwiązanie takiego problemu wykracza poza dziedzinę statystyki matematycznej. Jedynym wyjściem w takiej sytuacji jest polepszenie jakości i ilości danych — zadaniem fizyka doświadczalnika staje się wtedy rozstrzygnięcie między konkurującymi modelami. Do momentu nim to nastąpi, możemy jedynie podać wynik uzyskany w ramach jednego modelu (najbardziej popularnego, konwencjonalnie stosowanego, możliwie najlepiej zdającego sprawę z sytuacji) oraz zapoznać Czytelnika

z alternatywnymi rozwiązaniami. Do podobnej klasy problemów możemy zaliczyć wpływ wspomnianych wyżej cięć. To, że wybraliśmy taką bądź inną ich wartość, ma najczęściej dobre umotywowanie fizyczne. Naszym obowiązkiem jest jednak zbadanie ich wpływu na ostateczny rezultat. Gdy zmiany wartości mierzonej, indukowane przez cięcia nawet radykalnie różne od nominalnych, mają charakter fluktuacji mieszczących się w granicach błędów statystycznych, wtedy zasadniczo nie powinniśmy się martwić. Możemy zastosować procedurę polegającą na przesunięciu cięcia o jedno standardowe odchylenie, a uzyskaną zmianę

166

4, Momenty i statystyki pozycyjne z próby

w wielkości końcowej potraktować jako jej odchylenie standardowe. Jeśli jednak zmiany

w cięciach prowadzą do drastycznych różnic i nadają końcowemu wynikowi ewidentny trend, to wskazują one na głębszą trudność, wymagającą zrozumienia, a do tego po-

trzebujemy niezależnych i szczegółowych badań — wszak rozbieżności te mogą być sygnałem następnych efektów systematycznych. Nie byłoby dorzeczne postępowanie,

w którym ustalilibyśmy „rozsądny” zakres zmian w wyborze cięcia, a przedział sys-

tematycznych zmian wartości końcowej określilibyśmy mianem błędu systematycznego 1 usiłowali dodać go w kwadratach do pozostałych, gdyż sugerowałoby to standardową interpretację statystyczną tego przedziału w terminach estymaty dyspersji. Statystyka matematyczna nie dysponuje aparatem formalnym, pozwalającym przetłumaczyć znaczenie terminu „rozsądny przedział” na prawdopodobieństwo skojarzone z takim przedziałem.

Często, wykorzystując wyniki doświadczalne, dla których podany jest zarówno błąd

statystyczny, jak i systematyczny, stajemy wobec dylematu: jak potraktować błąd syste-

matyczny — czy wolno nam go złożyć, w kwadratach, z błędem statystycznym? W przekonaniu autora procedura taka jest dopuszczalna, ale tylko w jednym przypadku: gdy zarówno niepewność statystyczna, jak i systematyczna mają charakter odchyleń standardowych (gdyby to przekonanie zakwestionować, to autor nie byłby w stanie zrozumieć,

jak dysponując niepewnością pomiaru napięcia i natężenia prądu płynącego przez opornik, można znaleźć błąd oporu). Wynika to wprost i bezpośrednio z samej definicji wariancji. Z reguły, zadając takie pytanie, mamy

również na myśli pewne konkretne

zastosowanie dla tak złożonej w jedną całość niepewności. Chcemy ją wykorzystać w różnego rodzaju procedurach statystycznych omawianych w dalszych rozdziałach, np. wyznaczyć przedział ufności, zastosować w dopasowaniu lub użyć w teście statystycz-

nym. Z każdą z tych operacji wiąże się pewna interpretacja probabilistyczna jej konkluzji.

Musimy pamiętać, że tę interpretację uzyskamy jedynie wtedy, gdy rygorystycznie potraktujemy wymogi tychże procedur, a im skrupulatniej się do nich zastosujemy, tym bardziej wiarygodne będą nasze wnioski.

Rozważymy teraz jedną z konsekwencji efektów systematycznych. W świetle wyników podrozdziału 3.4 jest ona dość oczywista, ale warta jest uświadomienia Czytelnikowi raz jeszcze. Przypuśćmy,

że badamy

np. różniczkowy przekrój czynny lub też

całkowity przekrój czynny przy różnych wartościach energii i surowe liczby x;, znane z dokładnością s;, mnożymy przez wspólny i niezależny statystycznie od wielkości x,

czynnik korekcyjny f, znany z błędem sę. W ten sposób otrzymujemy skorygowane wartości przekroju 6;,. Dla uproszenia przyjmiemy także, że pierwotne zmienne losowe x; nie są skorelowane: ) [x;, xx] = V[x;]6;4. Proste obliczenie, odwołujące się do definicji (3.12) kowariancji, mówi nam, że wszystkie rezultaty ó, będą skorelowane, a ich

macierz kowariancji przyjmie postać

v [6,6] = bbaf) — (x) af) = bog) (F) — 60) ba) (F)? = ba, x] + 66) 60) (FF + 7) — 6a) ba) (F)? = (x) (6) V[f] + V Ba, xx] (7 [F] + (2) = (x) 2%) Vf] £Vba] (PFF] + (07) 8x Z zs? + s; (sę + f7) Bmw.

4.6. Statystyki pozycyjne z próby

167

Powinniśmy o tym wyniku pamiętać, gdy np. do naszych danych doświadczalnych będziemy dopasowywać model teoretyczny.

Fizyka fachowca można poznać po tym, jak wykonuje pomiar, a fizyka artystę —

jak znajduje i eliminuje, a jeśli nie może wyeliminować, to ocenia efekty systematyczne, poprawia je, a swoją resztkową niepewność przemienia na niepewność wartości wyniku pomiaru. Niestety, nie mamy równoległej do statystyki matematycznej dziedziny wiedzy o nazwie: systematyka matematyczna, czyli rachunek błędów systematycznych, która pozwo-

liłaby zautomatyzować procedury poszukiwania efektów systematycznych 1 poskromić ich wpływ. Efekty te są specyficzne dla każdego problemu fizycznego, który chcemy

rozwiązać, dlatego możemy tylko być czujni, podejrzewać i poszukiwać ich oraz uczyć

się na doświadczeniach własnych i innych. Powoduje to, że słuszniejsze byłoby zalicze-

nie umiejętności wykrywania i usuwania takich efektów do sztuki doświadczalnej, a nie

do rzemiosła.

—— 4,6. Statystyki pozycyjne z próby W podrozdziale 3.6 wprowadziliśmy pojęcie parametrów pozycyjnych, w tym mody i kwantyli, opisujących własności zmiennej. Podamy teraz parę uwag dotyczących estymowania tych wielkości, czyli statystyk pozycyjnych. Moda rozkładu znajduje dość powszechne zastosowania w analizie danych z ekspe-

rymentów fizycznych. Bardzo często potrzebujemy znać położenie maksimum rozkładu

takiego jak masa niezmiennicza układu cząstek, co daje nam pozycję rezonansu lub roz-

kład energii kwantów gamma powstałych w wyniku specyficznej reakcji jądrowej, jako że kwanty te niosą wiadomość o poziomach wzbudzonych jądra. Jednak w sytuacjach takich nie próbujemy mody wyznaczyć bezpośrednio z danych. Zazwyczaj dopasowu-

jemy do danych model teoretyczny i z parametrów tego modelu pochodzi znajomość tej wielkości.

Bezpośrednie oceny wartości mody z rozkładu spotykamy najczęściej w badaniach

medycznych,

biologicznych,

socjologicznych

i ekonomicznych,

gdzie

często

trudno

o wiarygodny model badanej cechy. Stosowanie mody ma wtedy pewne ograniczenia: wymaga ona dość bogatych próbek danych, tak aby histogram tych wielkości był stabilny

względem zmian szerokości przedziału i jego lewego skraju. Także dokładność, z jaką

możemy określić modę, jest ograniczona do szerokości przedziału histogramowania, dlatego też większą użyteczność ma to pojęcie w zastosowaniu do rozkładów teoretycznych. Operacyjny sposób określenia pozycji dominanty wynika z rys. 4.6, gdzie schematycznie przedstawiony jest histogram oraz dwie krzyżujące się linie. Odcięta punktu ich przecięcia podaje położenie mody z próby. Wyznaczenie kwantyla (3.29) rzędu p z próby wymaga wprowadzenia pojęcia empirycznej dystrybuanty, na którą to natknęliśmy się już w przykładzie 2.5.1. Niech będzie dana próbka x;, (i = 1,2,...,n) zrozkładu f(x) o dystrybuancie F(x), uporządkowana

niemalejąco: x; < X

£ **: < x,. O tak uporządkowanej

próbce mówimy,

że tworzy

168

4. Momenty i statystyki pozycyjne z próby

moda

Rys. 4.6. Operacyjna definicja mody w danych doświadczalnych

ona szereg pozycyjny. W przypadku próbki bardzo dużej, teoretycznie nieskończonej,

dystrybuanta F(x) określa ułamek danych w próbce, dla których zachodzi x < x. Jeśli wprowadzimy n + 1 przedziałów: (00; x,), [X1; x2), [X2; X3),..., [Xn-q; x„), [X,; 00), to

możemy oczekiwać, że na każdy przedział przypada ułamek 1/(n + 1) całości próby, tzn. 1/(n + 1) jest estymatą F(x,), 2/(n + 1) jest estymatą F (2x2) itd., aż do n/(n + 1), co jest estymatą F(x„). W ten sposób określiliśmy empiryczną dystrybuantę w postaci schodkowej funkcji, wzrastającej o 1/(n + 1) w punkcie, w którym mamy daną doświad-

czalną:

0

X

X > X.

LO r 0,9 | 0,8 0,7 0,6 0,5 F 0,4 | 0,3 | 0,2 | 0,1 F 0,0

0

i

I

0,5

1

x

1,5

Rys. 4.7. Definicja dystrybuanty empirycznej i procedura wyznaczania kwantyla x, rzędu p

2

4.6. Statystyki pozycyjne z próby

169

Kwantyle z próby znajdujemy z wykresu takiej funkcji metodą interpolacji liniowej, tak jak to zademonstrowane jest na rys. 4.7. Kwantyle, które są wielokrotnością 1/10 to tzw. decyle, a wielokrotności 1/100 to centyle, zwane też percentylami. Naturalnie, mamy także kwartyle, czyli kwantyle rzędu 0,25 (dolny) i 0,75 (górny). Przy okazji: co

autorzy artykułu (Rzeczpospolita, 28 listopada 1996), mieli na myśli, używając terminu kwintyl (tak — kwintyl, a nie: kwantyl) w następującym cytacie? We wspomnianych

latach rewolucji Reaganowskiej (...), aż 86% tych, którzy w roku 1979 znajdowali się na dole drabiny dochodów, tj. wśród 20% pracowników o najniższych dochodach, po-

wędrowało w górę tejże drabiny do czterech wyższych kwintyli, z czego 15% dotarło aż do najwyższej grupy, tj. 20% pracowników o najwyższych dochodach. Sposób wprowadzenia empirycznej dystrybuanty skłania nas do wniosku, że kwan-

tyle g, badanego rozkładu, określone równaniem:

F(q,) = i zmierzone wielkości x;, powinny

i

El

łączyć się związkiem liniowym, jeśli poprawnie

odgadniemy postać dystrybuanty F. Własność ta jest wykorzystywana w tzw. wykresach kwantyli, zwanych także wykresami prawdopodobieństwa, które pozwalają dokonać

wstępnego sprawdzenia słuszności założeń o kształcie rozkładu. Przykłady zastosowania tych diagramów przedstawiamy w rozdziale omawiającym rozkład wykładniczy (przykład 5.3.4 oraz 5.3.7) 1 Gaussa (podrozdział 5.5.2), a także w przykładzie 7.3.1. Musimy

pamiętać, że wykresy takie są jednak tylko jakościowym narzędziem, choć nieocenionym w zagadnieniach z małą liczbą danych, gdyż jak wspomnieliśmy, dystrybuanta empiryczna podlega fłuktuacjom i tym lepiej oddaje rzeczywisty kształt rozkładu, im badana próbka jest liczniejsza. Z kolei, dysponując liczną próbą, możemy

uruchomić

regularne narzędzia analizy rozkładu, o których będziemy mówili w rozdziale 8. Wspomnimy także o pewnej interesującej własności, jaką ma kwantyl rzędu 0,5, czyli mediana, a której to własności pozbawiona jest wartość oczekiwana, a tym samym

1 średnia arytmetyczna. Otóż, jeśli interesuje nas pewna funkcja h(x) zmiennej losowej x o rozkładzie f(x), to wartość oczekiwana (h(x)) tej funkcji nie jest, w ogólności —

z wyjątkiem funkcji liniowej — funkcją h((x)) wartości oczekiwanej. Tak więc pierwszy

moment rozkładu charakteryzuje się brakiem zgodności pod względem operacji zamiany zmiennej. Spójrzmy na kwantyl x, dowolnego rzędu p. Określony jest on warunkiem p = F(x,), gdzie F jest dystrybuantą rozkładu f(x). Jeśli dokonamy zamiany zmiennej: x

y=h(x),

przy założeniu, że funkcja h jest ściśle monotoniczna, to Xp

h(xp)

p

p= J fQ)dx = J FaG)zydy = | s) dy, d

a więc kwantyl dowolnego rzędu zadany jest, po zamianie zmiennej, wartością funkcji przekształcającej h(x) do nowej zmiennej y. Dlatego też stosowanie mediany jako miary

centralności rozkładu, zamiast wartości oczekiwanej, jest w pewnym eleganckie pod względem matematycznym.

sensie bardziej

170

4. Momenty i statystyki pozycyjne z próby

Jest jeszcze drugi aspekt czyniący z mediany atrakcyjne narzędzie opisu własności zmiennej losowej. Otóż wartość oczekiwaną możemy zdefiniować jako taką liczbę a, która prowadzi do najmniejszej wartości wariancji obliczanej jako drugi moment rozkładu względem tej liczby:

E|x-a)”]=€[x'] — ać [x] +a*” =mina)

+

a=€fx].

Jeśli rozkład jest wysoce asymetryczny, wtedy jedno ze skrzydeł rozkładu ma istotny wpływ na jego środek ciężkości, który będzie silnie przesunięty w kierunku tego skrzydła. Już Laplace zaproponował, że lepsza w takim przypadku może być wielkość m,

która minimalizuje absolutne odchylenie, a nie jego kwadrat:

(x- mj) = J z-mfajd=| m-»)fodx+ | G-m/fG)dx = mintm) Wykonując różniczkowanie: d

OO

m

zzm K-m=

| rod

|

rodr=o. m

znajdujemy, że poszukiwana wielkość to mediana. Ponieważ mediana mierzy odstępstwa zmiennej losowej na skali liniowej, a nie kwadratowej, jak wartość oczekiwana, tym samym powinna ona być mniej czuła na asymetrię rozkładu. Jeśli wyobrazimy sobie wieś, w której mamy wielu biedaków i jednego bogacza, to mediana rozkładu zasobności mieszkańców wierniej będzie oddawać poziom ubóstwa ludności tej wsi, wskazując na jednego z biedaków, niż średnia arytmetyczna, która przesunięta będzie w stronę dochodów bogacza. Taką cechę estymatora nazywamy solidnością (ang. robustness) względem fluktuacji na krańcach rozkładu. Podobną własnością charakteryzują się także kwantyle rozkładu, w szczególności wspomniany w podrozdziale 3.6 odstęp międzykwartylowy

jako miara rozproszenia zmiennej losowej.

Rozkład g(x1, x, ... ,x„) statystyk pozycyjnych dla próbki prostej łatwo znajdziemy, jeśli tylko uświadomimy sobie, że stanowią one uporządkowany ciąg zmiennych losowych x, £< X £::: < x,, każda o tym samym rozkładzie f(x): 803,

X,

...

X)

—

n! f(x)

f 02)

.:

J (Xn);

X]




kn;,.

k=l

Pozostaje nam wypisanie wyrażenia na liczbę sposobów, na jaki możemy rozłożyć n, cząstek między g, stanów. Zadanie sprowadza się do określenia liczby sposobów wyboru krotności n,, spośród g, możliwości. Tę wielkość już znamy. Wynosi ona gi! ————-No! R!

.. np!

co daje natychmiast liczbę sposobów rozkładu n = n, +m+-::+n, między m stanów

Zadanie nasze sprowadza względem liczb n,

się do znalezienia maksimum m

In2

=

3 i=l

logarytmu tej wielkości

P

(s:

—

mn) k=l

=

cząstek

max(n;),

5,1. Elementy analizy kombinatorycznej

przy dodatkowych warunkach wiążących na degenerację, całkowitą liczbę cząstek i całkowitą energię: p

Ś: —

m

)

Nik»

n=

m

>

k=0

n, =

i=l

p

)

)

i=|l

k=l

m

knik,

E =

)

p

m

E,h; =

i=l

>

)

i=l

k=l

kE;nik.

Wyrażenie, które mamy maksymalizować, nie zależy do liczb n, cząstek, lecz od krotności n;;. Nie jest to utrudnienie matematyczne, gdyż prosta suma wielkości

n,. daje nam liczby n,, więc maksimum względem krotności da nam jednocześnie maksimum względem liczb cząstek. Ponieważ wielkości n,, nie są niezależne, zastosujemy metodę współczynników Lagrange'a, dodając do logarytmu prawdopodobieństwa termodynamicznego trzy dodatkowe człony wyrażające równania wię-

zów pomnożone przez nieznane liczby (mnożniki Lagrange a): 3

(

(>

i=l

m

)

—

Sin

k=l

0)

+

a

(>

k=l

+ B (>

YU ken

— e)

+Y

(>

k=l

i=l

I

i=l

Knyy

—

)

k=l

Nik — .)

= max(n;4, ©, B, Y).

k=0

Różniczkując powyższe wyrażenie względem n.,,, otrzymujemy, po wykorzystaniu wzoru Stirlinga (5.5), uwzgłędniającego jedynie wyraz wiodący w wykładniku, równania na nieznane krotności:

in Ś +ak+fBke,ty=0, Nik

a stąd ny = giexply + k(a + Be,)] = g,e explk(a + Be;)] = gie” x*, gdzie

x =exp(a + Pe,). Współczynnik y Lagrangea możemy wyeliminować przez powiązanie stopnia de-

generacji z sumą krotności, Pp

p

kz=Q)

k= 0

l

xP!

=) ,nx=ge ) x =gie (l+x+...+ x”) = gie —

—

>

e

A

co daje nam Nik = Si

lx

,

— qprl zpet

b)

po wykorzystaniu szkolnego wzoru na sumę szeregu geometrycznego ltxtx”

X

+...

+x

naa

_1=x"

=

l-x

1-x

—..l xP

189

190

5. Niektóre rozkłady

Liczbę n, cząstek w i-tym stanie uzyskamy, wykonując sumowanie

ź

nh, = 2*ra

s

(

l-x

= Sisi zp

2

l

p+ 1

"lep(e+fe)-1

expllP+1)(a+8e)]-1)

)

Występującą w tym wyrażeniu sumę znajdujemy następującą metodą: yw

=a)

ji =w)

dt

D_*

—= «z

(7). 1-—x

Nieznane wielkości © oraz 8 wyznaczane są z całkowitej liczby cząstek i cał-

kowitej energii układu. Pozostawimy Czytelnikowi wykazanie, że dla p = 1 odzyskujemy z tego wyrażenia rozkład Fermiego-Diraca, a dla p * 00 rozkład Bosego—Einsteina. Parastatystyki pozostają do chwili obecnej „zabawką” teoretyczną, gdyż nie odkryto w przyrodzie cząstek, które by im podlegały. n

Rys. 5.1. Cztery typy relacji kombinatorycznych

Podsumowanie czterech pojęć: wariacji i kombinacji w wersji z powtórzeniami i bez, podane jest na rys 5.1. Umieszczona jest na nim także, uzupełniająca naszą krzyżową klasyfikację, dotychczas niewyspecyfikowana możliwość określająca liczbę k-wyrazowych kombinacji z powtórzeniami ze zbioru n-elementowego:

(0%

)=(

n

0,

—Kk-1

)=

JJ

Gr

nik-1D!

Spotkaliśmy to pojęcie w przykładzie 5.1.5, gdy rozważaliśmy liczbę rozwiązań równania n; + na +*:: + ny =n dla nieujemnych i całkowitych liczb n;.

5.2, Rozkład dwu- i wiełomianowy —-

191

Przykład 5.1.6

Kombinacje z powtórzeniami Pojęcie kombinacji z powtórzeniami jest bardzo rzadko spotykane w fizyce, dłatego zilustrujemy je klasycznym zagadnieniem z kostkami do gry. Jeśli rzucamy

dwie różne, np. różnych kolorów, kostki, to liczba możliwych konfiguracji wyników określona jest przez iloczyn liczb konfiguracji każdej z kostek i zadaje 36 możliwości, przy czym układ: szóstka na kostce czerwonej i jedynka na kostce zielonej, to różny układ od układu: szóstka na kostce zielonej i jedynka na kostce czerwonej. Jeśli jednak kostki zechcemy potraktować jako identyczne, to oba układy są nierozróżnialne, a to oznacza jedynie

(30,) k-1

L (6, 6—1

_ (2) 5

ZY

różnych możliwości określonych przez następujące pary:

(1,1), 2, 1), G, 1), (4, 1), 6, 1), (6, 1), (2, 2), (3, 2), (4, 2), 6, 2), (6, 2), (3, 3), (4, 3), (5, 3), (6, 3), (4, 4), 5,4), (6, 4), (5, 5), (6, 5), (6, 6). Podobnie, rzucając pięć monet, otrzymamy sześć następujących układów: OOO0OQ, ROOOO, RROOO, RRROO, RRRRO, RRRRR. TI

—— 5.2. Rozkład dwu- i wielomianowy 5.2.1. Rozkład dwumianowy — wyprowadzenie Rozważmy następujący przykład. Stańmy przed lokalnym sklepem i notujmy płeć wchodzącej osoby. Mamy jedynie dwie możliwości: wchodząca osoba może być kobietą bądź mężczyzną. Autor zebrał próbkę 1000 takich przypadków, w której znalazły się 683 kobiety i 317 mężczyzn. Podzielmy teraz tę próbkę chronologicznie na kolejne dziesiątki,

będziemy mieli wtedy n = 100 podpróbek, a w każdej z nich liczba k kobiet może być a priori równa 0, 1,2,...,10. Znajdźmy następnie liczby ny określające liczby podpróbek, w których były właśnie takie liczby kobiet. Możemy teraz określić częstości pojawiania się k kobiet w dziesięcioosobowych grupach wchodzących do sklepu. Wykres tych częstości przedstawiony jest na rys. 5.2 w postaci szarego histogramu. Tak wykonane doświadczenie nie różni się w swej treści formalnej od doświadczalnego badania sposobów rozpadu jądra promieniotwórczego bizmutu, o którym wspomi-

namy w rozdziale 1. W jednym i w drugim przypadku dokonujemy serii niezależnych

192

5. Niektóre rozkłady

częstość

0,35 0,30

-

0,25

|-

0,20

|

0,15

+

0.10 0,05

-

0,00

L

i

0

1

e_1

2

e

3

4 5 6 liczba k kobiet

7

Rys. 5.2. Rozkład liczby kobiet w grupach dziesięcioosobowych w próbce 1000 osób

prób, oczekując w każdej z nich jednej z dwu możliwości: kobiety lub mężczyzny, lub, jak w przypadku rozpadu promieniotwórczego: przemiany a lub 8. Przyjmijmy na potrzeby dałszej dyskusji, że w każdym z takich dychotomicznych doświadczeń pierwsza możliwość reprezentuje sukces, a druga porażkę w danym losowaniu. Sukcesowi możemy przypisać umownie wartość jeden, a porażce wartość zero. W każdej z prób mamy pewne (w naszym przypadku nieznane, co nie zmienia istoty

rzeczy) prawdopodobieństwo p sukcesu i prawdopodobieństwo porażki q = Możemy podać zwarte wyrażenie na tak zadany rozkład prawdopodobieństwa:

PDD=pP'l-p)'*, zwany dwupunktowym

dla

1 — p.

k=Ql,

lub Bernoulliego, o momentach

€[k]l=p

oraz

Y[k] = p(l — p).

Jeśli w kolejnych losowaniach prawdopodobieństwo

p

nie ulega zmianie, to zarysowane postępowanie tak często

trafia się w życiu statystycznym, że zasłużyło sobie na spe-

cjalną nazwę: schemat Bernoulliego. Naszym zadaniem jest

określenie prawdopodobieństwa 5,(n, p) uzyskania k sukcesów w n próbach Bernoulliego, czyli próbach przeprowadzonych według tego schematu. Formalnie moglibyśmy to zrobić, tworząc sumę n zmiennych k,, każda z rozkładu Bernoulliego:

k=l+kh+:''-+kn .

Jacob Bernoulli,

1654-1705

(5.9)

i znaleźć rozkład prawdopodobieństwa zmiennej .

.

=

.

-

k. Postą.

pimy jednak bardziej poglądowo i zaczniemy od pytania o prawdopodobieństwo uzyskania, np. przy obserwacji ko-

5.2. Rozkład dwu- i wielomianowy

193

biet w grupach dziesięcioosobowych, następującej sekwencji osób wchodzących do sklepu: KKMKKMKMMK,czyli sześciu kobiet i czterech mężczyzn. Ponieważ wy-

nik każdej obserwacji osoby wchodzącej jest niezależny od wyniku innej obserwacji,

więc to prawdopodobieństwo musi być iloczynem prawdopodobieństw

sukcesów i po-

rażek w każdej z prób: pp(l — p)ppd — p)pl — pO — p)p = p*(l — p)* lub

ogólnie: p*(1 — p)”*. Jednak to co nas interesuje najczęściej, to nie prawdopodobień-

stwo specyficznej sekwencji rezultatów (czyli uporządkowanie, choć i to bywa czasami przedmiotem badań), lecz prawdopodobieństwo uzyskania po prostu k sukcesów, nie-

zależnie od kolejności, w jakiej się one pojawiają. Z, podrozdziału 5.1 znamy liczbę sposobów ustawienia liter K oraz M w ciągu o długości n tak, aby litera K wystąpiła dokładnie

k razy,

a litera M

dokładnie

n — k razy. Wiemy

również,

że na

mocy niezałeżności każdej z prób, każda sekwencja ma identyczne prawdopodobieństwo, co oznacza, że owe prawdopodobieństwa musimy zsumować, a otrzymamy rozkład

Bl, P) = grą pi U - P"*

(5.10)

zwany dwumianowym, prawdopodobieństwa uzyskania k sukcesów w n próbach przeprowadzonych wg schematu Bernoulliego, czyli wtedy, gdy poszczególne próby są niezależne, a prawdopodobieństwo sukcesu w każdej z prób jest stałe 1 wynosi p. Zauważmy, że parametry n i p są pewnymi zadanymi wielkościami, natomiast zmienną losową jest liczba k sukcesów. Rozkład ten, dla n = 20 i kilku wartości parametru p podany

jest na wykresie 5.3 za pomocą punktów (linia ciągła jest bez znaczenia, ma jedynie „poprowadzić oko” Czytelnika). 0,40

0,30

p=0,05

1

0,35 -

0,25

p=0,25

0,20 -

p=0,75

p=05

0,15 0,10 0,05 0,00

+

0

2

ę

4

©

4

6

©


0,05, zawężamy zakres możliwych wartości parametru p do przedziału od zera do Po = 3,0-107*. Jeśli jesteśmy ostrożni, powinniśmy się raczej zdecydować na u = 0,01, a może nawet na 0,001. Gdy gotowi jesteśmy zaryzykować, możemy zgodzić

197

5.2. Rozkład dwu- i wielomianowy

się naa = 0,10. Zauważmy jednak, że wielkość I —a określa prawdopodobieństwo P(k > l;n, p) znalezienia przynajmniej jednego przypadku:

l-a=P(k>l;n,p)=)

k=|

Bln,p) =1— Boln, p),

(5.11)

co pozwala przeprowadzić następujące rozumowanie: jeśli parametr p spełnia nie-

równość p > py = 3,0 -: 107%, to prawdopodobieństwo zaobserwowania jednego lub więcej przypadków jest wtedy większe od I — a = 0,95. Skoro jednak nie widzimy przypadków w ogóle, więc możemy wykluczyć tę właśnie wartość parametru, a także i większe wartości, czyniąc z liczby po = 3,0 : 107* dolną granicę (kres dolny) przedziału [po; I] wykluczonych przez eksperyment wartości parametru p. Wykluczanie to występuje jednak z pewną wiarygodnością, określoną właśnie liczbą 0,95. Wielkość I — x, mnożona często przez 100 i wyrażana w pro-

centach, zwana jest poziomem ufności.

Ah

t-a

=

—

3

B(n,p)

| I ! ! | I

|

ł

4

| |

ł

u I

Rys. 5.6. Ilustracja problemu wyklu-

czania na zadanym poziomie ufnoŚCi

-€ +

”

]

" "e 4

|

k

>

Wyniki naszego eksperymentu możemy podsumować w następujący sposób: brak obserwacji, spośród miliona przypadków, rozpadu leptonu i w kanale e e*e” wyklucza, na poziomie ufności 95%, wartość współczynnika rozgałęzienia większą niż 3,0 : 107”. Wypowiedzmy to zdanie jeszcze raz, wyjaśniając jego sens proba-

bilistyczny. Gdyby współczynnik rozgałęzienia był większy niż 3,0 - 107*, wtedy

w olbrzymiej liczbie eksperymentów — teoretycznie nieskończonej — każdy po

jednym milionie przypadków rozpadów leptonów, przynajmniej w 95% takich eksperymentów zaobserwowalibyśmy co najmniej jeden poszukiwany rozpad, a co

najwyżej 5% spośród nich nie napotkałoby żadnego rozpadu. W języku potocznym bardzo często mówimy w takich sytuacjach o stu eksperymentach, z których przynajmniej 95 zaobserwowałoby co najmniej jeden rozpad, a co najwyżej 5 nie znalazłoby żadnego. Jest to oczywiście skrót myślowy, jako że w stu eksperymentach, z uwagi na statystyczny charakter rozpadu, mogłaby pojawić się sytuacja, w której np. 94 widziałoby przynajmniej jeden rozpad, a 6 żadnego. Tak długo

jednak, jak przez liczbę 100 będziemy rozumieli przejście graniczne z klasycznej definicji prawdopodobieństwa,

taką interpretacyjną parafrazę będziemy

uznawali

za dopuszczalną. Czy wykluczając na poziomie ufności dziewięćdziesięciu pięciu procent wartości parametru p większe od pę = 3,0 -: 107” zaakceptowaliśmy na tym samym

198

5. Niektóre rozkłady

poziomie ufności wartości tego parametru mniejsze niż py? Oczywiście nie. JeŚli parametr p jest równy po, to zerową liczbę przypadków znajdziemy w pięciu procentach doświadczeń. Jeśli wielkość p jest mniejsza niż py, wtedy ułamek eks-

perymentów z zerową liczbą przypadków będzie większy niż 5%. Oznacza to, że

wykluczanie na poziomie 95% oznacza dopuszczanie możliwości, że p < pę na poziomie ufności nie mniejszym niż 5%. Dlatego czasami, w języku potocznym, mówimy o parametrze p, jako o górnej granicy (górnym kresie) dopuszczonych przez eksperyment wartości wielkości p.

r

Schemat Bernoulliego możemy także zastosować do innego zagadnienia. Otóż, wykonując kolejne próby, możemy zapytać o prawdopodobieństwo pierwszego sukcesu w pierwszej, drugiej, trzeciej, ... próbie. Jeśli przez S oznaczymy sukces, a przez P porażkę, to przestrzeń zdarzeń elementarnych dla tego zagadnienia składa się z następujących, rozłącznych zdarzeń: S$, PS, PPS, PPPS itd. Prawdopodobieństwo uzyskania sukcesu w k-tej próbie wynosi

Gl(p)=pd-p)*"!,

k=1,2,3,....

(5.12)

Łatwo sprawdzamy, że rozkład ten jest poprawnie unormowany. Nosi on nazwę rozkładu geometrycznego. Uogólnieniem tego rozkładu jest rozkład sumy zadanej liczby n składników, każdy z rozkładu geometrycznego. Opisuje on prawdopodobieństwo przeprowadzenia k prób, w trakcie których uzyskano zadaną liczbę n < k sukcesów, przy czym ostatnia próba zakończona jest sukcesem. Ponieważ prawdopodobieństwo n sukcesów dane jest przez p”, a prawdopodobieństwo k — n porażek to (1 — p)*"", więc

rozkład ten jest opisany wyrażeniem: ua,

p =(

n-l

jra

pr".

n=1,2,...,

k=nn+l,n+2,...,

(5.13)

gdzie czynnik kombinatoryczny wynika z rozmieszczenia n — 1 sukcesów pośród k — 1

prób (ostatnia próba zakończona jest sukcesem).

Rozkład ten

zwany jest w literaturze rozkładem ujemnym dwumianowym lub też rozkładem Pascala. Poprawność unormowania tego rozkładu wynika z rozwinięcia Taylora: —

(k-1

X (-1)7'

(1

—

p)

kn _.

—_

/m+n—-1

ry( „n

PD

nh

"d-q"

gdzie podstawiliśmy m = k—n,q

Blaise Pascal, 1623-1662

n-1 Je

m

L,

= l — p. Ujemny rozkład

dwumianowy występuje niekiedy w postaci (4„(n, p), zadającej liczbę m = k — n porażek przed wystąpieniem sukcesu o numerze n:

5.2. Rozkład dwu- i wielomianowy

in, p = (

n+m—l

SĘ

n=l,2,...,

pra

199

ma p)”,

m=0,1,2,....

(5.14)

5.2.2. Momenty rozkładu dwumianowego i ich estymatory Najpierw znajdziemy wartość oczekiwaną:

a=pi""7 P k) = 2_kq k=0 —

k(1

on

=

n

ki

n!

—

Dia=pi = 2w= k=l —_

=)

=

__

"77

ga =i" U __

n=k

=P)

(m — 1):

DRIN"

=p

kr

ni

—

n=k __

k—1/1

07

e

(n

.

__

nk

p)

1)!

R=DIu=BI" „ln-1)-(k—1)

_

k—1g4

0

nk

P)

|

Jeśli w ostatniej sumie dokonamy zamiany zmiennej: m = k — 1, to nl

— |D!

—

ln—1,p) =np. = n- „i A - p)” »" =np)_B m=0

= "p > czyli ostatecznie

€ [k] = np.

(5.15)

By obliczyć wariancję zmiennej, znajdziemy najpierw (k*

|= > -_

=hn

IG gi?

kn

PH

k

- m$ m _

| —

U-P)

nk

k-1 (1 — p) -D-(k-1 DG D

(a — 1)!

k-DKu-D=k=D)" -|

(n — 1)!

| ma zD=mi

m

7

1

—

P)

p

(n—1)—m

n—l

= np ) | (m + 1)B„(n — 1. p) = np (m + 1) = np((n — 1)p + I). m=0

gdzie m =k — 1. Odejmując kwadrat wartości oczekiwanej, otrzymujemy

V[k] = npq = npl — p).

(5.16)

200

5. Niektóre rozkłady

Oba wyniki: (5.15) 1 (5.16), są dość oczywiste w świetle związków (3.16) i (3.9) i faktu, że rozkład dwumianowy opisuje rozkład sumy (5.9) n niezależnych statystycznie zmiennych losowych z rozkładu dwupunktowego.

Wynik dla wariancji zmiennej k podpowiada nam, że v B n

= —Y [kl = —npq - A n n n

(5.17)

Zajmiemy się teraz estymatorem p wielkości p, jeśli w wyniku eksperymentu powtórzonego n razy uzyskaliśmy k sukcesów. Spróbujmy: „ k p=— n

(5.18)

1 obliczmy wartość oczekiwaną tej wielkości: » k l l =(7)=;60=7mw=p Tym samym wielkość p jest nieobciążonym estymatorem parametru p. Poszukajmy także estymatora s; wariancji zmiennej losowej k, wyrażając go, na próbę, przez k

k

np(l-p)=n-|l--|=k n n A

A

n=k

n

l,

=k—=k. n

Biorąc wartość oczekiwaną tego wyrażenia, znajdujemy, iż l

l

(k) — — (k*) = np — "pln — 1)p + 1) = (n — 1)pq. Widzimy, że powinniśmy raczej wybrać wielkość 2 _

ko

n-l

np(l — p),

(5.19)

co da nieobciążony estymator. Podobnie dla estymatora s; wariancji wielkości p otrzymujemy

| s;2 = ——-p(l —D). Pn-l

Powróćmy

(5.20)

do naszych obserwacji liczby kobiet czyniących zakupy. Estymata p, dana

wyrażeniem (5.18), wartości prawdopodobieństwa p zaobserwowania kobiety jako osoby wchodzącej do sklepu, a także jej niepewność (5.20), możemy określić z danych doświadczalnych: p = 0,683 + 0,015. Wykorzystując tę wielkość, na wykresie 5.2 dorysowane zostały, w postaci kropek, wartości prawdopodobieństwa B,(10,

0,683). Oczywiście, po-

zostaje otwarty problem zgodności między obserwowanymi częstościami a obliczonymi prawdopodobieństwami, które, nawiasem mówiąc, są obarczone niepewnością, jako że do ich znalezienia wykorzystaliśmy estymatę p.

5.2. Rozkład dwu- i wiełomianowy

"--

Przykład 5.2.3 Wir wodny Dawno temu autor natknął się w jednym z czasopism na rewelacyjną informację. Pewien dziennikarz, relacjonując swój pobyt na półkuli południowej, twierdził, że

kierunek wiru, jaki powstaje w wannie przy spuszczaniu z niej wody po kąpieli

jest po tamtej stronie równika inny niż w naszej części Świata. Dziennikarz ten podawał nawet wytłumaczenie tego zjawiska, czyniąc zań odpowiedzialną siłę Coriolisa. Przygotowanie niniejszego wykładu stało się pretekstem do zweryfikowania

tej hipotezy, a Ściślej, sprawdzenia, czy istotnie spływająca woda preferuje pewien

kierunek obrotu. W wyniku eksperymentu powtórzonego 100 razy o różnych porach dnia i roku autor ustalił, że wytworzony wir w 43 przypadkach powodował obrót masy wody w kierunku zgodnym z kierunkiem ruchu wskazówek zegara,

a w pozostałych 57 przypadkach obrót miał kierunek przeciwny.

Znając wyrażenia (5.18) i (5.20) na estymatory, możemy pokusić się o weryfikację hipotezy o tym, że wir nie wykazuje uprzywilejowanego kierunku. Gdyby tak było, to wartość prawdopodobieństwa p sukcesu (obrót wiru w kierunku ruchu

wskazówek zegara) w pojedynczej próbie powinna wynosić 1/2, podczas gdy my,

podstawiając do wzorów na estymatory, obserwujemy: b = 0,43 + 0,05. natywnie, możemy powiedzieć, że winniśmy oczekiwać 50 wirów w jedną i 50 wirów w drugą, podczas gdy doświadczenie daje w wyniku: 43 + 5. wowane odchylenie liczby wirów od wartości oczekiwanej jest większe niż

Alterstronę Obsertypowa

fluktuacja. Nie oznacza to jeszcze, że mamy do czynienia z sytuacją, która definitywnie wskazuje na preferowany kierunek obrotu wody. Wniosek ten wynika

z następującego rozumowania. Przyjmijmy chwilowo słuszność hipotezy o braku preferencji, wtedy w próbce 100 pomiarów oczekujemy, że fluktuacje liczby wirów wokół wartości 50 będą wynosiły:

VM = ampl

= 10-5-(1-5)=25=5: 2

2

Jak często będą zdarzały się odchylenia o co najwyżej obserwowaną liczbę siedmiu wirów od wartości oczekiwanej? Czyli: jaka jest szansa na to, by liczba wirów była zawarta między 43 a 57? Szansa ta jest dana przez: 57

P(43

sf-zjs-2-I(x) x

1667-1754

otrzymujemy

(k — np)” 2npq

—————

=

Ń

(zachowując

l /2no

eX

?

wyrazy

najniższego

(k— n)” ) , 20?

—_0_|-

(5.26)

gdzie o? = npq oraz u = np. Jest to poszukiwana postać graniczna rozkładu dwumianowego dla dużej wartości liczby n prób, zwana rozkładem Gaussa. Fakt istnienia związku między tymi rozkładami określany jest mianem lokalnego twierdzenia de Moivre—Laplace'a. Porównanie formy granicznej i postaci Ścisłej zamieszczone jest na rys. 5.8, gdzie punkty odpowiadają rozkładowi dwumianowemu, a linia ciągła to rozkład Gaussa, który jak widać jest nieco przesunięty w prawo, przynajmniej dla mniejszych wartości liczby prób. Aby zniwelować ten efekt, stosuje się niekiedy zmodyfikowaną formę związku (5.26):

"DS

I

/Zmpą ? (

(k — (np — 3))

2npq

B,(n, p) £ —p1

—np Pa npa(l — a)

... **:

—NDP;-1P1

—NDpPj;-1P2

..

|

.

|

—np1P;-1 —npaPj-1

sa

np;_1(1

(5.34)

— Pi-1)

Ta ogólna postać

W... M, P1,---, Dj) FE

l

(8) "fa

1 exp (-; (k — (kj) V"' (k — Y

to postać wielowymiarowego rozkładu Gaussa.

—-- 8.3. Rozkład wykładniczy 5.3.1. Wyprowadzenie Autor, przystępując do pisania tego rozdziału, wykonał następujący eksperyment: zmierzył wielokrotnie czas oczekiwania na przejazd koło niego jakiegokolwiek samochodu na jednej z ulic Ursynowa. Rezultat tego pomiaru przedstawia unormowany do jedności histogram 5.10, będący eksperymentalną gęstością prawdopodobieństwa przejazdu samochodu w czasie kolejnych sekund, tzn. wysokość „słupka” umieszczonego na wybranym przedziale czasu, pomnożona przez odpowiadający mu przedział czasowy (w tym przypadku jedną sekundę) daje eksperymentalne prawdopodobieństwo przejazdu samochodu w trakcie tego przedziału czasu. Na przykład prawdopodobieństwo, że w czasie pierwszej sekundy przejedzie koło nas samochód, wynosi około 18%. Znaczenie dodatkowej linii ciągłej oraz formuły matematycznej wyjaśnimy w dalszej części rozważań.

Ze swej konstrukcji suma wysokości „słupków” histogramu pomnożonych przez związany z każdym z nich przedział czasowy daje jedność. Powinniśmy zwrócić uwagę na

to, że czas jest zmienną ciągłą, my — przez grupowanie danych — opisujemy zjawisko w zmiennej o charakterze dyskretnym. Ta „dyskretyzacja” pozwoli nam, wykorzystując dotychczasowe informacje, zbudować model znalezionej zależności. | Z, podrozdziału 5.2 wiemy, że prawdopodobieństwo B;(n, p) zanotowania k sukcesów w n próbach, jeśli prawdopodobieństwo odnotowania sukcesu w pojedynczej próbie

wynosi p, dane jest rozkładem dwumianowym (5.10). Zadajmy teraz pytanie o prawdo-

podobieństwo Q, = Bę(n, p) braku sukcesu we wszystkich kolejnych n próbach (czeka-

nie to właśnie uporczywy brak sukcesu). Warunkiem takiego zdarzenia jest brak sukcesu w każdej z kolejnych prób, a prawdopodobieństwo takiego zdarzenia, na mocy własności rozkładu dwumianowego, to Q, = (1 — p)”. Ponieważ będziemy chcieli przejść do rozkładu ciągłego, pojedynczy czas t oczekiwania na przejazd samochodu, konstytuujący jeden przypadek na naszym histogramie, podzielimy na n równych przedziałów o długości Aż, przy czym liczba n jest bardzo duża, a w ostatecznym wyrażeniu przejdziemy

z jej wartością do nieskończoności. Ważne jest uświadomienie sobie, że przedział At

gęstość [1/s]

5,3. Rozkład wykładniczy

0,20 0,18 ks. 0,16 0,14 0,12 0,10 0,08 0,06 0,04

y= 0,193 exp(-0,1931)

0,02 ż

0,00

0

217

1

e

BE

5

10

15 20 czas oczekiwania [s]

25

30

Rys. 5.10. Rozkład czasu oczekiwania na przejazd samochodu na ulicy

nie ma żadnego związku z przedziałami histogramowania. Powinniśmy raczej sobie wyobrazić, że stajemy przy ulicy, włączamy stoper i czekamy na pierwszy nadjeżdżający

samochód i ten czas oczekiwania — choćby nawet był bardzo krótki — dzielimy w myśli na bardzo dużą liczbę bardzo małych odcinków czasowych Aż, a oczekiwanie w każ-

dym takim odcinku to właśnie jedna próba ze schematu Bernoulliego. W każdej z takich

prób mamy pewne prawdopodobieństwo p przejazdu samochodu. Jeśli przyjmiemy, że wielkość ta jest stała w każdej z prób, to rezultat przejścia granicznego n — oo nie

będzie imponujący — otrzymujemy po prostu zero

Q,=(1-p)'

—

Nn—>OO

0,

o ile wielkość p nie jest równa zeru, co jawnie stoi w sprzeczności z danymi doświadczalnymi. Dlatego też wielkość p musimy uzależnić od przedziału czasowego, w którym

w danej chwili się znajdujemy, czekając na samochód. Najprostszej możliwości dostarcza model, w którym wielkość p nie zależy od numeru przedziału, choć jest ona proporcjonalna do wielkości tego przedziału: p x At, co też zapisujemy jako At p=AAt=—, (5.35) n gdzie wielkość A, zwana często intensywnością, jest już prawdziwie stałą liczbą o wymiarze odwrotności czasu. Jej interpretację znajdujemy z (5.35) i wartości oczekiwanej

(5.15) rozkładu dwumianowego:

|

WH

niani

n

n

z4= e

(5.36)

Widzimy, że wielkość ta określa typową liczbę zdarzeń na jednostkę czasu. Podstawiając (5.35) do wyrażenia na prawdopodobieństwo braku sukcesu, otrzymujemy Q, = (

— =

—

Nn—>0O

Q(t; A) =exp(-At).

218

5. Niektóre rozkłady

Teraz możemy już znaleźć dystrybuantę (2.19), czyli prawdopodobieństwo P(0 < t < t; A) = F(t; A) sukcesu w przedziale czasu od zera do t, jako uzupełnienie porażki: Ft;A)=1—

a po

zróżniczkowaniu,

w chwili £:

dF(t:A E(t; A) = a

funkcję

QQG;A) =1 — exp(—At),

gęstości

prawdopodobieństwa

= Aexp(=At)

dla

)00

k )

de". ©

Wyprowadzenie to uzasadnia inną, bardzo udatną, nazwę rozkładu geometrycznego: rozkład dyskretnych czasów oczekiwania. ——

Przykład 5.3.2 Obszar wykluczania

Rozważmy eksperyment poszukujący rozpadu nukłeonu. Wyobraźmy sobie wypełniony wodą pojemnik o rozmiarach 10 m x 10 m x 10 m, a więc zawierający

1000 ton wody, czyli około n = 6 - 10? nukleonów. Ciągła obserwacja tej objętości

wody przez jeden rok jest równoważna (patrz niżej) obserwowaniu pojedynczego

nukleonu przez T = 6 - 10% lat. Podobnie jak w przykładzie 5.2.2, możemy

tutaj zapytać o długość czasu £ obserwacji, aby przy zadanym oczekiwanym czasie życia r nukleonu prawdopodobieństwo P(t < t; T) zaobserwowania rozpadu przynajmniej jednego nukleonu wynosiło przynajmniej B:

P(ft

—zln(l

— 8).

> B,

220

5. Niektóre rozkłady

Przyjmijmy na t>3-107 lat, poradzić, gdyż Przyjmijmy

przykład 8 = 0,95 oraz r = 10? lat, wtedy czas oczekiwania co wydaje się wielkością, z jaką nasz detektor może sobie jeszcze wymaga to tylko pół roku jego ciągłej pracy. teraz, że w wyniku obserwacji przez czas t = lrok nie udało

się nam znaleźć ani jednego przypadku rozpadu nukleonu. Prawdopodobieństwo

p =P(t £t;T) rozpadu pojedynczego nukleonu w czasie jednego roku dane jest

związkiem

£

p=l

-ap(-2).

T

Z. rozkładu dwumianowego wiemy, iż prawdopodobieństwo a, że żaden z n nukleonów nie ulegnie rozpadowi, to a = Bn, p) = (l — p)” = exp (-7)

= exp (-7)

.

Tu widzimy, dłaczego jednoczesna obserwacja n nukleonów przez czas £ jest rów-

noważna obserwacji jednego nukleonu przez czas T = nt — powrócimy jeszcze do tego zagadnienia w podrozdziale 5.3.3. Gdyby parametr t był istotnie mniejszy

od wartości 7, to prawdopodobieństwo a byłoby bardzo małe, np. dla r = 0,017

otrzymujemy a = 4.107* i byłoby zdumiewające, że nie zaobserwowaliśmy żad-

nego rozpadu, skoro jego prawdopodobieństwo wynosiło 1 — 4. 107%. Oznacza to, że tego typu wartości parametru r, jak również mniejsze, możemy odrzucić. Czy

możemy odrzucić np. wartość r = T? Dla niej prawdopodobieństwo a wynosi około 0,37, a więc gdyby wartość parametru z była porównywalna z czasem obserwacji T', to typowo w co trzecim eksperymencie nie obserwowalibyśmy żadnego rozpadu i powinniśmy się liczyć z tym, że nasz eksperyment jest tym „trzecim”. Jaką wartość « powinniśmy w takim razie wybrać? To zależy od tego, jak często gotowi jesteśmy zaakceptować możliwość, że zostaniemy zlekceważeni przez los.

Jeśli za graniczną wartość w przyjmiemy 0,05 (patrz rys. 5.11), to dla para-

metru T otrzymamy wartość ry = 0,3357 = 2. 10? lat. Jednocześnie, ponieważ 1 r

©

Ol

NN

SN 5

0,05

Nu

Ho

RR

—

Ó

001 p——--——— z 0,001 -----

0,0001

I

010

ł

015

1

0,20

|

i

|

!

i

"

|

||

!

|

|

|

I

I

|

10,145

|

| 0,22 0,25

i

|

| 0,33

! 0,43

ł

I

030

1

0,35

|

1

0,40

0,45

parametr T/7

Rys. 5.11. Prawdopodobieństwo braku rozpadu nukleonu jako funkcja r/T

|

0,50

5.3. Rozkład wykładniczy

221

| — a to prawdopodobieństwo rozpadu nukleonu T

l

l-a=P(O)

42

A

—= dx

n(n + 1)

= ————.,

0» A

n

w zgodzie z momentami dla zmiennej z rozkładu wykładniczego, czyli dla n = 1,

jak również faktem, że wartość oczekiwana sumy (5.41) niezależnych zmiennych losowych jest sumą wartości oczekiwanych, a wariancja — sumą wariancji tych

zmiennych (patrz (3.9)). Wynik ten pokazuje, że im większa jest wartość współ-

czynnika przeliczania n, tym mamy wania na n-te zdarzenie:

DE]

mniejsze fluktuacje względne czasu oczeki-

|na_

Et] Wan

4Jn

Powyższy rezultat stanowi podstawę wykorzystywania tzw. rejestrów przesuwnych (ang. pipe line) do buforowania informacji o nadchodzących zdarzeniach w ją-

drowych i cząstkowych eksperymentach z zastosowaniem technik elektronicznych odczytu i gromadzenia danych. W takich eksperymentach zdarzenia, na których

rejestrację nastawiony jest detektor, pojawiają się (zazwyczaj) zgodnie z rozkła-

dem wykładniczym £(t; r) z pewnym typowym odstępem czasowym T = A”!. Jeśli czas potrzebny na analizę jednego przypadku, w celu podjęcia decyzji o jego zapisie lub odrzuceniu, wynosi T, to faktycznie czas ten jest okresem martwym

w pracy eksperymentu, jako że jeśli nawet detektor przyjmie nowy przypadek,

towarzyszące detektorowi procesory nie są w stanie go przeanalizować. Jeśli czas T jest znacznie krótszy od czasu r, to praktyczne straty przypadków są zaniedbywalne, natomiast jeśli oba czasy są porównywalne, to eksperyment zacznie gubić istotną część interesujących przypadków. I tak, jeśli T = t/2,

wtedy prawdopodobieństwo pojawienia się przynajmniej jednego nowego zdarze-

nia, w czasie kiedy procesory analizują poprzednie, wynosi r/2

l

P (: < >) = - | 2

T

0

t

(-:)

T

df=l-e"'=0,39,

co oznacza stratę ponad 1/3 statystyki (słowo statystyka tu użyte, to klasyczny eksperymentalny żargon; oznacza ono dokładnie tyle co próbka, dane). Wystarczy

jednak, abyśmy wprowadzili dodatkową pamięć (bufor) przechowującą informację o kolejnych n zdarzeniach, z której to pamięci procesory pobierają przypadki na

zasadzie: pierwszy wchodzi, pierwszy wychodzi (FIFO — first in, first out), a wtedy w najgorszym razie stracimy wszystkie, z wyjątkiem pierwszych n, jeśli pojawią się

227

ZŁO

5. Niektóre rozkłady

one w czasie T krótszym niż nr/2. Szansa takiego zdarzenia dana jest następującą

całką (| = x):

nt/2

ne/2

| €,„(t; T) dt = l

TJ

0

GD

n/2

nl

el dź -|

n-N!

0

A

nl

e "dt.

(n — 1)!

0

Jeśli za „głębokość” rejestru FIFO przyjmiemy wartości: n = 2,4, 8 oraz 16, to szansa utraty tych przypadków przyjmie wartości: 0,26, 0,14, 0,05 oraz 0,008.

Rejestr FIFO łagodzi fluktuacje w czasach pojawiania się kolejnych przypadków,

przekazując je do dalszej analizy w bardziej wyrównanym rytmie.

Zwróćmy uwagę na to, że jeśli czas T analizy pojedynczego przypadku jest równy czasowi t lub od niego dłuższy, to rejestr taki, bez względu na swoją głę-

bokość, nie jest w stanie nam pomóc. Musimy poszukiwać szybszych algorytmów

analizy danych lub dane te poddawać równoległemu przetwarzaniu (patrz przy-

kład 5.4.2). Kształt rozkładu czasów oczekiwania na n zdarzeń: ć,

(u)

=

m

(nu)""

— Dio

_

,

d gdzie

i

u

=

t

Ste]

——

Z

At >

—,

podany jest na rys. 5.13 dla wartości parametru n = 1, 2,4, 6,8, 10. 1,4

r

1,2 1,0 0,8 0,6

0,4 0,2 0,0

0,0

0,8

1,0

1,2

1,4

1,6

18

20

znormalizowany czas u

Rys. 5.13. Rozkład Erlanga jako funkcja u = t/€ [t]

Rozkład ten również ma tę własność, że dla dużych wartości współczynnika

przeliczania n przechodzi w rozkład Gaussa. Pokażemy to, wprowadzając zmienną standaryzowaną Ee a £ —

dla której rozkład przyjmuje postać

DŁ]

t—n

yn"

/n(zy/n+n)

6,(X) =

(n — 1)!

exp (-x/n — n).

5.3. Rozkład wykładniczy

229

Wykorzystując wzór Stirlinga (5.5) dla funkcji silnia

E,(x) ©

1

/n(xy/n+ ny

/2n

(n— 1)" żer!

e(—x

n—n),

a następnie wciągając wszystkie czynniki, z wyjątkiem pierwiastka z 2n, do funkcji wykładniczej l

6,(x) £

ezp( — VB +

zlnn + (

(eee)

/2n

Lh

l

— 1)ln(x/n +n)

l

a dalej porządkując i upraszczając, otrzymujemy

E,(x) %

o

2x

ex

(-=

+m-Dmfr+

s - (n-)m(1- 2)

2

n

x —)-1).

Dokonujemy teraz rozwinięcia obu logarytmów

co, po podstawieniu, uporządkowaniu i odrzuceniu wyrazów rzędu n"' i mniejszych, a więc w warunkach asymptotycznych, daje standaryzowany rozkład Gaussa 2

€„(x)

—>

Ntaiu=0,0=D=—=ap(-5).

Wykorzystajmy rozkład Erlanga do znalezienia oceny intensywności A. Konwen-

cjonalnie problem taki rozwiązujemy

w ten sposób, że przez zadany przedział czasu

mierzymy liczbę zdarzeń. Tak znaleziona liczba zdarzeń jest zmienną losową. Nie jesteśmy jeszcze przygotowani teoretycznie do rozpatrzenia tego problemu z punktu widzenia statystyki matematycznej, gdyż wymaga on zrozumienia rozkładu Poissona, który

jest przedmiotem następnego rozdziału. Możemy jednak wyobrazić sobie eksperyment, w pewnym sensie, odwrotny: zadajemy liczbę n zdarzeń i czekamy tak długo, aż ta liczba

zdarzeń się pojawi, a wtedy natychmiast przerywamy pomiar. W tak postawionym problemie zmienną losową jest czas t pomiaru. Na nieobciążony estymator intensywności

230

5. Niektóre rozkłady

możemy zaproponować wielkość

2 nl A= — |

(5.43)

która, jak to łatwo sprawdzić, istotnie spełnia swoją rolę: 00

of]

(2) =A(n

20 — l)! e "dt=A t(n

x

(n — 2)!

0

e*”dx=A

|

gdzie podstawiliśmy x = At. Zajmiemy się teraz wariancją tego estymatora:

,

1

e[-]=2n- 12 | 52 0

Qr1 )

t2 (n — 1)!

eH dr = 22

-1

n-2

skąd

v[s] = a

n=2

Żel

n-2

y2

Proste obliczenia wskazują, że nieobciążonym estymatorem tej wariancji jest wielkość a

Ta

ba ==

l

n-l

_

i.

Zastanówmy się nad kwestią estymacji parametru r rozkładu wykładniczego. Łatwo sprawdzamy, że średnia arytmetyczna t = 7 jest nieobciążonym estymatorem:

B-(,

Ż: -

2,60=„0r=r

Wariancja estymatora parametru r wynosi

-

lĘ

l

|ę

lę

-v|2|-9|2s|-z7ym=

Lę

22

!

=-T.

o ile próbka jest prosta i widzimy tu, ponadto, bezpośrednią realizację relacji (4.6). Wynik ten podpowiada nam, że estymatora s; wariancji V [7] powinniśmy szukać w postaci proporcjonalnej do kwadratu Średniej. Aby ułatwić sobie to zadanie, wróćmy do przykładu 5.3.6, w którym pokazaliśmy, że kwadrat sumy (5.41) ma wartość oczekiwaną € [t'| = n(n + DT”, a tym samym

e|e]="—r,

skąd łatwo odgadujemy postać nieobciążonego estymatora wariancji

5.3. Rozkład wykładniczy

Widzimy, że wyrażenia na nieobciążone estymatory parametrów

231

Tt oraz A, a także ich

_wariancje, nie są identyczne (po dokonaniu odpowiednich podstawień), choć występuje między nimi duży stopień „pokrewieństwa. Czytelnik powinien odebrać to jako ostrzeżenie przed przyjmowaniem za oczywisty fakt, że momenty funkcji estymatora są równe

funkcjom momentów: jeśli 8 jest estymatorem parametru 0 rozkładu, a © =h(0) funkcją tego estymatora, to w ogólności: © + h(0) oraz na pewno Só z h(s;). 5.3.3. „Brak pamięci” W podrozdziale 5.3.1 pokazaliśmy, że prawdopodobieństwo przeżycia jądra promieniotwórczego przez czas t* dane jest wyrażeniem

Q() = exp(—At'). Zapytajmy o prawdopodobieństwo obserwacji, w której jądro promieniotwórcze przeżyje dodatkowo czas t, jeśli już „zdołało” przeżyć czas t'. Jest to pytanie o prawdopodobieństwo warunkowe (2.15):

Q(t|t) =

Q(, t)

Qt)

Licznik ułamka to prawdopodobieństwo przeżycia czasu łącznego t' +- t, które w tym przypadku jest równe prawdopodobieństwu

Q(t' + t), co w efekcie daje nam

O(n) = SO = SBexp(—Af') (r)

= exp(-At) =| Q(0).

Wynik jest absolutnie niezależny od czasu £'! Mówimy, że rozkład wykładniczy charak-

teryzuje się niezależnością od obecnego wieku — pozostały czas życia nie zależy od przeszłości i ma ten sam rozkład co całkowita długość życia. Można wykazać, że ten brak starzenia się, dający się faktycznie ująć wzorem

Q(t+t)=Q60)OU), jest cechą tylko i wyłącznie rozkładu wykładniczego i funkcji tożsamościowo równej

zeru lub jedności (faktu tego dowodzi się przez różniczkowanie powyższego związku

względem t', aby następnie położyć w nim tę wielkość równą zeru — w wyniku otrzymujemy proste równanie różniczkowe). Dopiero w świetle powyższej cechy rozkładu wykładniczego można w pełni zrozumieć opinię wyrażoną w przykładzie 5.3.2 o równoważności ciągłej, rocznej obserwacji

liczby 6 - 103? nukleonów i obserwacji pojedynczego nukleonu przez 6 - 10 lat. Istotnie, jeśli wielkość t oznacza okres obserwacji n nukleonów, to prawdopodobieństwo braku rozpadu pojedynczego nukleonu zadane jest wielkością Q(t) = exp(—At). Prawdopodobieństwo przeżycia czasu t przez wszystkie nukleony, na mocy niezależności statystycznej między rozpadami różnych nukleonów, dane jest iloczynem n czynników: O(t)O() ::: O(t). Z kolei to wyrażenie, na mocy własności braku zależności przyszło-

ści od historii, wynosi

Q(nt) = exp(—Ant) i wyraża prawdopodobieństwo przeżycia

jednego nukleonu przez czas nt.

232

5. Niektóre rozkłady

Ta własność „braku pamięci” zawarta w rozkładzie wykładniczym sprawia, że jest,

mimo prostoty matematycznej formy, trudny do intelektualnego przyswojenia, gdyż jest

to obce naszemu doświadczeniu życiowemu: ludzie umierają z reguły, osiągnąwszy pewien wiek, a nie w losowych momentach swojego życia. Podobnie jest z różnego rodzaju urządzeniami, które na co dzień wykorzystujemy, jak np. samochód: nowy raczej jeździ,

a zaczyna się psuć dopiero po paru latach. ——

Przykład 5.3.7 Przeżywanie i rozkład Weibulla W tabeli 5.1 (za: Trwanie życia i umieralność wg przyczyn w 1997 r, GUS, Warszawa 1998) przedstawiona jest przewidywana liczba osób, jaka pozostanie

z początkowej liczby 100000 osób urodzonych w 1997 r., po zadanej liczbie lat. Zbadajmy, czy i jakie odstępstwa od wykładniczego charakteru występują w tych danych. Model rozkładu wykładniczego podpowiada nam, że z początkowej liczby N4 osób liczba N(t) = Nyexp(—At)

osób dożyje wieku £. Nie znamy parametru A w tym wyrażeniu, ale jeśli je zloga-

rytmujemy, to otrzymamy zależność liniową logarytmu liczby osób, które dożyły wieku t, od tego wieku In N(t) = In N, — At. Tabela 5.1. Przewidywana śmiertelność osób urodzonych w 1997 r.

0

100000

100000

55

82377

92878

5

98741

98932

60

75045

89755

10

98624

98835

65

65373

85099

15

98492

98755

70

53498

77808

20

98056

98597

75

40045

66611

25

97391

98435

80

26082

50579

30

96621

98235

85

13558

31092

35

95601

97948

90

5243

13665

40

94012

97432

95

1295

3522

45

91498

96542

100

168

403

50

87731

95078

5.3. Rozkład wykładniczy

Wykres 5.14, na którym oś rzędnych przedstawiona jest w skali logarytmicznej, prezentuje relację, jaka występuje w danych. Wynika z niego absolutnie wyraźnie, że do ludzkiego życia nie stosuje się prawo wykładniczego zaniku. Przez bardzo długi okres czasu — do wieku około pięćdziesięciu lat — zależność wydaje się stała, tak jakby współczynnik A był równy zeru. Zmiany pojawiają się dopiero po tym wieku i są bardzo gwałtowne, zanik jest bez wątpienia silniejszy niż liniowy. 100 000

+

©

o

©

©

0

o

0.0

©

o

©

9

o

o

10000 |

e

1000 | 100

« mężczyźni o kobiety

,

|-

10 r l

0

l

_L

10

20

l

l

l

l

l

l

l

30

40

50

60

70

80

90

100

wiek

Rys. 5.14. Wykres przeżywalności — liczba osób dożywających danego wieku

Czy moglibyśmy wymodelować takie zachowanie wykresu przeżywalności?

Przypomnijmy — rozkład wykładniczy uzyskaliśmy przy założeniu, że prawdopodobieństwo p sukcesu w pojedynczej próbie Bernoulliego przyjęliśmy jako proporcjonalne do czasu Az trwania tej próby 1 niezależne od numeru próby. Złagodzimy

teraz to ostatnie wymaganie i przyjmiemy, że prawdopodobieństwo p, w i-tej próbie wynosi

p; = A,AŁ,

antycypując, że wielkości A, ulegają zwiększeniu

(czas

życia skróceniu) w wyniku wyczerpywania się potencjału życiowego („zużywania się”) organizmu. Prawdopodobieństwo

tym razem przez

Q, braku sukcesu w n próbach zadane jest n

Q,=d-p)A-p)---A-p)=|[Q- 243). i=l

Naszym zadaniem jest znalezienie granicy tego wyrażenia, gdy liczba n prób dąży do nieskończoności, a jednocześnie przedział Aż do zera. Obliczmy w tym celu logarytm obu stron InQ,=

S7in(l — A,At) = — DU AAŁ i=l

i=l t

—

n—>oo,At>0

Usuwając logarytm

z J X(t)dt =—A(t) = InQ(t). 0

Q(t) = exp(-A(t))

233

234

5. Niektóre rozkłady

i przechodząc do dystrybuanty

FG) = 1 — exp(-A(1)), znajdujemy yP poszukiwaną, modelową funkcję rozkładu d

Jl) = q” © = At) exp(—A(1)), gdzie

d A(t)(6) ==—A(1). 40)

W szczególności, jeśli funkcja A(t) nie zależy od czasu, odzysku-

Wallodi Weibull, 1887-1979

jemy rozkład wykładniczy, natomiast dla zależności A(t)

x t*

otrzymujemy tzw. rozkład Weibulla (W. Weibull, A Statistical Distribution Function of Wide Applicability, Journal of Applied Mechanics, 1951). W następnym kroku powinniśmy poszukać ta-

kiej postaci funkcji A(t) (łub też A(t)), która w miarę wiernie odtwarzałaby dane. Uzyskany analityczny opis ucieszyłby, bez wątpienia, wszystkie firmy ubezpieczeniowe, które zajmują się wystawianiem polis na życie.

Rozkład Weibulla, definiowany dwuparametrycznym wyrażeniem

o dystrybuancie

goia0=$ (2) as(-(2)) FQ2) =l—=exp (- (>))

>

znajduje powszechne zastosowanie w szeroko pojętych zagadnieniach niezawodności. Szansa Q(x), że układ nie zawiedzie, mimo że wartość zmiennej losowej x opisującej pewną własność układu przekroczy wartość x, wynosi

Q(x) = 1— F(x) = exp (- (=) ) x

a

Obliczając podwójny logarytm In (— n(O(x))) =alnx

—alno,

widzimy, że na wykresie zależności In(— In(Q(x))) od Inx powinniśmy otrzymać linię prostą. Sposób ten można wykorzystać, jeśli dysponujemy sporą liczbą danych,

na tyle dużą, abyśmy mogli utworzyć ich histogram. Jeśli danych mamy mniej, możemy posłużyć się wykresem kwantyli. W tym celu wystarczy, że dopełniające

prawdopodobieństwo Q(x;) odpowiadające punktowi pomiarowemu x, zastąpimy przez 1 — i/(n + 1), a otrzymamy In (-1

(-

| )) n+1

=alnx,

—alno,

5.3. Rozkład wykładniczy

235

a tym samym zestaw par punktów (In(— In(1 —1/(n+1))), In x;) powinien układać

się wzdłuż linii prostej. Wykres 5.15 to właśnie wykres kwantyli dla trzydziestu próbek krzemowych

jako

funkcja

tów

(dane

logarytmu

naprężenia

x,

megapaskalach),

(w

przy

którym

nastę-

puje pęknięcie próbki. Widzimy, że układ punktów dość dobrze podąża wzdłuż odręcznie naniesionej linii prostej, być może z wyjątkiem pierwszych paru punkza:

S.

F.

Duffy

i E.

H.

Weibull

Baker,

Estimation,

Parameter

http: //www.crtechnologies.com/EngDiv/mechanics/ weibull/ theory /theory.html).

Możemy nawet z wykresu oszacować wartości nieznanych parametrów a oraz o.

logarytm naprężenia [MPa]

Rys. 5.15. Wykres kwantyli rozkładu Weibulla dla próbek krzemowych poddanych naprę-

żeniom

|

TI

5.3.4. Szeregi promieniotwórcze Rozważmy równoległe rozgałęzienie w szeregu promieniotwórczym: AI

— J >

A2

+, Ak

—

Ji, >

Ja, Jk

w którym jądro J może się rozpaść, z intensywnością A,;, na jedno z jąder J;. Musimy określić dla takiej sytuacji prawdopodobieństwo sukcesu w pojedynczej próbie schematu Bernoulliego. Ponieważ dla każdego jądra J mamy k + 1 możliwości: może się ono rozpaść na jedno z jąder J,, ale także może pozostać w stanie początkowym, więc naturalnym schematem probabilistycznym będzie rozkład wielomianowy (5.27) określony

236

5. Niektóre rozkłady

przez układ parametrów pg, py, P2,..., py takich, że ,

SLEJ

gdzie

Pi

=

hi

t

I=|1,2,...,k,

a parametr po opisuje prawdopodobieństwo braku rozpadu jądra J w pojedynczym, ele-

mentarnym akcie obserwacji. Z, własności (5.28) rozkładu wielomianowego (jego rozkłady brzegowe określone są rozkładem wielomianowym ze zmniejszoną liczbą zmiennych losowych) wiemy, że prawdopodobieństwo braku rozpadu opisane jest rozkładem dwumianowym z parametrem

k £ P=l-),p=1l--) i=1

k

=

k

£

l

mA,

gdzie

i=l

A= i

=]

Aj.

Wcześniejsze wyniki niniejszego rozdziału natychmiast prowadzą nas do wniosku, że

prawdopodobieństwo braku rozpadu w przedziale czasu [0; £] dane jest wyrażeniem

Q() = exp(—At). Oznacza to, że jeśli za No przyjmiemy liczbę jąder typu J w chwili t = 0, to po czasie

t zostanie ich

N(t) = Noexp(—At). Te, które się rozpadły, a liczba ich wynosi No — Noexp(—At)

= No (1 — exp(—At)),

przeobrażą się w jądra J; z prawdopodobieństwami danymi przez stosunki Pi

Aj

k

A;

——

A

k

2,Pi

Dh:

i=l

i=l

intensywności przejść do danego kanału i całkowitej intensywności, co daje liczby N,

jąder J;

A;

N, (1) = No (l — exp(—A1)). Zauważmy, że liczby N, jąder spełniają następujące równania różniczkowe:

dN;

gp = MN.

dła

i=12....,k,

|

gdzie

N() = No— 2 - NiC).

Należy zwrócić uwagę na jedną zasadzkę, jaka czyha na każdego, kto pierwszy raz spotyka się z tego typu problemem. Otóż w pierwszym odruchu chciałoby się powiedzieć, że prawdopodobieństwo przejścia J — J; określone jest przez intensywność A; I — exp(—A;t).

5.3. Rozkład wykładniczy

237

Gdyby to była prawda, to w żaden sposób nie moglibyśmy odtworzyć liczby jąder J,

które zniknęły, z liczb jąder J;: k

k

i=l

i=l

> Nil) =No)

(l — exp(-A,t)) £ No (1 — exp(—Ar)).

Oznaczałoby to ponadto, że jądro atomowe ma wiele czasów życia i czas ten zależy od

tego, do jakiego kanału się ono rozpadnie. Nie jest to prawda. Czas życia T = A""! jądra atomowego lub cząstki elementarnej możemy wyznaczyć z danych odnoszących się do

dowolnego, wybranego kanału rozpadu i nie potrzebujemy do tego znajomości stosunku rozgałęzień bądź intensywności A,. Wielkość ta będzie decydowała jedynie o tym, jaki ułamek wszystkich rozpadów trafi do naszej analizy. Można, dokonując pewnej personifikacji, powiedzieć, że jądro atomowe najpierw w ogóle decyduje się na rozpad, co mu

zabiera typowo czas T, a dopiero potem, w ostatniej chwili, podejmuje decyzję o tym, na co ma się rozpaść, przy czym każdą z ewentualności waży prawdopodobieństwem

A,/A. Wracając do przykładu z przejeżdżającymi samochodami z początku niniejszego rozdziału, sytuacja wygląda tak, że najpierw rejestrujemy fakt przejazdu koło nas samochodu, a dopiero później klasyfikujemy go jako osobowy, autobus, bądź karawan

pogrzebowy.

——

Przykład 5.3.8 Rozkład dróg oddziaływania Analogiczne rozważania odnoszą się do zjawiska rozproszenia cząstki podróżującej przez ośrodek. Tutaj, zamiast czasu życia Tr, mamy drogę swobodną A

A=—, on

zadaną przez całkowity przekrój czynny o na jakiekolwiek oddziaływanie w ośrodku o liczbie n centrów rozpraszających na jednostkę objętości. W wyniku rozpraszania cząstki ubywają z wiązki i po przebyciu drogi x pozostaje ich typowo

NG) = Noexp(->),

natomiast liczba cząstek rozpraszających się na i-ty sposób określona jest przez x

Ni(a) = No (l- exp(->)).

gdzie o, to cząstkowy przekrój czynny na reakcję przejścia do i-tego kanału.

.

Rozważmy

szeregowy

P

łańcuch

.

>

promieniotwórczy:

M

A2

J;,— Jj——+

T)

Ak—1

::: —

Jk — Ję+1, gdzie ostatni element szeregu jest stabilny. Przyjmijmy, że dysponujemy pojedynczym jądrem izotopu J;. Czas t oczekiwania na rozpad tego jądra dany jest

rozkładem

fl) =€(;A,) =he"".

238

5. Niektóre rozkłady

Czas t oczekiwania na rozpad jądra J» jest sumą czasów: t, oczekiwania na rozpad jądra

J, i czasu tę oczekiwania na rozpad izotopu J>, przy czym ten ostatni czas liczymy od

momentu rozpadu jądra J;. Dlatego rozkład f,(t) dany jest splotem t

t

Pl) = J filt — JE; hy) dt = Mn J e ul-ę-ef dt = 0

0

Aha

(e

A— ha

—e").

Analogiczną sumą trzech czasów ty, tą i tz zadany jest czas t oczekiwania na rozpad jądra Ją, dlatego rozkład fz(t) tego czasu znajdujemy także ze splotu funkcji wykładniczej z funkcją f(t): £

BG)

a

dała a

(1 (m

e

p,

36

__

e

At

(

—

)

boy

——|—ÓóÓó.(ę

„2%

(

Ast

-

_

©

At

,

)

W sytuacji, w której wszystkie stałe rozpadu są identyczne, z rozkładów tych powinniśmy

otrzymać stosowne rozkłady Erlanga, co istotnie występuje. Podobnym rekurencyjnym związkiem określony jest rozkład f;,,(t) czasu t oczekiwania na rozpad jądra J; 1: ft

t

fa) = J FMJEG —F; ka) dY = kge" J fiGe*" dr. 0

0

Rozkład f(t) czasu oczekiwania na rozpad dowolnego z jąder J, dany jest sumą rozkładów dla wszystkich rozpadów: k

IOEDZEIO i=l

i rozkład ten unormowany jest do liczby k niestabilnych izotopów w szeregu:

| rod=k 0

gdyż jedno jądro izotopu J; prowadzi do obserwacji k rozpadów.

Zajmiemy się teraz aktywnościami poszczególnych izotopów w próbce. Aktywnością

nazywamy aktualną szybkość, z jaką dokonuje się rozpad; opisuje ona liczbę aktów rozpadu jąder wybranego izotopu w jednostce czasu. Liczbę An;(t) rozpadów izotopu J; w przedziale czasu Aż otrzymujemy, mnożąc prawdopodobieństwo /f;(ż)A£ rozpadu

jądra tego izotopu przez liczbę No wszystkich jąder w próbce: An; (t) = Nof; G)AŁ, co wyznacza aktywność A; (£)

A,() = dn, Ę — Nofi(t).

- 5.3. Rozkład wykładniczy

239

Z aktywności możemy uzyskać liczby N;(t) jąder każdego z izotopów w próbce w chwili

t. Zacznijmy od izotopu J;, którego może tylko ubywać z próbki, jako że jest on pierwszy w szeregu. Obserwowana liczba A;(ż)A£ jego rozpadów w czasie Aż powoduje zmianę —AN|(t) liczby jego jąder w próbce, skąd t

|

d

= -A;()=-Mfit)

gw

N(t)=N—-

*%

|

M

dt — Noe *",

AO

0

gdzie na równanie różniczkowe nałożyliśmy warunek początkowy N/;(t — 0) =M. Dla izotopu Ją pełna zmiana ANo(t) liczby jąder składa się z dwóch elementów: w czasie Aż zmniejsza się ich liczba o Aa(ż)At jąder z powodu rozpadu i przybywa ich

liczba A;(ż)At z rozpadów jąder macierzystych: ANa(t) = A;(1)AŁ — Az(t)At

d

©

q 20)

= A,(t) — Ao(t) = Nof)

— Nofalt).

Scałkujemy to równanie z oczywistym warunkiem początkowym N>(t = 0) =0: |

£

N,(t) = No

£

J f() dt — J f(t) dr

|

0

0 t

=

No

r

t

|

(t')

dt

— A» J

0

e łał

Ja

0

(t')e

dt” |

dt

0

Zmienimy kołejność całkowania w całce podwójnej: t

je 0

t'

t

t

| | ear] ||0 moOear|ar=|0 roo" |

ar

t

t

= J fi'yes" (e! — ea") gr” 1

Uś

2

H

0 t

l

,

t

l

dt + — J N(G)dr J file" =-—0* Aa | A 0

1 podstawimy N,(t) = Ny

J ft)dr

+e 77 J f(t)e>? dr — | ft) dr

0

0 t

=

Ne *7

Ja 0

0

(t)e*? dr'.

0

240

5. Niektóre rozkłady

Ponieważ jednocześnie zachodzi

Nofi(t) = Nohue *" = AN, (1),

więc

t

N,(t)

=

A1e77

J

dt.

0

Obowiązują także związki: At)

N,(t e"

= NM)

= AN (1),

A>(t) = Nofa(t) = None ** J ft)e* dt = XąNa(t), 0 dlatego równanie rządzące zachowaniem się liczby jąder izotopu Ją ma postać d q, 020)

= ArNy(t) —

2 N(t).

Analogiczne równania otrzymujemy i dla liczb N;(t) jąder następnych, niestabilnych izotopów: d d

iH1(6) =A,N;(t) — Ara Nię1(t),

: i=1,2,...,k—1.

Równanie to będzie słuszne także i dla ostatniego, stabilnego izotopu, jeśli tylko przyj-

miemy, że jego czas życia jest nieskończony, a tym samym intensywność A;,,, dla niego

jest równa zeru. Sposób, w jaki rozwiązaliśmy problem liczby jąder izotopu Ją, podpowiada nam, że ogólne rozwiązanie ma rekurencyjną postać: t

Ni+1(£)

= Aje *+"

J

N;(t e"

dt,

Il=l,2,..

„k — l,

0

z tym, że

Nel) =

ł

J NC) dr,

0 co wynika bezpośrednio z równania określającego liczbę jąder tego izotopu lub podstawienia A,,j =O. Podamy teraz jawne

postaci

wzorów

na liczby jąder dla najprostszego

A —% B —> C, w którym izotop C jest stabilny: N4(t) = Nyexp(—Aą4t),

Ns(t) = NO NCQ)

= Na

A AĄ

(

—

—— AB (exp(—Agt) — exp(-Aat)), 1 —

—A4t at)

EE A

_ exp( —Apt) z

— aż A

4B

—A_t m).

szeregu

5.3. Rozkład wykładniczy

241

1 odpowiadające im rozkłady dla poszczególnych izotopów:

Ja(t) = Aa exp(-Aat), A AA B

fB(t) = ———

AA — AB

(exp(—Agt) — exp(—Aat)).

Rozważymy teraz otrzymane wyniki w przypadku dwóch skrajnych relacji między stałymi rozpadu. Pierwsza to ta, gdy Aą K Ap, czyli gdy czas życia jądra A jest znacznie dłuższy od czasu życia jądra B. Liczba jąder B po czasie £ to R or AA AĄ Ng(t) = No —— exp(—A4t) = —NA4(t) AB

lub inaczej

AB

Np(t)Ag = Ny(t)AĄ.

Widzimy, że obfitość Npg(t) jąder B jest proporcjonalna do liczby jąder A. O szeregu,

który zachowuje się w ten sposób, mówimy, że znajduje się w równowadze promienio-

twórczej, zwanej też wiekową. Sytuacja taka powstaje np. w przypadku rozpadu uranu o czasie życia 1, 4: 10'” lat, którego jednym z produktów rozpadu jest rad o czasie życia

5.107 lat. Z warunku równowagi wiekowej wynika, że w 1 gramie uranu znajduje się 3,4.1077 gramów radu, co tłumaczy, dlaczego małżeństwo Maria i Piotr Curie musiało

I

—

©

a

*

szybkość rozpadu

przerobić dobre parę ton rudy uranowej, aby wydobyć z niej jeden gram radu.

0,01

0,001

| czas £

Rys. 5.16. Ilustracja równowagi wiekowej — jądro macierzyste ma znacznie dłuższy czas życia niż jądro potomne

Ilustracja równowagi wiekowej przedstawiona jest na wykresie 5.16, gdzie przyjęto, że Aą = 0,05, natomiast Ag = 1 i wykreślone są Ścisłe postacie zależności aktywności

od czasu. I tak krzywa a przedstawia aktywność substancji A, krzywa b — samoistną aktywność substancji B, krzywa c to aktywność substancji B w próbce, natomiast krzywa

d to łączna aktywność próbki, czyli suma krzywych a oraz c. Widzimy, że dla cza-

242

5. Niektóre rozkłady

sów powyżej dwóch jednostek krzywe a oraz c, a tym samym 1d, stają się do siebie

równoległe. Rozważmy teraz przypadek, gdy A4 >> Ap, czyli gdy czas życia jądra A jest znacz-

nie krótszy od czasu życia jądra B. Oznacza to, że wyjściowy izotop A rozpada się znacznie szybciej niż powstały z niego produkt. Układ taki jest rządzony w przybliżeniu równaniem Ng(t) = N,exp(—ABt), przy czym

NA(t) = Noexp(-A4t) K Npg(t). Popatrzmy na rys 5.17, na którym przyjęto Aąq =

I, natomiast Ag

= 0,05 i gdzie

krzywa a to aktywność substancji A, która bardzo szybko zanika, krzywa b to samoistna

aktywność substancji B, krzywa c to aktywność substancji B w próbce, a krzywa d to pełna aktywność próbki, czyli suma krzywych a oraz c. Widzimy, że po paru jednostkach czasu życia krótkożyciowej substancji mamy praktycznie w próbce jedynie substancję B, która decyduje o aktywności próbki, tak jak dla krótkich czasów obserwacji aktywność

P>

szybkość rozpadu

próbki jest praktycznie określona przez aktywność substancji A.

0,01

0,001 czas £

Rys. 5.17. Ilustracja relacji obfitości jąder izotopów w przypadku, gdy jądro macierzyste ma znacznie

krótszy czas życia niż jądro potomne

Powyższe rozważania, mimo

problemami

że ilustrowane szeregami promieniotwórczymi, czyli

w pełni rozwiązanymi przez A. H. Becquerela, małżonków

Curie i im

współczesnych, wcale nie tracą na aktualności, jako że mają swoje istotne zastosowania

w rozpadach cząstek elementarnych i w wielu reakcjach jądrowych, w których powstają jądra wzbudzone, które następnie kaskadują do stanu podstawowego przez szereg stanów pośrednich. Wyniki zarysowane w tym rozdziałe stanowią częstokroć podstawowe, startowe wzory w dziedzinie spektroskopii jądrowej, przy analizie takich stanów wzbudzonych.

5.4. Rozkład Poissona

——

243

54. Rozkład Poissona

5.4.1. Wyprowadzenie Rozważmy proces probabilistyczny, polegający na pojawianiu się zdarzeń losowych, takich jak wjazd samochodu na rynek miejski lub rozpad wzbudzonego jądra, czyli podlegających rozkładowi wykładniczemu. Jak pokazaliśmy w podrozdziale 5.3.3, rozkład wykładniczy nie ma pamięci, więc po każdym sygnale historia powtarza się od nowa,

dokładnie tak, jakbyśmy zaczynali oczekiwanie na pierwsze zdarzenie, czyli pierwszy

sygnał. Niech £ będzie zadanym, całkowitym czasem obserwacji, w którym może się pojawić k(t) =0, 1,2,... sygnałów. Jakie jest prawdopodobieństwo każdej z tych moż-

liwości? Wprowadźmy oznaczenie: Ty = ty; + b + '*: + tę dla wielkości określającej moment przybycia k-tego sygnału. Zdarzenie k(t) = k wystąpi wtedy i tylko wtedy, gdy T4 < t oraz jednocześnie [,,;, > t, a więc jest określone przez prawdopodobieństwo P(T < t; [hs; > t). Aby to prawdopodobieństwo znaleźć, musimy określić łączną funkcję gęstości prawdopodobieństwa obu zmiennych losowych [4 oraz [;,,. Z przykładu 5.3.6 wiemy, że zmienna losowa T, opisana jest rozkładem Erlanga (5.42) Gx(T%;

,

A)

=

(AT)! tk DIŚ

—AT

Wiemy również, że [,,, = Ty + ty,,. Łatwo możemy wypisać łączną funkcję gęstości dla zmiennych T, oraz ty+;, jako że zmienne te są niezależne. Jest ona iloczynem funkcji

€4(T4; A) oraz rozkładu wykładniczego:

AT)"

—AL exp( —AT)A k)A exP(ZAK1)

k-D!

AT)"

=4A

(k- DI

exp(—AT;1).

Ponieważ jakobian przejścia od zmiennych (T;, t4+1) do zmiennych (T4, 14,4) jest jednostkowy, więc ostateczna postać poszukiwanego rozkładu to (AT,)*"!

fG, Tra; X) = RI

exp(-AT)

dla

0 £):

t

P(k

= k;

At)

=

P(T;

t) =

J

|

ra.

Tę;

A) dThi

d7;

0 ,

=)

(AT,

ye"!

(k z DI d7; 0

00

|DZACA

_

t

Otrzymaliśmy w ten sposób (przy oznaczeniu

COW k!

|

i. = At) rozkład Poissona k

P,(1) = qi” a w podrozdziale 5.2.3 pokazaliśmy, że jest on poprawnie unormowany.

(5.44)

244

5. Niektóre rozkłady

0,35 r 0,30 0,25 | ż 2 N

0,20 |0,15 0,10

0,05 GW

0,00

0.1

2

3

4

5

EN

6

liczba k samochodów

7

8

9 00

Rys. 5.18. Rozkład Poissona (punkty) i częstość występowania liczby k samochodów w dziesięciosekun-

dowych przedziałach czasu

Ilustracji powyższych rozważań dostarczają dane, które posłużyły do wykreślenia rozkładu 5.10 czasów oczekiwania na samochody w podrozdziale 5.3. Jeśli policzymy liczbę mijających nas samochodów w np. dziesięciosekundowych przedziałach czasu 1 wykreślimy krotności zaobserwowania zerowej liczby samochodów, jednego, dwóch itd. w takim obszarze czasowym, to uzyskamy wynik przedstawiony na histogramie 5.18. Punkty na wykresie odpowiadają rozkładowi Poissona z parametrem A = £ ' = 0,193 s”! dla £ = 10 s. Widzimy, że zgodność danych z modelem jest bardzo dobra. ——

Przykład 5.4.1 Liczba par jonów w detektorze gazowym Detekcja cząstki naładowanej w liczniku gazowym odbywa się na zasadzie rejestracji sygnału spowodowanego spływającymi do elektrody elektronami powstałymi

w wyniku jonizacji cząsteczek mieszanki gazowej. Proces tej jonizacji ma charakter statystyczny w tym sensie, że liczba par elektron-jon, wytworzonych przez pierwotną cząstkę, podlega rozkładowi Poissona z pewnym nieznanym parametrem ji, którego wartość, jak to wynika z formy tego rozkładu, określa w przybliżeniu modę tego rozkładu. Oznacza to, że im większa jest jego wartość, tym, typowo,

powstanie więcej par elektron-jon, licznik będzie miał większą wydajność, a my

wydamy mniej pieniędzy na wzmocnienie sygnału. Dlatego też przy jego konstrukcji ważna jest znajomość tego parametru. Przypuśćmy, że dysponujemy układem

doświadczalnym, w którym potrafimy określić liczbę n cząstek przechodzących przez licznik. Liczba k cząstek zarejestrowanych nie musi być jednak równa tej liczbie, gdyż z powodu fluktuacji statystycznej niektóre z cząstek mogą przejść przez licznik bez wytworzenia pary elektron-jon. Przypuśćmy także, że elektro-

nika, którą dysponujemy, jest w stanie dostarczyć nam jedynie informacji o samym fakcie przejścia cząstki przez licznik, bez żadnych bliższych danych, np. o całkowitym zdeponowanym ładunku, który byłby miarą liczby k owych par.

5,4. Rozkład Poissona

Przy zadanej liczbie n wszystkich cząstek przechodzących przez licznik, liczba k zarejestrowanych cząstek określona jest rozkładem dwumianowym (5.10), któ-

rego parametr p podaje nam szansę zarejestrowania cząstki w pojedynczej próbie Bernoulliego. Z drugiej strony, szansa, że cząstka nie zostanie w takiej próbie zarejestrowana przez licznik, określona jest przez pierwszy wyraz rozkładu Poissona: l-p=e". Pozwala to nam określić estymatę parametru u przez estymatę parametru p roz-

kładu dwumianowego: l-p=e*

=>

r

KL=—ln(l — p), A

gdzie

A

p=—.

.

a

k

ńn

Przybliżoną niepewność tak zadanej estymaty znajdujemy ze wzorów (3.19) oraz

(5.20):

>

a

$$

d nA — 5) |

(ab

Si

—

—

= |

>

s?

e

Błąd względny tej estymaty to:

=

l

I. 1-5)

a-pbin-1

m_A]A. Bo i Aafn-10-5

,

—

————---—

7

—

l

p

n=10-5)

—___—_

,

|explij-1_ |Aen-1l) Jn-l

6 5

=R 41

—

31

2

+

!

-

o

0

l

0,0

0,5

l

i

l

1,0

1,5

2,0

L

2,5

|

3,0

l

3,5

I

4,0

x

Rys. 5.19. Zależność niepewności względnej estymaty parametru m rozkładu Poissona od wartości tego parametru

Wykres

funkcji

f(x)

podany jest na rys. 5.19. Jej przybliżoną,

minimalną

A

L

[12

wartość 1,24 znajdujemy dla argumentu ji = 1,6, a stąd minimalna niepewność względna A 1,24 n-l

Oczywiście wielkości parametru u jesteśmy w stanie kontrolować tylko w pewnych granicach. Wynik powyższy oznacza, że jeśli zbudujemy detektor, w którym

parametr ten wynosi około 1,6, to nasza metoda pomiaru znajdzie go z najmniej-

szym błędem. Taka specjałna wartość parametru u nie musi być jednak korzystna z punktu widzenia zastosowań detektora. r

245

246

5. Niektóre rozkłady

W podrozdziale 5.3 otrzymaliśmy rozkład wykładniczy z rozkładu dwumianowego, rozważając prawdopodobieństwo braku zdarzenia. Zapytajmy się teraz o prawdopodobieństwo wystąpienia dokładnie k zdarzeń w przedziale czasu [0; t]. Prawdopodobieństwo to zadane jest rozkładem dwumianowym (5.10): 1 BG. P) = grypy U - PT" = gra

Dln 2)--0-k+p'd- py".

!!

Tak jak i przy wyprowadzeniu rozkładu wykładniczego w podrozdziale 5.3, podzielimy

cały przedział czasowy t na bardzo dużą liczbę n bardzo małych odcinków czasu Ać i wybierzemy prawdopodobieństwo sukcesu w pojedynczej próbie w formie (5.35):

At n

p=—,

a uzyskamy

1

B,m, p) =—nln k!

—1):::(n-k+1)|

ArY*

— n

AŁYT*

1-—

n

-r0()(E7)er(-2)(-2)

Dokonując przejścia granicznego z liczbą n prób do nieskończoności, zachowując jed-

nocześnie stałą wartość k, otrzymamy B,(n, p)

2

P,(At) =

Porównanie obu rozkładów prezentuje wykres 5.9.

COREY k!

|

(5.45)

Wyprowadzenie to przedstawił po raz pierwszy francuski naukowiec Simeon De-

nis Poisson w 1837 roku w swym dziele Recherches sur la Probabilitć des Jugements en Matićre Criminelle et en Matiere Civile, Próćcćdóes des Regeles Gćnerales du Calcul des Probabilitćs. Rezultat ten został jednak zapomniany i dopiero w 1898 roku przypomniany pracą Das Gesetz der kleinen Zahlen L. Bortkiewicza, który wykorzystał go do analizy liczby śmiertelnych przypadków spowodo-

wanych kopnięciem przez konie, jakie pojawiły się w ciągu dwudziestu lat w czternastu korpusach kawalerii armii pruskiej.

Jak widzimy, rozkład Poissona jest Ściśle związany z rozkładem wykładniczym — oba powstają z tych samych założeń.

W szczególności, dla specjalnej wartości k = O zmiennej loso-

wej z rozkładu dwumianowego otrzymujemy wyrażenie, z którego wywiedliśmy rozkład wykładniczy.

Obliczenia prowadzące do (5.44) i wyprowadzenie (5.45)

Simeon Denis Poisson,

1781-1840

podpowiadają nam zastosowania uzyskanego rozkładu: wszędzie tam, gdzie zjawiska pojawiają się losowo w czasie, a czas oczekiwania na nie określony jest rozkładem wykładniczym, liczba tych zjawisk w zadanym przedziale czasowym podleA . o. , o gać będzie rozkładowi Poissona. Dodatkowo, ponieważ rozkład Poissona jest rozkładem granicznym dla rozkładu dwumiano-

5,4. Rozkład Poissona

wego, gdy prawdopodobieństwo

247

sukcesu w pojedynczej próbie jest znikome, oczeku-

jemy, że rozkład Poissona znajdzie również zastosowanie do opisu rzadkich zdarzeń. Istotnie, rozkład ten wydaje się dobrze opisywać takie zjawiska, jak liczbę samobójstw, katastrof i burz w ciągu roku,

a także liczbę błędów

drukarskich

na stronie, liczbę

sprzedanych sztuk danego towaru w sklepie w tygodniu (z dokładnością do sezonowych wyprzedaży i okresów Świątecznej gorączki) i liczbę rozpadów jądrowych obserwowanych przez Rutherforda i Geigera w ich doświadczeniu.

Jako ciekawostkę wyprowadzimy rozkład Poissona z rozkładu ujemnego dwumianowego (5.14). W tym celu zapiszemy rozkład ten w postaci n--m—l

U„(n, p) = ( =

n-l

|

0 +1)

(n+m—

1)!

pra — p)" = mazpr? +2):

,

477

—1+ m)p'(l— p)”,

a następnie wprowadzimy parametr j« zdefiniowany wartością oczekiwaną (5.22): A=R

l-p po”

Ze związku tego obliczymy wielkość p i podstawimy ją do rozkładu, a wtedy u" U„(n,

p)

=

n

n+ln+2

min+un+un+

m (1

u

n+pu

LL

)

n+uj)

Jeśli wykonamy przejście graniczne z liczbą n prób do nieskończoności i jednocześnie z parametrem p prawdopodobieństwa sukcesu w pojedynczej próbie do jedności, ale w taki sposób, by wartość parametru w była ustalona, to przy ustalonej wartości zmiennej m znajdziemy

m

U„(n, p)

— n>00

P,(L)

=

Heh, m!

Wyprowadzenie to jest o tyle interesujące, że jest ono komplementarne do przejścia granicznego (5.45) — gdy „zalewają” nas sukcesy, wtedy porażki zaczynają być zdarzeniami

godnymi odnotowania. Relację między rozkładem Poissona a ujemnym dwumianowym przedstawia wykres 5.20, na którym dobrze widać dyskutowaną zbieżność. Pouczające jest wyprowadzenie rozkładu Poissona jeszcze inną techniką. Niech P;(t) oznacza prawdopodobieństwo zarejestrowania k zdarzeń w przedziałe czasu [0; £]. Wydłużmy ten przedział o krótki odstęp czasowy Az i zapytajmy o prawdopodobieństwo P,(t + At). Aby w tym przedziale czasu wystąpiło k zdarzeń, warunkiem koniecznym i dostatecznym jest, aby został spełniony jeden z następujących warunków: w przedziale

[0,żt]

nastąpiło

w przedziale

[0,4]

nastąpiło

w przedziale

[0,£]

w przedziale

[0,t]

k

zdarzeń,

w przedziale Aż

żadne,

k—1 _

zdarzeń,

w przedziale Aż

jedno,

nastąpiło

k—2

zdarzeń,

w przedziale Aż

dwa,

nastąpiło

0

zdarzeń,

w przedziale At

k zdarzeń.

248

5. Niektóre rozkłady

0,14 p 0,12 0,10 0,08 0,06 0,04 0,02 0,00 liczba m porażek Rys. 5.20. Porównanie rozkładu Poissona (słupki) i ujemnego dwumianowego (punkty)

Ponieważ powyższe wydarzenia wykluczają się i są niezależne, poszukiwane prawdopodobieństwo możemy przedstawić jako sumę

F.(t+At) = P,(t) Po(At)+ Pi_; (1) P,(At)+ Pi-2(t) P>(At)+: - + Po(t) P.(At). (5.46) Wzorem naszego pierwotnego rozumowania (5.35) przyjmiemy, że P, (At) =AAt, gdzie A jest pewnym współczynnikiem proporcjonalności, co daje

dla

P,(At) = a, AAt)'

i=2,3,4,...,

(5.47)

gdzie a, to pewne nieznane, czysto liczbowe współczynniki proporcjonalności, nieza-

leżne od przedziału czasu i od intensywności A.

Rozważmy przypadek k = 0. Prawdopodobieństwo

nienie jedności:

Po(At) uzyskamy jako dopeł-

Po(A1) =1-AAt-aQAL) — az(AAt) — :--.

Równość ta wyznacza jednocześnie warunek początkowy Py(0) = 1. Niezależne rozumowanie przekonuje nas, że abyśmy nie mieli zdarzeń w przedziale od zera do t + At,

nie może nastąpić żadne zdarzenie od chwili zero do chwili £, jak i od chwili £ do chwili £t + At:

Py(t + At) = Py(t) Po(At) = Po(t) (1 — AAt — a, AAL)” — ---) lub

Po(t + At) — Py(t) = — Pot) (AAt + (AA) + ---),

a po podzieleniu obu stron równania przez At i przejściu do zera z tą wielkością do-

chodzimy do równania

dPo(t) dt

=

—AFo(t),

5,4. Rozkład Poissona

249

którego rozwiązanie, spełniające zadany warunek początkowy Py(0) = 1, ma postać

Plt)=e"*. Wróćmy teraz do wyższych wartości zmiennej losowej k. Dla wartości początkowej prawdopodobieństw P,(0) dla k > I otrzymujemy P,(0) =0. Jak dla przypadku k =0, odejmiemy od obu stron równania (5.46) prawdopodobieństwo P;(ż):

P,(t + At) — P(t) = Pilne"! + P_4(MAAŁ + :-- + Poltjaz(AAL)* — P;(t)

= -P(t) (1 —e74') + P_(COAAŁ +:*: + PoltrazAAL)*, a następnie podzielimy obie strony równości przez Aż i przejdziemy do granicy, w wyniku czego otrzymamy układ równań różniczkowych, zwanych równaniami kinetycznymi:

dP;(t)

= —AP(t) + AP;

dt

(1).

(5.48)

Jeśli do równania tego podstawimy

P,(©) = fe(tje"*, to otrzymamy

gdzie

i = Afki(0), pO=L

a ponadto wiemy,

f(0=0

(5.49)

da

k=1,2,3,...,

że

fltj=l. Przedstawimy teraz pewną technikę rozwiązywania równania różniczkowo-różnico-

wego (5.49). Technika ta, zwana metodą funkcji tworzącej, polega na pomnożeniu tego

równania obustronnie przez wielkość z*: zł df(t)

= Aż fe—1(1) = Azz*"' fe_1(1)

dź

i zsumowaniu wszystkich tych równań względem indeksu k: 00

d

3 z” ae k=l

0

= Aż 3 zł fk-1(0).

(5.50)

k=l

Wprowadzimy teraz funkcję tworzącą

UDEDZEGSOEDZEŁIO! k=l

k=0

(5.51)

250

5, Niektóre rozkłady

Funkcja ta spełnia warunek początkowy H (z, t =0) =1 i pozwala zapisać lewą stronę równania (5.50) w postaci e

a

Ź

=): a

RE

DYR

k=l

Jx()

k=0

=

25

(z TO)

k=0

Joz FG) = He 1), 0 *

gdyż funkcja fo jest stała, co ostatecznie daje nam nową postać równania (5.50)

|

d —H j (2,Hz: t) 1) ==AzH(Z, AZH

Rozwiązanie tego równania,

jest przez

(2,1) t).

spełniające warunek początkowy

H(z,t

= 0) =

I, dane

H (z, t) = explazt).

Z definicji (5.51) funkcji tworzącej otrzymujemy, że l dź

10 = g zz EEO| =p

(At)*

Składając wszystkie wyniki razem, otrzymujemy ponownie rozkład Poissona. -——

Przykład 5.4.2 Zagadnienie Erlanga Aby przekonać Czytelnika, że równania kinetyczne nie służą wyłącznie kolejnemu wyprowadzeniu rozkładu Poissona, zastosujemy je do praktycznego zagadnienia

równoległego przetwarzania danych w czasie rzeczywistym. W przykładzie 5.3.6 wskazaliśmy, że jeśli czas analizy pojedynczego przypadku stanowi istotny ułamek odstępu czasowego

między

momentami

nadchodzenia tych przypadków, to

nieuchronnie czekają nas duże straty. Wyjściem jest wtedy buforowanie nadcho-

dzących danych, a w skrajnym przypadku równoległe przetwarzanie. Rozważymy teraz szczegółowo tę drugą możliwość. Przyjmiemy następujący model zagadnienia. Sygnały nadchodzą w czasie z rozkładem wykładniczym charakteryzowanym parametrem intensywności A.

Czas analizy każdego sygnału także podlega rozkładowi wykładniczemu z pa-

rametrem intensywności 7 i dysponujemy dwoma identycznymi urządzeniami do analizy sygnałów. Założenie o dwóch urządzeniach jest uproszczeniem, od którego

Czytelnik potrafi odstąpić, jeśli zrozumie detale mniej skomplikowanego układu. Symbolami po(t), p;(t), pa(t) oznaczymy prawdopodobieństwo, że w chwili £ żadne, jedno lub też oba urządzenia są zajęte obsługą sygnałów. Rozważymy moment czasu £ + Aż, przy czym przedział czasu At jest na tyle

krótki, że w jego trakcie może, co najwyżej, nastąpić zakończenie analizy sygnału

lub pojawić się nowy sygnał. W chwili £ + Aż żadne z urządzeń nie będzie zajęte,

jeśli nastąpi jedno z trzech możliwych zdarzeń:

5,4. Rozkład Poissona

Oba urządzenia w chwili ż były wolne i w przedziale czasu Aż nie nadszedł żaden sygnał; prawdopodobieństwo takiego zdarzenia wynosi

«

Poll) Po>o(At) = Po(t)Po(AAŁ) = po(t)e ** £ po(t)(1 — AA). Jedno z urządzeń w chwili t było zajęte, ale w przedziale czasu

e

At zakoń-

czyło pracę, a także nie pojawił się nowy sygnał; prawdopodobieństwo takiego zdarzenia wynosi

POP-o(At) = pit) (1-e”*) PAAŁ) E piKONAŁ(1 — AAL).

Oba urządzenia w chwili £ były zajęte, lecz w przedziale czasu At oba ukoń-

e

czyły pracę i nie pojawił się nowy sygnał; prawdopodobieństwo takiego zda-

rzenia wynosi

POPo(AD) = Pl) (I - 273) PAAN E PONAD — AA).

Prawdopodobieństwo, że w chwili £ + Aż żadne z urządzeń nie będzie zajęte, jest

sumą owych trzech prawdopodobieństw:

Polt + At) = po(t)Po>o(A£) + pi) Pi>o(At) + Pa(£) Pa_>o( At)

2 pO

— AMAN) + prMOMNAŁQ —AAK) + PONAŁA

— AAL).

Odejmując od obu stron równości prawdopodobieństwo py(t), dzieląc przez At i przechodząc z tą wielkością do zera, otrzymujemy równanie różniczkowe

d

ŁA

= —Apo(t) + np. (4).

Zwróćmy uwagę na brak składnika z prawdopodobieństwem p,(t) w otrzymanym równaniu różniczkowym. Szansa wystąpienia dwóch zdarzeń w przedziale czasu

At jest małą wyższego rzędu (tu zadaną kwadratem czasu At) 1 przy przejściu granicznym znika. Dlatego np. w pierwszym punkcie naszego wyliczenia nie mu-

sieliśmy się martwić o zdarzenie następującego typu: oba urządzenia w chwili t były wolne, a w przedziale czasu At pojawiły się dwa sygnały, których analiza została ukończona przed upływem tego czasu. Prawdopodobieństwo takiego

zdarzenia byłoby rzędu (A£)* i nie dostarczyłoby ono w granicy przyczynku do pochodnej prawdopodobieństwa py(t) (zachowanie to zaobserwowaliśmy już przy wyprowadzaniu

równania (5.48)). To tłumaczy nasze zastrzeżenie:

czas At jest

na tyle krótki, że w jego trakcie może, co najwyżej, nastąpić zakończenie analizy

sygnału lub pojawienie się nowego sygnału. Oznacza to także, że przy dalszych rozważaniach możemy liberalnie traktować zdarzenia wielokrotne — nawet jeśli je uwzględnimy, to nie będą one miały wpływu na ostateczny rezultat.

Dokonajmy identycznej analizy prawdopodobieństwa p,(t). W momencie £ +At jedno z urządzeń będzie analizowało sygnał, jeśli wystąpi jedna z następujących możliwości: e

Oba urządzenia w chwili £ były wolne i w przedziale czasu Aż nadszedł jeden

sygnał; prawdopodobieństwo takiego zdarzenia wynosi

Pot) Poi (At) = poltH)P,AAM) = poltjAAte"**" e

po(DAAŁ(1 — AAL).

Jedno z urządzeń w chwili £ było zajęte i w przedziale czasu Af nie zakończyło

swej pracy, a także nie pojawił się nowy sygnał; prawdopodobieństwo takiego

251

252

5. Niektóre rozkłady

zdarzenia wynosi

P+) p-1(AL) = piltje ""P,AAt)

e

p;(K)A — (9 + A)AL),

Oba urządzenia w chwili t były zajęte, lecz w przedziale czasu A jedno z nich

ukończyło pracę i nie pojawił się nowy zdarzenia wynosi

sygnał; prawdopodobieństwo takiego

P20_)P2>1(At) = p(t) (2(1—e7"*) PAN)

£ Zp(HNAŁ(I — AAJ),

a czynnik 2 pojawia się z uwagi na to, że mamy dwa urządzenia.

Prawdopodobieństwo, że w chwili ż + At jedno z urządzeń nie będzie zajęte, jest sumą owych trzech prawdopodobieństw: P:(t + At) = po(t) Po>(At) + piG) PCA) = Po(OAAŁ(1 — AA) + pCO

+ PG) P2_(At)

— (7 + A)JAL) + Zpr(K)NAŁ( — AAt).

Tak jak poprzednio, otrzymujemy równanie różniczkowe dla prawdopodobieństwa P1(t):

d PO

= APo(t) — (n + A) p;(t) + 2np(t).

W końcu przeprowadźmy analizę prawdopodobieństwa p>(t). W momencie t-+ Ar oba urządzenia będą analizowały sygnały, jeśli wystąpi jedna z następujących

możliwości: e Oba urządzenia w chwili t były wolne i w przedziale czasu A: nadeszły dwa sygnały; prawdopodobieństwo takiego zdarzenia wynosi e

e

Po(t) Po-2(At) = po(t)P,AAŁ) =; pot) AAL)?e** 2; py(YAAD?A — AMG).

Jedno z urządzeń w chwili £ było zajęte i było zajęte przez cały przedział czasu At, kiedy to pojawił się nowy sygnał; prawdopodobieństwo takiego zdarzenia wynosi

P()P2(Al) = pilDe"*"P,AAL) £ p, OAAŁ(A — AAND( — nat).

Oba urządzenia były zajęte przez cały przedział czasu At i pojawiła się dowolna

liczba (w tym zero) nowych sygnałów; prawdopodobieństwo takiego zdarzenia wynosi

P(OP>-z(AT) = py(t) (ET) £ p(D)( — ZNAŁ).

Dla prawdopodobieństwa p,(t) w chwili t + At otrzymujemy wyrażenie Pz(t + At) = po(t) Po>a(At) + pr) Pr>2(At) + Pa(t) P>_>(At) 1

= z PoOJAATYI — AAt) + PQAAŁQ

— AAL)(I — NAt) + pa(t)(1 — ZNAŁ)

i równanie różniczkowe d g;P2 (t) =Ap;(t) — Żnpa(t).

5,4. Rozkład Poissona

Doskonałej kontroli naszego rozumowania dostarczają następujące równości:

Po>o(At) + Po>1(At) + Po2(A1) =1+0 ((Ań)”), Pi>o(At) + pi>i(AD) + pr2(At) 1+0

((An)”),

P>o(At) + P>i(At) + Po(At) =1+0((An)7), które zapewniają nas, że bez względu na to, w jakim stanie w danej chwili £ się

znajdujemy, w jakimś stanie w chwili £ + Aż będziemy się musieli znaleźć: szansa przejścia do jakiegokolwiek stanu jest gwarantowana. Jest to oczywisty warunek

normalizacyjny, jaki muszą spełniać prawdopodobieństwa przejścia p,.,;. Warunki

te gwarantują nam, że suma prawdopodobieństw po(t), p;(t) oraz p»(t) jest stała

w czasie, dzięki czemu możemy je unormować do jedności, czego potwierdzenie znajdujemy po dodaniu stronami wszystkich trzech równań różniczkowych: d

d

d

—q, Pol Po(t) ) ++ —j, 7:0) + —q, po(t Pl ) = —Apo(t) + np,(t) + Apo(t) — (7 + A)p1(t) + Znpa(t) + Ap; (t) — 2npa(t) =0O. Stoimy przed problemem rozwiązania układu trzech liniowych jednorodnych równań różniczkowych pierwszego rzędu. Jest to standardowe zadanie, omawiane

w każdym podręczniku analizy matematycznej, więc nie będziemy tutaj demonstrowali techniki postępowania. Zwrócimy jedynie uwagę Czytelnika na fakt, że warunek nietrywialnych rozwiązań tego układu prowadzi do wartości własnych macierzy układu równań, z których jedna jest równa zeru, a tym samym

każde

z prawdopodobieństw py(t), p,(t) oraz p(t), oprócz części zanikającej wykładniczo, będzie miało część niezależną od czasu. Oznacza to, że po początkowym uruchomieniu układu, którego dalsza ewolucja podyktowana jest zestawem warunków

początkowych, układ przejdzie w stan stacjonarny o rozwiązaniach niezależnych od owych warunków początkowych:

1,0 09 0,8 |

PX?

07 -| pó” 0,6 |

0,5 04 0,3 0,2

0,1

0,0

| | | -

2

pó”

PP

o

-

po

nA x=Afq

Rys. 5.21. Asymptotyczny kształt prawdopodobieństw p, (00) lub oba urządzenia będą zajęte, jako funkcja stosunku A/7

(k=0,1,2), że żadne, jedno

253

254

5. Niektóre rozkłady

A

1

(oo) __

nĄ

(00) __

qq

2

A?

n

(00) __

24?

2n2Ą n

2y

Przedstawione są one (krzywe pociągnięte grubszą linią) na wykresie jako funkcje stosunku x = A/n.

5.21

Ogólna postać prawdopodobieństwa asymptotycznego dla układu n urządzeń

równolegle analizujących nadchodzące sygnały zadana jest przez 1a (00)

*

_

k!

nk

k=0,1,2,...,n.

1a"

To iz=()

l.

n

Przetwarzanie równolegle może być kosztowne z uwagi na budowę dodat-

kowego urządzenia analizującego. Tańsza może się okazać metoda buforowania sygnałów, choć nie musi to być oczywiste — jeśli buforowanie będzie mało efektywne, wtedy wydłuży się czas trwania eksperymentu, a to pociągnie za sobą inne koszta. Rozważmy przypadek jednego procesora i jednego bufora, który przechowuje

sygnał do czasu zakończenia analizy poprzedniego, a gdy procesor jest wolny

w chwili nadejścia sygnału, bufor działa „,przezroczyście, przekazując mu ten sygnał niezwłocznie. Rozumowanie analogiczne do tego, jakie przeprowadziliśmy dla tandemu procesorów, prowadzi do następującego układu równań:

dP

4

= —AP

dP

gp = AP dP,

dr

A+ MPI +1,

= AP, — nP,

o asymptotycznych rozwiązaniach

A n

1 Py”

=

A A2 l+-+= nn

+ nP,,

Pi?

=

A A 2” l+—+= nn

A” n2 P2”

A> A 2” l+-+—= n 4

gdzie P/* opisuje prawdopodobieństwo, że żadne z urządzeń — ani procesor, ani bufor — nie są zajęte, P|*”) oznacza prawdopodobieństwo, że zajęty jest procesor, ale bufor jest wolny, a P;** podaje nam szansę, że zarówno procesor, jak i bufor

nie są dostępne. W ogólnym przypadku, gdy dysponujemy układem n buforów, rozwiązania asymptotyczne są następujące:

"5,4. Rozkład Poissona

PÓ=—L-

255

k=0,1,2,...,n.

Kształt rozwiązań P;* dla układu z jednym buforem przedstawiony jest na wykresie 5.21 (cieńsza krzywa). Widzimy, że choć zachowanie układu z buforem jest gorsze, zysk z zastosowania dodatkowego procesora nie jest dramatyczny. Prawdopodobieństwa P;* i py?” mogą być interesujące z powodów czysto

utylitarnych: jeśli są zbyt duże, to układy są zbyt intensywnie wykorzystywane,

a to będzie rzutowało na ich niezawodność. To, co interesuje fizyka przy rozważaniu obu wariantów analizy, to ich efektywność — jaka jest szansa utraty danych?

Jest to problem dość skomplikowany, nawet wtedy, gdy używamy jednego procesora o ustalonym czasie działania i bez dodatkowych buforów, czego przykład przedstawiamy w podrozdziale 5.4.4. Gdy interesuje nas układ z większą liczbą procesorów lub procesorów i buforów, wzory anałityczne stają się na tyle złożone, że z reguły prościej jest rozwiązać taki problem metodą Monte Carlo.

TT

Metoda równań kinetycznych poddaje się pewnemu uogólnieniu, polegającemu na tym, że wielkość A nie musi być wielkością stałą, lecz może być dowolną funkcją czasu A(t). Równania (5.48) definiujące prawdopodobieństwa P,(t) zachowują swoją moc, gdyż przy ich wprowadzaniu nie dokonywaliśmy ani operacji różniczkowania, ani całkowania, traktując wszędzie wielkość A jako mnożnik. Popatrzmy na równanie dP

a = AO P;(),

dła którego łatwo znajdujemy całkę spełniającą warunek początkowy: £

Pą(t) = exp

- | 0

dt | =exp(-A(t)).

0

Równanie

dP;,(t)

di

= —A(t)P;(t) + A(1) Px_i(£)

rozwiązujemy tą samą techniką jak poprzednio, dokonując podstawienia

P.(t) = fi(tje"*"*, co ostatecznie daje nam ponownie rozkład Poissona, tym razem w formie P,(t) =

(AG)at k!

|

Jest możliwe jeszcze inne uogólnienie rozkładu Poissona.

Przy wyprowadzaniu

rów-

nań kinetycznych założyliśmy, że prawdopodobieństwa pojawienia się wielu impulsów

256

5. Niektóre rozkłady

jednocześnie (w przedziale czasu Aż) są proporcjonalne do stosownych potęg prawdopodobieństwa pojawienia się jednego impulsu w tym przedziale czasu. W granicy A£ > 0 przyczynki od tych prawdopodobieństw znikają, co faktycznie oznacza, że nie dopuszczamy możliwości pojawiania się „wielokrotnych” zdarzeń. Gdybyśmy od tego założenia odstąpili i wprowadzili funkcje A; określające prawdopodobieństwo P;(A£) = A,AŁ, otrzymalibyśmy jeszcze inny rozkład, w którym zdarzenia pojawiają się nie tylko pojedynczo, ale parami, trójkami, .... Nie będziemy jednak prowadzili tu dalszego rozumowania w tym kierunku, a jedynie zachęcamy Czytelnika do samodzielnych obliczeń. Na zakończenie kwestii wyprowadzenia rozkładu Poissona rozważymy jeszcze jedno

zagadnienie. Wypisując wyrażenie (5.47) na P;(At), czyli prawdopodobieństwo wystąpienia liczby i zdarzeń w bardzo krótkim przedziale czasu Aż, powiedzieliśmy, że wielkości a; są pewnymi czysto liczbowymi współczynnikami niezależnymi od intensywności A. Obecnie widzimy, że współczynniki te to odwrotności funkcji silnia liczby zdarzeń. Czy możemy ten wynik zrozumieć? Przecież podstawowe prawa rachunku prawdopodobieństwa mówią, że jeśli prawdopodobieństwo wystąpienia zdarzenia określone

jest przez AAt, to szansa k-krotnego pojawienia się, dla przypadku zdarzeń niezależnych, zadana jest przez (AAt)*. Właśnie kluczem do rozwiązania tego problemu jest

zagadnienie niezależności. Prawdą jest, że kolejne zdarzenia występują niezależnie od siebie, niemniej pojawiają się one w określonej sekwencji czasowej. Jeśli prawdopodo-

bieństwo (5.35) zaistnienia zdarzenia w bardzo krótkim przedziale czasu jest proporcjonalne do tego przedziału czasu, to funkcja gęstości tego prawdopodobieństwa jest stała w czasie i w naszym przypadku zadana przez intensywność A. Zapytajmy wobec tego

o prawdopodobieństwo wystąpienia zdarzeń w zadanej kolejności. Jeśli przez ty, tą, ...,

t, oznaczymy kolejne chwile, w których pojawiły się zdarzenia, to będzie nas interesowało prawdopodobieństwo P,(0 £ WA - (1 + nA) = u(l — (1 +3n)A) + O(A”).

5,4. Rozkład Poissona

289

W warunkach długiego czasu obserwacji £, czyli dużej, w porównaniu z jednością, oczekiwanej liczby 4 padających cząstek, wynik ten możemy uprościć:

V[KI £ u(1 — ZNA) + O(A”) =At(1l — 3AT) +O(A”). Widzimy, że rezultat ten odtwarza liniową część związku (5.64) w wielkości AT. Jeśli przypatrzymy się bliżej formule (5.64), to zauważymy,

że zaniedbując w niej odwrot-

ności wielkości Aż w stosunku do jedności, związek ten przedstawia pierwsze wyrazy

rozwinięcia funkcji

1

(5.68)

v[k] = A+AT)3

względem argumentu A7, w obszarze asymptotycznie dużych wartości argumentu At. Matematyczna

technika rozwinięć

asymptotycznych

pozwala

znaleźć

(J. W.

Mueller,

Nucl. Instr. Methods 117 (1974), 401) przybliżone, ale uwzględniające wyrazy wyższego rzędu, wyrażenia na wartość oczekiwaną i wariancję:

+ AM (AT)? (k) — 1I+AT ( + 2(1 nz)” y[k] =

At a+ar> |

(AT)? (18 + 4AT + (AT)”) * 12At(1 + AT)

|

Przejdziemy teraz do dyskusji wyników dla wartości oczekiwanej i wariancji liczby sygnałów zarejestrowanych z użyciem układu charakteryzującego się czasem martwym. W analizie naszej przyjmiemy, że w eksperymencie mamy do czynienia z małymi obciążeniami i długim czasem pomiaru, a więc do opisu wystarczą uproszczone wyrażenia (5.66), (5.67) oraz (5.68). Przede wszystkim zwróćmy uwagę na fakt, że niepewność względna

Dk]

k

/At

A+ATVI+FAT

1+AT

l

A

> JAJYI+FAT

mniejszej,

w obecności

1

AL

mniejsza jest od tej, jaką otrzymujemy dla rozkładu Poissona. Źródła tego efektu należy upatrywać

w dyskutowanej

wcześniej

czasu martwego,

fluk-

tuacji liczby zarejestrowanych cząstek, niż ta, jaka wynika z rozkładu Poissona. Jeśli wyobrazimy sobie skrajny przypadek dużego strumienia cząstek padających na licznik, to w momencie jego wysycenia, czyłi nieomal regularnej, na podobieństwo zegara, re-

jestracji cząstki po każdym okresie czasu martwego, rozwinięcie fluktuacji.

nie ma już wolnego miejsca na

Czas martwy charakteryzuje się jeszcze jedną ciekawą konsekwencją. Jeśli ustalimy

liczbę n cząstek padających na licznik w zadanym przedziale czasu £ 1 rozważymy relację

między liczbami k;, i ką rejestrowanych cząstek w dwóch rozłącznych, lecz następujących

po sobie przedziałach czasowych £, + ty = t, to znajdziemy, że relacja ta, która w przy-

padku licznika bez czasu martwego ma charakter matematycznej zależności liniowej, ulega istotnej zmianie. Dla rozkładu dwumianowego korelacja taka wynosi ((ki — (k;)) (ką — (ka))) = (n =k, + ka] = ((ki — (kq1))00 — ky — (n — k,))) = — ((ki — (k;)) (ką — (k1))) = —P[kil,

290

5. Niektóre rozkłady

co implikuje ujemny, jednostkowy współczynnik korelacji. Gdy występuje czas martwy, prosty związek n = k, + ką przestaje funkcjonować, gdyż pojawia się pewna losowa liczba m impulsów zgubionych n = k;, + ką + m, a korelacja między liczbami zarejestrowanych sygnałów wynosi

((kr — (kq)) (ka — (ka))) = ((kq — (k1))0m — ki — m — (n — k; — m))) = — ((kq — (k1)) (ki — (ki)+ m — (m))) —Y [k,] — ((ki — (k1))(m — (m))).

Kowariancja wyrażona przez ostatni składnik jest nie tylko różna od zera, ale na pewno

ujemna, gdyż im mniejsza będzie liczba zarejestrowanych sygnałów, tym większa będzie liczba utraconych. W efekcie wariancja sumy zliczeń nie jest sumą wariancji zliczeń w poszczególnych przedziałach czasowych. Wniosek ten ma jednak bardzo lokalny charakter w czasie i jest słuszny jedynie w odniesieniu do bardzo krótkich odstępów czasowych, porównywalnych z długością czasu martwego. W warunkach asymptotycznych, kiedy możemy użyć wyrażenia (5.68) dla wariancji liczby zliczeń, znajdujemy bezpośrednim rachunkiem, iż

Y[k] =

At

n

I+ATŻ

A(t

+ b)

_

(Q+ATŻ

Aly

+

(QG+ATY

Ab

-Yy

[ki] + Y [ke],

G+ATY

co oznacza, że w tym przybliżeniu zmienne losowe k, i ką nie są statystycznie skorelo-

wane, choć nie przesądza to o ich statystycznej niezależności. Zwróciliśmy już uwagę, że im czas martwy jest większy, tym mniejsza jest niepewność zarejestrowanej liczby zliczeń. Nie oznacza to jednak, że powinniśmy w eksperymencie używać układów detekcyjnych z dużym czasem martwym — raczej powinniśmy postępować odwrotnie. Dysponując liczbą k zarejestrowanych przypadków, chcielibyśmy znać rzeczywistą liczbę n przypadków, estymującą wielkość Ar. Estymatę tę możemy znaleźć ze wzoru (5.66)

a jej niepewność wynosi =

sa

(z) l

TĄ”

y[k]

=

(ew) 1

At

TY" G+AT)3

Jeśli w wyrażeniu na wariancję ) [k] wyeliminujemy wielkość 1 + AT za pomocą

wyrażenia na wartość oczekiwaną (5.67), to otrzymamy

v[k] =

At

U+AT)Ż

(k)”

(5.69)

(An

a oczekiwaną liczbę At padających cząstek wyeliminujemy z tego samego związku, zamieniając w nim liczbę k zliczeń na jej wartość oczekiwaną (k), to znajdziemy następujące wyrażenie na wariancję: | 2

Y [k] = (k) (1 — (k) 7) £

= (k)(1- |x

1

i=l

1

m

m

=. 3 k;, i=l

_

s; 2 =—— m1 Yo2! (kk).) 2 Ponieważ wielkość s; jest estymatą wariancji (5.70), więc A s;ZNĄZ Z AK(1-KT)

rpry2

>

o

T

EOl

Sk

RJĄŻ

=

A

ASk

EĘ

k

Trudniej obliczyć błąd czasu martwego. Aby to zrobić Ściśle, potrzebowalibyśmy do tego wyrażeń na wyższe momenty rozkładu (5.61). Aby tego uniknąć, wykonamy obliczenia przybliżone, stosowne dla przypadku małych obciążeń. Skorzystamy z wyników

podrozdziału 3.4:

—

(of

af af

sz = (s)

of

,

v [kl + 23% gz" [k, sę| + (33)

v[s].

związku (4.6) miedzy D |k| i D[k] oraz wyniku przykładu 4.2.3: _

l

l

cov[k,k,s| sę] =—€|(k—u)”| - [km] =—D*fk]y. m [kl gdzie y, jest współczynnikiem asymetrii, oraz związku (4.9):

Y[EJ=

2 5) + (m 71a

Po podstawieniu znajdujemy ię

„2 z AVIKI

mk

4(-725)

[W

2Y%8)

+

h

WA

(- za) + (

2900)

AU

+

m)

m-1)]'

294

5. Niektóre rozkłady

W warunkach niewielkiego obciążenia obowiązuje V[k] próbki są liczne, czyli (k) 4 I, to

2

To

A?

l

2m(k)”

2mk>

=

(k), a jeśli m >> 1 oraz

Widzimy, że rezultat zależy od liczby m zgromadzonych próbek, tak więc pomiar czasu martwego możemy przeprowadzić z dowolną, niemalże, precyzją. Naszą dyskusję zjawiska czasu martwego 1 efektów, do jakich on prowadzi, oparliśmy na rozkładzie (5.61), który uzyskaliśmy, zakładając, że zliczenia zaczynamy obserwować

od chwili, w której licznik jest dostępny, czyli jest w stanie zarejestrować cząstkę, a tym samym rozkład czasu oczekiwania na pierwszy sygnał zadany jest zwykłym rozkładem wykładniczym (5.37). Inna typowa sytuacja doświadczalna to taka, w której zaczynamy

pomiar od pewnego losowo wybranego sygnału. Oznacza to, że czas oczekiwania nie tylko na następne, ale i na pierwszy sygnał określony jest rozkładem (5.59). Przy takim wyborze początkowego momentu liczenia czasu otrzymalibyśmy rozkład liczby zarejestrowanych sygnałów różny od zadanego wzorem (5.61), gdyż efektywny czas pomiaru

wynosiłby £ — 7. W końcu istnieje jeszcze trzecia możliwość wyboru chwili startu obserwacji. Jest nią zdanie się na łaskę losu i wybór początku obserwacji na chybił-trafił.

Chwila ta może wypaść w momencie, kiedy licznik jest zablokowany i będzie się znaj-

dował w tym stanie jeszcze przez pewien losowy przedział czasu (nie większy niż 7) albo trafimy na licznik gotowy do zarejestrowania cząstki. Stosowne złożenie rozkładów odpowiadających tym dwóm możliwościom doprowadza do jeszcze innego rozkładu prawdopodobieństwa. Nie będziemy tu prezentowali wyników obrazujących te rozliczne możliwości. Czytelnik zapewne jednak zgodzi się z sugestią, że w warunkach asympto-

tycznych, określonych przez At >> 1 1 przy małym obciążeniu, czyli wtedy gdyAT X 1,

konkluzje wysnute z tych rozkładów, a odnoszące się do wielkości, które potrzebujemy znać w praktyce, czyli oczekiwanej liczby zliczeń i liczby cząstek, jakie padły na licznik oraz ich dyspersji, różnią się marginalnie.

Na zakończenie tego punktu wspomnimy, że świat liczników z czasem martwym zasiedlony jest przez jeszcze jeden specjalny gatunek liczników z tzw. przedłużającym się czasem martwym. Liczniki takie charakteryzują się tym, że jeśli układ jest zabloko-

wany przez jakiś sygnał i w momencie ź£ liczonym od chwili, w której pojawił się ten

sygnał, zaistnieje następny, to czas martwy tego urządzenia zostaje przedłużony 1 trwa do momentu ż + 7. Własność taka jest raczej cechą układów elektronicznych, zwłaszcza dzisiaj, w dobie układów cyfrowych, niż fizycznie samych liczników. Szerszą klasę

takich urządzeń zaprezentowaliśmy w przykładzie 5.4.11, gdzie czas analizy Tp ulegał

fluktuacjom. Nie będziemy tu rozwijali opisu statystycznego takich układów. Zainteresowanego Czytelnika odsyłamy do wspomnianej we wstępie książki W. I. Goldanskiego i innych, która ujmuje te zagadnienia (a także zwyczajny

czas martwy)

w klasyczny

sposób. Współczesny i alternatywny, a przede wszystkim naturalny opis zjawisk związanych z czasem martwym, znajduje swoje ramy w teorii procesów stochastycznych i taki

też opis można znaleźć w drugim tomie monografii W. Fellera, również wymienionej

w spisie literatury we wstępie.

5.5. Rozkład Gaussa

—

295

5,5, Rozkład Gaussa

Historia rozkładu Gaussa, zwanego też rozkładem normalnym, sięga 1733 roku i wiązana jest z nazwiskiem francuskiego matematyka Abrahama de Moivre'a, który pierw-

szy dostrzegł ten rozkład jako graniczną formę rozkładu dwumianowego, jednakże bez związku z gęstością i ze zmienną ciągłą. Właściwe zrozumienie roli tego rozkładu

przypisuje się Gaussowi i Laplace'owi, przy czym to Laplace, niezależnie odkrywając rozkład, powiązał go z centralnym twierdzeniem granicznym. Właśnie dzięki temu twierdzeniu tak wielkie jest znaczenie tego rozkładu w statystyce matematycznej.

RE

Carl Friedrich Gauss,

Pierre Simon de Laplace,

1777-1855

1749—1827

5.5.1. Wyprowadzenie — modele Laplace'a i Herschela Rozważmy sytuację, w której usiłujemy zmierzyć wielkość, którą oznaczymy symbolem L, jednakże pomiar nasz jest zaburzany przez n losowych efektów o wielkości e każdy, działających z prawdopodobieństwem p = 0,5 zarówno w kierunku zmniejszającym, jak i zwiększającym wartość wielkości mierzonej. Doświadczalną realizację takiego układu zaproponował matematyk angielski F. Galton, budując tzw. quincunx, czyli deskę Gal-

tona, której schemat przedstawia rys. 5.28.

W wyniku pomiaru zamiast wielkości 4 otrzymamy jedną z wielkości x; określonych równaniem k=0,1,2,...,n—2,n—l,n. x =u+ (—n + 2k)e,

Prawdopodobieństwo każdej z tych wartości jest zadane przez rozkład dwumianowy

(5.10)

BPO)

n!

1y”

= jan =hi (3) |

296

5. Niektóre rozkłady

Rys. 5.28. Deska Galtona

Zwróćmy uwagę, że wartość oczekiwana zmiennej losowej x, dana jest przez p, nato-

miast jej wariancja wynosi

v bę] =Y[u + (2k — ne] = 4eV[k| = 4e*np(l — p) =ne". Wiemy z podrozdziału 5.2, że dla dużych wartości liczby n prawdopodobieństwo to

ma zachowanie graniczne

l R —-0©% /żnnpq P (

26 /2n

(

/n€

P

Sz —--—--. | 2npq

=

2

2nn

©

_(k- zn)

p

25n

(X — c) 2ne 2

|

gdzie podstawiliśmy k = **" + 3. Gdybyśmy

chcieli zmniejszyć wartość e do zera, przy zachowaniu pozycji x, to

aby uzyskać sensowną granicę, musielibyśmy zażądać, aby wielkości n oraz k dążyły do nieskończoności oraz aby wariancja ne” dążyła do wartości stałej: ne” > a”. Pozostanie jednakże czynnik Że przed funkcją wykładniczą, który „zepsuje” całe przejście graniczne. Uświadamiamy sobie jednak, że przejście z wartością zaburzenia e do zera oznacza przejście do zmiennej ciągłej, a więc zamiast prawdopodobieństw B;(n, p) powinniśmy używać gęstości prawdopodobieństwa. Zauważmy równocześnie, że poszcze-

gólne wielkości x, oddzielone są od siebie o Że, stąd w naturalny sposób można wprowadzić gęstość, dzieląc prawdopodobieństwo B;(n, p) przez ów przedział 2e, „rozmazując” niejako prawdopodobieństwo skojarzone z punktem k po całym takim przedziale:

Bim D=05) 2E€

|||

n>00, e>0

wa:uoj= z

/2no

xp

P

(GM 20?

|

Jak należało się spodziewać, otrzymaliśmy rozkład Gaussa ciągłej zmiennej losowej x.

5.5, Rozkład Gaussa

Powyższy

sposób

wyprowadzenia

rozkładu

Gaussa

określany jest modelem

297

La-

place'a błędów pomiarowych i jest uwspółcześnioną wersją rozważań tego uczonego z przełomu XVIII i XIX wieku. Inny sposób, bardziej bezpośredni —

bez odwoływania

się do postaci granicznej

rozkładu dwumianowego — polega na zbudowaniu ilorazu różnicowego: B,, — B

p

l

n!

n!

= 2 (EDGE DI 1

1Y”

BGB) (3)

n!(n — k)

n!

Ly”

- 2e (a> Dn=k)! kin 5) _A1(n=k

- 2e

n!

(k+1

kiln=k!(2)

I)

(3)

_ln-k-15

2e

k+l

*

który, po wyeliminowaniu z niego przez podstawienie Xk — JL

k=

n

— ŻE + 2 zależności od wielkości k, doprowadza nas do równania

AH A" Ax

1

De ŻE X. %k — Hal

2€

ko

Oz —_ me + ne* 2 + ŻE 2%

2

Aby pracować z funkcją gęstości, podzielimy obie strony równości przez 2e. Następnie dokonamy przejścia granicznego n — oo z liczbą czynników zaburzających, przy jedno-

czesnym przejściu do zera z wartością e, ale przy warunku stałości wariancji: ne” > o” i utrzymaniu stałej wartości położenia x, = x. Lewa strona dąży do pochodnej funkcji gęstości, a całość przyjmuje postać równania różniczkowego

LN dx

(u, 0) = —

x-u g2

N (x; n,o).

Rozwiązanie tego równania, ze stałą całkowania spełniającą warunek unormowania, daje

rozkład Gaussa. -—

Przykład 5.5.1 Rozkład Gaussa i pomiary Kompendium Review of Particle Properties, wymienione we wstępie, zawiera bogactwo rezultatów pomiarowych. Czy moglibyśmy jakoś sprawdzić, czy przedsta-

wione tam wyniki pomiarów istotnie układają się zgodnie z rozkładem Gaussa?

Byłoby to łatwe, gdybyśmy znali prawdziwe wartości wielkości, które są bohate-

rami tej publikacji. Ponieważ tak nie jest, możemy próbować rozwiązać problem inaczej. Zajrzyjmy do tegoż dzieła, ale sprzed paru laty i wybierzmy z niego te wyniki x, wraz z błędami s,, dla których błędy w najświeższym wydaniu uległy istotnej redukcji. Te najnowsze wyniki możemy potraktować jako „prawdziwe” wartości j4,. Dla tak wyselekcjonowanej próbki zbudujmy wielkości

5. Niektóre rozkłady

—10

—12

Rys. 5.29. Rozkład stałych z kompendium Review of Particle Properties

0,08 r 0,07 0,06 gęstość [hPa *]

298

0,05 0,04 0,03 0,02

0,01 0,00

980 ciśnienie [hPa]

Rys. 5.30. Rozkład wyników pomiarów ciśnienia atmosferycznego

5.5. Rozkład Gaussa

6, =

299

16; — | Si

i z nich utwórzmy histogram. Histogram taki, a Ściślej, logarytm eksperymentalnej funkcji gęstości przedstawiony jest na wykresie 5.29 (za: A. P. Bukhvostov, On the

Probability Distribution of the Experimental Results, http://arXiv.org/abs/hep-ph/

9705387) linią ciągłą, łamaną. Linia przerywana nakreśla krzywą Gaussa, a linia prosta to funkcja gęstości odpowiadająca rozkładowi wykładniczemu z jednostkowym parametrem. Rzeczą najbardziej zdumiewającą, jaką unaocznia ten wykres,

jest zdecydowane odstępstwo wyników doświadczalnych od tego, czego oczeki-

walibyśmy, czyli rozkładu Gaussa. Wynik ten jest chyba najbardziej naocznym dowodem tezy, dobrze znanej praktykom statystycznym, że nie należy zbyt wiele oczekiwać od rozkładu Gaussa. Jest on bardzo dobrym modelem, jeśli chcemy

opisać główny „trzon” danych, w zakresie jednego lub dwóch odchyleń standardowych. Skrzydła rozkładu z reguły już mu nie podlegają i są zazwyczaj bardziej

obsadzone, niż to przepowiada ten uświęcony tradycją rozkład. Jak widzimy z wykresu, prosty model wykładniczy wydaje się o wiele lepiej opisywać rezultaty procedur stosowanych przez fizyków.

Nie zawsze jednak jest tak źle. Na wykresie 5.30 przedstawiona jest empi-

ryczna funkcja gęstości 1600 pomiarów wcześniej,

ciśnienia atmosferycznego,

w podrozdziale 4.2, wraz z rozkładem

jest ewidentna.

Gaussa.

Tym

omawianych

razem

zgodność

T'

Interesujące jest przytoczenie jeszcze jednego, pochodzącego z roku 1850 i wiąza-

nego z nazwiskiem angielskiego astronoma J. Herschela, sposobu wyprowadzenia rozkładu normalnego. Wyprowadzenie to łączy się z pewnym twierdzeniem, które mówi, że jeśli w jakimś układzie współrzędnych para (x, y) przedstawia niezależne zmienne losowe i istnieje choćby jeden inny, obrócony, układ współrzędnych, o tym samym początku i para (X,y') otrzymana z par (x,y) po jej przetransformowaniu przedstawia w tym układzie również niezależne zmienne losowe, to każda ze zmiennych x i y może być tylko zmienną losową podlegającą rozkładowi normalnemu. Naszkicujemy tu dowód

tego twierdzenia, odwołując się do „artyleryjskiego” przykładu strzelania do wybranego punktu, który będzie naszym początkiem układu (x, y) (w rzeczywistości Herschel rozważał zagadnienie pomiaru pozycji kątowej gwiazdy na niebie). Prawdopodobieństwo

trafienia w mały obszar o powierzchni As wokół punktu (x, y) jest proporcjonalne do

tej powierzchni. Jeśli wybierzemy obszar o trochę innym kształcie, ale tej samej powierzchni wokół tego samego punktu, to prawdopodobieństwo trafienia w ten obszar

będzie, z dokładnością do wyrazów kwadratowych względem wielkości As, identyczne

z prawdopodobieństwem trafienia w obszar pierwotny. Wybierzemy obszar As w kształcie prostokąta o środku w punkcie M (x, y) i bokach Ax oraz Ay. Na mocy niezależności statystycznej zmiennych losowych x i y prawdopodobieństwo AP (M) trafienia w obszar As wokół punktu M(x, y) dane jest iloczynem

AP(M) =N

(X)N (7) As + O(As”).

300

5. Niektóre rozkłady

Jeśli jako drugi układ odniesienia przyjmiemy układ (x', y') obrócony względem pierwszego o pewien kąt, to prawdopodobieństwo A P'(M) trafienia w prostokąt As = Ax'Ay' będzie niemalże równe prawdopodobieństwu AP(M):

AP(M) =N (x)N (y) As + O (As*) = N(x'))N (y') As + O' (As?) = AP'((M).

Jeśli podzielimy obie strony środkowej równości przez As oraz przejdziemy z wartością As do zera, to

NON)

=N(x')N(y).

Jeśli dobierzemy układ x', y' tak, że oś x' przechodzi przez punkt M, to:

N(X)N(GY) NGN (0) =kNfr), r=yx+y, k=N(0). Zróżniczkujemy obie strony tej równości względem x oraz względem y:

GA

©) ry)

_3N0

dx

N Gy A

_ NX

0x

dr

r

dy

dr

r

_ ANM _;Wlny

d

Dzieląc równania przez siebie, otrzymujemy l

dN(x)

xN(x)

dx

_

1

yN(y)

dN())

dy

|

Ponieważ lewa strona jest jedynie funkcją argumentu x, a prawa strona jedynie funkcją argumentu

y, więc aby taka równość

każdego y, każda ze stron musi być liczbą:

l

xN (x)

mogła być prawdziwa

dla każdego x oraz

dN(x) dx

2 N (x) = Aexp (>)

lub też

O wielkości c nie potrafimy niczego powiedzieć poza tym, że jeśli chcemy, aby funkcja

była całkowalna, wielkość ta musi być ujemna i możemy ją wybrać w wygodnej postaci

c = —l/o*. Stałą całkowania A otrzymujemy z warunku unormowania, co prowadzi

ponownie do rozkładu normalnego:

N(;u=0,0)= Warto

przypomnieć,

że w

1860 roku fizyk J. C. Maxwell

wyprowadził

rozkład

prędkości cząsteczek gazu doskonałego, zwany dziś rozkładem Maxwella, odwołując się do tego samego założenia o braku zależności dowolnej ze składowych wektora prędkości cząsteczki od wartości innych składowych. 5.5.2. Własności rozkładu Gaussa Krzywa Gaussa ma charakterystyczną postać „dzwonu”, którego maksimum wypada w punkcie x = ju, a dwa punkty przegięcia rozłożone są symetrycznie wokół maksimum

5.5. Rozkład Gaussa

301

0,9 r 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 0,0

Rys. 5.31. Rozkład Gaussa dla trzech wartości parametru o

w odległości o od niego (rys. 5.31). Wymiary obu parametrów są takie same jak wymiar

zmiennej losowej x, a wymiar funkcji gęstości rozkładu jest odwrotnością wymiaru tej zmiennej. Wartość oczekiwana zmiennej wynosi OO

1

€ [x] = dz6

| xa»

(x — w)”

(>)

dx=u,

—O0©

a jej wariancja to

1

Yh] = Zza]

f

(x — w)?

(x — 4)” exp (-—-)a

=0o..

Ogólnie, wszystkie nieparzyste momenty centralne znikają z uwagi na symetrię rozkładu, natomiast parzyste przyjmują wartości

2k)!

(6 W) = air 0

(5.71)

co dla k = 2 czyni ((x — )*) = 3o*, skąd, w szczególności, dla współczynników asymetrii 1 spłaszczenia otrzymujemy zerowe wartości. ——

Przykład 5.5.2

Błąd błędu Przypomnijmy wyrażenie (4.90) na wariancję estymatora określającego kwadrat błędu pojedynczego pomiaru: l

v [5] = — (6

9) - — _

—3 zn”

2

[x] .

302

5. Niektóre rozkłady

Gdy rozkład, z którego czerpiemy próbkę, jest rozkładem normalnym, wtedy wy-

korzystując (5.71), otrzymujemy Dis|=

[5x]

3

|-g4—

(że

n-3

——

2

gi! =

nn=Do

n=l

2

Jeśli wielkość s; potraktujemy jako kwadrat błędu, wtedy (przypomnijmy: jeśli u=v?, to s, £ 2(v) sy) D [s; | = 20,D [sx],

lub

pis] 1 |--o? xl = — 241 _= 20;

2o4n-—1

0;

0

=

———=—— Oy,

/2(n—1)

(5.72) .

co daje wyrażenie na błąd błędu i determinuje dokładność, z jaką powinniśmy zapi-

sywać wartość błędu pomiaru, a tym samym i wynik pomiaru. Wynik (5.72) stosuje się także do błędu średniej arytmetycznej, jeśli wielkość oż zastąpimy przez ot.

Rozważmy prosty przykład. Przypuśćmy, że wykonaliśmy serię n pomiarów wielkości x, i obliczona przez nas Średnia arytmetyczna (4.1) wynosi 9.87654321..., natomiast odchylenie standardowe (4.8) tej średniej to

1,23456789.... Jak mamy te wyniki zapisać? Czy wystarczy:

10 + 1, czy też

może 9,9 + 1,2, a może nawet 9,88 + 1,23? Niech liczba pomiarów, z których

obliczyliśmy średnią, wynosi 5. Błąd względny znalezionego odchylenia standardowego na mocy (5.72) wynosi D [sz]

x

u

D [sz]

z

06,

1

/2(n=l1)

co dla pięciu danych pomiarowych daje około 35%. Oznacza to, że wartość odchylenia standardowego 1,23456789... znamy z dokładnością 0,4. Tym samym nie ma sensu zapisywać tej niepewności z uwzględnieniem drugiej cyfry znaczącej

(pierwszej po przecinku), gdyż ta jest po prostu szumem statystycznym. Wystarczy

pierwsza jedynka i ostateczny wynik powinniśmy podać w pierwszej z sugerowa-

nych postaci: 10 + 1. Jeśli jednak liczba pomiarów, z których wydobyliśmy Śred-

nią, wynosi np. 50, wtedy identyczny błąd względny dla odchyłenia standardowego otrzymujemy na poziomie 10%. Oznacza to, że druga cyfra znacząca w zapisie

odchyłenia standardowego jest co prawda dość niepewna: może to być zarówno jedność, jak i trójka, warto jednak w takiej sytuacji podać ostateczny rezultat w postaci: 9,9-+1,2. Przy wzrastającej liczbie pomiarów „odsłaniać” się nam będą kolejne cyfry znaczące. Abyśmy ostateczny rezultat mogli podać z dokładnością

do trzech cyfr znaczących, niepewność względna powinna wynosić przynajmniej 1%. Oznacza to, że próbka naszych pomiarów powinna liczyć przynajmniej kilka tysięcy liczb. Naturalnie, wskazane wyżej relacje będą wygłądały trochę inaczej,

jeśli pierwsza cyfra niepewności standardowej nie będzie jedynką, ale np. ósemką.

Wtedy wynik: 98,87654321...-+8,7654321... dla próbki liczącej 5 pomiarów powinniśmy zapisać jako: 100+ 10, dla pięćdziesięciu pomiarów jako: 99-F9, a dla pięciu tysięcy pomiarów jako 98,9 = 8,8. W przypadku, gdy dane nie pochodzą z rozkładu Gaussa, przydatna może być formuła (4.10), uzupełniona o dodatkowy czynnik n**, wyrażający przejście od odchyłenia standardowego dla zmiennej losowej do odchylenia standardowego średniej arytmetycznej.

n

5.5. Rozkład Gaussa

303

--- Przykład 5.5.3 Suma gaussowskich zmiennych losowych Dane są dwie niezależne zmienne losowe: x oraz y, obie z rozkładu gaussowskiego o tej samej wartości oczekiwanej „4 i dyspersji o. Jaki jest rozkład zmiennej losowej z będącej sumą obu zmiennych? Ponieważ rozkład sumy dany jest splotem (2.27), więc ł

2na?

|

ex

,

-

_Z-u-t)

ex

2o?

b

_(6—

ny”

dt

20?

I

==———-—-—-——--.

w/2n(v/20) P (

z a|

——

2(/20)?

=

A (

:2u,v2

s Y20)

.

Stąd łatwo otrzymujemy, że suma n niezależnych zmiennych losowych gaussowskich ma rozkład Gaussa (mówimy, że rozkład Gaussa jest zamknięty względem operacji dodawania), o wartości oczekiwanej nw i wariancji no”, a Średnia arytmetyczna X —

rozkład Gaussa

o wartości oczekiwanej

j„ i wariancji

n-krotnie mniejszej od wariancji pojedynczej zmiennej losowej.

(4.6)

r

Rozkład Gaussa jest silnie „skoncentrowany” wokół swego maksimum. Możemy to zilustrować, obliczając prawdopodobieństwo P

(ui—no

—

x


1-9

>

4MK "(M+K)2

Łączny rozkład zmiennych losowych m oraz k dany jest iloczynem rozkładów dwu-

mianowych B„(M, p = 0,5) oraz B,(K, p =0,5), z których każdy, dla dużych wartości parametrów M oraz K, na mocy lokalnego twierdzenia de Moivre—Laplace'a (5.26) przyjmuje postać gaussowską, dlatego też

B„(M, p=0,5)B,(K, p=0,5) = P„.(M,K)

R

2

2nM

exp | —

(m-IM)] 2- 4 M

2

/2nK

exp

(k—;K) |-————2: zK

|.

5.5. Rozkład Gaussa

Jeśli z rozkładu tego wyeliminujemy zmienne m oraz k na korzyść xx m

k

=

=

1

4€óm,k (x „k

1

de

Xm

Hx A ) +

"kad —

X

)

—

l

na 48 (y Umko„k (Ly)

14

48 mk m

—

OrAZ y,, i:

1

M, 2

+

+ lk 5017 4

s

to po zastosowaniu wyrażeń na współczynnik p i wariancje zmiennych Xx otrzymamy BE0 P„x(M,

x

exp |

K)

—

A

2nD EH l

24-05)

D [ymx] yl-

(Xm,k

—

Vf]

u)”

=

2p

p”

315

OrAZ yk»

X

(Xm.k

U)

mk

—

D [xe] P lynx]

+

Ly)

(Ym.k

a ay)”

Vlyme| J)

Abyśmy mogli przejść do ciągłych zmiennych x oraz y, musimy zmniejszać wartości

zaburzeń e oraz 6, zwiększając jednocześnie liczby M oraz K, ale w taki sposób, by współczynnik korelacji p, a także dyspersje obu zmiennych losowych były skończone:

D|xm] > 06 Dyk] —> 0y. Tak jak w przypadku jednowymiarowym musimy także m

przejść do gęstości, a więc „rozmazać” uzyskane prawdopodobieństwo zmiennych oraz k po jednostkowym obszarze skojarzonym ze zmiennymi Xx

OTAZ yk:

Rys. 5.39. Elementarna powierzchnia Ax, zAymk Wyznaczona przez zmianę Am =liAk=l

Naszym

X

>

zadaniem teraz będzie wyznaczenie powierzchni tego jednostkowego ob-

szaru. Na płaszczyźnie (m, k) dozwolone wartości tych zmiennych wyznaczają kratow-

nicę punktów zawartych wewnątrz prostokąta o bokach M oraz K. Przekształcenie pro-

wadzące do zmiennych x;„ oraz y;„ to translacja połączona z obrotem 1 skalowaniem, która zamienia elementarny

kwadrat o wierzchołkach

i (m + 1,k + 1) w przestrzeni

(m,k),

(m,k),

w równoległobok

(m + 1,k),

o wierzchołkach

(m,k + 1)

(Xx, Ym.k):

(Xmk + 2E, Ymk + 26), (mk + 2E Ymk — 28) 1 (Xmk + 2€, Ymk) w przestrzeni (x, y).

Z rysunku 5.39 znajdujemy, że powierzchnia tego równoległoboku wynosi 8e6, a więc

316

5. Niektóre rozkłady

dokładnie jest równa współczynnikowi mnożącemu prawdopodobieństwo. Cały ten rachunek moglibyśmy wykonać w znacznie prostszy sposób, odwołując się do własności jakobianu przejścia od jednych zmiennych do drugich. Jakobian taki wyznacza właśnie poszukiwaną elementarną powierzchnię: ó(m,k)

Onkrymk)

1

1

4€

45

4e

48

|1

z

l

1] 8e8'

Dzieląc wyrazenie na prawdopodobieństwo przez połe elementarnej powierzchni (bądź mnożąc przez moduł jakobianu), znajdujemy ostateczne wyrażenie na dwuwymiarowy

rozkład normalny, zwany też rozkładem binormalnym:

N (x, Y; x, ky, 0x,0,, p) = 1

x

Xx — Hy

-so(-zr>5

((

0x

*

)

XA —

-z(

HM

My

dx

(

dy

-

)-(

My

dy

)))

Własności rozkładu binormalnego to € [x] = € [y]

=”

x,

v [x]

=

Ż,

hy,

Ylyl

=oy.

Dodatkowo, ponieważ mamy dwie zmienne losowe, możemy znaleźć ich kowariancję cov [x, y] = gxOyp,

która wyraża się przez parametr p rozkładu, będący jednocześnie współczynnikiem korelacji (3.14). Jeśli współczynnik ten jest równy zeru, rozkład binormalny staje się iloczynem rozkładów obu zmiennych, które tym samym uzyskują statystyczną niezależ-

ność. Jest to specyficzna własność rozkładu Gaussa, jako że w ogólnym przypadku brak korelacji nie implikuje niezależności statystycznej (patrz podrozdział 3.3).

—

Przykład 5.5.9 Rozkłady brzegowe, warunkowe i krzywe regresji dla rozkładu binormalnego Prostym, choć żmudnym rachunkiem można wykazać, że rozkłady brzegowe (2.24)

dla normalnego rozkładu dwuwymiarowego są rozkładami Gaussa: ICE

Ax; Hy, Gy, Gy, p)

co pozostaje słuszne i dla drugiej zmiennej.

dy

=N

(x; Hx, 0x),

5.5. Rozkład Gaussa

317

Rozkład warunkowy (2.29) zmiennej losowej y przy zadanej wartości zmiennej x dany jest wyrażeniem

N (x, Y; x, My, 0x, Gy, p)

IO) =

N (x; x, 0%)

2

i

(-pża

"V2moxyl=ee

|

- m)

2(awi=p7)

Rozkład ten dostarcza krzywej regresji € [y|x] pierwszego typu zmiennej y wzglę-

dem zmiennej x w postaci

€ [yk = x] = 4y(%) = Hy FP

dy X

(X — Mo).

Podobną krzywą regresji otrzymujemy dla zmiennej. x względem zmiennej y x

€ xly=y| =m0) =m + PO — Ly). y

Są to, jak widzimy, linie proste. Zwróćmy uwagę, że na płaszczyźnie (x, y) proste

te pokrywają się jedynie wtedy, gdy współczynnik korelacji między zmiennymi

jest równy jedności. Dla kompletu informacji o dwuwymiarowym rozkładzie normalnym podamy także postać wariancji warunkowej zmiennej y:

b=

2

= £|((-w-PEG-n0)

| = oy (l- p”).

Aby lepiej sobie wyobrazić kształt rozkładu binormalnego, rozważmy na płaszczyź-

nie (x, y) linie stałych wartości tego rozkładu. Przebiegają one tam, gdzie wykładnik

funkcji wykładniczej przyjmuje stałą wartość C”, a więc wzdłuż krzywej określonej

równaniem

l l-

A — Hy p

2

+

2

Y-My

e

— 20

A — Hx

Y — Hy

|

dy

Dy

lub też, jeśli wprowadzimy zmienne standaryzowane X —

u =

0;

Mx

,

v=

>

Hy

Oy

,

to wzdłuż krzywej l 1l=p*

(u? + v” — Zpuv) =C-.

—

(2

318

5. Niektóre rozkłady

1,0

0,6

0,4

-2

3 3 Rys. 5.40. Obraz dwuwymiarowego rozkładu Gaussa

Jeśli dokonamy obrotu układu o kąt o w kierunku dodatnim, transformując zmienne wg reguły

U =u' CosQ—v Sing,

v=u' Sing+vV cosy,

to równanie krzywej przejdzie na l

zl

2

(1

,

in

2

— psn

29) +

2

v'(1l

1

in

+ psin29g)

2

—

2

1

Żpuv

cos

2

z

p) =

C-

.

Wybierając kąt p = 45", otrzymujemy

GG) + (>) $©

Tym samym transformacja postaci

l+p

1-p

l+p U

=

2

l=p 56

+

2

Ć,

przekształca elipsę w zmiennych (u, v), na której gęstość binormalna jest stała, na okrąg o promieniu € w zmiennych ($,£). Postać taka prowadzi do faktoryzacji w nowych

5.5, Rozkład Gaussa

319

Rys. 5.41. Przykłady elips kowariancji dla kilku wartości współczynnika korelacji p

zmiennych, co równocześnie wykazuje ich statystyczną niezależność. W ogólnym przypadku poziomice rozkładu binormalnego to tzw. elipsy kowariancji. Ich wspólny środek

usytuowany jest w punkcie (x, £ty). Półosie i kąty nachylenia tych półosi zadane są

przez dyspersje i współczynnik korelacji.

Przykład takich elips, dla których wartość pełnego wykładnika funkcji wykładni-

czej wynosi

1/2 (czyli wtedy, gdy

€ =

1), wartości o, =

2 oraz o, =

1 oraz dla

wartości centralnych „a, i u, równych zeru, a także różnych wartości współczynnika korelacji p, przedstawione są na wykresie 5.41. Należy zwrócić uwagę na to, że bez względu na wartość współczynnika korelacji, wszystkie elipsy zawarte są w prostokącie

o połówkach boków równych wartościom dyspersji. Gdybyśmy wybrali wartość wykładnika 2 (C€ = 2), otrzymalibyśmy prostokąt o połówkach boków będących podwójnymi

wartościami dyspersji, a dla wykładnika 4,5 (C = 3), byłyby to trzykrotne wartości dyspersji. Ilość prawdopodobieństwa zawarta pod rozkładem Gaussa w obszarze płaszczyzny (x, y) ograniczonej takimi elipsami jest niezależna od wartości współczynnika

korelacji i podana jest w tabeli 5.4.

Jak widzimy, prawdopodobieństwa te są różne od tych, jakie otrzymujemy dla rozkładu jednowymiarowego. W zastosowaniach wykorzystywane są często elipsy kowaTabela 5.4. Własności dwuwymiarowego rozkładu Gaussa

0,5 (C=1)

l

39,3%

2,0 (C=2) 4,5 (C=3)

2 3

86,5% 98,9%

320

5. Niektóre rozkłady

prosta regresji x względem y

prosta regresji y | względem x

x

>

Rys. 5.42. Relacja między półosiami elipsy kowariancji a prostymi regresji pierwszego rodzaju

riancji odpowiadające innym wartościom prawdopodobieństwa, a mianowicie: 90%, 95% lub 99%. Patrząc na elipsy kowariancji, warto uświadomić sobie, że proste regresji (przykład 5.5.9) nie powinny być utożsamiane z żadną z osi elipsy kowariancji. Proste regresji

łączą przeciwległe punkty styczności elipsy z prostokątem, jak ten na rys. 5.42, w który wpisują się wszystkie elipsy kowariancji, podczas gdy kąt a nachylenia dłuższej osi elipsy do osi x jest określony równaniem tg 2a = -—-

200,0

> - =

O£ — Oy

Przykład 5.5.10

Rozkład współczynnika korelacji W rozdziale 4 pokazaliśmy, w jaki sposób dla próby losowej (x,, y;) z rozkładu dwóch zależnych zmiennych losowych x oraz y skonstruować pięć estymatorów:

wartości średnie Xx, y, odchylenia standardowe sx, sy oraz kowariancję R. Zaproponowaliśmy tam również postać współczynnika r korelacji z próby. Okazuje się, że dła próby z rozkładu binormalnego można podać łączny rozkład tych pięciu statystyk. Ma on formę iloczynu dwóch czynników J

(x,

y,

SX»

Sy;

r;

Hx,

Hy,

Ox,

dy,

p)

O. =N

XV;

x,

Hy, y

0.

——, /n

——,9 /n

g(Sx,

Sy, y

TF;

Ox,

Gy, y

P),

gdzie pierwszy czynnik to binormalny rozkład Średnich arytmetycznych, a drugi

g(5x, Sy, T; 0x, Gy, P) = n-l

4

Jy0y

l-p*

o

(5x5,)|

) ee

- ryżem»

nI (n — 2)

_

n-l

2(1-p)

BEZZGI

(la

JxOy

Oy

5,5, Rozkład Gaussa

daje łączny rozkład obu odchyleń standardowych i współczynnika korelacji z próby. Ważną cechą łącznego rozkładu wszystkich pięciu statystyk jest niezależność Średnich od pozostałych wielkości. Niestety, ogólna postać rozkładu brzegowego wielkości r jest dość skomplikowana, z wyjątkiem przypadku p = 0, kiedy to

r (zn — 1)

_

Jar gazo) 7)

fr) =

Lajżłn-4

i nie będziemy jej tu przedstawiać. Ograniczymy się jedynie do prezentacji graficznej na rys. 5.43, gdzie rozkład ten ukazany jest dla dwóch wartości współczynnika

=

KR

©

R

M

O

1

00

O

©

—

p=0,75

-|

—0,75

—0,5

—0(,25

0

0,25

0,5

0,75

I

Rys. 5.43. Rozkład współczynnika korelacji z próby

p oraz trzech wartości liczebności n próbki. Podamy także, że współczynnik korela-

cji z próby jest asymptotycznie nieobciążonym estymatorem parametru p rozkładu próbkowanego, jako że dla dużych liczebności próbki wartość oczekiwana tego estymatora zachowuje się jak

A

r* (zn)

A

|-p-

0a z LGD l

Y[r]

„ (U — p”)

2

-1

(21009).

,

a rozkład współczynnika r korelacji z próby dąży asymptotycznie do rozkładu normalnego o wartości centralnej i wariancji jak wyżej. Warto także nadmienić,

że znana jest (I. Olkin oraz J. Pratt, Ann. Math. Statist. 29 (1958), 201) taka funkcja u(r) współczynnika korelacji z próby u(r)=rF

l

ln-2

22

-(uez

n —

no

2

2(n—2)

„l=r

+3(

> 1-2)

+00).

8n(n — 2)

321

322

5. Niektóre rozkłady

gdzie F' jest funkcją hipergeometryczną: F(a,b,c;x)

I (c) 3 Ti +a)T(n +b) x" n! I (n +c) I (a)T' b) n=0

=

że jej wartość oczekiwana jest dokładnie równa współczynnikowi korelacji p: (u(r)) = p. A już tylko jako ciekawostkę zacytujemy, że (arcsin r) = arcsin p.

Wyrażenia na wariancje i kowariancję, ujęte we wspólną macierz, pozwalają zapisać postać rozkładu binormalnego w zwartej formie

N (x; a, V) =

1 exp (-ze — AV (x — w)

1 2nx/ det V

gdzie górny indeks T oznacza transpozycję, natomiast o; 2 Ox0yP

V_ oraz

0% 0yD Oy

detV = ogo, (1—p*),

a pozostałe oznaczenia przyjęte zostały w zgodzie z duchem notacji wektorowej podrozdziału 3.4. Uzyskany rozkład dwuwymiarowy uogólnia się na normalny rozkład n-wymiarowy: N (x; u, V) =

I

;

(/2r) „/det V

l 2

exp (-za

— nV "(x — w)

,

(5.74)

gdzie w macierzy V na diagonali mamy wariancje kolejnych zmiennych losowych, a elementy pozadiagonalne dane są kowariancjami poszczególnych par. Algebra liniowa poucza nas, że macierz taka jest dodatnio określona, a więc możemy ją zdiagonalizować, a tym samym wprowadzić taki układ zmiennych, w których wykładnik rozkładu wielonormalnego przyjmuje postać sumy kwadratów (bez wyrazów mieszanych), co prowadzi do niezależności statystycznej nowych zmiennych. Inną ważną cechą rozkładu wielowymiarowego jest fakt normalnych rozkładów brze-

gowych, jakie otrzymujemy z (5.74) po wycałkowaniu względem wszystkich, z wyjąt-

kiem jednej, wybranej zmiennej x;:

f N (x;

u, V) dx; dx

... dx;

dx,

... dx, =

exp

( — w)?

| —————

|.

5.75 gdzie V;, to j-ty diagonalny element macierzy kowariancji V. 073) W dalszych rozważaniach przydatne nam będzie jeszcze jedno spostrzeżenie. Zauważmy, że wielowymiarowy rozkład normalny jest niezmienniczy, co do swej formy,

5.6. Rozkład x?

323

przy liniowych transformacjach zmiennych losowych. Istotnie, wprowadzając układ nowych zmiennych y = Rx, otrzymujemy dla formy kwadratowej w wykładniku rozkładu wielowymiarowego:

x- NTV (x -p=(R"y-u) V"'(R"'y— a)

= (R"'y - RW) V"' (R"'y — Rh) = (y — Aa)” [R"'] V'R"' U — An) = (y — un) [RT] VR"

(5.76)

— An)

= (y — un)! [RVR"] ' 0 — An) = (7 — Un) (VRI' (Y — R):

co powoduje, że nowe zmienne y mają rozkład

N (y; ln, VR) =

;

(s 2n

1

,/det VR

1 exp (-50 — in)" [VR] 0 — u)

,

przy czym HR Oraz

—

RL,

Va

—

RVR"

det Vp = det V

dla transformacji ortogonalnych. Wiele lat pracy matematyków nad rozkładem normalnym zaowocowało

bogactwem wyników dotyczących własności tego rozkładu. Obecnie przejdziemy do przedstawienia niektórych, wybierając trzy z nich: rozkład X, Studenta i F Fishera, które mają związek z zagadnieniem testowania hipotez.

—-

56. Rozkład x*

5.6.1. Wyprowadzenie Niech zmienna losowa x ma rozkład Gaussa o znanej wartości oczekiwanej j4 1 znanej dyspersji o. Znajdziemy rozkład zmiennej losowej 2 x — [l u= ,

cz

W pierwszym kroku, standaryzując gaussowską zmienną x X

x—

Z=

o

,

otrzymujemy standaryzowany rozkład normalny (5.73) 1

N (z; 0, 1) = Só

zł

KP (-5)

,

324

5. Niektóre rozkłady

Wykorzystując wyniki przykładu 2.6.3, możemy podać funkcję rozkładu zmiennej u X (u)=

5 7%

(- >):

Weźmy teraz dwie niezależne zmienne gaussowskie x; i x z tego samego rozkładu

1 zbadajmy rozkład zmiennej losowej

=(57) + (757). x1=mV o

x — WYŻ o

Rozkład takiej zmiennej to po prostu rozkład sumy dwu zmiennych u; i u», który otrzymamy, splatając, zgodnie z (2.27), dwa rozkłady A) (u): A> (u)

=

|»

(u — t)

X)

l

(t) dt =

z

p

( ——AJ= czna

1

exp

u

(>).

Zwróćmy uwagę na to, że otrzymaliśmy rozkład wykładniczy. Postępując tak dalej, otrzymujemy rozkład dla sumy n kwadratów standaryzowanych gaussowskich zmiennych

losowych:

X, (u) = (2)

r(7)*

5-1 'exp

(

exp(-*>)

,

n>0,

u>0,

(5.77)

co można wykazać np. indukcyjnie. Rozkład (5.77) opisywany funkcją X, (u), należącą do rodziny rozkładów gamma (5.42), nazywany jest rozkładem x*. Rozkłady te numerowane są indeksem n, który nazywamy liczbą stopni swobody. Przy parzystej liczbie stopni swobody rozkład ten jest rozkładem Erlanga w zmiennej t = u/2.

5.6.2. Własności rozkładu x? Przykłady tego rozkładu dla kilku wartości liczby stopni swobody zilustrowane są na wykresie 5.44. Widzimy, że jeśli zwiększamy liczbę stopni swobody, maksimum tego rozkładu przesuwa się ku większym wartościom zmiennej, jak również rozkład staje się coraz to szerszy i bardziej symetryczny. Podamy teraz jego wartość oczekiwaną:

€[u]=n

(5.78)

V [u] = 2n,

(5.79)

1 wariancję:

bez wdawania się w szczegółowe obliczenia, jako że całki, jakie musimy tu obliczyć, są elementarne i sprowadzają się do funkcji I” Eulera. Fakt, że wartość oczekiwana zmiennej losowej typu x” jest równa liczbie stopni

swobody, wykorzystywana jest często w praktyce statystycznej, przez podawanie wartości

5.6. Rozkład x? 0,5

325

n=l

0,4

|-

0,3

|-

n=2

0,1 0,0

Rys. 5.44. Przykłady rozkładów x? dla kilku wartości liczby n stopni swobody

tej zmiennej podzielonej przez liczbę stopni swobody. Warto wtedy pamiętać, że tak wyrażona wielkość losowa, mając wartość oczekiwaną równą jedności, ma jednocześnie dyspersję

Zauważmy również, że moda rozkładu x? przypada w punkcie u =n —2.

-—-

Przykład 5.6.1 Rozkład estymatora wariancji i dyspersji Dotychczasowe

rozważania

zakładały,

że

wartość

oczekiwana

rozkładu

Gaussa

jest znana. Jak zmieni się nasz rezultat, gdy standaryzując każdą ze zmiennych

gaussowskich, użyjemy średniej arytmetycznej zamiast wartości oczekiwanej? Jest

to pytanie o rozkład zmiennej u postaci =

-12

(*

*)

4

-S

(*

o

-

2

+4...+

o

-4

(*

2

)

,

(5.80)

o

Powyższą sumę możemy zapisać inaczej: l Ę u= Gi 2%

—X)

l = 5ż

— (2%

- 1)

.

_

(5.81)

i=l

Zmienne losowe x; mają łączny rozkład będący iloczynem n rozkładów normal-

nych:

326

5. Niektóre rozkłady

ex (-

N (x; 4,0)= =

a

1

MN

(

2n o)

(Xx; — a)

P

CXp

202

(

pe

A

2

0

2

9)

(5.82) 3

gdzie wykorzystaliśmy notację podrozdziałów 5.2.6 1 5.5.4. Do zmiennych x; w powyższym rozkładzie zastosujemy tzw. przekształcenie Helmerta: yy

I

=

(x

1

2

zzz

a =

Y

l

1.2

l

1

—

X), 2

1 Fa — 2%),

zę 1 FX Fa — 3%),

1 Z—-—(1+%+%3+4+:'':+X,-1 — (N— 1)X,), (n-1l):n

1 _ y, —0,+%+x3 +x4+''"+X,) =4nX, /n co inaczej zapiszemy jako y=Rx.

Istotną cechą tego przekształcenia jest to, że jest ono ortogonalne, czyli R'R=RR'

=l|L,

co, po wykorzystaniu (5.76), pozwala zapisać rozkład (5.82) w formie

(Y— UR) (Y — p

N (x; HR, 0) =

=

sj" „(s Żpi- bog)

jako że wszystkie zmienne y;,y>,...,y„_, mają wartość oczekiwaną równą zeru, a wartość oczekiwana zmiennej y, jest ,/n razy większa niż wartość oczekiwana pojedynczej zmiennej losowej. Zauważmy, że wprowadzając zmienną X =

Yn R”

5.6. Rozkład x?

rozkład możemy przepisać w postaci N

(i,

222

Yn-1s X;

AL,

o)

l

(X — a)

„Ak n

TE= JE

(Siio)

w której rozkład zmiennej losowej x jest odseparowany od pozostałych zmiennych,

co jednocześnie wykazuje nam, że średnia jest od nich statystycznie niezależna. Zauważmy, że w zgodzie z ogólnymi wynikami podrozdziału 4.2, Średnia arytmetyczna ma wartość oczekiwaną równą wartości oczekiwanej zmiennej losowej,

a wariancja średniej arytmetycznej jest n razy mniejsza od wariancji pojedynczej zmiennej gaussowskiej.

Wróćmy teraz do zmiennej losowej u (5.81). Ponieważ przekształcenie R jest ortogonalne, więc

2 ; =x".x=(R'y) - (R'y) =y'RR'y=y' -y l

— Dy:

n=l

— Sy

i=1

+Y;,

2 J_Y:

i=l

Lnx.

i=l

Podstawiając ten rezultat do wyrażenia (5.81), otrzymujemy 1 u

czyli dokładnie

=

n

wykładnik

>

—

1

pierwszej

nl

>

DZ

=

-„e

(2:

52

funkcji wykładniczej

w funkcji gęstości

(5.83). Ponieważ jest to suma n — 1 niezależnych zmiennych losowych (rozkład w zmiennych y, faktoryzuje się), więc rozkład wielkości u jest rozkładem x* o n—1

stopniach swobody (porównaj z (5.77))

X-1 (U) n-1

4)

=

-

(2) r(7) 1

n

—|l

1 -1exp(->

U

€Xp

|

(->)

.

Z rozkładu zmiennej losowej u natychmiast otrzymujemy, że wielkość ń

l

v=$=——u=—-

V(x -3*

dostarczająca estymatora wariancji zmiennej rozkładu Gaussa, podlega rozkładowi n-l

f(v;o,n) =

(2)

n—l a”

r (

n-l >

)

(

(n — l)v

o?

"z!

M

(n — 1)v

exp (z) 20?

i, co jest bardzo ważne, jest statystycznie niezależna od zmiennej losowej, jaką jest

średnia arytmetyczna (widzieliśmy to już w przykładzie 5.5.10). Z powyższego A na wartość oczekiwaną estymatora wariancji rozkładu otrzymujemy

eg]=>7

——2 - (a — ) = o?

327

328

5. Niektóre rozkłady

tl (e) () 200

1 wariancję tego estymatora 2

2

2

2

tak jak to już raz znaleźliśmy w przykładzie 5.5.2. Podobna

(sprawdź (4.8))

analiza

prowadzi

nas

również

do

2

wniosku,

że

zmienna

losowa

_ nin NM ——1) 1) 2 o?

x)

jest statystyką Xx” o n — 1 stopniach swobody. Skoro dysponujemy nieobciążonym estymatorem sź wariancji o? zmiennej rozkładu Gaussai znamy rozkład tego estymatora, możemy pokusić się o sprawdzenie własności statystycznych estymatora s„. Zacznijmy od wartości oczekiwanej: 00

o

O

nl (42) n

n

"(2)rG) n—1

-1(V/2)

-1(92)

r

n-l

ja

7471

A

(sx) = ——- (Vu) =

p

u

' exp (->) du

8 ( 2 ) ”

raz

__

n-l

( 2 )

n

r

76)

"

nl]

( 2 )

która ukazuje na jego obciążony, choć nie asymptotycznie, charakter:

(5) =

—__"()

—r(7)

o

"Wn-l

O

— 0.

n>o

2

Zajmijmy się teraz wariancją estymatora s,. Ponieważ wartość oczekiwana jego kwadratu to o”, więc V[sx]=o* — (s) =o*|1—

Lo

2

"re

2

(3)

(2)

50_

"(z)r(7)

Jeśli dokonamy asymptotycznego rozwinięcia, wg wzoru Stirlinga (5.5), wszystkich występujących tu funkcji /' Eulera, to otrzymamy ń

ME) r()r(Z) 2

R eX

Pn)

=|]

m

5,6. Rozkład x?

329

co prowadzi do wyrażenia na wariancję

l

(5.84)

v [sx] Z o”, 2n i jej estymator (kwadrat błędu błędu) A l > V[Ssx] = 2n *

stosowany w przykładzie 5.5.2.

T)

Powyższy przykład nie powinien w Czytelniku wzbudzić mniemania, że dysponując

próbką doświadczalną normalnych danych x;,, możemy dla tej próbki obliczyć wartość zmiennej losowej x*, wykorzystując Średnią arytmetyczną, jako że pozostaje problem mianownika w każdym ze składników sumy

(5.80), czyli problem dyspersji rozkładu

Gaussa. Wielkość ta przy pobieraniu próby z reguły nie jest znana, a pobieranie próby ma właśnie na celu najczęściej określenie zarówno estymaty wielkości oczekiwanej, jak i estymaty dyspersji. Moglibyśmy co prawda użyć tej ostatniej do określenia wartości zmiennej losowej (5.80), która wyglądałaby jak zmienna x*, ale w najlepszym razie mo-

głaby ona ją aproksymować, przy czym aproksymacja ta byłaby tym lepsza, im estymata dyspersji obarczona byłaby mniejszym błędem. O tym zastrzeżeniu należy zawsze pamiętać, ilekroć oglądamy wyniki eksperymentalne interpretowane w terminach rozkładu X”, jako że właśnie regułą jest, iż zamiast Ściśle określonego parametru rozkładu normalnego, jakim jest jego dyspersja, stosowana bywa jej estymata. Tę, zdawałoby się, słabość zmiennej z rozkładu x* często obraca się w jej atut i wykorzystuje w procesie analizy

danych doświadczalnych do określenia nieznanego błędu pomiarowego. Metoda ta jest powszechnie stosowana w procedurach kalibracji detektorów, kiedy to wykorzystujemy pewne znane wielkości np. geometryczne, znajdowane w dokładnych pomiarach geode-

zyjnych przeprowadzanych w momencie budowy detektorów lub też np. masy cząstek elementarnych lub rezonansów jądrowych. -—-

Przykład 5.6.2 Rozkład x* dla różnych zmiennych gaussowskich Rozważmy n gaussowskich zmiennych łosowych x, (i = 1,...,n), każda pochodząca z rozkładu normalnego W (x;; 4,o;) o wspólnej wartości centralnej. Dla

- (2) (2) (2)

próbki tej zdefiniujemy zmienną losową

x-AV 0)

(%-HV 07

x AV O,

Ponieważ każdy ze składników tej sumy podlega rozkładowi x? o jednym stopniu swobody, więc suma jest zmienną losową o rozkładzie x* o n stopniach swobody. Identyczny rezultat otrzymujemy także i dla zmiennych z rozkładów Gaussa zadanych różnymi wartościami oczekiwanymi ,,.

330

5. Niektóre rozkłady

Przykład ten podnosi kwestię wykorzystania średniej ważonej Xx„ zamiast wartości oczekiwanej j4 w konstrukcji zmiennej X*: -

2

Xi — Xy j

01

-(

)

—

2

X2 — Xw 07

+(

)

-

Xp

2

Kw On

++(

|

|

Rozumowanie przebiega tu tym samym torem co w przykładzie 5.6.1. Musimy jedynie zmodyfikować przekształcenie Helmerta. W tym celu wprowadzimy najpierw

zmienne

a z nich skonstruujemy zmienne l

Zi

l

Ę — 9;

"= 270 (a, 205) Y 2 =

ŁŻ"]) 03 'Q+0:;

1

Yn=1

=

dn

+ 74) — 0

nl

NA ——— Q,-10

(5:

—

O

O3Z3 27323

)

|,

Z,

— —

GnónZn

)

|»

gdzie

Przekształcenie to jest ortogonalne, dzięki czemu z” :z = y':y, a wszystkie zmienne y, mają jednostkową wariancję i zerową wartość oczekiwaną, z wyjątkiem zmiennej y,, dla której wynosi ona m/ Q,„. Ponieważ

rę0. = Sz 2002 +o. =P(->) 2-2) n

i=l

-

2

i

n

n

i=l

i=|l

n

FE

i=l

n

n

n—

nl

i=1

i=l

i=1

i=l

=),4—QX, =) y; — Q,X, = Sy +y— QŹ =) y; więc

(uj=n—- l

1 to niezależnie od rozkładu, z którego wywodzą się zmienne x,. Wynik ten uzasadnia postać błędu zewnętrznego, jaką wprowadziliśmy w podrozdziale 4.3.

W szczególnym przypadku, gdy zmienne x, pochodzą z rozkładów normalnych, wszystkie o identycznej wartości oczekiwanej m, lecz różnych dyspersjach o;, Wówczas zmienne z, podlegają rozkładowi

5.6. Rozkład x*

n

N

l

331

1

, u) = [l YŻm

exp (-50

— u?

Wykładnik tego rozkładu przekształcimy do postaci zależnej od zmiennych y;

e - u) = z -2Y) pz, + SU

i=l

1

i=l

i=l

= Sy; — 2uQ,x, + Qu i=l

n-l

=) ly; + Q,X, — 2uQ,X + Qu” i=l

nl

= )y; + Q,(% — u)”, i=l

co prowadzi do rozkładu tych zmiennych

N (112 Yn-1 wi IŁ) n-l

=

_

GE

oo

ep (536)

|

z

2

Utwierdza to nas w przekonaniu, że zmienna u ma istotnie rozkład x* o n — 1 7 stopniach swobody.

5.6.3. Postać graniczna rozkładu x* Wykres 5.44 rozkładu x? sugeruje, że dla dużej liczby stopni swobody rozkład ten staje się symetryczny. Nauczeni doświadczeniem z badania postaci granicznych innych rozkładów, wprowadzimy standaryzowaną zmienną z, zdefiniowaną wyrażeniem z

=

u-ć[u]

u=n

Dluj

42n

>

u=v2nz+h,

charakteryzującą się rozkładem postaci

Jn(z)

=

V2n (Wz tn)

ca r) 7

ń

!

"CEC +3)

exp | —z

w/2nz

+n)/.

Rozkład ten przedstawiony jest na rys. 5.45 dla trzech wartości liczby n = 5,101 20 stopni swobody (linie cienkie) wraz ze standaryzowanym rozkładem normalnym. Widać, że rozkład x? upodabnia się do rozkładu Gaussa dla dużych wartości parametru n. Wykażemy to formalnie, wykorzystując przejście graniczne n — oo. Skorzystamy z rozwinięcia Stirlinga (5.5)

332

5. Niektóre rozkłady n=5

0,5

p

rozkład Gaussa

i

—3

-—2

-]

0

l

2

3

zmienna standaryzowana Rys. 5.45. Porównanie rozkładu x* dla trzech wartości liczby n stopni swobody z rozkładem Gaussa

(2) Sz8($-1) ee NI

f(z) *

w/2n („/2nz + n

1] exp (-;

(2nz

+ 9)

,

(Go) -(-086-3-)

a po wprowadzeniu wszystkich elementów wzoru (z wyjątkiem czynnika X 2n) do wy-

kładnika i dokonaniu odpowiednich redukcji, otrzymujemy

J„(z) *

Wykorzystamy teraz rozwinięcia logarytmów:

a otrzymamy Jnl2)(z) R© pol

xp

2> _

J-541 zd — „||

Zachowując dominujący, pierwszy człon w wykładniku, otrzymujemy standaryzowany rozkład Gaussa

2

fnlz)

—

n> 00

| /27

xp ( 2- )

Z rysunku widzimy, że zbieżność rozkładu x* do rozkładu normalnego jest dość wolna. W praktycznych obliczeniach rozkład graniczny stosuje się dla n > 30.

5.7. Rozkład Studenta

—-

333

5.7. Rozkład Studenta

5.7.1. Wyprowadzenie W podrozdziale 5.6.2 wspomnieliśmy, że użycie estymaty dyspersji rozkładu normalnego przy konstruowaniu zmiennej typu x* może dać nam co najwyżej tę zmienną losową w przybliżeniu. Dlatego właściwsze byłoby rozważenie rozkładu statystyki postaci

x—H b

Sx

zwanej statystyką Studenta. Ponieważ błąd średniej arytmetycznej s; wiąże się ze zmien-

ną typu x” zależnością

g2 Sz = nn=l)

więc statystykę Studenta możemy wyrazić w ogółnej postaci

x— u o

x Sx

X-a -

2

nn=l1'

4n m

u

n—

l

W mianowniku licznika znajduje się dyspersja o/,/n wartości średniej, a w mianowniku pod pierwiastkiem liczba n — 1 stopni swobody zmiennej u typu x”. Oba obiekty pojawiają się tutaj z uwagi na to, że wyszliśmy od pewnej konkretnej zmiennej losowej, tj. Średniej arytmetycznej. Aby nasze rozważania uogólnić, zajmiemy się rozkładem

zmiennej losowej zdefiniowanej wyrażeniem

x— U t=—o—

(5.85)

gdzie wielkość x jest zmienną losową pochodzącą z rozkładu normalnego o parametrach A oraz o , natomiast zmienna u podlega rozkładowi x* z n stopniami swobody, przy czym zmienne x oraz u są statystycznie niezależne (tak jak to jest dla średniej arytmetycznej

i jej niepewności standardowej).

Postać rozkładu zmienną losową

zmiennej

t wyprowadzimy,

standaryzując

najpierw

gaussowską

x— HL t=—

u

n

>

z

t=—,

U

n

a następnie wypisując postać łącznej funkcji rozkładu dla zmiennych z oraz u

334

5, Niektóre rozkłady

2

oraz odwołując się do wyników podrozdziału 2.6. Pokazaliśmy tam, że funkcja gęstości dwóch zmiennych losowych przy ich przekształceniu podlega zamianie wg przepisu (2.26): glłt,v) =h(z(t,v),u(t, v)) |J(t, v)|.

Jeśli dokonamy przekształcenia

|

= v=u

z

———

—

+=

>

/ujn

0z

y

a |_|; t

J=|s

+

u=v

dz

807]

—

—

dt

z7gl-

m

2%

0

dv

1

=|

[e

to łączna funkcja gęstości zmiennych t oraz v przyjmie postać Snlf,

6) V)

1 r Jze »( v 5) = == —— ni V — ©xp|-—5 — 57 V2NT

r (>)R

(42)

1

my Y

= / nn (42)

n

2

nżl_q

v

2n

t>

%P|-z(IF7)|-

r (>)

Ponieważ jesteśmy zainteresowani rozkładem brzegowym zmiennej t, więc wycałkujemy £„(t, v) względem zmiennej v: 00

S,() n

=

J

00

(t,v)d V)dU

gnU,

=

I

PNY

ant

śm(43) r(3)

J

v2

ap6 (

73

»(142))a "

v.

Jeśli w całce dokonamy zamiany zmiennej:

"z n

to sprowadzi się ona do całki normalizacyjnej z rozkładu x? z n+1 stopniami swobody, którą możemy łatwo obliczyć, otrzymując ostatecznie w wyniku 40

T(i(n+1

= TE)

„/nn T' (zn)

n=l,2,...,

2y

(147)

n

736640)

,

(5.86)

—00 < I < ©,

czyli rozkład Studenta o n stopniach swobody, podany przez angielskiego statystyka W. S$. Gosseta (Student, The Probable Error on the Mean, Biometrika 6 (1908),

William S. Gosset,

1876-1937

1), który swoje

prace naukowe publikował pod pseudonimem Student, gdyż . . . jego pracodawca, znana firma browarnicza Guiness, zabronił mu w kontrakcie używania własnego nazwiska.

5.7. Rozkład Studenta

Przykład 5.7.1

Średnia arytmetyczna — rzetelność producenta cukru Przyczynę, dla której interesujemy się rozkładem Studenta, wskazaliśmy we wstępie do tego podrozdziału. Stosując zmienną Studenta:

X-H

t=

o/4/n

(n — 1)sż JE /a-1

_X-u =

ss//no|

=

X-H

(5.87)

sz

o n— 1 stopniach swobody, unikamy trudności, która „gnębi” statystykę y* — nieznana dyspersja rozkładu Gaussa kasuje się i otrzymujemy zmienną zdefiniowaną

w całości przez dane doświadczalne. Umożliwia to testowanie hipotez o wartości oczekiwanej rozkładu Gaussa. Zauważmy także, że zmienna t mierzy odchylenie uzyskanego wyniku od wartości oczekiwanej w jednostkach błędu standardowego. Rozważmy następujący przykład. Przypuśćmy, że chcemy sprawdzić rzetelność, z jaką producent cukru rozsypuje go do toreb, których waga netto powinna wynosić 1 kilogram. Zakupujemy w tym celu 5 toreb i ważymy ich zawartość.

Obliczamy średnią wagę, która wynosi 960 gramów i znajdujemy odchylenie stan-

dardowe tej wielkości jako np. 10 gramów. W świetle reguły trzech odchyleń standardowych (patrz przykład 5.2.3) gotowi jesteśmy posądzić producenta o nieuczci-

wość, jako że w tym przypadku średnia waga odbiega od nominalnej aż o cztery standardowe odchylenia. Czy jednak nasz wniosek nie jest zbyt pochopny? Reguła trzech standardowych odchyleń odniesiona do rozkładu Gaussa implikuje prawdopodobieństwo 99,73% znalezienia zmiennej losowej wokół wartości oczekiwanej. W naszym przypadku wartość statystyki Studenta wynosi £ = —4. Jakie jest prawdopodobieństwo, że średnia waga otrzymana z próbki liczącej 5 pomiarów będzie zawarta między 960 g a 1040 g, czyli jakie jest prawdopodobieństwo, że zmienna

1 l

©

—

DV

©

RM

nn

O

M

0606

©

—

losowa Studenta t o czterech stopniach swobody będzie mniejsza, co do wartości bezwzgłędnej, od czterech? Stosowne obliczenia dają P(—4 < t < 4) = 0), 9839. Widzimy, że jest to prawdopodobieństwo mniejsze niż to, jakie znajdujemy dla

liczba odchyleń

r-—

0

„LL.

i

10

20

l

30

l

40

]

S0

stopnie swobody Rys. 5.46. Graniczna wartość statystyki t Studenta,

jako funkcja liczby stopni swobody

dla której

P(—t

< t < t) = 0,9973,

335

336

5. Niektóre rozkłady

rozkładu Gaussa. Gdybyśmy

chcieli wyciągać konkluzje na tym samym pozio-

mie prawdopodobieństwa, na jakim to czynimy w przypadku rozkładu Gaussa i reguły trzech standardowych odchyleń, graniczna średnia waga netto musiałaby

odbiegać od wagi nominalnej o przynajmniej 66 gramów, ponieważ dopiero wtedy P(=6,6 < t < 6,6) = 0,9973.

Jak powinniśmy się zachować, gdy nasza próbka jest bardziej obfita? Na rysunku 5.46 prezentujemy zależność granicznej wartości statystyki Studenta, wy-

czerpującą tę samą ilość prawdopodobieństwa (99,73%) jako funkcję liczby stopni swobody. Jak widzimy, dopiero dla liczby stopni swobody na poziomie kilkudzie-

sięciu uzyskujemy wartość £ zbliżoną do tego, co daje nam rozkład Gaussa, czyli

trzy odchylenia. Wynik ten jest zrozumiały, jeśli przypomnimy sobie rezultat (4.9) podrozdziału 4.2, który pokazuje, że dla próbki o rosnącej liczebności fluktuacje estymatora wariancji z próby maleją, a tym samym estymator ten w coraz to większym stopniu przybliża parametr rozkładu Gaussa. Dla mniejszych liczb stopni

swobody, liczba odchyleń może być bardzo duża; np. dla liczby stopni swobody kolejno: 5, 6 i 7, liczba ta wynosi około: 5, 5 i w końcu 45.

T)

—-

Przykład 5.7.2

Statystyka Studenta dla dwóch średnich arytmetycznych Rozważmy teraz dwa ciągi x; (i = 1,2,...,n)orazy,

(Jj=l, 2,...,'m) gaussow-

skich niezależnych zmiennych losowych pochodzących z rozkładu o tych samych

parametrach /4 oraz o. Skonstruujemy następujące niezależne statystyki: |

L —_ X =

—

n

2__ Ss, =

Xi,

-_lq

2,

J=QW

l

3-

n-l—=i=l

bę

(G

—

=;2 X) ,

22

| Y=nT > (y;— 1) .

Wiemy, że obie średnie arytmetyczne podlegają rozkładom Gaussa o wartości ocze-

kiwanej u i dyspersjach o /,/n oraz o/4/m. Różnica obu średnich, a nawet ogólniej, wyrażenie X— 4, — (y — Ly) ma również rozkład normalny z wartością oczekiwaną równą zeru i wariancją

o 2 o 2 m+n o, — + — = o.

n

Statystyki

m

c

u, = (n — 1),

nm

y

uy = (m — 1)—;

mają natomiast rozkłady x? o n — 1 oraz m — 1 stopniach swobody. Z. podrozdziału 5.6.1 wiemy, że suma dwóch zmiennych losowych o rozkładzie x*, jedna on — 1, druga o m — 1 stopniach swobody, jest również zmienną losową o rozkładzie x? o liczbie n + m — 2 stopni swobody. Możemy wobec tego utworzyć zmienną Studenta

5.7. Rozkład Studenta

337

X ay — (Y — my) n +m nm

—

Ux H Uy

y

NT

n+m— 2

x-T-(u y

n+m

p

n+m-2V

(1x

m

—

My)

ę+ ż

*

n

5

(5.88)

Cz

o"

o rozkładzie Studenta z liczbą n + m — 2 stopni swobody. Zmienna ta ma zastosowanie przy testowaniu hipotez o równości wartości oczekiwanych dla dwóch

populacji gaussowskich o tej samej wartości dyspersji. Tak jak w przykładzie 5.7.1,

tu zmienna Studenta (5.88) także mierzy różnicę między wartościami średnimi (dla x = Hy) w jednostkach odchylenia standardowego dla tej różnicy, ale dzieje się to jedynie wtedy, gdy liczebności próbek są duże i porównywałne ze sobą:

—

x-y y

x-y Tę

pę+

n+m

n=m

lsż

+ s;

n+m-2Y m n o " W przeciwnym razie dochodzą, jak to widzimy, czynniki korekcyjne.

n

5.7.2. Własności rozkładu Studenta Dla parametru n = 1 rozkład Studenta przechodzi w tzw. rozkład Cauchy'ego 1 1 SG) =— , —00 () —

—00 < £ < OO,

(5.90)

+ (€ — 4) £

—

—00 < JL < OO,

T> 0.

Parametr I' zwany jest szerokością linii. Do rozkładu tego po-

wrócimy w podrozdziale 5.9.

Zauważmy, że rozkład Studenta ma tyłko skończoną liczbę momentów. Jeśli liczba stopni swobody jest większa od jedno-

ści, to wartość oczekiwana znika: € [t] =0,

n>l,

natomiast wariancja istnieje dla liczby stopni swobody większej od dwóch:

YKM=——, n-2

n>2

(5.91)

Kształt rozkładu Studenta, dla kilku wartości liczby stopni swo-

body, podany jest na rys. 5.47.

Augustin Louis Cauchy,

1789-1857

e

]

5. Niektóre rozkłady th

338

rozkład Gaussa n=lo

Rys. 5.47. Kształt rozkładu Studenta dla kilku wartości liczby stopni swobody

5.7.3. Postać graniczna rozkładu Studenta Na rysunku 5.47 ilustrującym rozkład Studenta przedstawiony został również, dla porównania, standaryzowany rozkład Gaussa. Widzimy, jak dla dużej liczby stopni swobody

rozkład Studenta zbliża się kształtem do rozkładu normalnego. Tym zagadnieniem zajmiemy się obecnie. Tak jak i w poprzednich przypadkach, rozwiniemy, korzystając ze wzoru Stirlinga (5.5), obie funkcje I' występujące w definicji (5.86) rozkładu:

5,0) z

EGP)

„/nnx/2n (zn — 1)

1,1

NI

—_ayżn

9 CE

3)

2 exp (—>n + 1

24 —Ż

n+|

(+7) H

|

a następnie wciągniemy wszystkie czynniki (z wyjątkiem x 2n) do wykładnika:

302 zęee(50(1-3)7377z7"(71)l

„(t) =

n 1 | —n|l—-—|--—

n-l

n|l—-|

2

—

1 rozwiniemy logarytmy:

1.

I

2), n

2 n

n|l--|=-—-,

n|l--j=—-, n n

72 "(*7))

n+1

In | 1

t

KAWIE. n n

n(1+—|=—,

otrzymując

SZ „M )

*

—

w2n

2

( 7 — CXP]z AE

n

z

—

n

—

n>oo

I

„/2n

( 3

exp | -—

AE

|,

jak oczekiwaliśmy, rozkład Gaussa. W praktyce rozkład graniczny jest używany zamiast rozkładu Studenta, jeśli liczba stopni swobody przekroczy 30.

5.7. Rozkład Studenta

--

Przykład 5.7.3 Współczynnik korełacji z próby — profil wiązki Powróćmy do przykładu 5.5.10 i łącznej postaci funkcji rozkładu błędów standar-

dowych i współczynnika korelacji z próby: g(Sx,

Sy;

r)

—

nl

(osy) UP)" nT'(n — 2)

n- | sz EN] X w( no 2(1—5p>) ĄD (>) Najczęściej

zdarza się, że potrzebujemy

9

-

p”

prszS sy ZY A , Ox0y " (2) ))

sprawdzić zgodność uzyskanego współ-

czynnika korelacji z próby z wartością zero, czyli z założeniem p = 0, niezależnie

od rozkładu wartości błędów standardowych sy, oraz sy. W takim przypadku funkcja

rozkładu brzegowego dla współczynnika korelacji z próby przyjmuje postać

Jr)

_

p (zm = 1))

VAT 10 -2))

(1 s OW

.

Jeśli w tym rozkładzie dokonamy zamiany zmiennej pna

r/n —2

to otrzymamy

Ś„-2(t)=

o

r Gw

D)

/nln-2T (3(n — 2))

(>)

n=2

|

—00 < £< ©.

Widzimy, że rozkład zmiennej t jest rozkładem Studenta o n —2 stopniach swobody. Wartość tej zmiennej dla przykładu z profilem wiązki z rozdziału 1 wynosi 0,324/ 386 — 2 f=——————)

"

1

" (S2) r(3)

który w następnym kroku zamienimy na rozkład zmiennej Jeśli dokonamy przekształcenia

DU n w,

F =

=>

v=u

—

UL

U =v

n

JU

yy

=>

J

=

to łączna funkcja gęstości przyjmie postać $nm(F,v)

=

(42)

|

wim

I

a (—F)

TGnT(im)" "

dv su

OF

dv

M2

U)?) 2-1

e

xp (>)U2

i

,

F, stosując metodę (2.26).

Jur

3F a

zh 1

(

oM2

1

yż m1

n

—v |M

=

0

exp (->

—F| Mm l

(—F

m

=

n

—y,

m

+ 1)) ,

Eliminując zmienną v przez scałkowanie (całka jest z klasy całek rozkładu x”), otrzymujemy rozkład Fnm(F)

=

r (;(0+m))

ni"m?" Fa"!

n,m> O,

'A (żn) A (żm) (m + nF)żttm

F>0Q,

zwany rozkładem F Fishera z (n, m) stopniami swobody. Należy wspomnieć o pewnym

zamieszaniu, jakie panuje w literaturze w kwestii nazwy tego rozkładu. Jeśli zajrzymy do

książek ze statystyki adresowanych do fizyków, spotkamy nazwy: F Snedecora—Fishera lub po prostu F Fishera. Klasyczne podręczniki statystyki matematycznej dość jedno-

myślnie określają go jednak mianem rozkładu F Snedecora lub po prostu rozkładem F.

W dziełach tych termin rozkład Fishera, zarezerwowany jest dla rozkładu zmiennej, konwencjonalnie oznaczanej literą z, zdefiniowanej wyrażeniem z = > lnF,

—00

< Z < W,

1 określany jest precyzującą nazwą rozkład z Fishera z (n, m) stopniami swobody. Zaletą rozkładu wielkości z jest to, że jest on bardziej zbliżony do rozkładu normalnego.

W tej książce będziemy stosowali terminologię, jaka utarła się wśród fizyków, a więc

używali nazwy rozkład F Fishera dla rozkładu zmiennej losowej (5.92) proporcjonalnej

do stosunku dwóch zmiennych, każda o rozkładzie x*.

342

5. Niektóre rozkłady

George W. Snedecor,

Sir Ronald A. Fisher,

1882-1974

1890-1962

r—

Przykład 5.8.1 Porównanie odchyleń standardowych Wiemy,

że każda ze statystyk u, oraz uy, wykorzystująca estymatory sz oraz Sy

wariancji o? dła dwóch prostych próbek, statystycznie niezależnych od siebie i wylosowanych z popa U, =

nl

=

normalnej o tej samej dyspersji o:

>

(w - X),

ml

uy =

55

lIĘ

sy = 2

)

_

(y—Y);

i=l

ma rozkład x? oodpowiednio n — I oraz m — 1 stopniach swobody. Z wielkości tych możemy zbudować zmienną F Fishera: Ux

nl,

aż

Sx

g2

Sy

_ nl n=l _S% == mol, $ m— l

(5.93)

m—l

która będzie podlegała rozkładowi F o (n — 1, m — 1) stopniach swobody. Przykład ten jest ważny, ponieważ dostarcza on narzędzia do testowania hipotezy o równości wariancji w dwu próbach prostych wylosowanych z rozkładu normalnego.

n"

5.8.2. Własności rozkładu F

Przykłady rozkładu F dla niektórych wartości par stopni swobody zilustrowane są na

rys. 5.49. Rozkład F jest monotonicznie malejący dla n < 2 oraz ma modę dla n > 2 w punkcie

Kaz MA—2 n(m +2)

1.

5.8. Rozkład F Fishera 1,0

r

(n,m) = (1,1)

08 | 0,6

343

(n,m) = (5,1)

|

0,4 |

3

02 L

(n,m) = (10,5) (m, m) = (5,10)

0,0

l

0,0

0,5

l

L

J

1.0

1,5

2,0

Rys. 5.49. Przykłady rozkładu F

Wartość oczekiwana dana jest wyrażeniem €[F]=-—,

m >2

m —2

1 jest zawsze większa od jedności, natomiast wariancja określona jest przez 2m*(n + m — 2

Y[F] =

r ) n(m — 2)2(m — 4)

m > 4.

Dla jednostkowej wartości pierwszego ze stopni swobody otrzymujemy rozkład F w po-

staci:

_ Tlm+D)

która po podstawieniu zamienia się na

TOGM+D)

1"

p

PY O

1,

t=F, Ir

(i(m +1

1 Gm+D)

,/ nm I (>m)

1

(1 +

m

0)

zD

t>0,

czyli rozkład Studenta o liczbie m stopni swobody, określony na dodatniej półosi.

5.8.3. Postać graniczna rozkładu F Interesujące zachowanie objawia rozkład F przy przejściach granicznych dla liczby stopni

swobody. Przy ustalonej wartości parametru n, przy przejściu granicznym m

otrzymujemy

F„(F) Kok

— mM—>0o

n 22"

(>n.)

(nF)r" exp (-znF) 2

”

—

00

344

5, Niektóre rozkłady

czyli rozkład x* w zmiennej nF, o n stopniach swobody. Dowód przebiega analogicznie

do dowodów postaci granicznej dla innych rozkładów. Dokonujemy przybliżenia funkcji I' w części, w której występuje stopień swobody m, za pomocą wzoru Stirlinga (5.5) (o

ile dotychczas utrzymywaliśmy bardzo uważnie wszystkie stałe składniki typu jedności lub połowy, to tym razem zaniedbamy je w stosunku do wielkości m; ufamy, że Czytelnik po tylu przykładach powtórzy nasz rachunek bez przybliżeń): niż” E2n-1

Fnm(F) 3

(ż(n

D(zn) |

+ m))*"""

(2)

- zer 9)

=——--—---gyp

+ m))

mie(tm)*" exp(—1m)

_n (nF)2""!

_ n(nF)ż"!

exp(—1(n

n

n y ż(r+m)

2

m

=—— 0% | 23" T' (żn)

n

—— + 2

m

(22) n

n(14 2) n — | —

n+mn 2

n pp"

y-zbtm)

m

+ | ——

_ n(nF)z"!

(

— — m

n+mn 2

=

In (14 --P) n -

—F m

n(nF):""! n MAD (I In? 1 (14 ©)np). 22" T' (zn)

2m

2

m

Znak przybliżonej równości wprowadziliśmy z uwagi na rozwinięcie funkcji logarytm. Dła m — oo ostateczne wyrażenie zbiega do rozkładu x? w zmiennej nF, jak to podaliśmy wyżej. Ponieważ rozkład x” przy liczbie jego stopni swobody dążącej do nieskończoności dąży do rozkładu normalnego, więc jednoczesne przejście w rozkładzie F z parametrami n oraz m do nieskończoności prowadzi nas również do rozkładu Gaussa. Dowód przebiega analogicznie, należy jedynie wprowadzić zmienną standaryzowaną. W przeciwieństwie do przejścia m — oo przy ustalonym indeksie n, przejście n — oo przy ustalonym indeksie m nie doprowadza do żadnego nowego rezultatu, co

więcej, nie doprowadza do żadnego rozkładu.

—-

5.9. Rozkład Breita-Wignera

Rozkład (5.90) Breita—Wignera (zwany też rozkładem Cauchy ego) S(x

4

1

T)=——

—

DT

"(ZT) +G-n)

7”

—00

< X < ©,

—00

< JL < OO,

T>0,

spotkaliśmy w podrozdziale 5.7.2 jako szczególny przypadek rozkładu Studenta, gdy

ten ma tylko jeden stopień swobody. Znaczenie tego rozkładu w

fizyce jądra atomowego

1 cząstek elementarnych wynika z faktu, że opisuje on kształt jądrowych poziomów wzbudzonych i rezonansów cząstkowych. Jest on również nie bez znaczenia z punktu widzenia statystyki matematycznej z uwagi na swoje specyficzne własności. Polegają

5.9. Rozkład Breita-Wignera

345

one na tym, że rozkład ten nie ma określonej wartości oczekiwanej, a wyższe momenty zwykle są bądź nieskończone (parzyste), bądź nie istnieją (nieparzyste). Spowodowane jest to tym, że rozkład Cauchy'ego zbyt wolno zbiega do zera dla dużych wartości argumentu.

Gaussa.

Ilustracją tego faktu jest rys. 5.50, porównujący ten rozkład z rozkładem

0,5 p 0,4 0,3

rozkład Gaussa

0,2 F rozkład

0,1

Cauchy'ego

-4

-3

-2

-|

0

l

2

3

4

Rys. 5.50. Porównanie rozkładu Cauchy'ego i Gaussa

W konsekwencji dla rozkładu Breita-Wignera nie są spełnione założenia centralnego

twierdzenia granicznego i wartość Średnia z prostej próbki zmiennych tego rozkładu nie podlega, w granicy, rozkładowi normalnemu. Pokażemy to, wyprowadzając rozkład sumy

X = x; + x» dwóch zmiennych losowych x; oraz x, każda o rozkładzie Cauchy'ego. Jak to wynika z podrozdziału 2.6, rozkład sumy jest zadany splotem (2.27):

fa => on

|

NI

00

du

(1+2:-0v)7)(1+v0)

13

mwq+(lx)

—00

gdzie całkę obliczamy, rozkładając funkcję podcałkową na ułamki proste. Jeśli zamiast sumy zmiennych losowych weźmiemy Średnią arytmetyczną, to otrzymamy

1

fG) = —1

1

iż

ponownie rozkład Cauchy'ego. Składając podobnie dowolną liczbę zmiennych, otrzymamy zawsze dla średniej arytmetycznej rozkład Cauchy ego.

Własność ta uniemożliwia zastosowanie standardowych metod oceny parametrów rozkładu Breita-Wignera. Jeśli próbka jest liczna, wtedy zazwyczaj uciekamy się do metody najmniejszych kwadratów. Jeśli danych jest niewiele, a próbka nie jest zanieczyszczona, wtedy możemy

przywołać na pomoc modę i zastosować metody podroz-

działu 4.6 lub jeszcze lepiej wykorzystać metodę wykresu kwantyli. Sposobem na „uleczenie” tego rozkładu jest obcięcie go do pewnego zakresu zmiennej wokół wartości modalnej:

346

5, Niektóre rozkłady

J 06; M, La, Ly, T')

l

Lip

(GT) +e-w>

(GT) +2- u)?

2

Ib

( Ha

2

a

dx

—

arctg | 2 b)

r

TY + 6 — w)?

—_

j

arctg | 2 bah

a

dla 1, < x < jm, co dla wartości oczekiwanej daje

l

T

Ep]l=u+—

„AG

a

M" +T"

_„2+ŁT2

BE) +

4 arctg (287 *)

— arctg (275 »

Wielkość ta jest równa wartości ji tylko wtedy, gdy obcięcie jest symetryczne wokół mody rozkładu.

Specyficzny charakter rozkładu Breita-Wignera objawia się również w niezmiernie

często spotykanym w praktyce laboratoryjnej przypadku obliczania wartości błędu ilorazu z = x/y dwóch niezależnych zmiennych losowych rozłożonych wg rozkładu normal-

nego z parametrami p, i o, Oraz ay i oy. Stosujemy tu zazwyczaj metodę przedstawioną w podrozdziale 3.4 i przedstawiamy błąd wielkości z jako s2

s2

|

s;=z (5 + 3

(5.94)

gdzie wielkości sy i sy to estymaty wariancji obu rozkładów. Przyjrzyjmy się bliżej

temu zagadnieniu. Jak to wynika z przykładu 2.6.6, zmienna losowa z określona jest

rozkładem

fGQ) =

1

—

210 xy

|

f

(-=

bie

—n)Ż 1x)

20?

(W=

8 (V — ))

u)? ja:

2o;

który, po rozbiciu zakresu całkowania na dwa: od minus nieskończoności do zera i od zera do plus nieskończoności (w celu usunięcia modułu pod znakiem całki), rozwinięciu

kwadratów w wykładnikach, wydobyciu przed znak całki części niezależnych od zmien-

nej całkowania, dokonaniu zamiany zmiennej i uporządkowaniu, można przedstawić jako

J (z)

—

1

noo,

1

1 R z? w( o; 2

o; 2

1/fuż

M

——> (>|5xę©)J| + aż

1

+ g(z) exp

8” (2)

>

g(z)

jes 0

——t2 | dr|,

5.410. Rozkład jednostajny

347

gdzie

g(z) = ————. o

x

l

z”

2 Oy | g2 0;

Zauważmy, że jeśli zmienne x oraz y pochodzą ze standaryzowanego rozkładu normalnego, natychmiast otrzymujemy, że rozkład f(z) redukuje się do rozkładu Cauchy'ego. Jak widzimy,

pełny rozkład dła dużych

wartości zmiennej

z zachowuje

się

identycznie z rozkładem Breita-Wignera (funkcja g(z) dąży do stałej dla z + oo), tak więc wariancja zmiennej z tego rozkładu jest również nieokreślona. Wynik ten stawia pod

znakiem zapytania sensowność, w odniesieniu do zmiennych gaussowskich, obliczania błędu stosunku dwu takich zmiennych, jako że błąd takiej wielkości jest nieokreślony, a tym samym wielkość ta pozostaje dowolna między plus a minus nieskończonością. Wielkości losowe określone takimi stosunkami są, z punktu widzenia statystyki matematycznej, źle zdefiniowanymi obiektami. Powinniśmy po prostu unikać formułowania za-

gadnień w ten sposób. Na przykład nigdy nie formułujemy zagadnienia polegającego na

obliczeniu stosunku dwu zmiennych, każda o rozkładzie dwumianowym, poniewaz w takim przypadku mielibyśmy niezerowe prawdopodobieństwo pojawienia się wyrażenia, w którym mianownik znika, co daje nam nieokreśloną operację matematyczną. Zamiast tego stosunku obliczamy wielkości typu stosunku rozgałęzień, w których w mianowniku

występuje zawsze dobrze określona wielkość. Mimo tych zastrzeżeń postępowanie wykorzystujące wzór (5.94) ma wielokrotnie sens, choć nie zawsze zdajemy sobie z tego sprawę. Jeśli wielkości x oraz y są np. dodatnie z mocy operacyjnej procedury pomiaru, co dzieje się np. przy wykorzystaniu twierdzenia Pitagorasa do pomiaru odległości między punktem produkcji a punktem rozpadu niestabilnej cząstki elementarnej, to nie mają

one znaczenia wielkości losowych o charakterze gaussowskim. Modelowych przykładów takich wielkości dostarczają nam rozkłady x*, Studenta lub Fishera, dla których wartość i błąd stosunku są dobrze określone, przynajmniej dla pewnych zakresów parametrów

tych rozkładów. Wtedy nasze rozważania powyżej nie mają zastosowania i możemy mieć

dobrze uzasadnioną nadzieję na słuszność prostego, laboratoryjnego wzoru.

—— 510. Rozkład jednostajny Z rozkładem tym spotkaliśmy się już w przykładzie 2.6.1. Ogólnie, rozkład jednostajny, zwany też jednorodnym, równomiernym lub płaskim, zadany jest wyrażeniem J(x;a,b)

=

——,

ba

—00

—...—2lnx,

=—2lnQqx>...X,).

Dla rozkładu x* o nieparzystej liczbie 2n + 1 stopni swobody wystarczy, jeśli utworzymy zmienną u

u=

—2InOqX>...X,„) + z”,

gdzie wielkości x; mają rozkład jednostajny z przedziału [0; 1], a zmienna z pochodzi ze standaryzowanego rozkładu Gaussa.

T)

5.10. Rozkład jednostajny r —

351

Przykład 5.10.5 Zmienna losowa z rozkładu Breita-Wignera Ponieważ dla rozkładu Cauchy'ego (5.89) dystrybuanta określona jest związkiem — T

|

dt

-( , = —(arc I + t* T 2

+5) —|, 2

—00

więc zmienna losowa

ma rozkład Breita-Wignera o parametrach j4 oraz I”, jeśli zmienna x ma rozkład jednostajny z przedziału [0; 1]. r

Dyskretny wariant rozkładu jednostajnego to P.(n) = L. k=1,2,...,n. n Wartość oczekiwana i wariancja dla tego rozkładu wynoszą n+1

ć [k] =

n —1

*

VIkl=—7—:

0,1010 r 0,1005

|-

0,1000

|-

0,0995 |0,0990 | 0,0985 0,0980

|

0

1

2

3

4

5

6

7

8

9

Rys. 5.51. Rozkład cyfr w liczbie r

Jako ciekawostkę można podać, że matematycy

w swych zmaganiach

z liczbą n

obliczyli wiele milionów cyfr znaczących po przecinku i badania statystyczne nie doprowadziły do zdyskwalifikowania tego ciągu jako ciągu liczb losowych o rozkładzie płaskim. Histogram 5.51 przedstawia częstości, wraz z błędami, występowania cyfr 0,1,...,9

dla pierwszych

I 254539

cyfr ludolfiny. Dane

(za: H. Scott, Project Gu-

tenberg, http://promo.net/pg/index.html) pochodzą z tabeli 5.5 zadającej krotność każ-

352

5. Niektóre rozkłady Tabela 5.5. Krotność cyfr w rozwinięciu liczby n

dej z cyfr. Zauważmy,

górne 2%. Rozważmy

0

125 505

5

125 880

1

125 083

6

124 796

2

125 594

7

125452

3

125 792

8

125 376

4

125372

9

125 689

że histogram przedstawia jedynie „wierzchołek” rozkładu, czyli

dwie najprostsze wielkości statystyczne, jakie możemy

tabeli. Dla jednostajnej dyskretnej zmiennej losowej o rozkładzie P,=-—,

nń

wydobyć z tej

k=0,1,2,...,n—l,

wartość oczekiwana wynosi

1 w naszym przypadku jest to 4,5. Z, danych znajdujemy, że średnia arytmetyczna dla

wszystkich cyfr wynosi 4,5002, a jej niepewność to 0,0026. Dla wariancji otrzymujemy Yy[k] =

nż — |]

12

1 oczekujemy, że będzie ona wynosiła 8,25. Estymata tej wielkości to 8,2504.

—- 5.11. Podsumowanie. Związki między rozkładami Wzajemne relacje między poszczególnymi rozkładami przedstawionymi w tym rozdziale

możemy podsumować na rys. 5.52 (idea za: T. Eadie i inni, Metody statystyczne w fizyce

doświadczalnej, PWN, Warszawa 1989; symbole n, m, k oraz p, A i i mają znaczenie, w jakim są one używane w odpowiednich podrozdziałach). Wskazuje on na centralną rolę,

jaką odgrywa rozkład normalny, będąc granicznym rozkładem dla wszystkich dyskutowanych przez nas rozkładów, przy spełnieniu zaznaczonych na rysunku warunków. Na schemacie zaznaczony również został schemat Bernoulliego, z którego niejako wywodzą się pozostałe rozkłady. Obok relacji ukazanych na rysunku, istnieje także związek między rozkładem Erlanga a rozkładem Poissona. Związek ten jest treścią podrozdziału 5.4.1, gdzie rozkład Poissona wyprowadzony był z rozkładu Erlanga, i treścią przykładu 5.4.3,

gdzie przeprowadzona jest operacja odwrotna — rozkład Erlanga uzyskany jest z roz-

5.11. Podsumowanie. Związki między rozkładami

kładu Poissona. Sam rozkład wykładniczy wywiedliśmy

353

także z rozkładu dwumiano-

wego w podrozdziale 5.3.1, jednak wyprowadzenie to nie jest takie bezpośrednie (tak samo jak i wyprowadzenie rozkładu Poissona z rozkładu Erlanga i odwrotnie), jako że

prowadzi od zmiennej dyskretnej do zmiennej ciągłej.

Powinniśmy także pamiętać, że oprócz zależności granicznych między rozkładami normalnym, Studenta, x? oraz Fishera F zaznaczonymi na rysunku, istnieje między nimi Ścisły związek, wynikający ze stosownej zamiany zmiennych.

schemat

Bernoulliego

dwumianowy (wielomianowy)

geometryczny (Pascala)

> 0 p—>0

np > At

L) m(l

p) >At

m— w

wykładniczy

p>l

n — 00 k>©o

|

n(l -p) >u p—>l

nw

p-—>0 np-—>u fp-ż%

M —> 00

n> ©

Poissona

(Erlanga)

A> © (wielo)normalny

1h ©

Breita-Wignera M —

©

n =const

Rys. 5.52. Związki między rozkładami i ich formy graniczne

TEORIA

Niewiasta odziana w szaty o kolorach pomieszanych, w prawej dłoni trzymająca złotą koronę i pełny mieszek, w lewej sznur.

Złota korona i stryczek to znaki mówiące, że zrządzeniem losu jednemu pisane jest szczęście, drugiemu — nieszczęście.

— Rozdział 6

Metoda Monte Carlo

—- 6.1. Idea symulacji komputerowej Metodę Monte Carlo wytłumaczymy na następującym przykładzie. Przypuśćmy, że interesuje nas kwestia równowagi gatunkowej między królikami i wilkami na pewnym obszarze. Zbudujmy następujący model. Wyobraźmy sobie wyspę, na której panuje

wieczne, łagodne lato ze stosowną ilością opadów, które zapewniają niewyczerpane zasoby trawy, stanowiącej podstawę pożywienia królików. Króliki żyją w parach. Samice co trzy miesiące (12 tygodni) rodzą młode, których liczba waha się między pięcioma a czternastoma, przy czym kazda z tych możliwości występuje z identycznym prawdo-

podobieństwem wynoszącym 0,1. Każde młode z równym prawdopodobieństwem może być zarówno samczykiem, jak i samiczką. Młode dorastają bardzo szybko, a po trzech

miesiącach dojrzewają, łączą się w pary i kontynuują samodzielny żywot na innej łące.

Założymy także, że króliki nie są wybredne i łączą się w parę z pierwszym napotka-

nym przedstawicielem płci przeciwnej. Rasa królików, która zadomowiła się na naszej

wyspie, różni się od dobrze znanych nam królików tym, że nie są one zbyt towarzyskie 1 rozmieszczają się dość losowo po terytorium wyspy. Normalna długość życia królika

wynosi 5 lat (60 miesięcy) i osobnik, który dożył do tego wieku, znika z łąk naszej

wyspy. W tak sprzyjających warunkach naturalnych liczba królików rozrosła się do tego

stopnia, że na całej powierzchni wyspy liczącej 100 kiców kwadratowych (kic jest jednostką długości, jaką będziemy stosowali w naszych rozważaniach) można było znaleźć ich aż 9600 sztuk (4800 par). Ta obfita populacja królików zaczęła zagrażać uprawom i dlatego ludzie zdecydowali

się wprowadzić do środowiska naturalnego wroga królików, który utrzymałby ich liczbę

pod kontrolą. Wybór padł na wilka. Te jednak są bardzo drogie na rynkach okolicznych wysp, toteż lokalny samorząd zdołał, po długotrwałej kampanii zbiórek publicznych,

zgromadzić fundusze i zakupił tylko jedną wilczą parę. Każdy wilk, aby utrzymać się

przy życiu, musi przynajmniej raz na tydzień upolować królika. Przyjmiemy,

że wilk

w poszukiwaniu swojej ofiary może w ciągu jednego dnia przebiec dystans jednego kica, a w trakcie łowów jest on w stanie wyczuć królika w promieniu 0,005 kiców. Jeśli

wilk trafi na królika, ten ma szansę 0,2, aby mu się wymknąć, o ile wilk w poprzednim

356

6. Metoda Monte Carlo

tygodniu najadł się do syta. Jeśli tak nie było, to z każdym tygodniem szansa królika

wzrasta o kolejne 20%, co sprawia, że po czterech tygodniach postu wilk odchodzi do

innej, wiecznej, krainy łowów. Jeśli polowanie zakończy się sukcesem, to wilk wraca do sił i do końca bieżącego tygodnia leni się, o ile nie ma obowiązków rodzinnych, o których

za chwilę opowiemy. Wilki żyją w parach i wilczyca co 6 miesięcy w miocie wydaje na świat od czterech do ośmiu młodych, z prawdopodobieństwem 0,2 dla kazdej możliwości. I tu, jak dla królików, szansa każdej z płci jest równa. W czasie ciąży, która trwa dwa miesiące (8 tygodni), jak również przez następny miesiąc, kiedy to wilczyca opiekuje się małymi, tata-wilk musi łowić przynajmniej dwa króliki na tydzień. Jeśli mu się połów uda, to, z racji swego wilczego apetytu, pierwszy królik jest dla niego, a dopiero drugi dla wiłczycy i potomstwa. Po tym czasie wilczyca również może ruszyć na polowanie, ale przez kolejne dwa miesiące dorastające wilczki wymagają zwiększonej ilości jadła i wilcza para musi w tym czasie łowić przynajmniej 3 króliki tygodniowo. Zarówno wilk, jak i wilczyca są egoistyczni. Pierwsza upolowana sztuka przypada myśliwemu, druga

jest dla dzieci, a dopiero trzecia dła współmałżonka. Przez te trzy miesiące, kiedy młode

są pod opieką i nie potrafią samodzielnie polować, każde 3 tygodnie bez pożywienia

eliminują je z dalszych rozważań. Także jeśli któryś z wilków z pary nie przeżyje tego okresu, drugi działa od tego momentu do końca życia jako samotny wdowiec (lub wdowa). Młode, po trzech miesiącach od urodzenia, stają się samodzielne i ruszają na

polowanie. W sześć miesięcy po urodzeniu dojrzewają, łączą się w pary i odchodzą do własnych rejonów łowieckich. Wilki nie mają wrogów, chyba że ich liczba przekroczy 10 sztuk na kic kwadratowy. Wtedy wkracza do akcji człowiek, co czyni, że szansa przeżycia przez wilka pojedynczego tygodnia spada do 99%. W normalnych warunkach wilk dożywa wieku dziesięciu lat (stu dwudziestu miesięcy).

Jak będzie się kształtowała populacja wilków i królików na wyspie? Jaka ustali się

równowaga i jaką liczbę wilków i królików ona wyznacza? Pomysł uzyskania analitycz-

nej odpowiedzi na pytanie dotyczące populacji królików i wilków jest absurdalny. Przy takiej liczbie precyzujących warunków jest to niemożliwe. Możliwe jest jednak prześledzenie rozwoju sytuacji na wyspie, jeśli skorzystamy z komputera, który dostarczać nam będzie liczb losowych z rozkładu jednostajnego na przedziale [0; 1], za pomocą których

rozstrzygniemy o każdej probabilistycznej sekwencji wydarzeń. Musimy najpierw dopre-

cyzować warunki początkowe naszego problemu. Wiemy, że na wyspie znajduje się 4800 króliczych par. Utwórzmy listę wszystkich królików. Przyjmiemy, że są to wszystko doro-

słe pary, dlatego musimy określić, w jakim wieku się one znajdują. Ponieważ króliki żyją

5 lat, tzn. 240 tygodni, przyporządkujmy wszystkim kolejnym czterdziestkom królików ten sam wiek — pierwsza czterdziestka ma 1 tydzień, druga 2 tygodnie itd. W ten sposób

utworzymy trochę par królików, które formalnie nie będą jeszcze dostatecznie dojrzałe, aby mieć potomstwo, ałe będzie to niewielki ułamek całej populacji, który nie powinien istotnie zafałszować ogólnego obrazu sytuacji. Podobnie, każdej kolejnej parze króliczej

przypiszmy kolejny tydzień, w jakim znajduje się samiczka w ciąży. Oba zabiegi pozwa-

lają na równomierne rozrzucenie w czasie przyszłych momentów narodzin i naturalnej śmierci w całej populacji. Nasz algorytm mógłby wyglądać w następujący sposób. Zacznijmy, a będziemy to robić po upływie każdego tygodnia, od bilansu. Przegłądamy

6.1. Idea symulacji komputerowej

357

listę wszystkich królików. Jeśli natkniemy się w niej na królika, który osiągnął wiek pię-

ciu lat, skreślamy go z listy. Natomiast gdy natrafimy na parę, dla której przyszła pora mieć potomstwo, losujemy liczbę z przedziału [0; 1]. Jeśli liczba ta należy do przedziału

[0; 0,1), to królicza para ma piątkę potomstwa, jeśli liczba ta znajduje się w przedziale

[0, 1; 0,2), to mamy szóstkę itd., aż do liczby zawartej między 0,9 a 1,0, która oznacza 14

małych puszystych króliczków. Dla każdego nowego królika tworzymy miejsce na naszej

liście, notujemy numer tygodnia, w którym się urodził, oraz wybieramy losowo dla niego płeć. Jeśli na naszej liście znajdziemy parę króliczą zdolną do podjęcia samodzielnego

życia, to łączymy ją w parę. Obliczamy łączną liczbę wszystkich królików i znajdujemy

ich gęstość n na jednostkę powierzchni. Liczba ta przyda się nam za moment. Teraz pora zająć się wilkami. Najpierw tworzymy listę wszystkich wilków i stadeł,

jakie one stanowią. W liście tej zapisujemy wiek każdego z nich, tydzień, w którym

on jadł ostatnio, jak również odnotowujemy, kiedy ostatni raz wilcza rodzina uległa powiększeniu. Jak mamy rozwiązać problem polowania? Jeśli wilk może wyczuć królika w promieniu 0,005 kiców, to oznacza to, że biegnąc, wilk penetruje węchem pas o szerokości 0,01 kica. Liczba ta określa „przekrój czynny” o na natrafienie na królika. Znając gęstość n królików na jednostkę powierzchni, możemy obliczyć „typową drogę swobodną” A = (no)”', jaką wilk musi pokonać, aby napotkać królika. Ponieważ zarówno siedziby wilków, jak i same króliki są rozrzucone losowo po terytorium wyspy, więc gęstość prawdopodobieństwa napotkania królika przez wilka po przebyciu drogi s

zadana jest rozkładem wykładniczym € (s; A) = A”' exp(—s/A). Przykład 5.10.1 podpowiada nam, jak dysponując liczbą losową x z przedziału [0; 1], znaleźć liczbę losową s podlegającą rozkładowi wykładniczemu z parametrem A: s = —Alnx. Gdy znaleziona

przez nas liczba s jest większa niż dystans jednego kica, jaki wilk może przebiec w ciągu jednego dnia, to wilk tego dnia będzie musiał zacisnąć pasa i głodować. W przeciwnym razie wilkowi udało się znaleźć królika. Teraz go jeszcze musi upolować. Pobieramy w tym celu ponownie liczbę losową. Jeśli jest ona mniejsza niż 0,8, to polowanie kończy się sukcesem i z listy królików skreślamy np. pierwszego. Jeśli w poprzednim tygodniu wilk głodował, to liczba ta może wynosić co najwyżej 0,6, przy dwutygodniowej gło-

dówce —

0,4, a przy trzytygodniowej —

0,2. Jeśli polowanie się nie powiedzie lub

wilk ma obowiązki rodzinne, to wyrusza na polowanie także każdego następnego dnia

tygodnia, dopóki nie zaspokoi swego głodu i nie wywiąże się ze swych obowiązków.

Po tygodniu dokonujemy bilansu królików i wilków. Sprawdzamy, czy wilki przeżyły i czy nie nadeszła już pora na powiększenie wilczej rodziny. Problem ten rozwiązujemy

tak samo jak dla królików. Łączymy również dojrzałych osobników w pary. Jeśli liczba

polujących wilków przekroczy krytyczną wartość dziesięciu na jeden kic kwadratowy, dla każdego z nich dokonujemy jeszcze jednego losowania, które zdecyduje o tym, czy nie stanie się on w nadchodzącym tygodniu myśliwskim trofeum. Wystarczy, że otrzy-

mamy liczbę większą od 0,99, a skończy on jako skóra przed kominkiem w salonie myśliwego.

Algorytm ten powinniśmy powtarzać tydzień po tygodniu. W ten sposób możemy prześledzić rozwój króliczej i wilczej populacji na wyspie. Jeśli nabierzemy przekonania, że osiągnęliśmy stan ustalony, możemy zakończyć procedurę. Przeprowadzona przez nas

358

6. Metoda Monte Carlo

analiza nie będzie jednak ostatecznym rozwiązaniem problemu, gdyż otrzymany wynik będzie pewną losową realizacją założonego modelu. Dlatego całą symulację musimy

powtórzyć wielokrotnie, np. kilkaset razy, a uzyskane rezultaty uśrednić. Dopiero wtedy

otrzymamy typowy obraz rozwoju sytuacji. Inne zagadnienie, już z zakresu fizyki, to problem rozwoju kaskady elektronów, pozytonów i kwantów gamma zainicjowanej np. pojedynczym elektronem przelatującym przez detektor zbudowany np. z naprzemiennie ułożonych warstw ołowiu i scyntylatora,

czyli tzw. kalorymetr. Ołów w takim detektorze służy do budowania lawiny, natomiast

scyntylator do jej mierzenia. Całkowity sygnał odczytany ze scyntylatorów jest miarą energii zdeponowanej w kalorymetrze i jeśli tenże jest na tyle długi, że pomieści w sobie

całą lawinę i nic nie „wycieknie” na zewnątrz, sygnał ten również stanowi miarę ener-

gii pierwotnego elektronu. Typowym problemem przy projektowaniu takiego detektora jest dobranie geometrii poszczególnych warstw, głównie ich grubości. Gdy ołów jest zbyt gruby, nie mamy dobrego pomiaru energii pierwotnego elektronu, gdyż większość

energii umyka nam, pozostając w ołowiu. Gdy natomiast mamy zbyt wiele scyntylatora,

słabo postępuje rozwój lawiny i „rozdrobnienie” energii, gdyż główne procesy odpo-

wiedzialne za mnożenie cząstek w lawinie, tj. kreacja par i promieniowanie hamowania

(Bremsstrahlung), zależą od liczby atomowej ośrodka. W rezultacie kalorymetr taki byłby nietolerowalnie długi. Możemy próbować zoptymalizować rozmiary kalorymetru przez

odpowiedni dobór grubości warstw, zapewniając sobie jednocześnie dostateczną jakość pomiaru energii pierwotnej cząstki. Operację taką najłatwiej jest przeprowadzić właśnie

drogą symulowania rozwoju kaskad w kalorymetrach o różnych parametrach geometrycznych. Oczywiście procedura taka wymaga dobrej znajomości składu chemicznego

ośrodków, przez które wędrują elektrony, pozytony i fotony, oraz przekrojów czynnych

na wspomniane wyżej procesy, jak również procesy rozpraszania Comptona, efektu fotoelektrycznego, nieelastycznego rozpraszania na elektronach powłok atomowych z wybiciem szybkich elektronów, wielokrotnego rozpraszania, rozpraszania na jądrach ato-

mowych oraz anihilacji i to jako funkcji zarówno kąta, jak i energii, dla całego zakresu

energii od zera do wartości energii padającego elektronu. Naturalnie, niezbędny jest również do tego celu potężny komputer, abyśmy nie strawili wieczności na symulowanie pojedynczej kaskady. W wielkim uproszczeniu symulacja taka przebiega w następujący sposób. Znając energię padającego elektronu i całkowity przekrój czynny na jego oddzia-

ływanie, a także gęstość ośrodka, w którym się on porusza, możemy znaleźć (patrz przy-

kład 5.3.8) typową drogę swobodną na oddziaływanie. Rzeczywista droga, jaką elektron przebiega, podlega rozkładowi wykładniczemu, a więc możemy ją wylosować metodą opisaną w przykładzie 5.10.1. Gdy elektron dotrze do miejsca swego przeznaczenia,

losujemy charakter jego oddziaływania, znając proporcje różnych przekrojów czynnych. Jeśli jest to np. proces typu Bremsstrahlung, losujemy zgodnie z przekrojem czynnym

parametry kinematyczne emitowanego kwantu gamma i wyłaniającego się z reakcji elek-

tronu. Od tego momentu mamy już dwie cząstki, których los musimy dałej śledzić. Na-

turalnie, występują pewne komplikacje: pierwotny elektron podróżując przez ośrodek, traci energię na wzbudzenia otaczających go atomów, a więc zmienia się jego przekrój czynny, a tym samym zmienia się szansa na oddziaływanie. Elektron w swej wędrówce

6.2. Generatory liczb losowych

359

podlega nieustannym, tzw. wielokrotnym rozproszeniom, które

również zmieniają jego aktualny kierunek ruchu. W końcu, gdy energia elektronu spadnie poniżej pewnej wartości, zaczyna on faktycznie błądzić przypadkowo — powinniśmy zaprzestać

jego śledzenia. Wszystkie takie efekty musimy uwzględnić, jeŚli chcemy, by nasze wyniki miały jakieś odniesienie do rzeczywistości. Gdy śledzone przez nas cząstki znajdą się we wnętrzu scyntylatora, pojawiają się nowe efekty: wzbudzenia i deekscy-

tacje atomów wraz z emisją fotonów. Musimy określić ich drogę

w ośrodku scyntylacyjnym oraz ich pochłanianie i ucieczkę. Ostatecznie, gdy fotony dotrą do fotopowielacza, musimy wysymulować jego odpowiedź. Stąd też powstały wszechstronnie doGeorge pracowane, za cenę szybkości i wielkości, specjalne programy komputerowe, uwzględniające cały stan wiedzy o procesach elektromagnetycznych. Jeden z nich, najczęściej spotykany i stosowany, czyli Electron-Gamma Shower. Metoda Monte Carlo nie została bynajmniej odkryta przez fizyków się w momencie, kiedy komputer stał się nieodzownym narzędziem w ich duchowego tej metody powszechnie uznawany jest francuski przyrodnik,

L. Bufton, 1707-1788

to tzw. EGS, i nie pojawiła pracy. Za ojca G. L. Buffon.

W 1777 roku zastanawiał się on nad uczciwą stawką, jaką powinien zapłacić przystę-

pujący do popularnej wśród paryskich robotników gry, w której rzucano bagietkę na podłogę z desek. Grający obstawiali zdarzenie polegające na przecięciu się bagietki ze szparą między dwiema sąsiednimi, równolegle ułożonymi deskami. Buffon podał poprawne wyrażenie na prawdopodobieństwo takiego zdarzenia. W rozwiązaniu tym występuje liczba w, co zrodziło popularny problem „igły Buffona”, a w późniejszych wiekach zainspirowało wielu amatorów do rzucania tej igły tysiące razy na liniowany papier, w celu eksperymentalnego wyznaczenia ważnej stałej matematycznej. William Gosset badał swój rozkład (Studenta), używając trzech tysięcy liczb losowych właśnie opubli-

kowanych w najbardziej prestiżowym czasopiśmie statystycznym Biometrika. Pierwsze znaczniejsze wykorzystanie metody symułacyjnej w fizyce zainicjowane zostało przez

Stanisława Ulama i rozwijane dalej wspólnie z Johnem von Neumannem, a związane było z budową broni atomowej i dotyczyło spowalniania neutronów. Zadanie to, jak zresztą

cały projekt Manhattan, było tajne, więc musiało zostać ukryte pod kryptonimem. Ulam zaproponował nazwę Monte Carlo, która przetrwała po dzień dzisiejszy.

—- 6.2. Generatory liczb losowych Jak widać z powyższych przykładów, kluczowy dła powodzenia każdej symulacji jest dostęp do dużej liczby liczb losowych, przy czym wystarczą do tego celu liczby z rozkładu jednostajnego z przedziału [0; 1], jako że materiał podrozdziału 5.10 pokazuje nam, jak uzyskać liczby losowe podlegające innym, przynajmniej tym najprostszym rozkładom. Metody symulacji nabrały skrzydeł w momencie upowszechnienia się komputerów

i opracowania algorytmów generowania liczb losowych. Wcześniej wykorzystywano do

360

6. Metoda Monte Carlo

ich otrzymywania naturalne zjawiska. W jednym z takich przypadków liczby losowe uzyskiwano, wprawiając w -ruch obrotowy cylinder zaopatrzony w strzałkę wirującą

nad skalą z kolejnymi liczbami naturalnymi. Cylinder ten zatrzymywany był przez licz-

nik typu Geigera-Miillera odnotowujący przejście cząstki promieniowania kosmicznego. Inny

sposób

to obserwowanie

preparatu

promieniotwórczego

przez zadany

przedział

czasu i zliczanie rozpadów. Przy nieparzystej ich liczbie zapisujemy jedynkę, przy pa-

rzystej — zero. Powtórzenie m-krotne takiej procedury daje w wyniku m bitową liczbę

losową w układzie dwójkowym. Obecnie liczby losowe, a ściślej pseudolosowe, generowane są w komputerach za pomocą liniowych rekurencyjnych algorytmów postaci Xn+l © AQXp F GyXp1 +'** rayX„x tb

(mod M),

gdzie startowe wartości (,ziarno”) pierwszych k + 1 liczb całkowitych x, pobierane są

np. z daty i czasu systemowego. Parametry a, ...,a4, b oraz M dobierane są w zależ-

ności od architektury komputera (długości jego słowa). Operacja „„mod” oznacza branie

reszty z dzielenia przez liczbę M. Liczbę pseudolosową z przedziału [0; 1) otrzymujemy,

dzieląc x„+,, przez M. I tak, dla przykładu, program STATISTICA* firmy STATSOFT*,

przeznaczony dla komputerów osobistych, używa następującej procedury:

Xan = 742938285x,

(mod(2?*! — 1)).

Wspólną cechą takich algorytmów rekurencyjnych jest okresowość uzyskanego szeregu liczb, tzn. po obliczeniu pewnej liczby x i podstawieniu jej do wzoru w celu wykonania następnej iteracji otrzymujemy ponownie pierwszą liczbę z szeregu. Dla przykładu

rozważmy prosty wzór

Xp

= llx,

(mod 32).

Dla xp = 1 otrzymujemy następujący ciąg liczb: 1, 11, 25, 19, 17, 27, 9,3, 1,... o okresie 8. Dlatego ważny jest odpowiedni dobór parametrów ag, ..., ax, b oraz M, aby ten ciąg był jak najdłuższy. Ich pochopny dobór może doprowadzić do tego, że pewne liczby

w ciągu będą występowały częściej niż inne, a więc faktycznie nie będziemy generowali rozkładu jednostajnego. Łatwo jest również uzyskać sytuację, w której dwie kolejne liczby będą ze sobą skorelowane. Znane są w historii fizyki cząstek elementarnych

fakty zdyskredytowania „markowych” generatorów liczb losowych dostarczanych przez szacowne firmy komputerowe. Właśnie z uwagi na te pułapki, przed wykorzystaniem

„firmowego” generatora warto poświęcić mu trochę uwagi i: e

Sprawdzić, czy liczby, które nam są oferowane, pochodzą z rozkładu z przedziału [0; 1], czy też może z przedziału [0; 65 535] albo np. [—1; 1]. Jeśli nie jest to prze-

dział [0; 1], to przez odpowiednią transformację liniową możemy je przekształcić do e

wymaganego zakresu.

Sprawdzić, czy liczby te istotnie mają charakter losowy, a więc przynajmniej powinny być jednorodnie rozłożone w swoim przedziale, a pary nie powinny wykazywać korelacji.

6.2. Generatory liczb losowych e

361

Rozważyć, jak długiego ciągu liczb będziemy potrzebowali i sprawdzić, czy w tym

zakresie nasz generator nie powtarza swojego cyklu. Gdy jakiś szczegółny problem wymaga tak dużej liczby liczb losowych, że przebiegniemy pełny zakres generatora,

wtedy cała podstawa metody Monte Carlo staje pod znakiem zapytania i pojawia się

wyraźna groźba, że nasze wyniki będą pozbawione wartości. Zazwyczaj generatory, których używamy, umożliwiają kontrolowanie wartości star-

towej. Warto z tej opcji skorzystać w sytuacji, gdy pracujemy nad programem, 1 rozpoczynać generację od tego samego „ziarna”, ponieważ może to ułatwić śledzenie błędów

w kodzie programu. Jeśli natomiast zbieramy próbkę przypadków z Monte Carlo, wtedy należy rozpoczynać program od następnej liczby losowej po tej, która kończyła poprzednie uruchomienie programu, a uzyskane próbki połączyć w jedną, przez co uzyskamy

lepszą statystyczną dokładność w naszym symulacyjnym opisie. 0,052

0,051

0,050

0,049

ia

0,048

0,0

0,1

0,2

0,3

Rys. 6.1. Rozkład 200000 pięciocyfrowych miliona cyfr, pierwiastka z trzech

0,4

0,5

liczb z przedziału

0,6

0,7

0,8

[0; 1], utworzonych

0,9 z rozwinięcia,

do

Spójrzmy na przykład wykorzystania cyfr, jakich dostarcza rozwinięcie 4/3 i zbudujmy z nich liczby losowe. Milion cyfr rozwinięcia tej stałej matematycznej (za: Nemi-

roff, R., Project Gutenberg, http://promo.net/pg/index.html) zostało pogrupowane w ko-

lejne piątki i metodą dzielenia przez 100000 znormalizowane do przedziału [0; 1) co dało 200000 kandydatów na liczby losowe. Histogram częstości, wraz z błędami, tak uzyskanych liczb przedstawiony jest na rys. 6.1 (zwracamy uwagę na tzw. odcięcie zera na osi rzędnych — gdybyśmy tego nie zrobili, nie moglibyśmy ukazać rozmiaru nie-

pewności częstości występowania liczb w każdej z klas). Rozkład wydaje się dobrze zgodny z rozkładem jednostajnym — fluktuacje są ograniczone i wartości częstości nie oddalają się o więcej niż dwa odchylenia standardowe od wartości 0,05, jaka wynika z wybranej liczby przedziałów histogramu. Oczekujemy, że wartość Średnia naszych

362

6. Metoda Monte Carlo

kandydatów na liczby łosowe powinna być bliska wartości oczekiwanej dla zmiennej

z rozkładu jednostajnego, która, jak wiemy, wynosi 0,5. Dla naszej próbki 200 000 liczb

znajdujemy x = 0,4991 + 0,0007. Możemy także obliczyć wariancję z próbki, która wynosi 0,083 31, podczas gdy oczekujemy wartości 1/12 = 0,083 33. 1,0

| 006

0,9

|

0,7

3

.

.

Pa

a e,

«e

.

p

0,5

0,4 le

.

0,3

|.

*

.

,

%

*

0,1

|

0,0

0,0

.

-

.

. .*

a.

0,1

*

a

*

.

.*

1,2

0,2

Ę

*

.

..e

,

„ „*

.

*

RE

+

.

"

.,

e

k

.

."

*

2

.

+

ad

0,3

0,4

"

*,

.

.

_*

.

*

*

".

e

0,5

*.

.

*

.

+

.

+

,

.

tł

s

.

.

0,6

.

+

-

L"a

0,7

:

.

.

* 20

. RA

.

.

,

.

.» .

. .

Ak .

.

. .

..

.*

| 2

:

.

+

. .

..

*,

+

.ą

3%

.

*

„. e?

.

. e

. *

..

.

.

*

.

.

+

.

«a

*

e

. .

.

*.

,

e

*

*

*

. ,

*

..

,

.

,

©

.

*«»

*

.,

.

.

z

8

© ..

h

.

...

..

€

.

.

.

*.

*

B

0,2

.

.

.

tg

.

.

» 0,6

e

.. .

Pe

0,8

*.*

1

.

.

*

:

e

„.*

*

|

0,9

©

e.

.

J

1,0

Rys. 6.2. Rozkład pięciuset pięciocyfrowych par liczb utworzonych z rozwinięcia, do miliona cyfr, pierwiastka z trzech

Zastanówmy się teraz na kolejnymi parami. Wykres punktowy na rys. 6.2 przedstawia pierwsze 500 ze stu tysięcy par. Widzimy, że rozkład punktów jest dość równomierny.

Możemy obliczyć współczynnik korelacji dla pełnego układu par. Znajdujemy, że wynosi

on —0,003 i powinniśmy wynik ten porównać z wartością zero, jakiej spodziewamy się dla zmiennych nieskorelowanych. Mimo że rezultaty te napawają optymizmem, nie oznacza to jeszcze, że uzyskaliśmy

dobry zestaw liczb losowych. Testowanie generatora liczb losowych to właściwie zada-

nie, które nie ma nigdy końca i zależy od pomysłowości sprawdzającego. Stosowane bywają rozmaite testy statystyczne, głównie polegające na konstruowaniu z tych liczb

wielkości, których rozkłady są znane, i sprawdzaniu zgodności tak uzyskanej próbki

z tymi rozkładami. Interesującym testem jest wykorzystanie liczb losowych do rozwiązania problemów, dla których znamy odpowiedź. Jednym z takich zagadnień jest obliczanie objętości V,,

kuli o jednostkowym promieniu w m-wymiarowej przestrzeni. Objętość ta, jak wiemy, wynosi p zy "m

(zm)

Metoda polega na sprawdzeniu związku x + dla układów

+''+x,

D[k] = >nz (1-2) z =. [A] n [k| nV4 4 /n

Jeśli zastosujemy te związki do liczb uzyskanych z rozwinięcia +/3, to znajdujemy N = 3,152 + (0, 005, co wskazuje na dobrą zgodność. Podobnie, dla przypadku trójwy-

miarowego uzyskana estymata liczby n wynosi 3,16-0,01. Zwróćmy uwagę na skromną

efektywność takiej metody szacowania liczby rr — mimo ogromu danych, w przypadku trójwymiarowym uzyskaliśmy precyzję na poziomie 0,3%.

——- 6.3. Metody generowania rozkładów prawdopodobieństwa Metoda

odwracania

dystrybuanty

przedstawiona

w

przykładzie

2.6.1

i zastosowana

w podrozdziale 5.10 jest najprostsza i najbardziej przemawia do wyobraźni, lecz daje

się wykorzystać jedynie w sytuacjach, gdy odwrócenie zależności matematycznej można przeprowadzić metodami analitycznymi. W bardziej skomplikowanych przypadkach mu-

simy się uciekać do innych sposobów.

/(2x)

A

c

Rys. 6.3. Ilustracja metody eliminacji przy generowaniu liczb losowych z ograniczonego rozkładu

J (x)

Jednym z nich jest tzw. metoda eliminacji. Jej algorytm dla funkcji gęstości praw-

dopodobieństwa f(x) ograniczonej od góry przez pewną wartość c < oo oraz jej dziedziny (zbiór argumentów x) zawartej między dwiema

liczbami

oo

CYTOWIACZACO sr) ar(7) ń

Elul=€|/5|=

ee

fs"

dS=———_—

(5)

)

O.

Jak widzimy, wielkość u jest obciążonym estymatorem dyspersji rozkładu, jeśli jednak wprowadzimy zmienną S

—

n

n

1

S$,

25

to usuniemy to obciążenie. Obliczymy teraz wariancję zmiennej s:

nr” (>)

£”[s] = NL

v[s] =

za)

= zzć

Xx

+

—0”

3

=

ze |

c | m |-

o”

NE

iźk,k=l]

= zi: (eta +) Stetin) i=l

iźk,k=l

n

2

= z, m (no? + zna

— Do?) - a

>,

=

01-22 7

Znaleźliśmy w ten sposób dwie statystyki: s oraz d, przy czym obie są zgodne i nieobciążone, toteż obie mogą posłużyć do oceny dyspersji w rozkładzie z wartością oczekiwaną równą zeru. Którą mamy wybrać? Zbadajmy stosunek f ich wariancji: n 2

= VBI _

nr (3)

vy [d]

|

are (>)

2n

nr-2

2 Zilustrowany jest on na wykresie 7.2 jako funkcja liczebności użytej próby.

Można pokazać, wykorzystując rozwinięcie Stirlinga (5.5), że stosunek ten dąży, dla wzrastającej

liczebności próby,

do około

0,876.

Widzimy,

że dla dowolnej

liczebności próby estymator s charakteryzuje się mniejszą wariancją, a tym samym dostarcza ocen dyspersji o mniej rozproszonych wokół wartości prawdziwej estymator d.

niż

10 r L 0,876 0,8 |-

0,6 |-

0,4

i

376

0,2 | 0,0

0

l

l

l

l

]

10

20

30

40

S0

liczebność n próby Rys. 7.2. Zależność stosunku wariancji błędu i wariancji odchylenia średniego jako funkcja liczebności użytej próby n

7.1. Własności estymatorów Cechę

estymatora

opisującą jego koncentrowanie

się na poszukiwanym

377 parame-

trze nazywamy efektywnością estymatora. Jest to niewątpliwie bardzo ważna i nie do pogardzenia cecha, jako że estymator wyposażony we własność małych fluktuacji dostarcza potężnego 1 kosztów.

narzędzia oceny „poszukiwanego

parametru,

ujmując

nam

pracy

Czy możemy skonstruować, przy skończonej liczebności próby, estymator o dowolnie

dużej efektywności? Niestety, nie. Okazuje się, że istnieje pewna minimalna graniczna wariancja Vin dla wszystkich możliwych estymatorów, jakie moglibyśmy wymyślić do

oceny poszukiwanego parametru. Aby sformułować postać tej granicznej wartości, wprowadzimy najpierw tzw. funkcję wiarogodności. Niech będzie dana próba losowa prosta x; o liczebności n z rozkładu f(x;0), gdzie x jest zmienną losową, a © parametrem określającym rozkład. Funkcją wiarogodności £ (x;0) dla próby x; nazywamy wielkość

£(x;6) =| | /0x:0).

(7.3)

i=l

Należy zwrócić uwagę na to, że formalnie funkcja wiarogodności wygląda jak łączna funkcja gęstości rozkładu. I taką łączną funkcją gęstości jest ona tak długo, jak

długo wielkości x; w wyrażeniu (7.3) są zmiennymi losowymi. Wielokrotnie w dalszej części wykładu spotkamy się z sytuacjami, gdy wielkości x, to faktycznie wyniki pomiaru, a więc Ściśle określone liczby, a nie zmienne. Wtedy wielkość £ nie jest funkcją gęstości zmiennych losowych — jest to zwykła, matematyczna funkcja zależna tylko i wyłącznie od parametru 8. W literaturze statystycznej utarła się i bardzo głęboko zakorzeniła się tradycja wymiennego stosowania terminu funkcja wiarogodności dla obu tych sytuacji. Dlatego, abyśmy mieli jasność, o której z tych dwóch

funkcji mówimy w danym momencie, będziemy stosowali oznaczenie L dla łącznej funkcji gęstości zmiennych losowych oraz £ dla funkcji parametru 6 (lub parametrów).

Wyprowadzimy

teraz wyrażenie

na postać wspomnianego

ograniczenia Vin.

ZA-

czniemy od formalnej definicji pojęcia obciążenia estymatora. Jeśli dysponujemy statystyką © (x) estymującą funkcję (6) parametru 0 rozkładu, to obciążeniem b estymatora

funkcji $ nazwiemy wielkość b(8) zadaną związkiem OO

J O©(x)L (x;0)dx = 3(0) + b(0). —00

W całości naszych dalszych rozważań przyjmiemy, że funkcja rozkładu f(x; 6) spełnia

wymagania niezbędne do tego, abyśmy parametru, obie pochodne — pierwsza wane, a zakres zmienności argumentu x spełniony np. dla rozkładu jednostajnego własność umożliwia przechodzenie, bez

mogli ją różniczkować dwukrotnie względem i druga — mają skończone wartości oczekinie zależy od parametru (warunek ten nie jest określonego na przedziale [0; 6]). Ta ostatnia komplikacji, ze znakiem różniczkowania pod

znak całki. Najpierw zróżniczkujemy powyższy związek względem parametru:

378

7. Estymacja parametryczna 00

38

O(x)L (x;8)dx

= Jewto

m

-

5

8) dx

lnL(x;8),

= | ow

"7

|

_ d8(6)

L(x;0)dx

=

19

„|-

db(6)

(7.4)

je

Następnie skorzystamy z faktu, że skoro funkcja Ł jest gęstością 1 jest unormowana, 00

| L(x;8)dx=l, to przy założeniu, że granice całkowania nie zależą od parametru, zachodzi 0 =

8 [ L(x;8)dx= |f —— In L ————L(x;8)dx=€|———|. (1:0) 9 In Ł (x;6) 06 (e:5)dx = | 30 3 0)dr = £ | 30 |

7.5

2)

Jeśli ten ostatni związek pomnożymy przez funkcję % (6), a wynik odejmiemy od (7.4), to znajdziemy, że

[00-00

(x; 0)

dó(8) , db(8)

8GĘE2

(x; 6) dx = ——— +9:

a podnosząc obustronnie do kwadratui stosując nierówność Schwarza do lewej strony,

otrzymujemy nierówność OO

[e ©)

jcew

— 8(8))ŻL (x; 0)dx

J(3

2

In L (x; o

L (x; 8)dx

00 2 (7 "da

+ 0) do

2

(7.6) |

która przepisana w postaci

v[0()] = J (O(x) — 8.(0))2L (x; 0) dx > Vy, [56 | (w do —

DO

J

A)

OD

+

2) dO 2

( do =

L (x;8)dx

+ mo) do

3

2

| (pnrao)

prowadzi nas do tzw. twierdzenia Cramera-Rao, czyli nierówności określającej minimalną wariancję V/min [5% | dla dowolnego estymatora funkcji v (6) parametru.

7.1. Własności estymatorów

379

Niekiedy bardziej przydatna jest alternatywna postać wyrażenia stojącego w mia-

nowniku. Otóż, różniczkując powtórnie związek (7.5) względem parametru 0, otrzymu-

jemy

f

9ln L(x;8)N”

(757)

|

Ló)dx

=

|

—00

f 9?1n L(x;6)

|

og

L:0)dz.

—00

co możemy także zapisać jako

€ |(5

9

* WACE o) | -—€

|

92

nL (x; o |

(7.7)

Twierdzenie Cramera-Rao ma szczególnie prostą postać, jeśli za funkcję » (0) przyj-

miemy sam parametr 6, a estymator 6(x) jest nieobciążony, ponieważ wtedy A

A

v|ó|>Vx|ó|=

= —T—

l

€ (5

ln Z (c; o) |

E |

(7.8)

|

l

L (x; o)

W dalszych naszych rozważaniach będziemy rozpatrywali, dla uproszczenia, tylko

estymatory nieobciążone. Zwarte i dość złożone formuły na minimalną wariancję Vmin

uprościmy teraz do postaci przydatniejszych w praktyce. Podstawimy, przede wszystkim, jawną postać logarytmu funkcji wiarogodności: Vmin

A

[6|

—

-

l

on

J L (x; 0) (ws)

2

=

dx

l

s

J

fi

(f12) (7)

gdzie, dla uproszczenia, wprowadziliśmy notację f; = f(x,;0)

2

,

dx

oraz f, = 36 J 0; 0).

Rozwijając kwadrat sumy pod całką, otrzymujemy dwa typy wyrażeń. Pierwszy z nich, dostarczający n składników, to kwadraty pochodnych logarytmu

C E J C O L S 8 7) ( I(s) —00

a drugi typ to wyrazy mieszane

nn) dz,

—%0

J(M)że- | saas=|([ ras) (| an)

które znikają, gdyż z warunku normalizacji | = J f(x;8)dx

380

7. Estymacja parametryczna

po zróżniczkowaniu go względem parametru O wynika, iż

_= „| | £ | 9ln f6G8) [636)dx 0 0=_[05/0:0dx _= | [ 8ln f(x:6) —00

J

(7.9)

—00

przy założeniu wspomnianej wyżej regularności funkcji gęstości. Przy spełnieniu tego warunku nierówność Cramera-Rao dla ciągłej zmiennej losowej przyjmuje postać

A

A

v|0] > min a

o

0

l

o

n | f(x;0) (51a J (x; o)

l

a

dx

n€ IG

J 0% s)

|| (7.10)

Ponowne wykorzystanie regularności funkcji gęstości pozwala przedstawić mianownik

w powyższym związku w innej postaci. Po zróżniczkowaniu (7.9) względem parametru 8

ZIIOESIOZSIOZ --[(7)]--[6)]

otrzymujemy twierdzenie Cramera—Rao w równoważnej związkowi (7.10) formie

v [ó] > Vo [5] =— nJ

|

0 f(x; 0)55z I f(x;0)dx

—

- —!

d n€ FL

(7.11) f OG Ą

wyrażonej przez formalne oznaczenia i bez skrótów. Dla rozkładu dyskretnego P,(0) i zbioru k; zmierzonych wartości: k = (k;,...,k,), funkcję wiarogodności definiujemy analogicznie

£ (k; 8) = | | P,(6),

(7.12)

i=l

a nierówność

Cramera—Ra0

to

6] >v.f]-

55

ky ,ką,...,kę

Ł(k;6) (zy ntt o)

>.

gdzie zaznaczone sumy w mianownikach przebiegają pełne zakresy zmienności. Rozumowanie podobne do tego, jakie przeprowadziliśmy dla zmiennej ciągłej, pozwala tę nierówność wyrazić przez

v[6| > %|6|=

n€

a

(35 In Pio)

*

—

0

ne |

—!

In P;(6)

|

(7.13)

7.1. Własności estymatorów Estymator,

dla którego

wariancja

osiąga ową minimalną

wartość,

381

nazywany jest

estymatorem najefektywniejszym. Dostarcza on wygodnej „miarki” do oceny jakości estymatorów.

-——

Przykład 7.1.2 Minimalna wariancja estymatora wariancji — rozkład Gaussa Znajdziemy minimalną wariancję estymatora parametru o” (wariancji) rozkładu Gaussa. Logarytm tego rozkładu wynosi | nA

(x;

,

4,0)

=

—>

l

In2n

—

l

2

z Ino

(x wa n)

202

7

Jego pierwsza i druga pochodna to (o?)

| ( x ; 4 , 0 ) = —>— (3 4,0) 20?

N NN

a? ——— InN (ao?)

n

(x

(2; u,0) H

o)

+

ł

=

x-Hu) +=, 2(o0*)?

-

2(07)?

(x — p) (a*)3

Podstawiając do twierdzenia Cramera-Rao (7.11), otrzymujemy Vin

[6]

l

=

—n [NG

u,o)

z

=

5 MN

2

—o*.

65 u.0) dx

Natomiast najefektywniejszy estymator dyspersji o (a nie wariancji o*) rozkładu Gaussa W (x; 4, o) powinien się charakteryzować wariancją

Va [6] =

308 o?

ok z (2-

/2RO

ex

p

_G-m 20?

dx

=

2

2a

1 jak widzimy, nie zależy ona od wartości oczekiwanej „w. Wyznacza to efektywność odchylenia średniego d z przykładu 7.1.1: o

—L-

on-2 n

n-2

= (0,876,

2

a dla estymatora s z tego przykładu znajdujemy, że jego efektywność dąży do

jedności wraz ze wzrostem liczebności próby. Stwierdzamy również, odwołując się

do przykładu 5.6.1, że błąd s, należy do klasy asymptotycznie najefektywniejszych.

TI

382 ——

7. Estymacja parametryczna

Przykład 7.1.3

Minimalna wariancja estymatora parametru rozkładu Poissona Rozważmy próbę złożoną z n elementów z rozkładu Poissona o wartości oczekiwa-

nej 4. Z podrozdziału 5.4.2 wiemy, że zarówno wartość oczekiwana, jak i wariancja

rozkładu Poissona są równe parametrowi ji. Dlatego też możemy rozważyć, który z estymatorów: wartości Średniej czy też kwadratu błędu jest bardziej efektywny.

Zacznijmy od minimalnej wariancji (7.13). Logarytmujemy rozkład Poissona

n — exp(- 1) =ilnp — p — Ini! i obliczamy jego pochodną

i!

0 i i — —(inu-u-hnih=—-1=—

0,

SEE i=l1

17 )n-2 ( — > ) i=]

nie zależy od parametrów ju oraz o, a jedynie od wielkości t. Zwróćmy uwagę, że jeśli znana jest nam wartość parametru ja, to statystyka t wyrażona przez para-

metr « zamiast średniej arytmetycznej x, jest dostateczna dla parametru o, a jeśli znany jest parametr o, to statystyka x jest dostateczna dla parametru „w. Gdy oba parametry rozkładu nie są znane, wówczas obie statystyki są łącznie dostatecznie

dla obu parametrów.

7

Inne rozkłady dopuszczające estymatory dostateczne dla swych parametrów to: dwu-

mianowy, ujemny dwumianowy, wykładniczy, Erlanga 1 Poissona.

Liczba statystyk dostatecznych nie musi oczywiście zgadzać się z liczbą nieznanych

parametrów. Jeśli badany rozkład ma postać fQ; 1,0) =

>

l

24/2r(1+1)o

ex

?

(-—-)

o

J'

7.2. Metoda największej wiarogodności

387

to funkcję wiarogodności możemy zapisać w formie

Lana)

1

I

ag

4 =w0)

ZG

wyznaczającej cztery łącznie dostateczne statystyki n

y=) x,

k=1,2,3,4

i=l

dla parametrów ja oraz o. Gdy parametr j4 jest znany, wtedy jedyną dostateczną staty-

styką dla parametru o jest wielkość

n

t=)6— M)", i=l

natomiast przy znanym parametrze o do oceny parametru j4 potrzebujemy aż trzech statystyk: t;, tę Oraz tz. Podobna sytuacja występuje dla rozkładu binormalnego, określonego przez 5 parametrów, dla których mamy 5 łącznie dostatecznych statystyk. Jeśli znane są wszystkie

parametry tego rozkładu, z wyjątkiem np. jednej z wartości centralnych, wtedy do oceny

tej wielkości dostateczną statystyką jest wartość Średnia. Jeśli jednak nie znamy tylko

współczynnika korelacji, to do jego oceny potrzebujemy dwóch łącznie dostatecznych statystyk

1

|

Uu=—7 3 (% — 1)” + — ) (yi — Hy)”, 0x i=l Oy i=l 1

b=

OxQy

n

36% — Moly; — My). i=-]

—- 7.2. Metoda największej wiarogodności 7.2.1. Zasada największej wiarogodności W podrozdziale 7.1 wprowadziliśmy funkcję wiarogodności (7.3) i (7.12):

L(x;6)=[ [ /(%;;0),

(7.18)

i=l jako funkcję gęstości, w której w miejsce zmiennych losowych x; podstawiamy wartości x, uzyskane w wyniku pobierania próby prostej z rozkładu f(x;8). Zakładamy, że postać matematyczna funkcji gęstości f jest znana, nie znamy jednak wartości parametru 0. W takiej sytuacji funkcja wiarogodności staje się funkcją tego parametru. Zgodnie z zasadą największej wiarogodności za estymatę nieznanego parametru © powinniśmy wybrać taką liczbę 0, dla której funkcja wiarogodności osiąga maksimum: AR

L (z; 6)

= max.

388

7. Estymacja parametryczna

Jedynym uzasadnieniem takiego postępowania jest jego racjonalność: tak dobieramy wartość parametru, żeby wyniki pomiarów były najbardziej prawdopodobne, ufając, ze Natura nie znosi ekscesów i obdarza nas danymi, o których można powiedzieć, że są typowe. Jeśli strumień promieniowania kosmicznego docierający do nas z góry przynosi nam w ciągu każdej sekundy około 180 cząstek na metr kwadratowy, to jesteśmy przekonani, że z dokładnością do efektywności licznika, dokonując wielokrotnie pomiaru takiego strumienia przez jedną sekundę, będziemy otrzymywali liczby zliczeń rozłożone w zgodzie z rozkładem Poissona i ulokowane właśnie w okolicy tej wartości, a nie systematycznie niższe bądź też systematycznie wyższe.

(——

Przykład 7.2.1 Pomiar sygnału w obecności tła — rozkład Poissona Rozważmy

sytuację, w której dokonujemy pomiaru intensywności źródła promie-

niotwórczego o bardzo długim czasie życia w warunkach, w których występuje

tło, np. kosmiczne, zakłócające ów pomiar. Zarówno liczba s przypadków sygnału,

jak i liczba b przypadków tła są rozłożone zgodnie z rozkładem Poissona, przy czym nieznany parametr „4; definiuje ten rozkład dla sygnału, a nieznany parametr Lg dla tła. Wiemy, że łączna liczba m przypadków sygnału i tła jest określona rozkładem Poissona P„(u) z parametrem 4 zadanym sumą „45 +

p. Przypuśćmy,

że w eksperymencie zaobserwowaliśmy łącznie m = 8 przypadków sygnału i tła, a wykonany niezależnie, przez taki sam przedział czasu, pomiar tła dostarczył b =3 przypadki. Jakie są najlepsze oceny wartości obu nieznanych parametrów?

Wypiszmy łączny rozkład P„ „(i Ls) zmiennych m oraz b, który z uwagi na nie-

zależność metod zastosowanych do ich uzyskania będzie zadany iloczynem obu rozkładów Poissona:

P,„ (U, Lp) = P„(U)P,(LB)

A” Up p

= —r ky Ś

m! b!

Skonstruujmy funkcję wiarogodności

,3

8

a

L(m=8,b=3; s, Hg) =

EE,

Jęz,

Kontury tej funkcji przedstawia wykres na rys. 7.3. Widzimy, że maksimum funk-

cji wiarogodności występuje w punkcie (jis, ts) = (5,3), co dobrze zgadza się z naszą wiedzą o estymatorach parametru rozkładu Poissona.

Posiadłszy tę wiedzę, chcielibyśmy poznać rozkład nieznanej liczby s = m—b przypadków sygnału w eksperymentalnej próbce. Rozkład P,(4, j45) liczby s sy-

gnałów znajdziemy, sumując łączny rozkład względem wszystkich wartości zmiennych b oraz m, żądając jednak, by ich różnica miała zadaną wartość s = m —b, co sprowadza się do podstawienia wyrażenia s + b w miejsce argumentu m: P.(i,

W, ka?

wu — "HB

ROM

Hp LB

> G+bIbi

uu _ | "HB

*

NO

(Ukta) A

> s + b)!b!

Jeśli skorzystamy z definicji zmodyfikowanej funkcji Bessela 7,(x) rzędu s

(3)

(x) = ŚDEZZ 2) —(i+s)li!

s=0.1,2,...,

7.2. Metoda największej wiarogodności

=

10 Rys. 7.3. Kontury funkcji wiarogodności dla pomiaru intensywności sygnału w obecności tła

o własności /_,(x) = /,(x) 1 dokonamy wyboru x

q

HK

%

x= Ż/ ILILB,

to poszukiwane prawdopodobieństwo P,(it, LB) zapiszemy w postaci P;(iL,

Poprawność Bessela:

LL)

=

(

2) B

unormowania

e"

"EJ,

rozkładu :

(24

Aus)

wynika |

,

S

= 0,

l,

+2,

....

z postaci funkcji tworzącej do

exp (5 ( + ;)) =)

funkcji

eI,(x).

S=—00

Charakter rozkładu P,(ii = 8, Lp = 3) ukazuje rys 7.4. Widzimy, że rozkład

ten przybiera maksymalną wartość w punkcie s = 5. Wybór estymat jż; i fig jako tych wartości parametrów, które maksymalizują funkcję wiarogodności, jest sposobem na uczynienie danych najbardziej prawdopodobnymi, czyniąc, tym samym,

parametry najbardziej wiarogodnymi.

Zwróćmy uwagę, że zmienna losowa s, będąc różnicą zmiennych losowych przebiegających wartości dodatnie lub zero, przyjmuje wartości określone wszyst-

kimi liczbami całkowitymi z zakresu od minus do plus nieskończoności. Jest to rezultat pozbawiony wszelkiej treści fizycznej, gdyż nie jesteśmy w stanie wyobrazić sobie np. —3 przypadków sygnału w próbce, choć statystyka matematyczna skazuje nas na takie horrendum. Nie byłoby poprawne obcięcie rozkładu P,(u, Lg)

do wartości s > 0 i stosowne jego unormowanie,

gdyż oznaczałoby to, że np.

389

0,14

1

7. Estymacja parametryczna

0,12

|

0,10 |

P,(u5=5,4p=3)

3%0

0,08 | 0,06 | 0,04 |0,02 |

0,00 ez liczba s sygnałów Rys. 7.4. Kształt rozkładu liczby s sygnałów w obecności tła, dla parametrów sygnału i tła określonych metodą największej wiarogodności

w eksperymencie mierzącym tło w zadanym przedziale czasu potrafimy kontrolować liczbę b sygnałów tak, aby nie była ona większa niż liczba m przypadków

sygnału i tła. Próba ustanowienia takiej kontroli byłaby sprzeczna z warunkiem poissonowskiego charakteru takiego pomiaru, a w dodatku musiałaby pogwałcić

niezależny charakter obu eksperymentów, czyniąc wyrażenie na prawdopodobieństwo P,„(/L, Lg), zadane iloczynem dwóch rozkładów Poissona, nieadekwatnym

wobec ustanowionego przez nas modelu obu pomiarów. Jeśli kiedykolwiek przytrafi się nam eksperyment, w którym liczba sygnałów będzie ujemna, staniemy się, ni mniej, ni więcej, tylko bezradną ofiarą pecha zesłanego na naszą głowę

przez statystykę matematyczną, a rozwiązania tej trudności będziemy musieli po-

szukać w zmianie podejścia do zagadnienia i odwołaniu się do metody estymacji przedziałowej, czym zajmiemy się w podrozdziale 7.4.

T)

Estymatory, jakie uzyskujemy z funkcji wiarogodności, nazywamy estymatorami metody największej wiarogodności. Wymaganie maksymalnej wartości funkcji wiarogodności sprowadza się do żądania znalezienia pierwiastka 6 równania 0

35 7 (x;,0) =0,

przy warunku

L (x;0) |_g

i =

—

natomiast jego pochodna, a stąd estymata parametru A mi

—-

392

7. Estymacja parametryczna

Tym samym widzimy, że

+=5(6).

1=$()=

czyli dla tego specyficznego rozkładu estymator jest niezmienniczy względem transformacji »(x)

=

1/x parametru.

O ile estymator parametru Tr uzyskaliśmy

w formie nieobciążonej, o tyle wynik dla parametru A, w świetle (5.43), jest obażONY. ciążony. r

r——

Przykład 7.2.3 Estymacja parametrów rozkładu normalnego Znajdziemy estymatę wartości oczekiwanej „ i wariancji o” metodą największej wiarogodności z próbki x, o liczebności n wylosowanej z rozkładu Gaussa

N (x; a, o). Funkcja wiarogodności (7.18) tej próbki to

l

L (x; 4,0) = ————€Xxp (CZ

o)

l

2a? 2

(x; — w

natomiast jej logarytm wynosi In £ = -z n2n Biorąc

e

jA L= 0

352 ML=

— > Ina” —

względem wartości pa

06-60 >

2.

= — 1)

0

— u).2

5

i wariancji, otrzymujemy

>

fi=- 2]

— z: = 0

>

A2__

o

«2

l

—

AS2

= S;=,2,0- 60

Widzimy, że estymata wartości oczekiwanej to wartość Średnia, jednak estymata wariancji, będąc tożsama z (4.5), różni się współczynnikiem przed znakiem sumy od uzyskanego w podrozdziale 4.2 i konsekwentnie stosowanego w niniejszym wykładzie estymatora sź (4.7). Tym samym estymator wariancji rozkładu normalnego

z metody największej wiarogodności jest obciążony, a obciążenie to wynosi S2) Xx

_ g2 —

n= l n

_52_7—1 X

i znika dopiero dla n —

n

2

gto x

12

2

n

_12 n

oo. Ten asymptotyczny brak obciążenia to dość po-

wszechna cecha estymatorów największej wiarogodności. Jaką wariancją charakteryzuje się uzyskany estymator S; ? Z przykładu 5.5.2 wiemy, że

1 „|= 1o| 1 _(h=-1l y[5:]=v| - s|-( (n-l- )>el-( - |2

4

ot

_„h-L1,

7.2. Metoda największej wiarogodności

co oznacza, że usunięcie obciążenia, czyli przejście od estymatora S$, do estymatora s>, zwiększa wariancję nieobciążonego estymatora s; w stosunku do obciążonego

S; o wartość

PIS] - PIS] =P| s: |- PIS] = (> -1) PIS] n

=

l n-l

p[S;] =

l

2

n-l

nl

o

n*

„

o”

=—

2

nyNn=l

.

Czynnik o*/n stojący przed pierwiastkiem po ostatnim znaku równości to wartość

obciążenia. Widzimy, że im liczba n jest większa od trzech, tym w mniej szym stopniu zwiększona jest dyspersja D [s; | estymatora nieobciążonego s; i jednocześnie jest ona mniejsza od samego obciążenia. Istnieje interesujące odwrócenie rezultatu tego przykładu. Otóż jeśli średnia arytmetyczna X, z liczbą składników większą niż 2, jest estymatorem największej wiarogodności parametru ji funkcji gęstości postaci f(x — u), określonej na całej osi rzeczywistej, to jedyną funkcją spełniającą takie warunki jest rozkład Gaussa.

Istotnie, niech estymator parametru u będzie zadany przez Średnią arytmetyczną i spełniony niech będzie wymóg metody największej wiarogodności, tzn. 7-5 J 06—x x)

fQG-3) Wprowadźmy,

dla uproszczenia notacji, oznaczenia J =2X,—X,

g(%)=

J 0) JO.)

|

wtedy

a także

Rozważmy przypadek n = 2, kiedy to

0) + 802) =0 a ponieważ y, = —y,, więc

s)

= —801);

co mówi nam tylko, że funkcja g musi być antysymetryczna. Więcej informacji uzyskamy, rozważając n = 3. Eliminując wielkość y;, otrzymujemy 20) + 802) +g(-Vi

—))=0

Zróżniczkujmy ten rezultat względem y»:

g 02) — g Z) — a) 50,

393

7. Estymacja parametryczna

a poniewaz jest to wielkość dowolna, połóżmy ją równą zeru

g 0) =g(-y). Oznacza to, że pochodna funkcji g jest stałą, co prowadzi nas do stwierdzenia, że

sama funkcja g jest liniowa w swym argumencie, a w konsekwencji funkcja f ma postać rozkładu Gaussa. Identyczne wnioski wynikają z rozważenia przypadków,

kiedy liczba składników w średniej arytmetycznej jest większa od trzech.

r

Przykład 7.2.4 Estymacja parametrów rozkładu Breita-Wignera Uzyskanie analitycznej postaci estymatorów udaje się, niestety, tylko w klasycznych

1 najprostszych przypadkach. Zazwyczaj zasada największej wiarogodności doprowadza do równań, które nie dają się tak łatwo rozwiązać. Mamy często dodatkowe komplikacje. Przykład takiej sytuacji znajdujemy przy określaniu parametrów rozkładu Breita-Wignera (5.90). Logarytm funkcji wiarogodności (7.18) dla próbki o liczebności n ma postać

In £

=

—h

nn + nn ——

2

—

97in

I

2

2

—

+(

X;

—

H )”

co daje nam równanie np. na parametr 4

jj m

"

=2)

(7

_E

+ (6 — p)?

0.

Przy znanej wartości parametru 7” jest to wielomian stopnia 2n — 1, a więc

musimy wybrać jeden z jego pierwiastków, czyli w takiej sytuacji dysponować

dodatkowymi kryteriami. Przykład tego, co się może zdarzyć, przedstawiony jest

na dwóch wykresach: na rys. 7.5, ukazującym rozkład 1000 liczb wylosowanych

70

i

80 r

60 |50 | 40 r 30

I

20 "©

—

394

Rys. 7.5. Symulacja rozkładu Breita-Wignera

7.2. Metoda największej wiarogodności

395

-18 Rys. 7.6. Kształt funkcji wiarogodności dla rozkładu z rys. 7.5

metodą Monte Carlo z rozkładu Cauchy ego (5.89) (patrz też przykład 5.10.5) oraz

na rys. 7.6, pokazującym

logarytm funkcji wiarogodności

dla rozkładu Breita—

Wignera jako funkcji parametru a, przy ustalonym parametrze I' = 2.

r

7.2.2. Własności estymatorów największej wiarogodności Metoda największej wiarogodności cieszy się uznaniem z uwagi na własności estymatorów, jakich dostarcza.

Wskazówki

dotyczącej jednej

z tych własności,

a mianowi-

cie niezmienniczości względem transformacji estymowanego parametru, dostarczył nam przykład 7.2.2. Jest to bardzo pożądana cecha estymatorów, ponieważ w praktyce jest niekiedy rzeczą arbitralną, jaką funkcję poszukiwanego parametru wybierzemy. Możemy łatwo pokazać, że postać tej funkcji jest bez znaczenia. Istotnie, jeśli 6 jest estymatorem największej wiarogodności parametru 6, a nas interesuje pewna funkcja tego parametru, powiedzmy: © = 9 (0), to z równania

_0L

08

_ 0L060

86 80"

przy założeniu, że pochodna funkcji © względem parametru © nie znika, wynika, że

nowy parametr © również spełnia równanie będące warunkiem koniecznym istnienia estymaty tego parametru

AL

30

0.

Stąd mamy ową niezmienniczość względem transformacji parametru:

0 -5(0) =2(). Wynik ten rzuca światło na kwestię obciążenia estymatorów największej wiarogodności. Musimy się spodziewać, że są one, ogólnie rzecz biorąc, obciążone, jako że nie

39%6

7. Estymacja parametryczna

ma oczywistej recepty na wybór funkcji parametru rozkładu, którą mamy estymować. I nawet jeśli estymator parametru 6 nie jest obciążony, to ponieważ

e|o6)| ź o (€ [5 |) z wyjątkiem przekształcenia liniowego, estymator O funkcji » tego parametru z reguły będzie obciążony. Estymatory największej wiarogodności charakteryzują się jeszcze innymi, bardzo ważnymi własnościami, które wyliczymy tu w formie twierdzeń, niekoniecznie podając szczegółowe

dowody.

Przy zachowaniu pewnych

warunków

regularności funkcji roz-

kładu (niezależność zakresu zmiennej losowej od parametrów rozkładu, dwukrotna różniczkowałność względem parametru i istnienie wartości oczekiwanej pierwszej i drugiej pochodnej względem parametru), jedno z tych twierdzeń to: Twierdzenie 1. Estymatory największej wiarogodności są zgodne.

Zastanówmy się nad wariancją estymatora. Jeśli funkcję wiarogodności (7.18)

L (x;6) =| [ /(%:0) i=l

potraktujemy jako funkcję łącznego rozkładu prawdopodobieństwa zmiennych x; i dokonamy zamiany zmiennych

|

0 Y;

=

a;(X1,X2,

...,

Xn),

i

=|1,2,...,.n-l,

to funkcję L możemy zawsze przepisać w postaci

L(x;6) =L(x6,y):6)1J| = L(6,y:0), zależnej

od estymatora i zmiennych

losowych

znajdujemy rozkład brzegowy dla wielkości 6

y,. Całkując

względem

zmiennych

y;,

2:0) = J L (6. y:0) dy. z którego możemy określić wariancję estymatora 6

v [6] z | (6 — (8))?g(6; 6) dó. Wynik ten ma raczej teoretyczne znaczenie, ponieważ niezmiernie rzadko udaje się przeprowadzić taki program z sukcesem do końca. Oczywiste jest jednak to, że wynik ten jest równoważny następującemu rezultatowi:

v [6 | — | (6 (x) — (6))?L (x; 6)dx,

(7.19)

7.2. Metoda największej wiarogodności

397

który uzyskujemy, „cofając” przekształcenie x — (6,y). Wariancja (7.19) przyjmuje postać funkcji ocenianego parametru 8 — jeśli chcemy znaleźć jej wartość liczbową,

zmuszeni jesteśmy do podstawienia za ów parametr wartości estymaty, co naturalnie jest

tylko przybliżeniem. -——

Przykład 7.2.5 Wariancja estymatora parametru rozkładu wykładniczego Wykorzystajmy rezultat (7.19) do obliczenia wariancji estymatora czasu życia T, zadanego średnią (patrz podrozdział 5.3.2), dla rozkładu wykładniczego: a>

1

00

vE]-

0

= —

0) ot,

G=I

[lzeo(-*)dt...

i=l

T"

N

2

| (72:-7)

l

=-

n

00

i=l

2

1
[l

t,

exp | —— »(

)

T*

|dt,...dt,—T* =—. "

n

Nie podajemy szczegółowych obliczeń, gdyż przebiegają one standardowo, jeśli przypomnimy sobie elementarne całki dla rozkładu wykładniczego (wartość oczekiwana, wariancja) i technikę rozkładania jednomianów na wyrażenia z nie powtarzającymi się indeksami (patrz dodatek B). h

Rozważmy teraz przypadek wielu, np. k parametrów opisujących badany rozkład. Proste rozumowanie, będące rozszerzeniem przypadku jednowymiarowego, prowadzi nas do rezultatu

r——

v (6,6, |= J (6x) — (876,02) — (6;))L (x; 6)dx.

Przykład 7.2.6

Wariancje estymatorów parametrów rozkładu normalnego Rozważmy jednoczesną estymację dwóch parametrów:

w i o rozkładu Gaussa.

W przykładzie 7.2.3 pokazaliśmy, że ich estymatory największej wiarogodności to k=

2x

=

06-607

(7.20)

398

7. Estymacja parametryczna

Zgodnie ze wzorem (7.20) wariancja estymatora wartości oczekiwanej „w dana jest przez

y[a] =

1

zz);

00

Lę

(2-2)

2

CJE

GM] 92

)

_o?

= —.

Szczegółowych obliczeń nie przytaczamy z uwagi na ich prostotę. Rachunki dla wariancji estymatora o* są bardziej skomplikowane, choć można je wykonać, korzystając z uwag z dodatku B:

BT

I (r 20; --10-0) [ [eo(--5 z a dx

_ 201 n-

Zwróćmy uwagę na to, że wynik ten różni się od otrzymanego w przykładzie 5.5.2 oraz przykładzie 5.6.1, a to z powodu obciążonego charakteru estymatora największej wiarogodności wariancji rozkładu normalnego. Łatwo zauważyć, że dokonując zamiany

usuwającej obciążenie, odzyskujemy nasze wcześniejsze rezultaty.

Obliczenie, z wykorzystaniem (7.20), kowariancji między obydwoma estymatorami również nie jest skomplikowane i dlatego pozwalamy sobie zostawić je Czytelnikowi, a tu podamy jedynie ostateczny rezultat

cov [1, 6?]

1czy! 5)

(G$--)(720-P'-0 o|fleo(- SB)

= (), w zgodzie z wynikami przykładu 4.2.3 oraz przykładu 5.6.1.

Podany wyżej ogólny wynik (7.19) lub też (7.20) na postać wariancji daje się wykorzystać jedynie w najprostszych przypadkach. W sytuacjach bardziej skomplikowanych zmuszeni jesteśmy uciekać się do metod numerycznych albo przybliżonych. Pewne ułatwienie przynosi sytuacja, w której badana próbka jest duża, ponieważ wtedy zachodzi:

7.2. Metoda największej wiarogodności

399

Twierdzenie 2.

Gęstość rozkładu prawdopodobieństwa estymatorów największej wiarogodności dąży, przy liczebności próby dążącej do nieskończoności, do rozkładu normalnego, a estymatory największej wiarogodności są asymptotycznie nieobciążone i dążą do klasy najefektywniejszych. Dowód tego twierdzenia opiera się na rozwinięciu pierwszej pochodnej logarytmu funkcji największej

wiarogodności

względem

parametru,

obliczonej

przez estymator, wokół prawdziwej wartości 6 tego parametru 0 —

0 ln L (x; 0) 30

_3mL(G:6) — 9-5 30

w punkcie

zadanym

| 9? ln Z (x; 0) 6 —0), 302 „og, )

(0.21)

7.21

o której to wielkości wiemy, że jest ona równa zeru, co zaznaczyliśmy po lewej stronie

równości. Wielkość 6* jest wartością parametru 6 zapewniającą poprawność rozwinięcia

(drugi wyraz jest po prostu jedną z wielu postaci reszt, jakie wykorzystywane są w roz-

winięciu Taylora). Wartość oczekiwana pierwszego składnika sumy, na mocy (7.5), jest równa zeru, co oznacza, że wariancja pochodnej logarytmu funkcji wiarogodności wynosi

0lnLGG6)]|

„|(0lnLGG6)N" | „[

8mLQGG8)]

1

|Pege -]-e|(e©) |= =(=] = zz] gdzie wykorzystaliśmy (7.7). Ponieważ pierwsza pochodna logarytmu funkcji wiarogodności jest zadana sumą niezależnych składników:

Hm L(x:0)6) dlatego też, w warunkach

4h

asymptotycznych,

centralnego twierdzenia granicznego wielkość O ln ZŁ (x; 0)

-

06

z p nz

—

przy dużej

p, [5] 072056)

> = Din 10]

30

liczebności próby,

36

na mocy

0.22)

zachowuje się jak standaryzowana zmienna losowa o rozkładzie normalnym.

Spójrzmy teraz na drugą pochodną względem parametru w związku (7.21). Wielkość

ta również dana jest sumą niezależnych statystycznie składników, którą w asymptotycznym reżimie możemy także wyrazić przez minimalną wariancję:

82 In L (x;6) 392

0=0*

o—

no 321n f(x,,6)

3

i=1

00

2

, [ 821n f(x,6) 362

8=8*

2%

f (x,0)dx

(7.23)

400

7, Estymacja parametryczna

gdyż na mocy twierdzenia 1 o zgodności estymatorów największej wiarogodności wielkość 8* musi zbiegać do prawdziwej wartości © parametru. Podstawiając uzyskane wyniki (7.22) oraz (7.23) do wyjściowego wyrażenia (7.21), otrzymujemy

u Din

—_] [5 |

Vmi

(6—0)

=

U=_|_

[6]

Din

6-0)

(7.24)

[6 |

co dowodzi asymptotycznie normalnego charakteru estymatora największej wiarogodności i jego minimalnej wariancji. Zacytujmy jeszcze jedno twierdzenie odnoszące się do estymatorów największej wiarogodności: Twierdzenie 3.

Jeśli istnieje dostateczny estymator parametru, to jest on funkcją estymatora naj-

większej wiarogodności.

Nim przejdziemy do przykładów ilustrujących zastosowanie powyższych twierdzeń, rozważymy także postać asymptotyczną funkcji £ największej wiarogodności jako funkcji parametru 6 (ograniczymy się do przypadku jednego parametru) w okolicy wartości tego parametru określonej jego estymatą. Rozwiniemy w tym celu logarytm funkcji wiarogodności w szereg Taylora do wyrazów drugiego rzędu włącznie: A A 1 0 InL(6) 2 0 ln £ (6) ———— 0—8)+> ———— 8—8)* o (6-67). in £ (6) = In £ (6)+ 39 4 )+z 92 „4 J+o(( ) Pierwszy wyraz tego rozwinięcia to wartość maksymalna Lgax funkcji wiarogodności,

a drugi wyraz jest dokładnie równy zeru na mocy definicji estymaty największej wiarogodności. Jeśli wykorzystamy wynik (7.23), to w warunkach asymptotycznych całość możemy przepisać jako

InL (6) £ In Lyyx — (8 — 6)? +0 (te — 6”) | 2 [6

Usuwając funkcję logarytm i zaniedbując wyrazy wyższego rzędu, znajdujemy gaussowski kształt

L (0) © Lax xP

(6 — 6)

2V min

(7.25)

[6 |

funkcji wiarogodności w okolicy maksimum. Musimy tu z całą siłą zaznaczyć, że otrzymana zależność nie reprezentuje sobą ani funkcji gęstości rozkładu estymatora parametru

0, ani tym bardziej rozkładu samego parametru (to ostatnie byłoby, co najmniej, absurdalną propozycją), mimo formalnej zbieżności tego wyniku z wnioskami wynikającymi ze związku (7.24). Powyższy wynik opisuje asymptotyczny kształt funkcji wiarogodności jako funkcji parametru 0, w okolicy wartości zadanej estymatą tego parametru, a więc przy ustalonych wartościach punktów pomiarowych x,. W ramach klasycznej statystyki matematycznej, którą się tutaj paramy, parametr 8 jest pewną ściśle określoną, choć nieznaną, liczbą, a nie jest zmienną losową. Funkcja (7.25) jest zwykłą matema-

7.2. Metoda największej wiarogodności

401

tyczną funkcją argumentu 0, która ma tylko kształt krzywej Gaussa, wyzutej ze wszelkiej

probabilistycznej interpretacji. Studenci przedmiotu często o tym zapominają. Rezultat (7.25) jest bardzo ważny w praktyce. Kreśląc kształt funkcji wiarogodności jako funkcji parametru, bezpośrednio z rysunku możemy odczytać nie tylko wartość estymaty, ale także wartość błędu poszukiwanego parametru, gdyż na mocy twierdzenia 2, kwadrat tego błędu jest zadany minimalną wariancją, a ta jednocześnie definiuje

asymptotyczną postać funkcji wiarogodności. Jednakże w praktyce nie dysponujemy nieskończoną liczbą przypadków, więc dla wariancji estymatora parametru 6 otrzymujemy,

co najwyżej, pewne przybliżenie

A

[a

p|ó|=-

,

9% In £

) , 6=6 Dla przypadku wielu parametrów mamy natychmiastowe uogólnienie: A

[A

(

08?

a

|

9?In £

Y(6,6,) = |

(7.26)

——

00,00,

8—6

|

,

(7.27)

gdzie przez nawias kwadratowy zaznaczyliśmy macierz drugich pochodnych, którą mu-

simy odwrócić, aby uzyskać macierz kowariancji, a raczej jej estymatę, czyli macierz błędów, gdyż zamiast parametrów używamy ich estymat.

—-

Przykład 7.2.7 Ocena czasu życia — symulacja Opiszemy teraz przykładową próbę określenia parametru, jakim jest oczekiwany

czas życia r cząstki elementarnej lub wzbudzonego jądra atomowego w sytuacji pomiaru indywidualnych czasów życia przy użyciu detektora o skończonych roz-

miarach (porównaj przykład 5.3.5). Zazwyczaj sytuacja wygląda tak, że czas życia (pamiętajmy o dylatacji!) cząstki określamy z odcinka wyznaczonego przez punkt produkcji oraz punkt rozpadu, a więc o znanej długości i ze znanej prędkości cząstki, którą to prędkość znajdujemy z pędów produktów rozpadu. Dla cząstki poruszającej się w zadanym kierunku w detektorze istnieje pewien maksymalny

odcinek, na którym może dojść do obserwacji rozpadu. Odcinek ten wyznacza dla tej cząstki pewien maksymalny czas życia t/*%*. Gdyby cząstka żyła dłużej, jej rozpad nastąpiłby poza obszarem detektora i takich rozpadów nigdy nie rejestrujemy

w próbce. Dodatkowo, gdy odległość między punktem produkcji i rozpadu jest zbyt mała, nasze metody identyfikacji takich cząstek często są nieefektywne, co

prowadzi do strat w próbce, w związku z czym wprowadzamy dodatkowe obcięcie na mierzone czasy Życia od dołu, definiując pewien minimalny czas ż””, powyżej

którego, w naszym mniemaniu, efektywność detekcji rozpadów jest satysfakcjo-

nująca. Przy tak postawionym

problemie

rozkład czasów

życia obserwowanych

cząstek jest różny od zera jedynie dla przedziału wartości czasów od tj" do tP*. Oznacza to, że funkcja gęstości dla pojedynczej cząstki przyjmuje postać T

Jlt;T)=

gin

exp (-

7

(>) T

) — exp (-

gnax

-

*

402

7. Estymacja parametryczna

Funkcję wiarogodności (7.18) możemy zapisać w postaci InlL

=—nl

lĘ

—

—

£;

*

—

l

—

jp

—

—

gprax

,

skąd otrzymujemy równanie na estymatę parametru T

nC£ OT

=

1.

T?

Mi

no T

Tt

Llqa*

min

i=1

ap (

_

fp

ex

z

i

L_ g Max

>)

—

i ap (

in

z

fi

jmax

z

e),

i

T

T

Jak widzimy, równanie to nie daje się rozwiązać przez funkcje elementarne i mu-

simy się uciec do metod numerycznych. Możemy jednak przekształcić je do postaci t

Z

T=fl—n

2

ty” exp(-

i=l

C€xp

(

min

— ) —t

tpm —— T

)

—

cXp

exp((

——

max —

-

a

) |

T

gdzie pierwszy wyraz po prawej stronie równości to średnia arytmetyczna obserwowanych czasów życia, a suma to poprawka. Wyrażenie to nadaje się wyśmienicie do obliczeń iteracyjnych. 120

100 g0 | 60

40 | 20 | 00

05

10

15

20

25 T

30

35

40

45

50

Rys. 7.7. Kształt wygenerowanego rozkładu wykładniczego z jednostkowym parametrem

Dla ilustracji wykorzystaliśmy metodę Monte Carlo 1 wygenerowaliśmy 500 przypadków z czasem życia Tr = 1. Rozkład ten przedstawiony jest na rys. 7.7. Dla celów dalszej demonstracji, a także dla uproszczenia przyjęliśmy, że wszystkie czasy £;/”” są identyczne i wynoszą 0,25, natomiast czasy t/*%* także dane są tą

samą wielkością 2,0. Odrzucenie danych, które nie spełniają warunków nałożonych

przez obcięcia t”" oraz ty*%, pozostawia w próbce 335 przypadków. lteracyjne wyrażenie na estymator parametru T już po paru „obrotach” dostarcza rezultatu T = 0,889 = 0,89. Przyjmując, że liczba 335 przypadków jest „duża”, skorzystamy

z wyrażenia (7.26) na estymatę wariancji, uzyskując D [£ | = (0,038 = 0,04.

7.2. Metoda największej wiarogodności

parametr T 0,95

1,00

1,05

log funkcji wiarogodności —— 335 liczb

0,90

Rys. 7.8. Kształt logarytmu funkcji wiarogodności £ dla przypadków z rys. 7.7 jako funkcja oczekiwanego czasu życia T

Powyższe

rozważania możemy

zilustrować

wykresem

z rys. 7.8 logarytmu

funkcji wiarogodności zależnej od argumentu r. Widzimy, że wartość maksymalną funkcja ta uzyskuje przy wartości parametru około 0,89, co dobrze zgadza się z ob-

liczeniami numerycznymi (na wykresie unormowaliśmy krzywą przez odejmowanie tak, aby jej wartość w maksimum była równa zeru). Kształt tej funkcji jest istotnie bardzo zbliżony do kształtu paraboli, jak tego powinniśmy się spodziewać dla kształtu Gaussa (7.25), ponieważ In£ =

Ż

CG

ŻVmin

2

+- const.

[7]

Z tego samego związku (7.25) wynika, że jeśli zmienimy parametr r o jedno odchylenie standardowe, to logarytm funkcji wiarogodności ulegnie zmianie o 1/2. Poziom —1/2 oznaczyliśmy za pomocą linii, która po przecięciu z ramionami

paraboli wyznacza dwie wartości parametru r, jedną w okolicy 0,852, a drugą około 0,925. Różnica między tymi liczbami to dwukrotne odchylenie standardowe,

które szacowane tą drogą daje nam wynik 0,036, co jest w wyśmienitej zgodności z obliczeniami numerycznymi. Podobne oszacowania możemy

przeprowadzić dla

dwóch lub trzech standardowych odchyleń, przesuwając tak wartość parametru T, aby logarytm funkcji wiarogodności uległ zmianie odpowiednio o dwie lub o cztery

i pół jednostki. Zaznaczyliśmy je na wykresie stosownymi liniami. Odczytując liczby z wykresu, otrzymujemy dwa dalsze oszacowania odchylenia standardowego o zbliżonych wartościach. Jest jednak interesujące, że o ile odległość od maksimum na lewo do punktu przecięcia naszej funkcji z prostą na poziomie 4,5 wynosi trochę więcej niż 0,1, to ta sama odległość na prawo jest równa 0,12. Świadczy to o odstępstwach od para-

bolicznego charakteru logarytmu funkcji wiarogodności. Te odstępstwa nasilają się przy zmniejszonej liczebności próbki. Dla ilustracji przedstawiamy na rys. 7.9 wy-

kres tej samej funkcji logarytmu wiarogodności, ale dla pierwszych pięćdziesięciu

wygenerowanych liczb. Nasze kryteria wyboru usunęły z niej 5 przypadków, zostawiając 45, a więc próbkę około 8 razy mniejszą niż pierwotna. Przez statystyczny

403

7. Estymacja parametryczna

parametr T

0,9

0, log funkcji wiarogodności — 45 liczb

404

—(,5

—1,0

—1,5

-20

Rys. 7.9. Kształt logarytmu funkcji £ wiarogodności dła ubogiej próbki przypadków jako funkcja oczekiwanego czasu życia T

kaprys, owe 45 przypadków daje bardzo zbliżoną wartość czasu życia £ = 0,875.

Tu już wyraźnie daje się zauważyć odstępstwo od parabolicznego charakteru krzywej. Potwierdzamy to, odczytując z wykresu wartości odchyleń standardowych: na

lewo około 0,095, natomiast na prawo około 0,105. Rachunek błędu wykorzystujący

formułę z drugą pochodną logarytmu funkcji wiarogodności daje wartość 0,102,

który to błąd jest oczywiście symetryczny (nota bene, zauważmy ładną zgodność odchyleń standardowych dla obu próbek: zmiana liczebności o czynnik 8 powo-

dująca zwiększenie błędu o czynnik V8 — 2,8, daje błąd 0,036 - 2,8 = 0,102 w zgodności z naszymi rezultatami „graficznymi).

r

Przykład 7.2.8 Ocena czasu życia i tła — symulacja Rozpatrzymy teraz przypadek, gdy występują w rozkładzie dwa nieznane parame-

try. Jako przykład rozważymy obserwację czasów rozpadu izotopu o intensywności

A w warunkach stałego w czasie tła, przez ustalony w czasie okres T. Przykład ten jest równoważny sytuacji, w której dokonujemy obserwacji zaniku izotopu, powstającego w szeregu z innego źródła promieniotwórczego o znacznie dłuższym czasie

życia. Gęstość prawdopodobieństwa dla takiej sytuacji określona jest wyrażeniem

fGA,T,p) = p

A exp(—At)

l

expCAT) * U-P7:

gdzie wielkość 1 — p określa domieszkę tła w znalezionej próbce. Dla ilustracji,

ponownie skorzystaliśmy z metody Monte Carlo i wylosowaliśmy 5000 przypadków z powyższego rozkładu z parametrem A = 1 i p = 0,5 dla czasu obserwacji

T = 5. Otrzymany rozkład przedstawiony jest na wykresie 7.10. Następnie zmaksymalizowaliśmy logarytm funkcji największej wiarogodności. Ponieważ tym razem mamy dwa parametry, więc konwencjonalnie rezultat takiej operacji przedstawiamy

7.2, Metoda największej wiarogodności

350 300 | 250 | 200 150 100 50

CczaS

parametr tła p

Rys. 7.10. Wygenerowany rozkład czasów życia w obecności tła

0,55 0,54 0,53 0,52 0,51 0,50 0,49 0,48 0,47 0,46 0,45 0,44 0,43 0,42 |0,41 | 0,40 0,80

! 0,85

090

i

l

I.

i

i

0,95

100

105

110

115

120

intensywność A Rys. 7.11. Kontur funkcji wiarogodności parametrów p oraz A dła rozkładu prezentowanego na rys. 7.10

w postaci konturów badanej funkcji (samą funkcję zazwyczaj normalizujemy, przez odjęcie od niej jej wartości w maksimum). Otrzymany wynik prezentowany jest na wykresie 7.11, gdzie kontury są po-

prowadzone co 0,5 jednostki od wartości —0,5 do wartości —4,5. Warto, aby Czytelnik zwrócił uwagę na odbiegające od eliptycznego kształtu krzywe poziomic, co wskazuje na niegaussowską postać funkcji wiarogodności, a tym samym

405

406

7. Estymacja parametryczna

przybliżony charakter wariancji obliczanej ze związku (7.27). Wartość maksymalną znajdujemy w punkcie A = 0,99 + 0,07 oraz p = 0,48 + 0,05, a więc wiernie

odtworzyliśmy wartości pierwotne, niestety, nie bez skorelowania parametrów między sobą. Ich współczynnik korelacji otrzymaliśmy jako r = —0,32. Odczytanie

tych samych błędów pomiaru z wykresu, jak to czyniliśmy w podrozdziale 5.5.4, jest nieco bardziej skomplikowane od tego, jakie wykonywaliśmy w przypadku jednowymiarowym. Teraz już nie wystarczy wybrać jednowymiarowy „przekrój ” funkcji wiarogodności w maksimum i odliczyć pół jednostki wartości tejże funkcji, aby otrzymać wartość błędu parametru. Musimy wyrysować pełny, dwuwymiarowy kontur funkcji wiarogodności, odpowiadający zmianie jej wartości o 1/2 1 z punk-

tów przecięcia z osiami parametrów prostych stycznych do konturu i równoległych do obu osi odczytać błędy. Wartość współczynnika korelacji możemy odzyskać, mierząc kąt © nachylenia większej półosi elipsy do osi x (intensywności A) i zastosować elementarny wzór

2poyO a . o£ — Gy

tg 2a =

Przykład 7.2.9

Efektywność detektora W przykładzie 5.4.10 zaproponowaliśmy modelowy opis doświadczenia Poissona,

którego celem jest pomiar wydajności dwóch liczników. Model ten określony jest przez trzy definiujące go parametry: dwie efektywności pą oraz pg i liczbę jt cząstek i zadany jest iloczynem czterech rozkładów Poissona Pza.np.Ncn (PA:

dla czterech zmiennych

PB:

u)

=

losowych

Pr

(LPA) Ps

na, ne, Nc

(LPB)Pu

(upc)Plup)

oraz n. Ponieważ

ostatnia z tych

zmiennych nie jest dostępna eksperymentalnie, więc usuniemy ją metodą przejścia do rozkładu brzegowego P, np.NC (Pas PB. M) = P., (UPA) P,, (UPB)PN. (Hpc).

Prawdopodobieństwo P,, ».v- (PA» PB. 4), przy znalezionych z eksperymentu liczbach ną, ng oraz N,, staje się funkcją wiarogodności L (pa, PB, ii), która posłuży do oceny nieznanych parametrów. Stosujemy standardową procedurę: ob-

liczamy logarytm £ i różniczkujemy względem poszukiwanych parametrów, uzyskując następujący układ równań: 0

N,

0 nl= AE OpA

00 nl ODB 0

PA

N ETC

PB

na+nz.+N

OB

(l — pp) =0,

MA

A - pa) =0.

lI-PM-A

| — DB

—n£L=-——”.

Nieznane parametry znajdujemy, minimalizując względem parametrów 8: In £ (68) = >. n, ln P,(6) + const, k=l|

gdzie const ukrywa w sobie wielkości niezależne od poszukiwanych parametrów. Gdy źródłem histogramu jest eksperyment Poissona o oczekiwanej liczbie

przypadków, wtedy liczby n, przypadków w każdym przedziale podlegają rozkładowi Poissona

Pn

(Ux)

Hk

—

m,

ny.

ę "*k

t

1

Ly = UP,(0),

a w konsekwencji, temu samemu rozkładowi podlega także całkowita liczba N przypadków w histogramie. Funkcja wiarogodności wynosi n

L (68) = [ [7 k=]

(Uk) = [I ti k=l

''k*

e,

i wiemy z przykładu 5.4.6, że jest to równoważne L (6)

=

=

u

N

NIŻ

_

e *

N!

P'"'... Pp",

min,

H

=

n

Żla

,

Przy poszukiwaniu maksimum tej funkcji istotna jest tylko część określona rozkładem wielomianowym, a więc estymatory metody największej wiarogodności nie zależą od decyzji odnoszącej się do sposobu zakończenia eksperymentu. Jeśli liczby n, przypadków w każdym z przedziałów histogramu są duże, to wiemy, że rozkład Poissona dąży do rozkładu normalnego, a wielomianowy — do normalnego wielowymiarowego (patrz podrozdział 8.2). Jeśli, dodatkowo, liczba n

przedziałów histogramowania jest również duża, co pozwala zastosować znane nam z przykładu 5.4.7 przybliżenie V[n.] =aP(1

— P,) Z nP, =n,

to efektywnie, zarówno w przypadku eksperymentu Bernoulliego, jak i Poissona, maksymalizujemy następujące wyrażenie: 1L/n=mV 1 £(0)x-5)( * e)

=

——

1

2

>

i=]

———n

(

+ const

may >

4/Nę

4-

const.

Do własności statystycznych tej wielkości wrócimy w przykładzie 7.3.4.

7.2. Metoda największej wiarogodności

-—-

413

Przykład 7.2.12 Poprawka Shepparda Niech przedziały grupowania, w liczbie n, będą identycznej długości A, ich Środek niech leży w punkcie x, = xy+kA,k=|1,2,...,n,

natomiast liczba danych okre-

ślająca liczby zmierzonych wartości, które należą do przedziału [x, — A/2; x + A/2], wynosi n,. Niech także liczebność próbki, czyli suma wszystkich krotności

n, wynosi N, a cecha, którą badamy, podlega rozkładowi Gaussa N (x; u, o). Obliczmy prawdopodobieństwo P, znalezienia zmiennej losowej wewnątrz przedziału o środku x, (y = x — x): |

P,b= =

xx +A/2

Bao

J

|

ap (

———(x-—u) >: W w)

x >A/2

=

NN

AZANY

A/2 exp P |

/2no

— 202 (x,k —

-A/2

__|1

A/2

| se(W2RTO

y

y

dy

20? AJ2

_m—m)

/2RO

L

72)

—Aj2

Eo

|d Xx

P

|»

20?

_%%m-W0 PY); P

—Aj/2

20*

>.

Ponieważ zakładamy, że przedziały są istotnie mniejsze od dyspersji o rozkładu, więc funkcję wykładniczą pod całką rozwiniemy, wyrazów kwadratowych włącznie: C€Xp

2y(% — M) ŁY?

= |] —

Ży(x% — u) + y 20?

X — g2

—1 + 2

—A/2

2y(%

> MW+ŁY?

ee(-"F—

dy

/2yQ% — m) + y”

l (3 — 1) —— g2 — | -| +z(

Pozwoli to nam obliczyć, w przybliżeniu, całkę

|

całkowania y, do

777020200

= |-

A/2

w zmiennej

* +

207

2 >+

O

O (7)3 .

3 U

)

414

7. Estymacja parametryczna

Wynik ten, z dokładnością do wyrazów rzędu A*, możemy zamienić ponownie na funkcję wykładniczą:

4 (

l

l

(X

w

+ 240? (

u)

2

l

—1/|4A|]=A

o?

2P

(Xk

(240?

o

u)

2

—1)A|,

o?

a w konsekwencji, z tą samą dokładnością, otrzymujemy wyrażenie na prawdopodobieństwo P,

A

P, Z

/ 21 o

A

=

/2Ra

0w-u)

exp | — ex

202

A.

+

4

(oG— Nu)

2402

o?

1N

—— | 240% 2a?

P

(% — kk

„-

—|

4

,

2402

a stąd pełną postać funkcji wiarogodności n

=[|P* =

c=||7

A

(

N

5)

—_—

UE

za:

w

Rozważymy teraz sumę występującą w wykładniku:

2 mala — u? =D) mog —2u) nx +Nu =NS+ NG — u), k=l

k=l

gdzie wprowadziliśmy definicje Średniej arytmetycznej x oraz średniego odchylenia kwadratowego $ dla danych zgrupowanych, zadanego związkiem (4.5) (zauważmy, że w definicji tej ostatniej wielkości dzielimy przez całkowitą liczebność próbki)

W następnym kroku podstawiamy obie wielkości do funkcji wiarogodności

e

z

(

A

W

3

xp (

N

A?

1

——__|(8+G-

E-

53)

+G-u))

NA?

m?) -

Sa

,

obliczamy jej logarytm nCZ-Nmo+N(

A”

l

240%

2) 20

2

(S* + ( —

ny) sa 240? -- const,

i pochodne względem nieznanych parametrów: 0 —a n£=

a — do

nl=0

3% >

1 NZZACK) — A (6:A -—|=0 53) N AŻ ——+N(7" ( 665

| $* + (% — WZĘ -0. )( +6-60)+ 4:

7.2. Metoda największej wiarogodności

415

Z, pierwszego równania otrzymujemy estymatę wartości oczekiwanej, jako zdefiniowaną wyżej Średnią arytmetyczną zgrupowanych danych

Wynik ten upraszcza nieco drugie równanie, które po przekształceniach przyjmuje postać

A?

AS

4 — 62 | 574 — - o( +1)"

6

= 0.

Rozwiązania tego równania dwukwadratowego to A2

—_

1272|7 Właściwe

rozwiązanie

l

S2

A?

ua

71

+

j(

S2

A

uk

* 5)

to rozwiązanie ze znakiem

2

=

—

3

„+,

4252

gdyż dla szerokości

A

przedziału grupowania dążącej do zera powinniśmy odzyskać estymatę S*, tożsamą z estymatą 6? z przykładu 7.2.3. Ponieważ wszystkie obliczenia prowadzimy

z dokładnością do wyrazów

O(4A*), więc i tym razem rozwiniemy pierwiastek,

zachowując tę samą dokładność

|(>+5) -żes- (845) |1- 6SAŃŻ

2

2)

A?

(fa,

A?

24282

1

AS

2

(5+)

|,

4

4

Podstawiając do rozwiązania, otrzymujemy ostateczną postać estymaty wariancji

rozkładu Gaussa

Uzyskana poprawka do wyrażenia na kwadrat odchylenia standardowego S* obli-

czanego ze zgrupowanych danych nosi w literaturze nazwę poprawki Shepparda.

Zasada największej wiarogodności jest jedną z najpotężniejszych i najbardziej owoc-

nych metod statystyki matematycznej. Jest rzeczą zdumiewającą, że nie ma ona żadnego uzasadnienia na gruncie teorii prawdopodobieństwa, ani nie wynika z głębszych przesłanek. Jest ona „włożona” do statystyki z zewnątrz i jej jedyne uzasadnienie ma charakter a posteriori: będąc niezwykle

wszechstronną,

dostarcza (zazwyczaj;

zaintrygowanego

Czytelnika odsyłamy do przykładu 9.1.2) rozsądnych rezultatów o pożądanych właściwościach.

416

7. Estymacja parametryczna

—- 7.3. Metoda najmniejszych kwadratów 7.3.1. Zasada najmniejszych kwadratów W podrozdziale 3.5 rozważaliśmy krzywe regresji drugiego typu, zdefiniowane związ-

kiem (3.28), dla znanej postaci łącznej funkcji rozkładu. Sytuacja taka jest raczej wyjąt-

kiem w praktyce statystycznej — krzywe regresji musimy zazwyczaj określać z próbki

dyskretnych danych. Dlatego przyjmijmy, że mamy wyrażenie zależne od pewnej wiel-

kości x, którą będziemy nazywali wielkością kontrolowaną lub objaśniającą, a także od pewnej wielkości y, zwanej wielkością objaśnianą, 1 zbioru m parametrów 6, (i = 1,2,...,m), co możemy

zapisać jako R(x,

y:04,...,6m)

=

(0,

gdzie R jest pewną zadaną co do kształtu funkcją z nieznanymi parametrami 6;. Gdy mamy n wartości par (x;, y;), których jest więcej niż nieznanych parametrów 6;,, wtedy

układ równań na te parametry

R(x;,y;;0,,...,8,)

=0,

J=l1,2,...,n,

NR>M

jest co najmniej zależny, a w ogólnym przypadku sprzeczny. Zasada najmniejszych kwadratów (3.28) w wersji dla dyskretnego zbioru punktów danych orzeka, że wielkości 0, mamy tak dobrać, by spełniały one warunek NR

=

j=l

R*Q;,

y;; By, ...,

8m)

=

min(6,,...,6,),

co jest równoważne układowi m równań na m nieznanych wielkości 6; OR

3

i

=1,2,...,m.

Parametry, które minimalizują wielkość ŚR, oznaczać będziemy przez 0, i zwać estymatorami metody najmniejszych kwadratów. Należy zwrócić uwagę na to, że o ile w metodzie największej wiarogodności rozpatrywaliśmy funkcję gęstości rozkładu o nie-

znanych parametrach, o tyle tutaj wielkość R nie określa rozkładu, a jest dowolną funkcją podyktowaną przez np. teoretyczny model opisujący relację między wielkościami x oraz

y lub też może być wybrana arbitralnie jako wygodna, aproksymująca formuła do użytku

w innych obliczeniach. W wielu zastosowaniach praktycznych powyższą zasadę formułujemy w następujący

sposób: dany jest zestaw n punktów kontrolowanych x,, a dla każdego z nich dana jest wielkość objaśniana, czyli wartość mierzona y;, której prawdziwa wartość 7;

nm= NR =

(a) = meta e

Yk

H

=

.

,

k=l

Rozwiązaniem tego problemu jest średnia ważona (4.12). Gdy wielkości y, są skorelowane macierzą kowariancji V (y), wtedy problem określenia średniej ważonej poddaje się naturalnemu uogólnieniu

R=)>

k,j=l

O+-W[V" W], O; — M) = min(u).

Sformułowanie to sugeruje, abyśmy macierz Q w resztkowej sumie kwadratów (7.30) zdefiniowali jako odwrotność macierzy kowariancji: Q = V"' (y). Taki wybór ma ładną interpretację geometryczną, którą łatwo zauważymy, jeśli macierz błędów jest diagonalna i określona przez błędy s; poszczególnych wielkości y;, ponieważ wtedy minimalizujemy wyrażenie

R= 2

(|

PeE0),

(7.31)

określające odstępstwa, w jednostkach błędu s;, wielkości mierzonej od domniemanej (patrz rys. 7.13).

Istotnym elementem zasady najmniejszych kwadratów jest brak jakichkolwiek za-

łożeń co do charakteru rozkładu, z którego pomiary y, się wywodzą — można powiedzieć, że zasada najmniejszych kwadratów jest niezależna od postaci rozkładu. Jeśli jednak chcemy dokonać probabilistycznej interpretacji uzyskanych wyników, musimy wiedzieć, z jakiego rozkładu pochodzą wielkości mierzone. To jednak nie wystarcza. Równanie (7.31), a przez domniemanie również (7.30), sformułowaliśmy, wykorzystu-

jąc macierz błędów. Istotnie, zazwyczaj w praktyce dysponujemy jedynie statystykami określającymi wariancje i kowariancje. Taka sytuacja czyni problem na tyle skomplikowanym matematycznie, że jego aspekt probabilistyczny staje się praktycznie nierozwiązywalny na drodze analitycznej. Głębszy wgląd w naturę statystyczną uzyskanych

418

7. Estymacja parametryczna

1

F(x:0)

Rys. 7.13. Odstępstwa e, wielkości mierzonej od domniemanej

wyników można otrzymać dopiero wtedy, gdy przez macierz V (y) będziemy rozumieli

macierz kowariancji, a więc wielkości zbudowanej z elementów, które są stałe pod wzglę-

dem statystycznym. Takie też ograniczenie przyjmiemy we wszystkich naszych dalszych

rozważaniach metody najmniejszych kwadratów, a niniejszy akapit niechaj będzie dla Czytelnika ostrzeżeniem, że to, co tu robimy, to są faktycznie pewne rozważania modelowe, które nie zawsze muszą przystawać do rzeczywistości i stanowią najwyżej przy-

bliżenie realnej sytuacji. Przybliżenie to oczywiście będzie tym lepsze, im dysponujemy precyzyjniejszymi wartościami błędów i estymat kowariancji.

Należy podkreślić, że w całym sformułowaniu zasady najmniejszych kwadratów, jak

to jest przedstawione wyżej, nigdzie nie występuje pojęcie dokładności, z jaką znamy wielkości kontrolowane x,. Założeniem jest, że są one nam znane absolutnie dokład-

nie. Oczywiście, tak wyidealizowana sytuacja nigdy nie pojawia się w praktyce, dlatego też najczęściej zastosowania tej metody ograniczają się do przypadków, gdy dyspersje punktów x, są na tyle małe, że praktycznie nie modyfikują one wielkości dyspersji

o;. Istnieje możliwość rozszerzenia zasady najmniejszych kwadratów tak, by dyspersje wielkości x, były jawnie uwzględnione w formalizmie. Nie będziemy jednak tego robili, ufając, że Czytelnik będzie potrafił sam tego dokonać po opanowaniu całości materiału przedstawionego niżej. Autor jest również przekonany, że zrozumienie metody

najmniejszych kwadratów w wersji, w której występuje jedna tylko wielkość kontrolowana x, pozwoli Czytelnikowi łatwo dokonać uogólnienia na zagadnienie wielu takich zmiennych.

Na zakończenie tego punktu rozważmy przypadek specjalny, a mianowicie niech

wielkości mierzone

y;, pochodzą z rozkładu normalnego.

Wtedy

wielkość (7.30) jest

(z dokładnością do czynnika 1/2 i znaku „„—*) wykładnikiem, jaki pojawia się w łącz-

nej funkcji gęstości (5.74) rozkładu tych zmiennych. Tym samym minimalizacja wielko-

ści St jest równoważna poszukiwaniu maksimum funkcji wiarogodności, a więc metoda

najmniejszych kwadratów jest tożsama z metodą największej wiarogodności.

7.3. Metoda najmniejszych kwadratów

419

7.3.2. Przypadek liniowy Pod względem matematycznym najprostszą sytuację mamy wtedy, gdy związek (7.29) między parametrami 6; a wielkością mierzoną 7 przyjmuje postać liniową

1(x) = f2,9) = 1(1)9; + 2(1)6> + *** + Pm(X)0m, gdzie wielkości g;(x)

są zadanymi,

liniowo niezależnymi

funkcjami

kolejne potęgi wielkości kontrolowanej x, ale tez np. wielomiany

(7.32) —

są to często

Legendre'a, które

występują w wyrażeniu na różniczkowy przekrój czynny lub specjalne wielomiany or-

togonalne, do których jeszcze powrócimy w dalszej części wykładu. Poniżej podane są najprostsze przykłady zależności funkcyjnych, które przez odpowiednią zamianę zmien-

nych można sprowadzić do wymaganej zależności liniowej: x

7

|

a+bx

l

z

z =ab” z =ae”

n=lnz n=lnz

z=ax?

q = Inz

>

n=aL

= =>

n=lna+xlnb=a +bx, qn=lna+bx =a +bx,

>

tb,

qn=lna+blnx=a +blnx,

niestety, najczęściej kosztem przekształcenia poszukiwanych parametrów do pewnej po-

staci funkcyjnej. Dla n wartości wielkości x, otrzymujemy n związków dla n wartości wielkości 7; odpowiadających wielkościom mierzonym y;: M = 91(21)6, + PO)

+ **: + Pm (X1)0m,

M = 91(%2)6, + P2(02)0 + *** + Pm (X2)8m,

Mn

=

(I (Xn)01

+

92(X,)0

+

:::

+

Pm (Xn)Om -

Powyższe równania możemy zapisać zwarcie w formie macierzowej q =dQ0,

(7.33)

gdzie 91 Ą

=

9a .

Nn

P(X) s

©

—

P1(%) .

Pln)

(01)

PO)

PaXln)

*::

*:: ,

***

Pm()

Pm(X2) .

01 ,

0

=

Pm(Xn)

6,

,

Om

a samą zasadę najmniejszych kwadratów (7.30) jako

R = (y — 96) Q(y — %6) =(y' —8'%')Q(y — %0) = min(6). Zdefiniowaną przez nas macierz © określa się mianem macierzy konstrukcyjnej.

(7.34)

420

7. Estymacja parametryczna

Aby znaleźć minimum wielkości Ot, wypiszemy jawną postać związku (7.34), bez

wykorzystania notacji macierzowej: n

R =

3

ij=1

= >,

i,j=l

(» —

wwa)

Q;; (» — Żaaya)

k=1

[=]

Qi);— 3 2 p) Qyy; — PY yi Qyoilt)6, i,j=l

k=

Lj=l

l=l

+) ). ge(x;)8k Qijo1(2;)6,. i, j=l k.I=1

Jeśli w trzecim składniku dokonamy zamiany indeksu I na k oraz wymienimy między

sobą nazwy indeksów i oraz j, a następnie wykorzystamy fakt, że macierz Q jest symetryczna — jako odwrotność symetrycznej macierzy kowariancji V — to całość możemy zapisać jako

R= > y Qyy; — 2 3 ) 040300404; + 3 2 0x()8; Q;;pi(t;)8. ij=lkl=

i,j=l k=

ij=

Różniczkujemy teraz względem parametru 6, 3% 39.

— 2

n

m

3

M.

i,j=l k=l

Pp

Pe(Xi)Bkp QijY

n

m

+ ),

3

i, j=1 k,I=1

Pi; )Ókp QijP1(2;)0)

3 0x(%)86 Qi (08, 3 k,l=1 + i,j=t =—2

>

OACDIUTRZ

+

3

i,j=l

) 06000068)

i=

+

y

)

i,j=l

k=

0404064010)

gdzie wykorzystaliśmy fakt, iż

08

8,

©

_]bo

]0

"=J

iźj.

Dokonując identycznej z poprzednią manipulacji indeksami, otrzymujemy układ m równań

03R

an

06,

=

2)

976600,

+2) i,j=l

)0000,m(0)0 k=l

= (,

p

=

1,2,...,m.

(7.35)

Przypatrzmy się teraz pierwszemu wyrazowi, zadanemu przez podwójną sumę. Mamy w nim macierz Q mnożoną od prawej przez wektor y, a od lewej przez kolumnę o indeksie p macierzy konstrukcyjnej %. Jeśli wprowadzimy macierz %', transponowaną

7.3. Metoda najmniejszych kwadratów

421

w stosunku do macierzy konstrukcyjnej, to podwójna suma jest p-tym elementem wek-

tora $'Qy

2 66) Qyy; =).i,j=l (BI) Qyy; = (W'Qy),.

i j=l

Podobnie dla sumy potrójnej

2900004)

i,j=l k=

=

_(60),0, 0,6,= (6TQG8) .

ij=lk=

p

Pozwala to zapisać uzyskane równania na parametry 6; w postaci macierzowego układu równań liniowych, zwanych normalnymi

P'Qd08 = $'Qy

(7.36)

o rozwiązaniach 6 liniowo zależnych od mierzonych wielkości y;

6=(87Q6) GTQy=(4'V'9) GTV'y=W$'V'y=Wy,

(7.37)

gdzie zdefiniowaliśmy dodatkowe dwie macierze

W=(4e'V"'6)| oraz W=Wg'Vv"..

Zabawne jest, że całej tej skomplikowanej algebry można było uniknąć, dokonując formalnego różniczkowania względem parametru 6': OR

0

391 = zgr | —68)V' 0 - 60) =-G'V"' (y - 06) =0, co jest inną formą równania (7.36).

Zauważmy, że aby uzyskać rozwiązania (7.37), nie musimy znać absolutnej postaci macierzy wag Q, a tym samym pełnej postaci macierzy kowariancji V: wystarczy, jeśli określimy ją z dokładnością do pewnego współczynnika. Jest to często wykorzystywana w praktyce własność, kiedy to dla nieskorelowanych pomiarów, czego przykła-

dem jest (7.31) (przypadek najczęściej pojawiający się w praktyce), wybieramy macierz wag jako jednostkową. Jednakże, ponieważ wielkości mierzone wchodzą do wyrażeń na estymatory, niepewności w wielkościach mierzonych znajdą swoje odbicie w nie-

pewnościach parametrów. Istotnie, jeśli pomiary nie są obciążone, wartość oczekiwana

rozwiązania (7.37) dana jest przez

e|6|=ENvy]=VElyl =Wy, co pozwala nam znaleźć macierz kowariancji estymatorów, wykorzystując (3.19), bądź

422

7. Estymacja parametryczna

wychodząc wprost z definicji takiej macierzy

v(6) = los

-

|

Vv"(6)| =>" ij

2 00,00;

(

7.39

)

Przy jego wyprowadzeniu należy wykorzystać związek między macierzą kowariancji V

a macierzą wag Q oraz fakt, że obie macierze są symetryczne. Jak widzimy, znajdując rozwiązania układu (7.36) równań normalnych, znajdujemy jednocześnie macierz

ich kowariancji, jeśli macierz wag, a co za tym idzie i macierz kowariancji wielkości mierzonych znamy absolutnie.

Przydatnego narzędzia do oceny jakości wysiłku eksperymentalnego dostarcza reszt-

kowa różnica Ep =Y—4

W minimum. Zbadajmy jej wartość oczekiwaną. Przyjmijmy,

za (7.28), że wielkości mierzone są nieobciążone, a wtedy

€ [5 = WóTV-'E [yj= W4TV'y=Wó4"V"'96 =6, czyli estymatory parametrów są także nieobciążone. Pozwala to stwierdzić, iż

E lemnl = € [y- 4] =€vy]-€[5]=1-€|v0|=n-V0=qn-1=0. Rozważmy także wariancję wektora reszt

Y Em) =

(68-—y)'V'$=0.

7.3. Metoda najmniejszych kwadratów

433

Pozostałą część resztkowej sumy (7.43) zapiszemy jako

a = (” z 667) —

y' Vy

V-ly=yTV-ly — ÓTgTV-!y

z

Ww

'We'V

'y

—

yV'y

=

w”"'6,

(7.44)

gdzie w drugim wyrazie wyeliminowaliśmy, wykorzystując rozwiązanie (7.37) równań normalnych, jawną zależność od wielkości pomiarowych. Jeśli skorzystamy z równa-

nia (7.33), to wyrażenie (7.44) możemy zapisać jako

Rain = 7'V7y -87W”'6 = (7 — g)'V"'(y — 1) — (6 —6)'W”'(6—6).

(7.45)

Znajdziemy teraz wartość oczekiwaną tej resztkowej sumy kwadratów:

E Bial =mp]| =Tr(V"'V) =TrO) =n. Podobne rozumowanie odniesione do drugiego wyrazu w wyrażeniu (7.46) na war-

tość oczekiwaną daje nam w ostatecznym wyniku

a

„

|

ZTaTG-1A

E [Rmin] =€[87'V"'8|= —ć Baa

=n=m

o niezależnie od charakteru rozkładu wielkości mierzonych y,. Obserwacja ta pozwala wyznaczyć nieobciążony i niezależny od rozkładu wielkości mierzonych estymator pa-

rametru skalującego o?

2,

O

=

8TWTIB n-m

.

(7.47)

W konsekwencji otrzymujemy pełną postać zarówno estymatorów macierzy kowariancji mierzonych wielkości, jak i estymowanych parametrów

=, A

W=Q? GÓR

=6W.

-—-

7. Estymacja parametryczna

Przykład 7.3.2

Dopasowanie liniowe — skałowana macierz kowariancji Przypatrzmy się zastosowaniu powyższych wyników do analizy danych (własnych), uzyskanych z kalibracji przepływomierza, czyli urządzenia służącego do pomiaru szybkości, np. liczby litrów na godzinę, przepływającego gazu. Obecnie niemal we wszystkich eksperymentach fizyki jądra atomowego i cząstek elementarnych stosowane są detektory drutowe, które wymagają płukania gazem. Za pomocą prze-

pływomierza możemy mierzyć ilość gazu, która wpływa do detektora, jak również ilość gazu, która wypływa. Dzięki takim pomiarom możemy łatwo kontrolować szczelność. Aby jednak taki przyrząd używać, musimy go najpierw wykalibro-

wać, czyli przepuszczać przez niego gaz ze znaną szybkościąi odczytywać jego wskazania.

przepływ [1/h]

434

napięcie [V]

Rys. 7.17. Wynik kalibracji przepływomierza wraz z prostą najlepszego dopasowania i „korytarzem błędów”

Na rysunku 7.17 przedstawione są rezultaty takiej kalibracji. Nie jest ona, jak widać, zbyt precyzyjnie wykonana, gdyż rozrzut punktów pomiarowych — czarne

kółka (o dodatkowych liniach na wykresie mówimy niżej) — jest duży, choć wyraź-

nie układają się one wzdłuż pewnej linii, o której z dużą dozą prawdopodobieństwa możemy powiedzieć, że jest linią prostą. Istotną cechą danych przedstawionych na tym rysunku jest to, że nie znamy błędów na wartości przepływów dla żadnego punktu pomiarowego. Dla celów dalszej dyskusji przyjmiemy, że zależność między szybkością przepływu 7 a napięciem Y jest liniowa: h = a, + a,V oraz że kolejne pomiary nie są ze sobą skore-

lowane (każdy pomiar był wykonany niezależnie od innego), a także, że błędy wartości szybkości przepływu w każdym pomiarze są identyczne. Innymi słowy, założymy, że macierz błędów pomiarowych jest proporcjonalna do macierzy jednostkowej: V = o'"I, gdzie wielkość o? nie jest znana. Możemy teraz uruchomić

wyżej przedstawiony formalizm statystyczny, a otrzymamy © = —0,7 1/h oraz d, = 4,7 l/(h:V). Takie są właśnie parametry wykreślonej na rysunku prostej, pogrubionej linii.

7.3. Metoda najmniejszych kwadratów

Resztkowa suma kwadratów Ńtyi dla naszego dopasowania wynosi 6,61/07. Ponieważ mamy 10 punktów pomiarowych, więc oczekujemy, że suma ta w typowym pomiarze kalibracyjnym powinna wynosić 8, co daje nam nieobciążoną estymatę błędu pojedynczego pomiaru szybkości przepływu 6 = 0,9 l/h. Dys-

ponując wielkością 6, znajdujemy błędy na parametry: 4, = (—0,7 + 0,6) 1/h, a, = (4,7 £ 0,2) l/(h:V), a także współczynnik korelacji między parametrami p = —0,98 (który, jak wiemy, jest niezależny od parametru o). Musimy jednak z całą mocą podkreślić, że chociaż znamy estymator pełnej macierzy kowarian-

cji dopasowanych parametrów, nie potrafimy podać interpretacji probabilistycznej

estymatorów samych parametrów. Nie znamy rozkładu, z jakiego pochodzą pomiary, więc nie znamy rozkładu, jakiemu podlegają znalezione współczynniki — określenie go jako dwuwymiarowego gaussowskiego wyrazi jedynie nasze nadzieje 1 pozostanie tylko przybliżeniem realnej sytuacji. Jednakże niezależnie od charakteru tego rozkładu możemy uprościć postać domniemanej krzywej kalibracji. Widzimy, że wartość wyrazu wolnego jest zgodna z zerem, dlatego moglibyśmy zaproponować prostszą formułę: n = a,V, przeprowadzić nowe dopasowanie współczynnika a, i znaleźć jego błąd. Zachęcamy Czytelnika do takiego postępowania z własnymi danymi, ilekroć nadarzy się ku temu okazja. Uzasadnienie leży tu nie tylko w zgodności procedury z zasadami statystyki matematycznej. Jest i wzgląd praktyczny. W przypadku naszych danych

unikniemy dzięki temu kłopotliwej sytuacji, w której ze wzoru liniowego z wyrazem wolnym mniejszym od zera otrzymamy ujemną wartość szybkości przepływu, gdy zmierzone napięcie będzie dostatecznie niskie. Jak dokładnie możemy wyznaczać wartość szybkości przepływu z naszej krzy-

wej kalibracji, w sytuacji gdy stosujemy ją do interpolacji lub ekstrapolacji? Oceny takiej dokładności dostarczają dwie dodatkowe krzywe na rysunku: nad i pod krzywą kalibracji. Dają one zależność wielkości jednego odchylenia standardowego (w górę lub w dół) od wartości centralnej (w żargonie mówimy, że wyznaczają one „korytarz błędów ). Zauważmy, że obszar wyznaczony przez jedno standar-

dowe odchylenie jest najwęższy w środkowej części wykresu, natomiast ulega poszerzeniu, gdy zbliżamy się ku obu końcom danych. Oznacza to, że najbardziej bezpieczna jest interpolacja w środku obszaru danych, a ekstrapolacja może być

zdradliwa.

Jako podsumowanie przykładu podamy pełną postać wzorów na współczyn-

niki linii prostej: Ą = ay +a,x

i postać ich macierzy błędu w przypadku, gdy

poszczególne pomiary y, nie są ze sobą skorelowane, natomiast błędy wielkości mierzonych znane są z dokładnością do wspólnego czynnika proporcjonalności: S$; = ou,. Jeśli zdefiniujemy wielkości:

I

e

v[a,] = U6*8,

Dodatkowo, gdy pomiary określone są przez rozkład normalny, wtedy dla każdego

z parametrów możemy zbudować statystyki =

0%

|

t=

Id

G+/U,,0

64/U6

,

się jak zmienna (5.85) z rozkładu Studenta

a każda z nich będzie zachowywać o n — 2 stopniach swobody.

Gdy zależność jest proporcjonalna: 7 = a,x, wtedy »

ad, =

U,, Ux

6

+ w

22

,

0

=

87V'8 n

U

—

1

,

Dla pomiarów gaussowskich wielkość adi

t=— v

a

Ux

podlega rozkładowi Studenta z n — 1 stopniami swobody.

Zbadamy

teraz własności

statystyczne niektórych wielkości występujących w po-

wyższych rozważaniach, przy założeniu, że każda z wielkości pomiarowych pochodzi z rozkładu normalnego. Wspomnieliśmy, że w takiej sytuacji, o ile znana jest pełna macierz kowariancji wielkości mierzonych, a nie macierz ich estymat, ważona minimalna suma kwadratów reszt (7.45) ma rozkład wielkości x* o n — m stopniach swobody. Ponieważ

wielkość

podlega rozkładowi wielkość

(CEDRACET) x?

o n stopniach

swobody,

to na mocy

x2 = (6 — 6)7W”'(6 — 6)

będzie podlegała rozkładowi x* o m stopniach swobody.

własności rozkładu

X,

(7.49)

7.3. Metoda najmniejszych kwadratów

437

Przyjrzyjmy się teraz estymatorowi (7.47) parametru o”

2 6” =

8/V!8 CZA SA = 8—8= nm n=m o

0” nm

„q

a zauważymy, że jego rozkład zadany jest rozkładem zmiennej 2

o

2

Kn=m

a —M

*

Rozważmy także rozkład statystyczny formy kwadratowej

(6 — 077W”'6 — 6), zbudowanej z estymatora macierzy kowariancji znalezionych parametrów, gdy nie jest nam znany: współczynnik skalujący o”. Statystykę tę przekształcimy do postaci

2 róą 6-07W'6-0 =—6—-6) W (6 — 0) = 2:6 —07W-!6 — 0): 2

—|

2

g2

o

widzimy, że w rozkładzie wielkości 2

l

nm

Paz — M

— M

Kn=m

n-—m

a

A

_6-0'Ww'6-60)

;.

A

= — (6 — 0)0W”'(6 — 0)

Ty!

m

(7.50)

n=-m

kasuje się parametr o”, a całość to zmienna F rozkładu Fishera o (m, n — m) stopniach swobody.

7.3.3. Przypadek liniowy z liniowymi równaniami więzów Niekiedy

zdarza się, że o dopasowywanych

parametrach

6,, i =

1,2,...,m,

mamy

pewne dodatkowe informacje w postaci k liniowych równań (k < m) wiążących parametry między sobą:

),Cyój=Z,

1=1,2,...,k,

j=l

co zapiszemy w postaci macierzowej

C6 =Z. Formalnie rzecz biorąc, moglibyśmy rozwiązać te równania, to jest wyznaczyć k parametrów jako funkcje pozostałych i podstawić je do równań (7.32), co zostawiłoby m — k parametrów swobodnych. Wadą tego podejścia jest to, że wyeliminowane parametry

nie pojawią się nam w macierzy błędów, a niekiedy chcielibyśmy mieć właśnie pełną informację o wszystkich poszukiwanych parametrach. Dlatego do rozwiązania tak po-

stawionego problemu lepiej jest wykorzystać metodę współczynników Lagrange'a, czyli

minimalizować następującą wielkość:

R =(y” — 6767) V"'(y — *0) + (67'C' —Z')A,

(7.51)

438

7. Estymacja parametryczna

gdzie wprowadziliśmy dodatkowy człon, który formalnie jest równy zeru, a wielkość A = (Ay, Aa, ..., A)

to właśnie układ współczynników

Lagrange'a, które powinniśmy

również otrzymać z procedury minimalizacyjnej. Warunek minimalizacji daje nam tym

razem następujące równania: OR

397

=

OR

_g'V"

(»

—

a

zą = ŚĆ -Z7=0 gdzie przez 0.

oznaczyliśmy

2

oó,

+

CA

—

0,

ą

(68.-Z=0,

>

rozwiązania tych równań.

Jeśli przypomnimy

sobie, że

wielkość 6 jest rozwiązaniem zagadnienia (7.36) bez więzów, to pierwsze równanie możemy przepisać w postaci

w” (6-6) =C'A.

W następnym kroku pomnóżmy to równanie od lewej przez CW

Có — C6. = CWC'A. Jeśli skorzystamy teraz z drugiego równania na minimum i wyeliminujemy wielkości 6,, to znajdziemy wyrażenie na nieznane współczynniki Lagrange'a

A =(cwc')”"' (c — z). a stąd znajdujemy bez trudności, że

6, =6-wc'(cwc')"' (có- z).

(7.52)

Dalej, już standardowymi metodami, możemy znaleźć macierz kowariancji W, parametrów 6.

W =W-wWC'

1

(CWC')

2

CW.

(7.53)

Gdy wartości mierzone podlegają rozkładowi Gaussa, a macierz ich kowariancji jest znana, wtedy estymatory parametrów (7.52) także podlegają temu rozkładowi, z macierzą kowariancji (7.53). Dodatkowo, minimalna, ważona resztkowa suma kwadratów (7.51)

zachowuje się jak zmienna z rozkładu x* o liczbie n — m +-k stopni swobody (zauważmy, że równania więzów zwiększają liczbę stopni swobody, ponieważ za ich pomocą możemy

faktycznie wyeliminować k spośród m nieznanych parametrów), więc możemy dokonać oceny jakości naszego dopasowania, tak jak to dyskutowaliśmy w przykładzie 7.3.1. -—-

Przykład 7.3.3

Dopasowanie z więzami — geodeta Rozważmy przykład z pomiarem kątów trójkąta w terenie, który podaliśmy we wstępie do książki. Mieliśmy tam dane trzy kąty: u = 73, B =63iy =52,

każdy z błędem o = 2”, które sumują się do 1889. Jeśli chcielibyśmy wykorzystać

te pomiary do dalszej pracy, np. znając jeden z boków trójkąta, chcielibyśmy obliczyć pozostałe, to fakt, że suma kątów nie przyjmuje wartości, jakiej wymaga geo-

439

7.3. Metoda najmniejszych kwadratów

metria euklidesowa, niewątpliwie wprowadza nas w pewien dyskomfort psychiczny. Jak poprawić nasze wyniki, aby suma tych kątów była właściwa? Otóż powinniśmy wprowadzić trzy nieznane nowe kąty: t, B oraz y, od których będziemy wymagali, aby » _ a

—

a,

B

—

B,

Y

=

Y;

przy warunku wiążącym

G+B+y

= 180.

Macierz konstrukcyjna ©, wektor parametrów 6., wektor pomiarów 0 (będący jednocześnie rozwiązaniem zagadnienia bez więzów), macierz błędów V dla punktów pomiarowych, macierz więzów C i macierz Z (która jest liczbą) przyjmują postaci:

100 10], 00 1

C=[1,1,1],

Tó 6=|8|, $ R

6=-|0

Z=

Ta 6=|g|, y

V=o'|0

100 1 0|, 0.0 1

180,

gdzie o = 2. Z uwagi na prostotę powyższych poszukiwane parametry to

związków,

w tym

V

=

NOENOOACZEJEFZAH Ta

l

IN"

1[

ly

I

1

3 |—a — 8 + 2y + 1805

703 = | 603 [494 Jak widzimy,

nadmiar

8” został równo

rozdzielony

oTl,

20-8-y+180

i odjęty od wszystkich po-

miarów. Gdyby macierz błędów wielkości pomiarowych nie była proporcjonalna do macierzy jednostkowej, wtedy mniej odejmowalibyśmy od wartości obarczonej mniejszym błędem.

Przejdźmy teraz do macierzy błędów

W. = o*l— o'IC' (Co*IC')' Col =o*(1-C' (CC') 'C) 2 | 2 =——|-1 3|-21

-1 21

2

zr 1] 2

Błędy dopasowanych kątów są mniejsze (o czynnik /2/3

= 0,8) niż kątów zmie-

rzonych, ale za cenę korelacji między nimi. Wartość wielkości Ń w minimum wynosi, w przybliżeniu, 2,3 i jeśli przyjmiemy, że wielkości pomiarowe pochodzą

z rozkładu normalnego, to wielkość ta ma charakter liczby wylosowanej z rozkładu

X o liczbie stopni swobody równej I (trzy pomiary, trzy niewiadome i jedno równanie więzów), a prawdopodobieństwo uzyskania wartości x* większej niż ta, którą otrzymaliśmy, wynosi 0,13, co niewątpliwie jest sensownym rezultatem.

O dopasowaniu, w którym liczba pomiarów jest równa liczbie dopasowywa-

nych parametrów, na które nałożonych jest k równań więzów, mówi się w żargonie

fizyków, że jest ono typu k C (z angielskiego: constraint). Tak więc nasze dopasowanie kątów jest typu 1 C.

n

440

7. Estymacja parametryczna

Rozważmy teraz resztkową sumę (7.51), jaka powstaje po rozwiązaniu problemu z liniowymi więzami. Możemy ją, podobnie jak w wyrażeniu (7.45), rozłożyć do postaci A

Ay T

A

A

nn = £PV2, = (7-4) V"' (4) +(6.-6) w"'(6.-6), | (1.54) gdzie

_

h

n

Eci ZY — Mei

A

—J/(0,0),

n

1 = 90.

Pierwszy wyraz to resztkowa suma kwadratów (7.45) dla problemu bez więzów, drugi to przyczynek wynikający z uwzględnienia zmian w poszukiwanych parametrach z powodu więzów. Rozumując analogicznie do tego, jak to robiliśmy dla zagadnienia bez więzów, możemy pokazać, że wartość oczekiwana tej sumy to E [ihnlzsz—m+k.

Dla macierzy kowariancji wielkości pomiarowych znanej z dokładnością do współ-

czynnika o”,

s

V=oV,

współczynnik ten, w sposób nieobciążony i niezależnie od rozkładu, z którego pochodzą punkty pomiarowe, możemy określić z danych:

2

Oj

8VTI8,

= ————,, n=>m+k

a przy założeniu słuszności formy dopasowywanej zależności, także pozwala dokończyć

dzieła oceny macierzy kowariancji pomiarów i poszukiwanych parametrów: m

(.=6%, A

m

m

m

W.=ć? (w — WC" (cwc') A

-|

m

cw) |

7.3.4. Przypadek nieliniowy Z sytuacją taką stykamy

się wtedy,

gdy funkcja

f(x,6;,...,8„)

wiążąca wielkości

pomiarowe i nieznane parametry nie zależy liniowo od tych parametrów. Klasyczny przykład to zagadnienie określenia parametrów linii spiralnej, po której porusza się naładowana cząstka w polu magnetycznym, co pozwala znaleźć jej pęd, jeśli dysponujemy współrzędnymi x;,y; oraz z, Serii punktów na jej torze. r-—

Przykład 7.3.4

Dane zgrupowane Wykres na rys. 7.18 (Ch. Droste, informacja prywatna) to doświadczalne widmo kwantów gamma zmierzonych za pomocą omawianego wcześniej detektora germanowego wraz z dopasowanym do tego widma układem czterech linii widmowych, każda o profilu gaussowskim, oraz liniowego tła. Dopasowana krzywa ma w tym przypadku postać

7.3. Metoda najmniejszych kwadratów

JG, „hu

10)

=

0x

+)

z

(x — 1)”

exp

202

s

i opisana jest czternastoma nieznanymi parametrami, gdzie wielkość x to zmienna

opisana na wykresie jako numer kanału, wielkości ji, podają pozycje czterech linii, o, ich szerokości, natomiast parametry a, to intensywności tych linii, czyli liczby

przypadków każdego ze stanów wzbudzonych. Rozważmy, w jaki sposób moglibyśmy taką krzywą dopasować do danych. Oznaczmy, zbiorczo i dla uproszczenia,

symbolem 6 wszystkie nieznane parametry w liczbie m. Przypuśćmy, że całkowita

10000

|

liczba zliczeń

1000

100

10

0

.

l

2140

i

2180

i

numer kanału

i

2220

l

>

2260

Rys. 7.18. Widmo kwantów gamma

liczba przypadków w histogramie wynosi N, liczba przedziałów histogramu to n, liczba przypadków w każdym z nich wynosi n,, Środki tych przedziałów wypadają w punktach x,, a wielkości A, zadają szerokości przedziałów. Jeśli szerokości

te są na tyle małe, że dopasowywana funkcja f(x, 6) może być uznana za stałą wewnątrz

każdego

z nich, wtedy

zapewne

nieznane parametry wyznaczymy z warunku =

2

nę NA —— JG, 0)Ax 8)4; V

Gdy

nie popełnimy

J (Xk,

istotnego błędu, jeśli

.

= min(6).

8)4,

stałość funkcji może nie być dobrym przybliżeniem, wówczas

powinniśmy

postępować ostrożniej. Właściwsze jest wtedy wprowadzenie teoretycznej krotności

442

7. Estymacja parametryczna

N, przypadków w k-tym przedziale histogramu az ŁAŁ/2

N,(6) =

J

f(x;8)dx,

k=12,...,n.

xx -Ax/2

Dla danych n, oraz krotności N, możemy

skonstruować, aby następnie zminima-

lizować względem nieznanych parametrów, taką oto miarę odchylenia krzywej od danych:

n, — N,(6)

"= > (ar VN,(0)

)

jeśli nasz eksperyment modełowany jest na wzór doświadczenia Poissona, gdyż

w takim podejściu brak jest korelacji między zawartościami przedziałów histogramu, a wariancja | [n,] liczby przypadków w każdym przedziale wynosi N;(6). Żargonowo mówimy wówczas o dopasowaniu bez normalizacji, gdyż znaleziona

zależność f(x; 0) nie musi całkować się do pełnej liczby N przypadków w hi-

stogramie. Jeśli parametry 6 są z góry znane, wtedy resztkowa suma kwadratów R zachowuje się asymptotycznie, ze wzrostem liczb ną przypadków w przedziałach histogramu, jak zmienna z rozkładu x? o n stopniach swobody. Wynika to

z gaussowskiego przybliżenia dla rozkładu Poissona i statystycznej niezależności zmiennych losowych n;,. Gdy doświadczenie prowadzimy na wzór eksperymentu Bernoulliego, a więc liczba N jest ustalona, wtedy korzystamy z procedury dopasowania z normalizacją, wprowadzającej prawdopodobieństwa P,(6) xx tAk/2

N P,(0) =

|

f(x;68)dx,

k=1,2,...,A,

x4—A4/2

unormowane do jedności, co redukuje o jeden liczbę m niezależnych parametrów w wyrażeniu na funkcję f(x; 6) i wymaga minimalizowania następującej wielkoŚci: n, — NP,(6)

wą > (WEG /NP,(6)

) |

Gdy wszystkie parametry 6 znane są nam skądinąd, wielkość ta, asymptotycznie, ze wzrostem liczby N, nabiera kształtu zmiennej losowej x* o n — I stopniach swobody. Pomniejszenie liczby stopni swobody wynika z faktu, iż zmienne losowe n, podlegają „n-mianowemu” rozkładowi, który w granicy przechodzi w n — 1 wielowymiarowy

dziale 8.2.

Zarówno

rozkład normalny, czego dowód Czytelnik znajdzie w podroz-

dla eksperymentu

Bernoulliego, jak i Poissona,

własności

staty-

styczne wielkości R, którą otrzymujemy w wyniku estymacji parametrów 6 metodą najmniejszych kwadratów, nie są już tak proste, gdy liczby n, są niewiel-

kie. Statystyka R,

nie podlega rozkładowi x”, gdyż estymowana funkcja f(x; 6)

7.3. Metoda najmniejszych kwadratów

nie spełnia warunku

( f(x; 6) = f(x;6), a to prowadzi do niezerowej

wartości

oczekiwanej reszt. Okazuje się jednak, że estymatory 0 mają wiele pożądanych własności: są zgodne i są asymptotycznie zarówno normalne, jak i najefektywniej-

sze.

| Znalezienie parametrów 6 nawet w najprostszych sytuacjach nie jest zadaniem

łatwym, gdyż, w przypadku eksperymentu Bernoulliego, musimy rozwiązać układ m — 1 nieliniowych równań a=

2

2 06,

k=1

R

ZN)

0P,

2NPĘ

06,

PR

=0.

Cramer (H. Cramer, Metody matematyczne w statystyce, PWN, Warszawa 1958) twierdzi, że wpływ drugiego składnika pod znakiem sumy jest w reżimie asympto-

tycznym zaniedbywalny, a wtedy rozwiązywany układ równań można przekształcić (wykorzystując unormowanie prawdopodobieństw P,) do postaci ——

1 0R

2 36,

A

k k=l

(

n,

NP,

P,

$G,__m.

OP,

) 08, ———

=

ś

n,

OP,

2—P,00, —

m

Z

0

>

26 2_mulnP. m

l

!

P

= (0,

k=l

która, w istocie, jest warunkiem na ekstremum funkcji największej wiarogodno-

ści dla zgrupowanych danych, co omawialiśmy

w przykładzie 7.2.11. Okazuje

się (patrz podrozdział 8.2), że przy tym uproszczeniu statystyka R,,, odzyskuje

charakter zmiennej losowej z rozkładu x”, a jej liczba stopni swobody wynosi n — 1 — (m — 1) =n—m.

Odejmowanie pierwszej jedynki w tym związku przy-

pomina nam o tym, że nasz eksperyment jest typu Bernoulliego, a druga jedynka wynika z ogólnej postaci funkcji f(x; 6), na jaką zdecydowaliśmy się na początku

tego przykładu i na którą nie nałożyliśmy warunku unormowania do pełnej liczby przypadków w histogramie (m = 14 dła funkcji, jaka pojawia się na wstępie naszego przykładu, a warunek unormowania redukuje tę liczbę do trzynastu). Dokładnie tę samą liczbę n — m stopni swobody ma statystyka 9t,;, w przypadku eksperymentu Poissona. Z, powodów praktycznych często stosowana jest uproszczona wersja

R

CZEARAA, >( NR m

m0)

wyrażenia na resztkową sumę kwadratów. Jednakże niezależnie od przyjętej postaci minimalizowanego wyrażenia, estymatory parametrów są zgodne, asymptotycznie normalne i asymptotycznie najefektywniejsze. Różnice występują jedynie

w szybkości, ze wzrostem liczb n;, dochodzenia do tych własności: uproszczona forma osiąga je wolniej, a najbardziej ekonomiczna jest metoda największej wia-

rogodności dla danych zgrupowanych, dyskutowana w przykładzie 7.2.11 i zadana warunkiem In £ (6) =

BL k=1

ln P, (6) = max(0).

443

444

7. Estymacja parametryczna

Niekiedy równania więzów również mogą mieć nieliniowy charakter. Przykład takiej

sytuacji odnajdujemy w zagadnieniu, w którym dysponujemy już uzyskanymi z pomiaru

pędami cząstek biorących udział w reakcji, ale chcemy nałożyć na nie zasady zachowania pędu i energii.

Do rozwiązywania takich problemów istnieją specjalne programy komputerowe, wykorzystujące rozmaite strategie poszukiwania minimum. Jest to wiedza z dziedziny tech-

nik numerycznych sama w sobie i nie będziemy jej tutaj prezentowali. Aby jednak przybliżyć to zagadnienie, przedstawimy, pokrótce, najprostszą z metod, dającą się zastosować jedynie w niektórych uproszczonych sytuacjach (działa ona skutecznie wtedy, gdy już jesteśmy blisko minimum). Idea tej metody polega na tym, że znane jest pewne,

poszukiwanego rozwiązania i chcemy znaleźć jego

lepsze lub gorsze, przybliżenie 00

ulepszoną postać 60*) ze zlinearyzowanych równań dla wielkości mierzonych

|

= ;=f(lx,0

uj (

> ()

)

+)

— —— 0f (0;,0)

m

06,

„

0—60

Jeśli wprowadzimy wielkości oraz

>

() (+1) 807—80)=f

(6

|)=v

(1)

0f (x;,0) + ———

80

jo

> (+1) A80.

An =m= fi PY() _=

of (X; , 8)

06;

8=60

,

to układ n takich równań możemy zapisać jako Aq

= BOAT,

a więc jak w problemie liniowym, z jedyną różnicą, że zamiast minimalizowanej sumy resztkowej kwadratów w postaci (7.34), tym razem będziemy minimalizowali wielkość

RO = (Ay — 60 A6+0) Q (Ay) — GOAG0), gdzie

Ay =y= l

Jeśli w zagadnieniu są więzy w liczbie k, określone równaniami to te także możemy przybliżyć:

Z, zg, (60) + 3 980) 86; j=l

8=60

(369 —0P)I = g, (60) + 780) 00

AGD. 0=60

a w konsekwencji przepisać je w postaci takiej, jaka występuje w problemie liniowym COA0WD

gdzie wprowadziliśmy

= AZO,

AZ? = Z, — g; (60)

7.3. Metoda najmniejszych kwadratów

445

Oraz

* 06; |ęóv | Tak sformułowany problem możemy rozwiązać poznanymi metodami, tzn. znaleźć po-

prawkę A6T+D, a stąd nową wartość 6"*V. Postępowanie to możemy iterować, aż zostaną spełnione zadane kryteria zbieżności, dotyczące zmiany wielkości R i zmiany

wartości parametrów w kolejnych krokach. Gdy uznamy, że uzyskaliśmy satysfakcjonujące wyniki, niepewności parametrów znajdujemy tak jak dla zagadnienia liniowego,

wykorzystując np. rezultat (7.39). W zagadnieniach nieliniowych musimy pamiętać, że statystyczna interpretacja otrzymanych rezultatów wymaga ostrożności, nawet w przypadku, gdy wielkości pomiarowe mają rozkład normalny. Nie mamy tu żadnych twierdzeń, z wyjątkiem sytuacji asymptotycznej omówionej w przykładzie 7.3.4, które orzekałyby o charakterze rozkładu dla znalezionej np. resztkowej sumy kwadratów, ani dla uzyskanych estymatorów parametrów. Wszelkie stwierdzenia w tym względzie mają zawsze jedynie przybliżony charakter.

7.3.5. Analiza regresji W podrozdziale 3.5 zdefiniowaliśmy pojęcie krzywej regresji pierwszego typu jako warunkową wartość oczekiwaną (3.26) i (3.27). Wprowadziliśmy tam również pojęcie krzywej regresji drugiego typu, jako swoistą, w zadanej klasie, krzywą najlepszego dopasowania, minimalizującą funkcjonał (3.28). Tamże, w przykładzie 3.5.1, pokazaliśmy, że dla układu dwóch zmiennych taka krzywa regresji, z klasy funkcji liniowych, zadana przez Efylx=x|=n(x)

=

+aqx

(7.55)

minimalizuje ten funkcjonał, jeśli nieznane współczynniki ag oraz a, wybierzemy w poStaci

O.

O.

q=P—,O

M9EHy— PHR E Hy — Aly. o,

W szczególnym przypadku, jeśli zmienne losowe określone są przez dwuwymiarowy

rozkład Gaussa, to, jak to wynika z przykładu 5.5.9, krzywe regresji drugiego typu są

jednocześnie krzywymi regresji pierwszego typu.

Najprostsze zagadnienie regresji, zwane liniową jednokrotną

lub też jednoraką,

a także jednowymiarową, polega na znalezieniu estymatorów współczynników ay oraz a,, a także rozkładów tych estymatorów, z próby prostej n par zmiennych (4q,y,), i = 1,2,...,n. Jeśli zmiennych mamy więcej niż dwie, np. m + 1 i określone są przez losowy wektor (x, x2, ..., Xm, y), mówimy

też wielowymiarowej regresji liniowej:

wtedy o wielokrotnej bądź wielorakiej, lub m

€ [ylx

=

Xi,X

=

M2,

..., X

=

Xp]

=

n(x)

=

9

+

) | aiti. i=l

Współczynniki a, (z wyjątkiem ag) zwane są cząstkowymi współczynnikami regresji.

Jeśli któryś z nich jest statystycznie istotnie różny od zera, określa on znaczenie wpływu

446

7. Estymacja parametryczna

skojarzonej z nim zmiennej x; na zmienną y. Należy pamiętać, że to co w matematycz-

nym wyrażeniu na krzywą regresji nazywamy zmienną zależną i niezależną, w analizie statystycznej danych jest wysoce umowne. Wybór zmiennej zależnej, zwanej też zmienną objaśnianą i zmiennej niezależnej, czyli zmiennej objaśniającej, jest podyktowany intencją badacza. Jeśli badamy korelację między temperaturą na Śnieżce i na Kasprowym,

jest rzeczą absolutnie arbitralną, którą z temperatur przyjmiemy za zmienną objaśnia-

jącą. Sytuacja jest zapewne bardziej klarowna, jeśli poszukujemy relacji między liczbą

ubytków w zębach a zawartością fluoru w wodzie pitnej, ale jak mamy dokonać wyboru między zmiennymi, gdy interesuje nas relacja między wzrostem a wagą ludzi? Formalna

analiza danych z wykorzystaniem metod statystyki matematycznej nigdy nie jest w stanie określić związku przyczynowego, co uzasadniałoby — w sposób nie budzący wątpliwości — użycie pojęć zmiennej zależnej i niezależnej, a może jedynie określić powiązania

między badanymi cechami. Niech ostrzeżeniem przed próbą przyczynowej interpretacji wyników analizy regresji będzie następujący przykład. Przypuśćmy, że zebraliśmy dane

na temat pożarów: jedna dana to liczba jednostek straży pożarnej biorących udział w akcji gaszenia, a druga dana to strata materialna, w złotych, odniesiona z powodu pożaru.

Bez wątpienia znajdziemy w danych tendencję wskazującą na to, że im więcej strażaków

brało udział w gaszeniu pożaru, tym większą stratę odnotowano w jego wyniku. Przyczynowa interpretacja takiego związku zakazałaby nam w ogóle wysyłania strażaków do

następnego pożaru, w nadziei, że strat również nie będzie. Analiza regresji jest metodą ilościowej oceny, za pomocą współczynników regresji,

domniemanej relacji między własnościami elementów danej populacji. Metoda ta została wprowadzona do statystyki matematycznej pod koniec XIX w. przez angielskiego matematyka F. Galtona. Zajmował się on badaniem korelacji między wzrostem rodziców i ich dzieci. Zauważył on tendencję, że synowie wyższych ojców mają większy wzrost niż synowie niższych ojców. W wyniku ewolucji powinno to prowadzić do rozbicia populacji ludzkiej na dwie grupy: karłów i wielkoludów, a przecież rozkład wysokości wszystkich dorosłych osób płci męskiej jest bardzo dobrze opisany przez rozkład normalny (o czym dobrze wiedzą wszystkie komisje poborowe). Galton zauważył, że choć synowie wyższych ojców są raczej wyżsi,

to nie tak wysocy, średnio rzecz biorąc, jak ojcowie. Wzrost

synów, jak to ujął Galton, uległ regresji. Termin ten się przyjął i używany jest do dziś. Odwrotnie rzecz się ma ze wzrostem

synów niskich ojców: ci z kolei nie są tak niscy jak ich ojcowie.

Poniżej ograniczymy się, dla uproszczenia, do prezentacji jednorakiej regresji liniowej (7.55), zakładając, że dana jest nam normalna próba prosta w postaci serii n par zmierzo-

nych wielkości (x,, y;). Aby znaleźć regresję cechy y wzglę-

dem cechy x, powinniśmy, w zasadzie, przy ustalonej wartości

zmiennej x określić wartość Średnią y, zmiennej y, a następ-

Sir Francis Galton,

1822-1911

nie dla owych par wartości (x, y,) znaleźć wspólne równanie yy = do + a,x. Ponieważ w danych doświadczalnych nie dysponujemy możliwością płynnego regulowania” wartości

7.3. Metoda najmniejszych kwadratów

447

zmiennej objaśniającej, dlatego też możemy jedynie pogrupować wielkości x, w klasy xpp] o zbliżonych wartościach i dla nich określić średnie wartości yy.) zmiennej objaśnianej,

a następnie wyprowadzić dla tych wielkości wspólny liniowy związek. Ponieważ wszelkie

grupowanie danych oznacza stratę informacji, dlatego naturalne jest zastosowanie metody

najmniejszych kwadratów do wszystkich par (x;, y;) i taki dobór parametrów ag oraz ay, by resztkowa suma kwadratów

R=)M

i=l

(yi - m — ayx,)? = min(a, a,)

(7.56)

była minimalna. Należy podkreślić, że o ile w metodzie najmniejszych kwadratów, tak jak była ona

przedstawiona w poprzednich punktach tego rozdziału, wielkość x była zmienną niezależną w wyrażeniu funkcyjnym i mogliśmy ją dowolnie kontrolować, o tyle teraz wielkość ta jest w istocie statystyczną zmienną losową, a jej wartości wykorzystujemy jako zadane i ustalone, tak jak tego wymaga interpretacja pojęcia oczekiwanej wartości warunkowej (3.26). Poprzednio poszukiwaliśmy, podyktowanej np. modelem teoretycznym, zależności funkcyjnej między zmienną x a wielkością 7 (którą mierzyliśmy jako y), teraz poszukujemy krzywej regresji wyrażającej oczekiwaną wartość warunkową zmien-

nej losowej y względem zmiennej losowej x. W celu bliższego uświadomienia sobie tej różnicy, przypomnijmy przykład z rozdziału 1 dotyczący profilu wiązki. W przykładzie tym mamy układ par współrzędnych punktów trafień cząstek wiązki z akceleratora na

płaszczyźnie detektora usytuowanego prostopadle do osi wiązki. Punkty trafień obejmują tutaj cały obszar powierzchni detektora i wskazują one na przestrzenny rozrzut torów

poszczególnych cząstek. Tym, co nas interesuje w zagadnieniu regresji dla tego przypadku, jest informacja o tym, jaka jest typowa wartość współrzędnej y, jeśli ustalimy

wartość współrzędnej x. Niedorzeczne byłoby przypuszczenie, że w płaszczyźnie detektora cząstki układają się wzdłuż pewnej prostej, nachylonej np. pod katem 45? do osi x, a dokładnie tak właśnie postępowalibyśmy, gdybyśmy wyrażenie (7.56) na wielkość $t

oraz związek (7.55) interpretowali za pomocą metody najmniejszych kwadratów, tak jak ją dotychczas poznaliśmy i stosowaliśmy. Adeptom zastosowań metod statystyki matematycznej do analizy danych zdarza się często takie właśnie mieszanie sensu metody

najmmiejszych kwadratów zastosowanej do wyznaczania nieznanych parametrów funkcji i wyznaczania krzywej regresji. Wyrażenia na estymatory współczynników ag oraz a, prostej regresji minimalizujące

wielkość Yt już znamy, wskazaliśmy je w przykładach 7.3.1 oraz 7.3.2, toteż nie będziemy powtarzali tu obliczeń, a jedynie zacytujemy, w trochę innej notacji, ostateczne wyniki: h Spo a | -a> aj

—T—,

Sx

a0 ZY—ajiX,

gdzie wykorzystaliśmy definicję (4.7) odchyleń standardowych s, i s, i definicję (4.15)

współczynnika korelacji r z próby. Widzimy także, że prosta operacja translacji początku układu (x, y) do punktu zadanego środkiem ciężkości (x, y) prowadzi do eliminacji estymatora współczynnika ag, co wyjaśnia jego „kinematyczną” naturę i powoduje, że

nie zaliczamy go do grona współczynników regresji.

448

7. Estymacja parametryczna

Spójrzmy na resztkową sumę kwadratów (7.56) w minimum, która, jak wiemy, służy do oceny wariancji tych estymatorów: Mimin = 3

(y; —Y

— a; (Xx; — x))

i=l

= ))0s-5)7 -24) 6-303 -9D+4))w-2) i=l

i=l

(7.37)

i=l

= (n — 1) (s; — 26,R + aysz) = (n — sy(1 — r"), gdzie wykorzystaliśmy definicję (4.14) kowariancji R z próby. Jeśli uświadomimy sobie, że wariancja warunkowa V [y|x = x] dla rozkładu binormalnego wynosi oy (1—p”) (patrz przykład 5.5.9), to widzimy, że (nieomalże) każdy z wyrazów sumy resztkowej (7.57) w minimum dostarcza oszacowania tej wielkości. Stąd nieobciążony estymator wariancji warunkowej, zwany wariancją resztkową, wynosi AJ

O

M min

7

=

n-l

„zl

2 l=r), 2 r)

7.58 (7.58)

gdzie dzielnik n — 2 wynika z faktu szacowania dwóch parametrów prostej regresji z danych lub też z faktu, że resztkowa suma kwadratów (7.56) wyraża się jedynie przez n — 2 niezależne składniki, gdyż obowiązują dwa równania więzów zadane równaniami normalnymi. Potwierdzenie tego faktu znajdujemy w związku

Bqin) = (r — Jo2(d — p”), który możemy otrzymać niezależnie z rozkładu g(Sx, Sy, f; 0x, gy, p) zademonstrowanego

w przykładzie 5.5.10. Za pomocą wariancji resztkowej oraz związków (7.48) możemy skonstruować nieobciążone estymaty wariancji estymatorów parametrów prostej regresji nl,

(l —r")sy

Ta

Ar

(l —r")s;

(m 5+7) PEl= Gone

*B]- Gz A,

>

KOWECEZYH A

A

A

(1

—

r

JS

(7.59)

_

Zwróćmy uwagę na to, że estymatory parametrów prostej regresji nie będą skorelowane, jeśli wszystkie współrzędne x; przesuniemy do ich środka ciężkości. Powróćmy

jeszcze

do wyrażenia

(7.58) na wariancję resztkową i występującego

tam interesującego związku między jakością dopasowania, wyrażoną przez tę wariancję, a stopniem skorelowania danych, określonym przez współczynnik korelacji Pearsona r. Rozważmy kwadrat odchylenia standardowego sy zmiennej losowej y, który przedstawimy w postaci:

7.3. Metoda najmniejszych kwadratów

I

+

_

449

» = zo12%-9=„— 2(06-06-60)a l

n

i=l

=>

m i (> (V: — 01)” + 0 i=1 i=1

— v*)

jako że suma wyrazów mieszanych znika tożsamościowo: n

3

(Vi —MO

— fi) =4

>.

i=|

(y: —y — d(x; — x)) (Xi — X)

i=l

= 4, ) x;(y; — ) — ly(4; — 3) — 4, ) (y —5 — 4,4, —2))=0 i=]

i=l

na mocy równań normalnych (7.36) (każda z sum to jedno z tych równań). Pierwsza

suma w ostatecznym wyrażeniu na kwadrat odchylenia standardowego sy to resztkowa suma kwadratów Śimin. Mówimy, że w analizie regresji całkowita wariancja zmiennej losowej y rozkłada się na dwie części: część określoną przez wariancję resztkową, czyli odchylenia od linii regresji

i=l

i=l

Stosunek tej pierwszej do kwadratu odchylenia standardowego s, określa kwadrat współczynnika zgodności o (zbieżności)

natomiast

stosunek drugiej

części do kwadratu

odchylenia

standardowego

kwadrat współczynnika korelacji jednorakiej (wskaźnika korelacyjnego) o

sy określa

Obie wielkości: go oraz g, zwane w literaturze także stosunkami korelacyjnymi, są mia-

rami jakości, jakie typowo stosuje się do globalnego opisu rezultatów analizy regresji. Przypatrzmy się teraz estymowanej warunkowej wartości oczekiwanej w ustalonym punkcie x (X) = 89 + 41x = 41(X —X) +y 1 znajdźmy wariancję tej wielkości: y [0) |

=

(Go

+

ajX

— dy —

a,x)')

=) [30]

+ 2xV

[30,

a]

+ xV

[31]

.

450

7. Estymacja parametryczna

Jeśli za elementy macierzy kowariancji podstawimy ich estymaty (7.59), to otrzymamy

to] U (0-09) h

1

—

ŻY

c2

—1

Dwie krzywe określone wyrażeniem

4x — 2) +) £D[4()] dostarczają jednego standardowego odchylenia od warunkowej wartości oczekiwanej. Zajmiemy

parametrów

estymatorów

się teraz rozkładem

a; i ag prostej regresji.

Znany jest (przykłady 5.5.10 oraz 5.7.3) pełen rozkład trzech statystyk: odchyleń standardowych s, i sy obu zmiennych losowych x oraz y, a także współczynnika korelacji r Pearsona z próby. Jeśli z rozkładu tego wyeliminujemy współczynnik korelacji za pomocą wyrażenia na współczynnik regresji a,, a następnie scałkujemy względem zmien-

nych s, i sy, to otrzymamy rozkład brzegowy dla estymatora współczynnika regresji. Jest rzeczą interesującą, że program ten można wykonać do końca 1 znaleźć poszukiwany rozkład w formie zamkniętej:

A.

J (a;:

Oxy,

gdzie —00

dy,

m

r (zn)

p) = /xT(

!(n—1))

(

/

dy

Max

Gy

m

-7)

s2U-8

2

) +

A

dy

(4-07)

AE

,

< dy < oo. Jeśli zamiast zmiennej losowej, jaką jest estymator a, współ-

czynnika regresji, wprowadzimy zmienną

oA/N — I (

t=———=——yy

1— p*

3)

|(|a-p_

0x

|;

to znajdziemy, że wielkość ta podlega rozkładowi Studenta (5.86) z liczbą n — 1 stopni

swobody, dlatego z łatwością otrzymujemy

e[5] = =p. , o v[E]= >>l 20 -/). Statystyka t byłaby bardzo wygodnym narzędziem do sprawdzania hipotezy o wartości

współczynnika regresji, gdyby parametry ją definiujące były znane. W normalnych warunkach znamy tylko estymaty tych wielkości. Ponieważ jednak znamy estymator (7.59) błędu współczynnika regresji, więc możemy utworzyć statystykę

= ZE a

-

m ŻA 5 (3 — ay), x

—

2

A

(7.60)

wyrażoną przez znane wielkości i mającą, jak się okazuje, rozkład Studenta o n — 2

7.3. Metoda najmniejszych kwadratów

451

stopniach swobody. Podobnym rozkładem opisana jest statystyka A

ag — 40

to=————M..

[0,41] = —

= 3)oz"

Przykład 7.3.5

Analiza regresji — profil wiązki Zalustrujemy powyższe rozważania przykładem o profilu wiązki z rozdziału Prosta regresji dla tych danych ma postać n(x) = (—0,15 = 0,02)x + (—0,001 + 1,835),

|.

PlAo, 41) = —0,01,

1 zilustrowana jest na rys. 7.19 za pomocą grubszej linii, otoczonej dwiema cieńszymi, określającymi obszar jednego standardowego odchylenia. Z wykresu tego

widzimy wyraźnie, że prosta regresji nie powinna być, w żadnym przypadku, utożsamiana z którąś z osi elipsy kowariancji — dłuższa oś elipsy przebiega bardziej diagonalnie niż prosta warunkowej wartości oczekiwanej. Gdybyśmy chcieli uzyskać równania na oś elipsy, powinniśmy wykonać analizę regresji, w której mini-

malizowalibyśmy odległości punktów od prostej. Regresję taką nazywa się ortogonalną i określona jest ona równaniem

452

7. Estymacja parametryczna

l

n

N =14

a? 2 (a, + a1x — y;)” = min(ag, a),

do wyprowadzenia i rozwiązania którego zachęcamy Czytelnika.

Tak jak w przykładzie 5.7.3, gdzie pokazaliśmy, że współczynnik Pearsona korelacji między obiema zmiennymi jest istotnie różny od zera, tak i tym razem widzimy, że współczynnik regresji jest także definitywnie różny od zera. Spójrzmy jeszcze raz na ten rezultat, tym razem obliczając wartość statystyki Studenta (7.60): £1

(A, — a) = —6,62, Syyl=—r x

=

— 2

A

gdzie za domniemaną wartość współczynnika regresji a, podstawiliśmy wartość zero. Ponieważ

dysponujemy

olbrzymią liczbą stopni swobody:

384, więc uza-

sadnione będzie zastosowanie rozkładu granicznego dla rozkładu Studenta, czyli rozkładu Gaussa, który w tym przypadku określony jest zerową wartością oczekiwaną i (praktycznie) jednostkową wariancją. Jeszcze raz widzimy, że otrzymany współczynnik regresji jest różny od zera na poziomie więcej niż sześciu dyspersji. Zwróćmy jednak uwagę na fakt, że powyższa analiza nie wnosi nic nowego .

100 y

.

.

.

.

, .

e

e

,

.

..

..,

.,

ć

.

|

+

.

. *

..

=

e Po

.,*

e

*

*

„

|

*

h

.”

"

*

.*

a

.-

H

%

..

..*

* te .

«e

.

4%

«

...

e

.

...

+

x *

0100 „** "e.

.

*

.

„

©

.

.

.

.

ÓM

2* 200 ©

..„*.%.22 ,

*

. *

.

.

o

|e

.

.

.

"e.

*

.

*

4

th. m

0%,GE=

e

..

.

.,” .*

| %

e

*

„*

24 + eje ,

„4%

©

.

9%

0

.

20

e

.

Ez.

*

*

.

.. „ * „.” 4

-100 43%, .

.

„3 |

*

nJ

*

A

.,

...

d.

3

.

. .

.

*

.

—200

e

e

*

. LJ

.

*

—100 -

Rys. 7.19. Profil wiązki — rozkład punktów trafień cząstek w detektor i prosta regresji

w stosunku do tej, jaką przeprowadziliśmy w przykładzie 5.7.3. W przypadku gdy sprawdzana wartość a, = 0, wtedy i

=—-——0

=———

>> >2oL-

—

Z

co tłumaczy identyczność wartości statystyki Studenta w obu sytuacjach, jako że otrzymujemy dokładnie to samo wyrażenie, które w przykładzie 5.7.3 zastosowaliśmy do oceny istotności współczynnika korelacji Pearsona. r

7.4. Estymacja z ufnością

453

—— 74. Estymacja z ufnością Nasze dotychczasowe metody oceny wartości parametrów koncentrowały się na znalezieniu estymatora poszukiwanego parametru, a wszelką niepewność co do jego wartości

przedstawialiśmy za pomocą odchylenia standardowego. Taka procedura nosi w statystyce matematycznej nazwę estymacji punktowej. Dotychczas nie zastanawialiśmy się,

z wyjątkiem niektórych przykładów,

nad treścią probabilistyczną, jaką niosą ze sobą

znalezione estymatory. Ba, ambicją naszą, np. w rozdziale 4, było zbudowanie takich procedur, które w odniesieniu do momentów zmiennej losowej wręcz nie wymagałyby znajomości postaci rozkładu. Ten niedostatek zamierzamy teraz nadrobić. Jeśli znany

jest rozkład, z którego losujemy próbę, postępowanie estymacyjne można przeprowa-

dzić alternatywną metodą, która jest innym, bogatszym, językiem do wyrażenia tych

samych treści.

7.4.1. Metoda estymacji przedziałowej Niech będzie dany eksperyment, w którym znana liczba N cząstek padła na tarczę o zna-

nej grubości x i znanej liczbie n centrów rozpraszających na jednostkę objętości, dając w rezultacie k interesujących nas oddziaływań. Z przykładu 5.3.8 wiemy, że przekrój

czynny o na taki proces możemy wyrazić wzorem o

l - Nxn

k,

(wynik ten uzyskujemy, rozwijając funkcję wykładniczą do wyrazów liniowych w gru-

bości tarczy, co zazwyczaj jest wręcz doskonałą aproksymacją). Załóżmy także, że pozostałe wielkości występujące w wyrażeniu na przekrój czynny są znane absolutnie dokładnie, tym samym błąd na przekrój czynny będzie zdeterminowany przez niepewność obserwowanej liczby k oddziaływań, a ta podlega rozkładowi Poissona P,(u) z pewnym parametrem u. W celu wyostrzenia problemu przyjmijmy, że znaleziona liczba zdarzeń wynosi 3. Tak mała liczba przypadków prowadzi do dużej niepewności dla zmierzonego przekroju czynnego, który w tym przypadku będziemy znali z precyzją około 60%, jeśli utożsamimy obserwowaną liczbę k zdarzeń z parametrem ji rozkładu Poissona. Świadomi

jesteśmy faktu niedoskonałości takiej operacji, jako że łatwo sobie wyobrażamy, iż przy

tak małej liczbie obserwowanych przypadków fluktuacje tej liczby są istotne. Innymi słowy, jeśli przeprowadzimy następny eksperyment, zachowując warunki pierwszego, możemy łatwo zaobserwować np. jedno lub pięć interesujących nas oddziaływań. Wydaje się nam, że jeśli nawet obserwacja sześciu bądź nawet ośmiu zdarzeń jest możliwa, to już trudniej nam uwierzyć, że znajdziemy np. dziesięć, a tym bardziej piętnaście takich zdarzeń. Naszym zadaniem jest określenie praktycznego zakresu wartości rezultatów, a stąd wiarygodnego zakresu wartości parametru „e rozkładu. Minimalna i maksymalna

wartość skojarzona z przedziałem, który pomieści oceniany z próby parametr, zwane są granicami ufności, a sam przedział zwiemy przedziałem ufności, natomiast procedura

454

7. Estymacja parametryczna

dochodzenia do tych wartości określana jest mianem estymacji przedziałowej. Ilustracje takiego postępowania podane były w przykładach 5.2.2, 5.3.2 oraz 5.4.4 dla szczególnej sytuacji, kiedy wynik przeprowadzanego przez nas doświadczenia był negatywny. Dotknęliśmy również tego zagadnienia w przykładzie 5.2.3, gdzie eksperyment „coŚ”

dostarczył. Skoncentrujmy się na przykładzie z rozkładem Poissona 1 zastanówmy się nad zna-

czeniem frazy o „wiarogodnym” zasięgu wartości parametru /4. Jeśli wartość tego parametru wynosi „4 = 5, to na ile wielkość k = 3 lub mniejsza jest możliwa? Prawdopodobieństwo

P(k < 3; i = 5) takiego zdarzenia to

l

0

P(k 43 >pP-,N= 100) p

=

3 (+) Zk

p — (l

"

p P- )"9* ==V,0,025

,

znajdujemy, że p_ = 0,332 oraz p, — 0, 533. Przedział ten, jak należało oczeki-

wać, zawiera w sobie wartość p = 0, 5, a więc nie preferującą żadnego z kierunków obrotu wiru. n

(—

Przykład 7.4.2 Przedział ufności — czas życia

Popatrzmy również na przykład 5.3.2, przyjmując, że nasz eksperyment poszukujący rozpadu protonu znalazł jeden przypadek o czasie życia t. Nasze równania (7.61) do rozwiązania tym razem to P(ft £t;T,)=—

1

T+

t J exp (->)

T4

dt = 0,025,

459

7.4. Estymacja z ufnością

skąd

£

=——-_———-

Te

oraz

7 1n(d — 0,025) !

00

2 39 St, „

P(t>t;T_)=— J exp (--) T. T_

dt = 0,025,

T=—————0,2ft. In 0,025

Ponownie zauważmy gigantyczną szerokość znalezionego przedziału. Wspomnieliśmy już o tym w podrozdziale 5.3.2, mówiąc, że rozkład wykładniczy charak-

teryzuje się dużymi fluktuacjami. Ponieważ dla tego przykładu mamy analityczną postać rozwiązań na granice przedziału ufności, możemy pokusić się o znalezienie

minimalnego przedziału ufności (7.62). W tym celu musimy znaleźć taką wartość f, aby różnica

+=! była minimalna lub stosunek

(wa

1

— fa)

1

ln(l — 5)

T_

in(l — fa)

zr,

ln((l — f)a) | 0,010

1200 p

1000 p

| 0,009

|

| 0,008

|

-

l

5R

"O

-

_

|

stosunek

ł

gg

| I

6007,

400

!

— 0

00

01

0,2

m naa--____

L

l

03

04

05

06

=

| 0,005

5O

| 0,004

|

|

0,002

|

-| 0,001

| 0,003

|

200 |

2

| I

_

| 0006

—

a=

07

08

09

Z

7

0,000

1,0

parametr f

Rys. 7.23. Zależność stosunku i różnicy krańców przedziału ufności od parametru f

był najbliższy jedności. Na rysunku 7.23 przedstawione są obie te wielkości dla przypadku, gdy « = 0,05. Stosunek zbliża się najbardziej do jedności dla f = 0,84, przy której to wartości granice przedziału ufności znajdujemy jako T_ =

0,2: oraz tr, = 23,3r. Różnica osiąga minimalną wartość dła f = 1 i dostarcza rozwiązań T. = 0 oraz r, = 19,5t, co jest niewątpliwym ulepszeniem, choć niezwykle problematycznym: dolna wartość granicy ufności dopuszcza zerowy r czas życia, co nie ma fizycznego sensu.

460

7. Estymacja parametryczna

Wyniki ostatniego przykładu łatwo poddają się pewnemu przekształceniu, którego wynik, będąc wygodnym skrótem myślowym, kolosalnie gmatwa zrozumienie sensu przedziałów ufności. Równania na dolną i górną granicę przedziału ufności, w wersji centralnej (7.61), są w istocie równaniami na kwantyle rzędu 0,025 oraz 0,975 dla rozkładu wykładniczego:

to,025 = —T ln 0,975 = 0,0253T,

to.915 = —T ln 0,025 = 3,6897,

co wyrażamy jako stwierdzenie o prawdopodobieństwie rejestracji zmiennej losowej t: P(0,0253T < t < 3,6891) = 0,95. Możemy, rozwiązując podwójną nierówność nik przepisać w postaci P(0,0253T

1

2

0,001

0,001

2,6

Suma

2612

1,000

1,000

2612,0

zmiennej losowej k, obejmującej wartości od zera do jedenastu, wynoszą k

P = P,(1) = pie"

k=0,1,2,...,11,

natomiast dla ostatniej klasy, trzynastej, prawdopodobieństwo to przyjmuje postać 00

— 12;n)=e u 2

—_

.

Ph = P(k>

n—

A

k

ki

11

—

7 l-=e

_

_ HL 2

k —

ki

Wyrażenia te budują logarytm funkcji wiarogodności 11 In £ (u)

=

)

k=0

u m

In (e”)

+ nią ln (

—e*

11

u*

3

3

k=0

,

który maksymalizujemy numerycznie, otrzymując ji = 3,88, w wyśmienitej zgodności

z rezułtatem uzyskanym w podrozdziale 5.4.2, gdzie obliczyliśmy po prostu Średnią arytmetyczną. Dysponując estymatą parametru rozkładu, możemy obliczyć estymaty ph

prawdopodobieństw P, przedstawione właśnie w czwartej kolumnie tabeli 8.1, a w piątej

mamy estymaty Np, spodziewanych krotności NP,. Do testu hipotezy potrzebujemy jeszcze statystyki testowej.

Ponieważ mamy do czynienia z rozkładem eksperymentalnym, a więc nie mamy przewidywania na liczbową wartość N sumy wielkości n,, dlatego musimy narzucić na

8.2. Test zgodności

489

model normalizację zadaną doświadczeniem. Rozkład zmiennych losowych ną między

poszczególne klasy, przy zadanych prawdopodobieństwach P; trafienia do danej klasy, określony jest rozkładem wielomianowym (5.27) W,

==

Wynn.

n„

Py,

(N,

Pi,

N!

=

P

Pą,...,

"TI

r

ś

SLEŁE

LET

[[7.

ny! k=0

k=0

k=0

(8.1)

Do wszystkich funkcji silnia zastosujemy przybliżenie Stirlinga (5.5) I

N!'=xy2nN" "ze", oraz m

L

k=0

k=0

[ [re! *

nit

KZT

e" = (J2n)

n+l

-

e" | [m

ny+2

k=0

2,

skąd

W, =

1

(

/

2x)

[I

p

Pi: nat;

nę

k=0

R

*

U

DT

(42 n) | [I Nh

Ji (w

N P,

)

z

(8.2)

Wartość oczekiwana każdej ze zmiennych losowych ną wynosi NP%, a wariancja określona jest przez NP,(1 — P,) = NP, toteż, dla dalszej wygody, wprowadzimy związek łączący obserwowane wartości n, z wartościami oczekiwanymi ny

=

N P,

+

Bk,

(8.3)

gdzie wielkości 8,, z warunku ustalonej sumy ny, spełniają związek

3,8 =0.

(8.4)

k=0

Podstawiając (8.3) do (8.2), otrzymujemy W,

/N

1

We) LR ho

(1 BO)

h

NPi+Br+Z

k

Zajmiemy się teraz wyrażeniem

[(+yz) Ł-0 N PX n

NP,+Bk+"3

(8.5)

w którym oczekujemy, że

| w stosunku do NP; w pierwszym czynniku. Podstawiając, znajdujemy

l

n

Br

l

Npę+Bk+3

=

(F(+;% k=0

n

1

—

B;

(TZN) k=0

—_

1

n

BŹ

224NB

|

k=0

ponieważ suma wielkości 8; znika na mocy (8.4). W następnym kroku, po wyeliminowaniu wielkości B; za pomocą związku (8.3), otrzymujemy

n [(+) Ł=0 NP

NPx+Br+3 2

l n Są). — NP 2 tap(Z 2% NP,

Tym samym asymptotyczna postać rozkładu wielomianowego przedstawia się jako n

YNN

PR

(w 2n)

[l

exp (-3 1IĘ< 3 4 NP,

2 —

U

— NP)? k) ) . NP;

k=0

Jak widzimy, przybliżenie to ma postać zbliżoną do (n + 1)-wymiarowego rozkładu Gaussa, a wielkość R =

—_

(nę — NP)”

> ————+,,, NE,

(8.7) 8.7

wprowadzona przez K. Pearsona jeszcze w 1900 roku, odgrywa rolę statystyki x*: jest to suma kwadratów standaryzowanych zmiennych, każda określająca odchylenie wielkości losowej ną od wartości oczekiwanej NP, i podzielona przez wielkość +/N P, o charak-

terze dyspersji wielkości losowej.

Wielkość Ńt określona związkiem (8.7) ma istotnie własność zmiennej x? z dokładnością do dokonanych przez nas przybliżeń, tzn. liczby ną przypadków muszą być

na tyle duże, aby sprawiedliwe było przybliżenie Stirlinga dla ich funkcji silnia i dla całkowitej liczby N przypadków oraz by słuszna była relacja (8.6). Jak wiemy z pod-

rozdziału 5.1, dwa pierwsze warunki

są łatwe do spełnienia, gdyż przybliżenie Stir-

linga pracuje wyśmienicie nawet dla małych wartości argumentu funkcji silnia. Trudniej przedstawia się kwestia związku (8.6), warunkującego poprawność rozwinięcia funkcji logarytm. Sytuację komplikuje fakt zastosowania metody największej wiarogodności do estymacji nieznanych parametrów rozkładu i wykorzystania tych estymat do obliczenia

8.2. Test zgodności

491

wielkości py, których w praktyce używamy zamiast wielkości P, w związku (8.7). Jak wiemy, metoda ta dostarcza estymatorów, które są tylko asymptotycznie nieobciążone

i dlatego nie możemy oczekiwać, że związek (nę) = NP, będzie spełniony ściśle, a jedynie asymptotycznie. Statystycy poświęcili wiele wysiłku badaniom szybkości, z jaką

wielkość R nabiera cech zmiennej losowej rozkładu granicznego, czyli rozkładu 4”. Zwyczajowo przyjmuje się propozycję samego K. Pearsona, aby wielkości ną wynosiły

przynajmniej 5, a jeśli liczba składników w (8.7) nie jest mała (większa niż kilka) to może się pojawić pojedyncza wielkość nę nawet mniejsza od tej wartości. Dodatkowo,

zaleca się taki sposób grupowania danych, aby ich liczba w każdej z klas była zbliżona. Musimy jeszcze określić liczbę stopni swobody uzyskanej statystyki. Jeśli wielkości prawdopodobieństw

P, są znane, czyli wtedy, gdy hipoteza jest w pełni określona

przez podanie postaci rozkładu i nie musimy wydobywać estymat parametrów rozkładu z próbki, to natychmiast zauważamy, że statystyka JR asymptotycznie charakteryzuje się liczbą stopni swobody o jeden mniejszą od liczby składników w sumie (8.7). Wynika to z faktu, że na wielkości n, narzucony jest warunek więzów, wymagający, aby suma tych wielkości była równa N, co czyni je matematycznie zależnymi. Istotnie, rozkład wielomianowy zapisany w symetrycznej formie (8.1) charakteryzuje się macierzą kowariancji

N Pę(1 — Po) —N P,Po V

(n)

—

—N PoP) NP,L—P,)

.

... :::

.

—N P,„ Po

—N PoP, —NP,P,

.

—NP,„P,

.

-:

,

(8.8)

NP,(l— P,)

która jest osobliwa, o czym łatwo się przekonujemy, dodając wszystkie kolumny do ostatniej. Dlatego odchodząc od symetrycznej postaci, odrzucimy ostatnią zmienną n,, czyniąc pozostałe matematycznie niezależnymi, co jednocześnie oznacza wyrugowanie ostatniej kolumny i ostatniego wiersza z macierzy kowariancji i prowadzi do macierzy V (patrz (5.34)). Bezpośrednim rachunkiem sprawdzamy, że macierz

1 4 Po

,

1

P,

V-! (n) = —

N

LL

1

1

P,

l

P,

1 P,

1

]

.

.

i

i

P,

P,

=

P,

P,

P,

-

.

.

1

I N

Ts

|omo P

P,

1

Pn_i

P,

jest odwrotna do macierzy V (8.8) „odartej” z ostatniej kolumny 1 ostatniego wiersza. Wykładnik wyrażenia aproksymującego gaussowsko rozkład wielomianowy ma tym samym postać

8

(n-NP)'V'!(n-NP)=

1

5-1

M

3

Śóm

(n, — NP) (5

k,m=0

—

m

(nę —

NP)” P

k=0

1

+ 5) (n, — NP)

NP

,

492

8. Weryfikacja hipotez

w zgodzie z (8.7). Tę własność dotyczącą liczby stopni swobody łatwo możemy sprawdzić, obliczając wartość oczekiwaną wielkości R:

E[R]I=> [R]

nh

l

nh

—€E|n-NP)/|=> NB [m — NP,)?]

l

——NPAU-P)=)> NB | - P,) = >

(1—P,)=n.

Wynik uzyskaliśmy, wykorzystując wyrażenie (5.29) na wariancje zmiennych z rozkładu wielomianowego. Zauważmy, że liczba składników w sumie wynosi n + 1, a wartość oczekiwana jest o jeden mniejsza od tej liczby. W podobny, choć nieco bardziej skomplikowany, sposób można obliczyć wariancję wielkości ŚR: YB

=204

która asymptotycznie, dla N > stopniach swobody.

1

(Z

[+1

-l0+07

2).

oo, zbiega do wariancji zmiennej z rozkładu xX* on

Rozważmy teraz modyfikacje, jakie musimy wprowadzić, jeśli hipotetyczny rozkład jest wyrażony przez m parametrów 6,, których nie znamy. Jeśli do ich oceny wykorzystamy funkcję największej wiarogodności w postaci (patrz przykład 7.2.11) In £ (6) = 3

n, ln P, (6) + const,

k=l

to warunek na estymatory Pa

z M £(6) =

om

rozkładu P G

_P. (6) =0.

06,

i=1L2,...,m,

jest w istocie dodatkowym układem m liniowych równań więzów łączących liczby n, przypadków w przedziałach histogramu. Oznacza to, że w macierzy (8.8) już nie wystarcza odrzucenie jednej kolumny i jednego wiersza, ale musimy odrzucić dodatkowo m takich wierszy i kolumn, aby przestała ona być osobliwa. Prowadzi to do dalszego zmniejszenia liczby stopni swobody o liczbę m nieznanych parametrów.

Oznacza to, że w naszym przypadku, dysponując liczbą trzynastu klas i wyznaczając jeden parametr rozkładu, otrzymamy 11 stopni swobody. Dla wielkości R znajdujemy:

Ńmin = 10,8. Jeśli przyjmiemy, że poziom zgodności testu wynosi 0,05, to wartość krytyczną dla rozkładu x* o jedenastu stopniach swobody znajdziemy jako 19,7, a więc

większą niż uzyskana przez nas wartość Mty;„. Zmusza nas to do stwierdzenia, że nie

mamy

statystycznych podstaw do odrzucenia hipotezy o poissonowskim rozkładzie ob-

serwowanych przez Rutherforda i Geigera liczb rozpadów. Opisaną tu procedurę nazywamy testem x* zgodności Pearsona. Określony jest on następującą, roboczą receptą: e zgrupuj dane doświadczalne o liczebności N w n rozłącznych klasach, tak aby w każdej klasie liczba ny, k=1,2,3,...,n przypadków była nie mniejsza niż 5, a liczby przypadków w klasach były zrównoważone, e zdefiniuj hipotezę, podając domniemaną postać rozkładu,

8.2. Test zgodności

493

e określ poziom zgodności testu,

e jeśli zdecydujesz się na ocenę parametrów rozkładu z próbki, zrób to metodą funkcji wiarogodności dla danych zgrupowanych, maksymalizując wyrażenie: n

nl

=

ny ln P, (0,,6,...,

6),

M

+bx+c (© — 30.9) , Dane doświadczalne przedstawione na histogramie z rys. 8.3 to właśnie unormowana do jedności gęstość rozkładu, gdzie w każdym przedziale naniesiony jest stosunek liczby

przypadków w tej klasie do całkowitej liczby przypadków, podzielony przez szerokość

przedziału histogramowania. Dane te pochodzą z tabeli 8.2, gdzie pierwsza kolumna to klasa, czyli przedział histogramu, druga — to liczba przypadków w danej klasie, trzecia — doświadczalna częstość, a czwarta — to doświadczalna gęstość, czyli szary histogram na wykresie. W piątej kolumnie umieszczona została ocena p, teoretycznego prawdopodobieństwa P, — czyli częstość rejestrowania przypadku w danej klasie — obliczona przy wartościach parametrów b oraz c określonych metodą największej wiarogodności

494

8. Weryfikacja hipotez

1,2 1,0 0,8 0,6 0,4 0,2

—0,9

—0,6

—0,3

0

0,3

0,6

0,9

cos U

Rys. 8.3. Rozkład kątowy leptonów w rozpadzie bozonu Z

Tabela 8.2. Rozkład kątowy w rozpadzie bozonu Z

(—0,9)-(—0,6)

7

0,2121

0,7071

0,2131

7,0

(—0,6)-(—0,3)

4

0,1212

0,4040

0,1416

4,7

(—0,3)-0

5

0,1515

0,5051

0,1098

3,6

0-0,3

3

0,0909

0,3030

0,1177

3,9

0,3-0,6

5

0,1515

0,5051

0,1652

5,5

0,6-0,9

9

0,2728

0,9091

0,2526

8,3

Suma

33

1,0000

3,3334

1,0000

33,0

dla zgrupowanych danych, czego zaraz dokonamy, i w końcu szósta kolumna — to ocena oczekiwanej liczby przypadków w danej klasie.

Musimy teraz określić dwa nieznane parametry rozkładu. Potrzebne będą nam do tego prawdopodobieństwa P,: x +A

p, = J f(x; b,c)dx, gdzie k = 0,1,2,...,5,

jak poprzednio:

xg = —0,9 oraz A = 0,3. Funkcję wiarogodności zbudujemy 5

5

k=0

=(0

nC=ln|[P"*=)_ nlnP,,

8.2. Test zgodności

495

a maksymalizując ją znajdujemy, że b £ 0,087, natomiast ć Z 0,734. Mając te wyniki,

możemy wykreślić rozkład teoretyczny (linia paraboliczna na wykresie), a także obliczyć wartość statystyki testowej Atys, == 0,91. Wartość krytyczna zmiennej x? dla poziomu

zgodności 0,05 przy trzech stopniach swobody (sześć klas danych doświadczalnych minus dwa oceniane parametry minus jedność) wynosi 7,81, co oznacza, że nie mamy podstaw statystycznych do odrzucenia hipotezy o jednostkowym spinie bozonu Z.

Sytuacja nie jest jednak tak prosta. Można postawić przecież „szaloną”, bo nie popartą żadnym modelem, hipotezę o zerowym spinie tego nośnika sił. Obliczenia są

bardzo proste, bo rozkład wtedy powinien być jednostajny na poziomie 5/9 (daje to normalizacja do jedności na przedziale od —0,9 do 0,9) co w pełni określa hipotezę. Jako wartość statystyki Pearsona otrzymujemy ) = 4,27 przy wartości krytycznej 11,07 dla pięciu stopni swobody. Tak więc i tej hipotezy nie możemy odrzucić na podstawie posiadanych danych doświadczalnych. W kwestii ostatniego przykładu autor jest winien Czytelnikowi wyjaśnienie. Przedstawione dane doświadczalne pochodzą z bardzo wczesnego etapu badań własności bozonu Z, kiedy to ilość danych doświadczalnych zebranych na temat tej cząstki była bardzo skromna. Obecnie dane te są na tyle bogate, że nie pozostawiają najmniejszej wątpliwości co do wektorowego charakteru bozonu Z. Intencją autora było nie tyle wzbudzenie w Czytelniku niepewności co do własności tej cząstki, ile uświadomienie mu, że jakość danych jest zawsze kluczem do rozstrzygnięcia hipotezy. Jest jeszcze i drugi aspekt zagadnienia. O ile w 1987 roku istotą analizy było pytanie o spin cząstki, o tyle dziś możemy rozważyć inny problem. Jeśli nie dysponujemy silnym argumentem teoretycznym, przemawiającym

za jedną z hipotez, to którą z nich mamy

wybrać?

Czy

możemy do procesu podejmowania decyzji wprząc kryterium estetyczne, np. prostoty hipotezy? W odniesieniu do testu x* dla zmiennej ciągłej, naturalne jest postawienie pytania o celowość wywodu estymat parametrów rozkładu z „wielomianowej” postaci funkcji wiarogodności dla danych zgrupowanych w n klas, skoro często dysponujemy indywidualnymi pomiarami. Grupowanie danych prowadzi niechybnie do utraty informacji

1 zapewne otrzymalibyśmy efektywniejszą i precyzyjniejszą ocenę parametrów, stosując pełną funkcję wiarogodności. Okazuje się, że takie podejście prowadzi do częściowego odzyskania stopni swobody, a rozkład resztkowej sumy kwadratów opisany jest przez rozkład x? o pośredniej liczbie Oszacowanie efektywnej liczby problemu, jaki rozwiązujemy. rogodności „w pełnej krasie”,

stopni swobody, zawartej między n — m — 1 oraz n — 1. stopni swobody nie jest zadaniem trywialnym i zależy od Dlatego, jeśli wykorzystujemy metodę największej wiawartość statystyki testowej powinniśmy skonfrontować

z wartościami krytycznymi wynikającymi z obu rozkładów X*.

Zza

ZEK)

Ó

7

O

R

ŻA

ZO?ZZ © ZŁ

GG AKRANY,

Obliczenia arytmetyczne widnieją tam dlatego, że za pomocą tej sztuki, dowodzącej prawdziwości rzeczy, kalkuluje się racje rozumowe.

Stopień racjonalnego zaufania

—— 9.1. Prawdopodobieństwo i statystyka W podrozdziale 2.2 podaliśmy, sformułowaną przez A. N. Kołmogorowa, aksjomatykę teorii prawdopodobieństwa. Wskazaliśmy tam również, że sformalizowana teoria nie odpowiada na pytanie, jak określać prawdopodobieństwo — ten aspekt wychodzi poza jej ramy — a przecież jest on kluczowy w każdym praktycznym przypadku. Podobnie, teoria prawdopodobieństwa nie zajmuje się określaniem zbioru zdarzeń elementarnych. Po to, by stosować reguły rachunku prawdopodobieństwa, musimy najpierw zbiór ten, w kazdym konkretnym zagadnieniu, zadać, a także znaleźć pierwotne, „wejściowe” wartości prawdopodobieństw jego elementów. To, jak tego dokonać, jest kwestią określonego przepisu operacyjnego, czyli definicji. W podrozdziale 2.1 podaliśmy definicję częstoŚciową zdarzenia A, zadaną wyrażeniem P(A) = lm

gdzie wielkość m(n)

P,(A) = lim

n>o.

m(n) , /h

(9.1)

to liczba zdarzeń obdarzonych badaną cechą A, jaka pojawiła

się wśród wszystkich zdarzeń n. Ponadto, w podrozdziale 2.2, określiliśmy prawdopo-

dobieństwo geometryczne jako stosunek miar zbiorów, natomiast prawdopodobieństwo kombinatoryczne, właściwe dla sytuacji, w której występuje skończona liczba możliwych

rezultatów eksperymentu, dyskutowaliśmy w podrozdziale 5.1. Wszystkie te definicje do-

czekały się w dziejach rozwoju rachunku prawdopodobieństwa bardzo poważnej krytyki, którą teraz postaramy się pokrótce zrelacjonować. Zaczniemy od definicji kombinatorycznej, związanej z nazwiskami J. Bernoulliego

(Ars Conjectandi, 1713), A. de Moivre'a (Doctrine of Chances, 1738) i P. S. Laplace a

(Thćorie Analytique des Probabilitćs, 1812). W klasycznym sformułowaniu Laplace'a brzmi ona (w wolnym tłumaczeniu) następująco: prawdopodobieństwo zdarzenia jest

zadane stosunkiem liczby m zdarzeń sprzyjających temu zdarzeniu do liczby n wszystkich możliwych zdarzeń, w sytuacji gdy nie mamy podstaw do podejrzeń, że niektóre z tych zdarzeń powinny pojawiać się częściej niż inne, co czyni je równie możliwymi. Okre-

498

9, Stopień racjonalnego zaufania

ślenie odnosi się implicite do sytuacji, w której całkowita liczba zdarzeń jest skończona, a definicja (9.1) jest dość oczywistym

uogólnieniem. Problem z definicją Laplace'a polega na tym, że ona niczego nie definiuje, gdyż jest tautologią: w jej treści występuje pojęcie równych możliwości, które jest synonimem frazy równe prawdopodobieństwa. Abyśmy mogli tej definicji użyć,

ktoś musi nam zdefiniować to ostatnie pojęcie, czego, jak na ra-

zie, nikomu się nie udało (przynajmniej w ramach klasycznego podejścia), gdyż nie jest oczywiste, jak tego dokonać. Niech jako ostrzeżenie posłużą historyczne przykłady. Włoski matematyk G. Cardano, żyjący w XVI w., był pierwszym, który Geronimo Cardano,

w swej książce Liber de Ludo Aleae, dyskutując matematyczne

1501-1576

kwestie hazardu, uważał, że przy jednoczesnym rzucie dwóch

kostek do gry mamy 36 elementarnych możliwych par, a nie 21 (patrz przykład 5.1.6). Jeśli rzucimy jedną monetą dwa razy, to łączna liczba orłów

w tych rzutach może wynosić 0, 1 lub 2. Jeszcze w XVIII wieku francuski matematyk J. dAlembert utrzymywał, że te trzy możliwości stanowią zbiór zdarzeń elementarnych, a każda z tych możliwości powinna być traktowana równoprawnie, a więc prawdopodobieństwo każdej z nich wynosi 1/3.

Określenie kombinatoryczne prawdopodobieństwa ma jeszcze jeden ciekawy aspekt. Niech będą dane dwie urny: w jednej umieszczono jedną kułę czarną i jedną kulę białą, natomiast w drugiej trzy kule czarne i jedną białą. Jakie jest prawdopodobieństwo, że wybierając z dowolnej urny dowolną kulę, wylosujemy kulę białą? Niech U, zdarzeniem polegającym na wyborze urny pierwszej, z dwiema kulami, P(U,) prawdopodobieństwem wyboru tej urny, natomiast U> to zdarzenie polegające na rze urny drugiej, a P(U>) to prawdopodobieństwo wyboru tej urny. Przyjmiemy,

będzie będzie wyboże oba

prawdopodobieństwa są sobie równe i wynoszą 1/2 każde. Niech P(B) będzie prawdopodobieństwem pojawienia się zdarzenia B, czyli wylosowania białej kuli. Z, faktu, że zdarzenia U, i U; są rozłączne i wyczerpują wszystkie możliwości, otrzymujemy P(B) = P(BN(U,

UU;)) = P((BNU,)U(BNU)

=P(BNU,)

+ PBNU;),

a z definicji (2.14) prawdopodobieństwa warunkowego znajdujemy

P(B) = PBUWYPU) + POBIUJPW) = 3-z+5-3=. Jest interesujące, że wyniku

tego, w żadnym

wypadku,

nie da się wytłumaczyć,

odwołując się do stosunku liczby zdarzeń sprzyjających do wszystkich zdarzeń (stosunku liczby wszystkich białych kul do liczby wszystkich kul w urnach). Tego typu spostrzeżenia doprowadziły jednego

z twórców

współczesnej

teorii prawdopodobień-

stwa do stwierdzenia, że Ci, którzy nauczają tej definicji, nigdy jej sami nie praktykują

(H. Jeffreys, Theory of Probability, Oxford University Press 1961). Podobne, fundamentalne trudności, związane z jej tautologicznym charakterem przypadły w udziale także definicji geometrycznej, która a priori przypisuje równe prawdo-

9.1. Prawdopodobieństwo i statystyka

499

podobieństwa wszystkim punktom leżącym wewnątrz odcinka pro-

stej, figury na płaszczyźnie czy też objętości bryły w przestrzeni. Ponieważ liczba punktów nawet w najmniejszym takim obiekcie geometrycznym jest nieskończona,

więc

aby uniknąć

trudności

związanych z obliczaniem stosunku dwóch nieskończonych liczb, zamiast tego stosunku brany jest stosunek miar obiektów geometrycznych. Zarzut, jaki niekiedy jest podnoszony w tym kontek-

ście, to arbitralny wybór tej miary. Jeśli ograniczymy się do osi

rzeczywistej, to miarą dowolnego zbioru zadanego przez odcinek na tej osi jest dowolna, dodatnia i monotoniczna funkcja np. różnicy krańców

tego zbioru. Klasyczna definicja wybiera spośród

nieskończonej liczby możliwych miar jedną i czyni to bez uzasadnienia, z wyjątkiem być może tego, że ta specyficzna miara

Sir Harald Jeffreys, 1891-1989

nie stoi w sprzeczności z postulatami teorii prawdopodobieństwa. Ale nawet i ta jedyna miara przestaje odgrywać jakąkolwiek rolę w sytuacji, gdy przyj-

muje ona wartości nieskończone, tzn. wtedy, gdy mamy do czynienia z np. całą osią rzeczywistą. Nieco inaczej przedstawia się kwestia określenia prawdopodobieństwa za pomocą

wyrażenia (9.1). Nie mamy tu już trudności z tautologią, ale w zamian za to pojawia się granica nieskończonego ciągu. Powoduje to, że nawet jeśli definicja ma jakiś sens, do dyskusji czego przejdziemy za chwilę, to jej znaczenie operacyjne jest żadne. Nikt nigdy

nie znalazł prawdopodobieństwa za pomocą tej definicji, ani nikt nigdy w przyszłości

go nie określi, ponieważ nie możemy wykonać nieskończonej liczby doświadczeń, aby wymaganą granicę obliczyć. Definicja ta może co najwyżej posłużyć do oceny poszu-

kiwanego prawdopodobieństwa, ale tylko z pewną precyzją. Przypomnijmy nierówność Czebyszewa (3.7)

P (x

wl

PZ

2 6) £ G. €

W skończonej liczbie n prób i przy liczbie m sukcesów estymator parametru p prawdopodobieństwa sukcesu w pojedynczej próbie zadany jest wyrażeniem (5.18) „ m P=—, n a jego wariancja wynosi (patrz (5.17))

|_PAd—p)

[5]=——

Y|pl=>——. Jeśli podstawimy ten wynik do nierówności Czebyszewa, to otrzymamy m n

) < Ipd-p) €

n

Prawdopodobieństwo, że estymata będzie różniła się od wartości parametru p o wartość większą niż dowolnie mała liczba e, dąży do zera dla wzrastającej liczby prób:

P(=-»p n

> e) < „PP n

—

n—>0o

0

(9.2)

9. Stopień racjonałnego zaufania

parametr p

500

100 p 0,90 | 0,80 | 0,70 | 0,60 0,50 0,40 0,30 | 0,20 0,10 0,00

O

i

0

100

EO

l

200

l

300

k

400

l

i

500 600 numer próby

l

l

700

i

800

J

900

1000

Rys. 9.1. Symulacja tysiąca rzutów monetą i prawdopodobieństwo uzyskania reszki

Związek

ten zilustrowany jest na rys. 9.1, gdzie przedstawiony jest badany

stosunek

m/n, znaleziony w tysiącu prób Bernoulliego, każda z prawdopodobieństwem sukcesu p = 0,5, uzyskanych metodą symulacji Monte Carlo.

Wynik (9.2), na mocy lokalnego twierdzenia de Moivre—Laplace'a (5.26) z podroz-

działu 5.2.3, możemy zapisać w bardzo konkretnej postaci, jako

5 (0-7 f

np+en

m=np—en

m

|

yz;

[PA

=

_Ż „P

2

dz

—

h>>00

1 (9.3)

gdzie z = m/n. Uzyskany rezultat nazywa się całkowym twierdzeniem de Moivre— Laplace'a i należy do grupy twierdzeń określanych mianem praw wielkich liczb —

w tym przypadku jest to tzw. Bernoulliego prawo wielkich liczb. Prawo to daje nam 100% gwarancji, że estymata będzie równa parametrowi p, ale dopiero przy nieskończonej liczbie prób. Jeśli liczba ta jest skończona, mamy niezerową szansę na to, że

estymata będzie jednak różna. Mówimy, że wielkość m/n zbiega do parametru p, ale w sensie prawdopodobieństwa, a nie w sensie Cauchy ego, jaki jest wymagany w analizie matematycznej, abyśmy mogli mówić w sensowny sposób o granicy ciągu. Można

nawet pokazać (H. Jeffreys, ibid.), że granica taka nie istnieje, jeśli chcemy zachować losowość i niezależność w kolejnych próbach, których celem jest określenie prawdopo-

dobieństwa na mocy definicji (9.1). Rozważmy w tym celu pięć nieskończonych ciągów

obrazujących rzuty monetą, w których uzyskanie orła zaznaczyliśmy jedynką, a reszki zerem: a) 100110010100100111010.. b) 100100100100100100100... , c) O000000000000000000000... , d) 1111111111111111I1II1... , e) 10110000111111110000000000... .

9.1. Prawdopodobieństwo i statystyka

501

Pierwszy z tych ciągów otrzymano, wykonując rzeczywisty eksperyment z rzucaniem

monetą. Wartość stosunku m/n wydaje się w nim rzeczywiście fluktuować wokół liczby 0,5. Pozostałe cztery ciągi są sfabrykowane. Granica drugiego wynosi 1/3, trzeciego 0,

czwartego

I, a piątego oscyluje w nieskończoność między

1/3 a 2/3 (ciąg ten został

zbudowany tak, że bloki zer i jedynek następują po sobie na przemian i liczba każdej z cyfr w bloku jest zadana liczbą wszystkich cyfr występujących wcześniej), czyli nie istnieje. Problem z przykładami (b)-(e) polega na tym, że są one absolutnie legalnymi przykładami losowych ciągów, jakkolwiek niewiarogodnie mogą one wyglądać, które poten-

cjalnie możemy otrzymać, rzucając monetą (a Czytelnik na pewno sam będzie potrafił „wyprodukować” wiele innych przykładów). Na mocy niezależności każdej z prób Ber-

noulliego oraz ich losowego wyniku nie istnieje funkcyjny związek między wyrazem

F, a wyrazem P,+, nieskończonego ciągu w definicji (9.1). Oznacza to, że nie jesteśmy w stanie podać dowolnej liczby e i takiego indeksu N, że dla wszystkich indeksów n

większych od wartości N kolejne wyrazy ciągu P„ będą się różniły od hipotetycznej granicy P o mniej niż owa wartość e. Tym samym granica ciągu P, nie istnieje. Wynik

ten stawia nas w bardzo delikatnej sytuacji: granica ciągu P, nie istnieje, a prawdopodobieństwo takiego zdarzenia, na mocy Bernoulliego prawa wielkich liczb (9.3), jest

równe zeru. Wyjaśnienie tego paradoksu leży w zacytowanych przez nas przykładach

ciągów (b)-(e), których pośród wszystkich nieskończonych ciągów jest nieskończenie razy mniej niż ciągów reprezentowanych przez ciąg (a).

Wszystkie trzy „definicje”: kombinatoryczna, geometryczna i przez granicę ciągu są bezużyteczne — one niczego nie definiują. Dwie pierwsze są w najlepszym przypadku

tautologią, a o tej trzeciej można powiedzieć (H. Cramer, Metody matematyczne w sta-

tystyce, PWN, Warszawa 1958), że jest tak samo przydatna jak matematyczna definicja

punktu geometrycznego, który uzyskamy wtedy, gdy będziemy go rysować na tablicy kredą o grubości dążącej do zera. Jakie w takim razie są podstawy całej wiedzy prezentowanej we wszystkich wcześniejszych rozdziałach tej książki? Czy mamy do czynienia z kolosalną, intelektualną mistyfikacją? Rozwiązanie trudności leży, w pewnym sensie, w odwróceniu zagadnienia: nie definiujmy prawdopodobieństwa przez częstości, ale je interpretujmy jako częstości. Potraktujmy „definicje” jako pewne hipotezy orzekające

o własnościach opisywanego zjawiska i zamiast je stosować, poddajmy je raczej weryfikacji przez eksperymentalne badanie. I tak się rzeczywiście dzieje. Przez prawie 100

lat historii rachunku prawdopodobieństwa wypracowane zostały, głównie przez K. Pearsona, E. Pearsona, J. Neymana i R. A. Fishera, a także wielu, wielu innych, w miarę standardowe narzędzia do realizacji takiego programu. Narzędzia te są wyodrębnione

w oddzielną dziedzinę wiedzy — statystykę matematyczną.

Ścisły związek między prawdopodobieństwem a częstością wycisnął głębokie piętno

na procedurach i narzędziach tej dziedziny wiedzy. Gdy przystępujemy do badania jakiegoś zjawiska i mamy określoną hipotezę co do jego natury, wówczas na mocy logiki arystotelesowskiej nasza hipoteza może być tylko prawdziwa bądź tylko fałszywa. Po-

miar dostarczy nam pewnych informacji, które nie przesądzą definitywnie o słuszności

hipotezy, gdyż zawsze, w ramach częstościowej interpretacji prawdopodobieństwa, będą

502

9. Stopień racjonalnego zaufania

skażone przez proces losowego ich wyboru. Rozstrzygnięcie takie mogłoby nastąpić jedynie w skrajnym przypadku nieskończonej liczby pomiarów. Ponieważ sytuacja taka jednak nigdy się nie zdarza, pytanie, jakie zadaje badacz, występujący w roli statystyka, brzmi: zakładając słuszność postulowanej hipotezy, jaka jest szansa, że dane, jakie uzyskamy w wyniku pomiaru, wskażą na jej słuszność? Odpowiedź na to pytanie wymaga

konstrukcji rozmaitych narzędzi, wśród których poczesne miejsce zajmują estymatory i statystyki testowe.

Chociaż niniejszy podręcznik pełen jest przykładów wykorzystania takich narzędzi,

rozważmy jeszcze parę uzupełniających przykładów. Zaczniemy od pojęcia estymatora

nieobciążonego. r——

Przykład 9.1.1

Estymator nieobciążony Załóżmy, że mierzymy liczbę cząstek promieniowania kosmicznego przechodzącego przez nasz detektor. Wiemy,

że łiczba ta opisana jest rozkładem Poissona

zadanym przez nieznany parametr j4, który chcemy ocenić z danych. Jeśli w zadanym przedziale czasu znajdziemy, że nasza aparatura zarejestrowała k takich zdarzeń, to wiemy, że najlepsza wartość estymaty parametru /4 zadana jest przez k: (i =k. Przypuśćmy, że zamiast estymatora parametru ji jesteśmy raczej zainte-

resowani estymatorem pewnej funkcji f (4) parametru. Jak znaleźć jej estymator? Jeśli zażyczymy sobie, aby nie był on obciążony, to powinien on spełniać następujące równanie (patrz definicja (3.1) wartości oczekiwanej) 0O

k

gk)=e")ReKW=fW k=0

>

PFW=D

00

k=0

k

st)

Rozwijając iloczyn e* f (u) w szereg Taylora, znajdujemy k

g(k) = 2A (e* f(1))

u=0

Z konstrukcji wynika także, że jest to jednoznaczny wybór. Znajdźmy wobec tego estymator kwadratu parametru rozkładu: f(u) = „e. Dokonując odpowiednich obliczeń, otrzymujemy _

f(4) = k(k — 1),

(wynik ten możemy łatwo otrzymać, jeśli przypomnimy sobie wyrażenia na wartość oczekiwaną (5.53) i wariancję (5.54) rozkładu Poissona). Podobnie, jedyny nieobciążony estymator dla trzeciej potęgi parametru: f (u) = pi, jest równy

f(v) = k(k — 1)(k — 2). W ogólności, dla f(4) = u”

k! f(u) = k(k— 1)(k — 2) ---(k—m+ 1) = ——.. (km)!

Jeśli interesuje nas trzecia potęga estymatora, a doświadczenie dostarczy nam jedną lub dwie cząstki, to estymator sugeruje nam, byśmy jako najlepszą ocenę

9.1. Prawdopodobieństwo i statystyka

503

parametru rozkładu przyjęli wartość zerową. A przecież, przy u = 0, prawdopo-

dobieństwo, że otrzymamy jakąkolwiek liczbę cząstek, wynosi dokładnie zero!

Do podobnej trudności i niekonsekwencji prowadzi nieobciążony estymator

(5.43) parametru intensywności A rozkładu wykładniczego.

Przy obserwacji po-

jedynczego przypadku rozpadu jądra lub cząstki elementarnej estymator ten podpowiada, że dla parametru A powinniśmy wybrać wartość zero, choć estymator parametru r mamy wybrać różny od zera! Innego rodzaju trudność napotykamy przy ocenie wartości oczekiwanej

kwadratu ciągłej zmiennej losowej. Łatwo sprawdzamy, że wielkość

(x)”

X — s2 jest poszukiwanym, niezależnym od rozkładu, nieobciążonym estymatorem

(© — sz) =() — ($) =VER]+ (R

- VP] = (X).

Estymator ten jest jednak ułomny. Może się zdarzyć, np. dla rozkładu Gaussa, że przyjmie on wartość ujemną — jeśli średnia jest bliska zeru, a sam pomiar jest

mierny i rozrzut między indywidualnymi wynikami pomiarów duży — mimo że

wielkość (x)”, którą ocenia, musi być dodatnia.

m

Spójrzmy teraz na jedną z najważniejszych metod uzyskiwania estymatorów, jaką jest metoda największej wiarogodności. r——

Przykład 9.1.2

Metoda największej wiarogodności — nieefektywny licznik Zastanówmy się, w jaki sposób moglibyśmy ocenić faktyczną liczbę cząstek wiązki

z akceleratora, ale także cząstek promieniowania kosmicznego lub też cząstek ze

źródła promieniotwórczego, w sytuacji, gdy dysponujemy nieefektywnym liczni-

kiem tego promieniowania. Załóżmy, że efektywność licznika, tzn. prawdopodo-

bieństwo p zarejestrowania przez niego cząstki, jest nam doskonale (bezbłędnie)

znane z wcześniejszych badań i dla wyostrzenia problemu przyjmijmy, że p = 0,1.

Z rozkładu dwumianowego wiemy, że jeśli na licznik skierujemy n cząstek, to licznik ten zarejestruje k = O, 1, 2,...,n cząstek, przy czym każda z możliwości wystąpi z prawdopodobieństwem B(n, p) = (;)p'a

—p)"*,

k=0,1,2,...,n.

Załóżmy także, że znana jest nam oczekiwana liczba u = 100, będąca parametrem rozkładu Poissona n

P,(u)

=

e”*,

n=0,1,2,...,

określającego rozkład liczby n cząstek, jakie faktycznie docierają do nas z ak-

celeratora w zadanym przedziale czasu. Jakie jest prawdopodobieństwo P,(p, m)

504

9, Stopień racjonalnego zaufania

zarejestrowania liczby k cząstek, niezależnie od tego, ile cząstek padło na licznik? Aby odpowiedzieć na to pytanie, musimy skonstruować łączny rozkład prawdopodobieństwa P, „(p, ji) zdarzenia polegającego na dotarciu do licznika dokładnie n cząstek, z których k zostanie zarejestrowanych. Rozkład ten zadany jest, z definicji

prawdopodobieństwa warunkowego (2.14), iloczynem Px„(P;

L)

—

B.(n,

p)

P, (4)

n=0,1,...,

=

n

(;)p'a

—

p)"

M

n!

ęu

(9.4)

k=0,1,...,n.

Aby uzyskać poszukiwaną odpowiedź, tj. obliczyć brzegowy rozkład P,(p, 4) —

patrz (2.24) — musimy wykonać sumowanie względem zmiennej losowej n:

- Pe"

DO

P(P,W) = ) ,P(P,M) =), BA n=k

.

n=k

_ (pw

_„SZlUd=p)"*

_ (PL) k!

udp) _ (pu) k!

w miP2

nk)!

(pw

="a

_„q>

"2

(ll — p))”

m!

"=P(PL).

Otrzymaliśmy ponownie rozkład Poissona, ale z parametrem określonym przez iloczyn pji, co oznacza, że typowo nasz licznik będzie rejestrował 10 cząstek. Wykonajmy teraz jeden pomiar i niech liczba k zarejestrowanych przez licznik cząstek wynosi 15. Jaka liczba cząstek faktycznie przeszła przez licznik? Mimo że znamy globalną charakterystykę j« pierwotnego strumienia cząstek, faktyczna

liczba cząstek może być dla nas ważna, gdyż zajmujemy się np. wyznaczaniem

przekroju czynnego. Jeśli zechcemy do tego zagadnienia zastosować metodę największej wiarogod-

ności, to funkcja wiarogodności dla takiego problemu zadana jest przez rozkład dwumianowy

L(k=15;n)

= B_s(n, p=0,1)

= max(n).

Stosowne obliczenia doprowadzają nas do wniosku, że

h = k = 150. p

(9.5)

Wynik ten, bez wątpienia, jest bez sensu. Jeśli oczekiwana liczba j4 cząstek przechodzących przez licznik wynosi 100, a dyspersja tej liczby wynosi 10, to jeste-

śmy świadkami niewiarogodnej fluktuacji statystycznej, która po prostu niemalże

nie ma prawa się zdarzyć. Możemy to wyrazić jeszcze inaczej. Fluktuacje liczby zarejestrowanych przez licznik cząstek wynoszą:

D[k] = /pu = 3,2 i przenoszą się, z niezwykłym wzmocnieniem, na fluktuacje pierwotnego strumienia » l 3,2

pi] = -D[k]z= p

0,1

= 32,

podczas gdy my wiemy, że w istocie wynoszą one 10.

(9.6)

9.1. Prawdopodobieństwo i statystyka

Jest rzeczą niezwykle niepokojącą, że dla tego zagadnienia możemy

505

podać

alternatywne rozwiązanie, wywodzące się bezpośrednio z rachunku prawdopodo-

bieństwa. Możemy po prostu napisać twierdzenie Bayesa (2.34) w formie (2.16) dla zdarzeń losowych n oraz k

P.„(p, u) = Brln, p)P„(u) = P,(k, p, u) P(P. 1),

skąd

_

B,(n,

p)P„(u)

LEPR="RPu

jest poszukiwanym zmiennej wynosi:

rozkładem

00

zmiennej

m

0-5

losowej

(u(t — p)" "e *"P n. Wartość

oczekiwana dla tej

je

n n=ka-A(l-p ) = 2 nP,k,p0=2)_ _gikU-P)"'e"» 00

m

=

+

— (m=n—kh)

k

2,77 KU - p)"e""P =k+u(l — p)

1 jest to najlepsza ocena poszukiwanej liczby cząstek, które przeszły przez detektor. Jeśli podstawimy poprzednio podane liczby, znajdziemy, że (n) = 105, co jest

istotnie niezgodne z wynikiem (9.5) metody największej wiarogodności. Wariancja zmiennej losowej n wynosi

vin =) m=k- ud n=k

p))?P,(k, p, u) = ul — p).

Podstawiając wartości liczbowe, znajdujemy D [n] = V90 = 9,5, ponownie wynik

bardzo różny od (9.6), jaki podpowiada zasada największej wiarogodności.

T)

Rozważmy także metodę estymacji przedziałowej. ——

Przykład 9.1.3 Estymacja przedziałowa — licznik z czasem martwym Przypuśćmy, że dysponujemy licznikiem, który charakteryzuje się czasem martwym, tzn. po zarejestrowaniu pewnej cząstki musi on „odpocząć” przez pewien czas T, nim będzie mógł dokonać rejestracji następnej cząstki. Rozkład czasu t

oczekiwania na cząstkę promieniowania kosmicznego, w przybliżeniu niezależnych cząstek, zadany jest rozkładem wykładniczym z parametrem A, o którym założymy, że jest znany bezbłędnie i wynosi

1s”'. Rozkład

f(t; A, T) czasów oczekiwania,

jaki znajdziemy, stosując nasz licznik, będzie rozkładem wykładniczym, ale obciętym do czasów t większych niż wartość parametru 7:

flt;A,T) =Aexp(—A(t—T)),

T służących do oceny słuszności stwierdzenia A. Nie będziemy się jednak dręczyć badaniem sposobno-

Ści A| W; A W, jeśli przesłanki W, i W, są sprzeczne, gdyż z fałszywej tezy możemy wydedukować każdą konkluzję, o czym orzeka prawo Dunsa Szkota, a potwierdzenie

tego znajdujemy w wartości logicznej prawda zarówno dla zdania: (A A A) > A, jak i dla zdania: (A A A) > A.

Relacja sposobności nie musi istnieć między wszystkimi tezami. Jeśli naszą prze-

słanką W jest zdanie: światło z Księżyca biegnie do Ziemi przez jedną sekundę, a teza A to: Całkowita energia mechaniczna w polu siły zachowawczej jest stała, to nie mamy możliwości wypowiedzenia się co do sposobności A| W, gdyż nie ma najmniejszego logicznego związku między tymi dwoma stwierdzeniami. Stosując omówioną symbolikę, wprowadzimy drugi dezyderat teorii: Dezyderat 2: Jakościowa zgodność ze zdrowym rozsądkiem.

Przez ten postulat będziemy

na przykładzie. Przypuśćmy,

rozumieli

że usłyszeliśmy

następujące przesłanie, które wyjaśnimy

strzał i nieomal natychmiast potem wi-

dzimy następującą scenę: dwóch panów, X oraz Y, każdy z nich trzyma pistolet, a na ziemi

leży pan

Z.

Nasza

wiedza

W

to: pan

Z nie żyje,

a teza

A

brzmi:

strzelał

pan X. Oceniamy, że sposobność A|W jest taka sama jak sposobność tezy przeciw-

nej: A|W = strzelał pan Y |pan Z nie żyje. Jeśli jednak dostrzeżemy następujący fakt: W' = pistolet w ręku pana X dymi, to natychmiast stwierdzamy, że: A|W'AW

natomiast sposobność tezy przeciwnej do A maleje: A |W'AW

AJW,

Rozpatrzmy dodatkową tezę B: pan X miał porachunki z panem Z lub pan Y chciał zastrzelić pana X, a nawet panowie X, Y oraz Z spotkali się, aby pograć w brydza

z „dziadkiem”. Sposobność B|A A W tej tezy, zarówno w warunkach wiedzy W wraz

z informacją: strzelał pan X, jak również z dodatkową wiadomością o dymiącym pi-

516

9, Stopień racjonalnego zaufania

stolecie, czyli BIA A W' AW, są identyczne. Zdrowy rozsądek wymaga od nas byśmy uznali AABIWAW >AABIW.

W końcu trzeci i ostatni dezyderat, to dezyderat konsekwentnych, uczciwych i rzetelnych studiów zagadnienia: Dezyderat 3a: Jeśli konkluzję można wydedukować więcej niż jedną drogą, wszystkie metody muszą doprowadzić do tej samej wartości sposobności. Dezyderat 3b: Przy zgłębianiu problemu muszą być wzięte pod uwagę wszystkie istotne dla zagadnienia informacje, bez ich cenzurowania. Dezyderat 3c: Jeśli w dwóch lub więcej problemach stan wiedzy jest ten sam,

wszystkim tym problemom musi być przypisany ten sam poziom sposobności.

Te trzy dezyderaty będziemy określali łącznie mianem spójnego wnioskowania. Uzbrojeni w te przesłanki, przystąpimy do wyprowadzenia ilościowych praw rządzących rachunkiem stopnia racjonalnego zaufania.

9.2.3. Prawa operowania stopniem racjonalnego zaufania Na pierwszy ogień weźmiemy zagadnienie warunkowej sposobności A A B|W iloczynu tez A i B, w kontekście wiedzy W i związku tej sposobności ze sposobnościami każdej z tez oddzielnie. Proces decydowania o słuszności hipotezy A A B możemy wykonać w dwóch krokach: e decydujemy o słuszności tezy A, czemu odpowiada sposobność A|W,

e zaakceptowawszy ją, rozstrzygamy o słuszności tezy B i otrzymujemy sposobność BIAAW. Krok drugi wymaga komentarza z powodu przerzucenia tezy A do warunku. Moglibyśmy sądzić, że wystarczy sposobność uzyskaną w tym kroku zapisać w postaci B|W. Nie byłoby to słuszne, gdyż na to, by teza A A B była prawdziwa, oprócz tezy B musi być prawdziwa również teza A, co właśnie wyraża BIJA A W.

Rezultatem

tego rozumowania jest wniosek o tym, że sposobność

funkcją sposobności A|W oraz BIAAW: AAB|W=/f(AIW,BIAAW)=

f(x,y),

x=A|W,

A A B|W jest

y=B|AAW.

(9.9)

Gdybyśmy zamiast powyższej relacji zaproponowali

A ABIW = f(A|W, B|W),

nie byłoby to zgodne z dezyderatem jakościowej zgodności ze zdrowym rozsądkiem. Sposobność A|W może być istotna, jak i też sposobność B|W. Natomiast B|A A W

może być zarówno mała, jak i duża. Możemy się o tym przekonać, rozważając następu-

jący przykład. Możliwość, że następna spotkana osoba będzie miała błękitne oczy, na pewno nie jest mała. Podobnie, możliwość, że następna spotkana osoba będzie miała ciemne włosy, także nie jest znikoma. Również możliwość, że taka osoba będzie miała

i błękitne oczy, i ciemne włosy jest całkiem rozsądna. Natomiast z faktu dość istotnych

9.2. Sposobność i jej miara

517

sposobności, że następna spotkana osoba będzie miała prawe oko błękitne oraz następna

spotkana osoba będzie miała lewe oko kasztanowe nie wynika, że sposobność napotkania następnej osoby z prawym okiem błękitnym a lewym kasztanowym będzie również znacząca.

Badanie słuszności tezy A A B możemy przeprowadzić także w inny sposób: e decydujemy o słuszności tezy B, czemu odpowiada sposobność B|W,

e zaakceptowawszy ją, rozstrzygamy o słuszności tezy A i otrzymujemy sposobność A|BAW. Prowadzi nas to do wniosku, że zamiast (9.9) równie dobrze możemy napisać

A A B|W — f(BIW, A|B AW). Widzimy, że do określenia sposobności A A B|W

B|A NW, B|W oraz A|B A cjalnych funkcji. Okazuje się Pergamon Press, New York typu A=B A=W lub A

(9.10)

mamy

cztery wielkości: A|W,

W, z których możemy utworzyć łącznie jedenaście poten(M. Tribus, Rational Description, Decisions and Designs, 1969), że poddanie tych funkcji różnym skrajnym testom = B pozostawia tylko dwie z nich, właśnie (9.9) i (9.10)

jako rozsądnych kandydatów na sposobność A A B|W.

Co możemy powiedzieć o funkcji f(x, y)? Z dyskusji drugiego dezyderatu, a także

z propozycji ciągłości sposobności wynika, że funkcja ta musi być ciągłą, monotonicznie niemalejącą funkcją obu swych argumentów.

Włączymy teraz do naszych rozważań dezyderat 3a konsekwentnej spójności rozu-

mowania i zastosujemy go do sposobności A A BAC|W.

iloczyn trzech tez A A B AC

Na mocy prawa łączności,

rozważymy jako A A (BAC) 1

zastosujemy do niego

dwukrotnie prawo (9.9)

AAN(BAO)|W = f(BACIW,AJBACAW)

= J(f(CIW, BICAW),AJBACAW)= gdzie wprowadziliśmy oznaczenia: x =C|W,y=B|CAW

Jednakże iloczyn A A B AC

(f(x, 7), z),

orazz=A|BACAW.

możemy zapisać także jako (A A B) AC, co implikuje

związek (AAB)JAC|W=Jf(CIW,

AABICAW)

= f(C|W, f(BICAD,A|BACAW)

= f(x, f(y,2)).

Łącząc te dwa wyrażenia, otrzymujemy równanie funkcyjne, wyrażające prawo łączności w najbardziej ogólnej formie

IFG,y),2)

Fx, FV, 2)).

(9.11)

W dodatku C pokazujemy, że rozważenie tej równości funkcyjnej prowadzi do następującego związku między sposobnością A A B|W i sposobnościami A|W oraz BJAAW:

g(A A BIW) = g(A|W)g(B|A AW),

(9.12)

gdzie funkcja g jest dodatnia i może albo monotonicznie rosnąć, albo monotonicznie maleć.

Wymaganie jakościowej zgodności ze zdrowym rozsądkiem nakłada na funkcję g

pewne dodatkowe ograniczenia. Przypuśćmy, że w świetle wiedzy W propozycja B jest

518

9, Stopień racjonalnego zaufania

absolutnie pewna. Wtedy sposobność A A B|W musi być tożsama ze sposobnością A|W. Również wiedza AA W nie wnosi nic nowego w stosunku do wiedzy W przy roztrząsaniu

tezy B: B|LA AW

= B|W. Podstawiając do prawa (9.12)

g(AIW) = g(AIW)g(B|W), stwierdzamy, że jeśli tylko g(A|W) jest różne od zera, to dla tezy B gwarantowanej w warunkach W:

g(B|W)=l.

(9.13)

Przypuśćmy teraz, że opinia B pod warunkiem W jest absolutnym fałszem. Wtedy nie tylko A A B = B, ale również B|A AW = BJW, gdyż wszelka uzupełniająca wiedza A, o ile nie jest sprzeczna z W, nie może zmienić naszych konkluzji w stosunku do B. Sięgając ponownie do prawidła (9.12), znajdujemy warunek, który musi zawsze

obowiązywać, bez względu na wielkość g(A|W), o ile jest ona różna od jedności:

g(B|W) = g(A|W)g(B|W). Równość tę możemy

spełnić jedynie w dwóch przypadkach:

albo wielkość g(B|W)

jest równa zeru, albo jest ona równa nieskończoności. Jeśli przyjmiemy, że wynosi ona

zero, wtedy funkcja g rośnie monotonicznie od zera dla tezy absolutnie wykluczonej do

jedności dla tezy absolutnie pewnej. Jeśli przyjmiemy konwencję, że tezie nieprawdziwej

odpowiada nieskończona wartość g, to funkcja ta monotonicznie maleje do jedności dla tezy prawdziwej. Jest rzeczą konwencji, które z tych dwóch zachowań przyjmiemy. Umówimy się, że będziemy stosować pierwszą z tych możliwości, tzn. dla tezy B fałszywej w warunkach W:

g(B|W) =0,

(9.14)

ponieważ przy wyborze drugiej treść teorii pozostaje taka sama — wystarczy, że zamiast funkcji g przyjmiemy funkcję g, = 1/g, aby powrócić do pierwotnego wyboru.

Zajmiemy się teraz drugim prawem, rządzącym związkiem między sposobnością A|W a sposobnością tezy przeciwnej do A. Związek taki powinien istnieć, bo jeśli mało możliwa jest pewna sugestia, to sugestia do niej odwrotna powinna mieć duże szanse, że będzie prawdziwa. Zaproponujemy ten związek w formie

g(AIW) = F (g(A |W)).

(9.15)

Konwencje (9.13) i (9.14) wymuszają dość oczywiste ekstremalne wartości dla funkcji

F: F(0) = 1 oraz F(1) =0. Inną jej własność uzyskamy, stosując tę funkcję do obu

stron równania (9.15):

_

F (g(AIW)) = F(F (g(AIW))).

Na mocy wymagań stawianych funkcji F' prawa strona tego wyrażenia powinna zwrócić nam wewnętrzny argument g(A siebie samej

|W), co oznacza, że funkcja ta musi być odwrotna do

F (FQ2))=x.

(9.16)

Nie są to jednak wystarczające własności do określenia najbardziej ogólnej formy

funkcji F. Musi być ona także zgodna z prawem (9.12), które implikuje bardziej skomplikowaną postać równania funkcyjnego.

9.2. Sposobność i jej miara

519

Rozważmy prawo mnożenia sposobności (9.12) w odniesieniu do dwóch tez: A A B oraz A A B. Wykorzystując je, znajdujemy

g(AABIW) =g(A|W)g(B|A AW), g(A A B|W) = g(A|W)g(BJA AW).

(9.17) (9.18)

Stosując (9.15) do równania (9.17), możemy je zapisać w równoważnej

postaci

g(A A B|W) = g(A|W)F (g(BIA AW)), a wykorzystując (9.18), otrzymamy

g(A A BIW) g(A A BIW) = g(A|W)F (i g(AIW)

|

Ponieważ tezy A oraz B w (9.17) komutują, więc związek ten możemy równie dobrze

zapisać jako

g(A A BIW) = g(B|W)g(A|B AW),

a stąd

g(A A BIW) = g(B|W)F ( lub też

a)

AIW)F | ————

S(AW)

( g(AIW)

g(A A

2)

g(B|W)

(o)

1 =o(BIW)F | ——

SZT |

2(BIW)

1.

Ta równość musi być słuszna dla wszystkich A oraz B, w szczególności także dla B = AND, gdzie D jest dowolną nową sugestią. Jednakże, przy takim doborze tezy B, otrzymujemy A A B = B oraz, na mocy (9.8): BA A=A,

skąd

AWF (EG) g(AIW) = sewF (EG) g(BIW) >.

F (g(B|W)) I — ( g(AIW) )

AIW)E | ———

84AD

CLJ IW) ( g(BIW)

o(BIW)F | —————

lub wprowadzając oznaczenia x = g(A|W), y = g(B|W):

„F(-2) =>F(22). x y

(9.19)

Otrzymaliśmy równanie funkcyjne na nieznany związek F łączący sposobności prze-

ciwnych tez. W dodatku D pokazujemy, że rozwiązaniem tego równania jest funkcja F spełniająca związek F"(u)+tu"=l,

implikujący następującą zależność między sposobnościami A|W i A|W:

s" (AIW) + g"(AIW) =.

(9.20)

Sporządźmy bilans tego, co dotychczas udało się nam osiągnąć. Łączność iloczynu logicznego wymaga, aby pewna funkcja g(x) sposobności x = A|W spełniała równa-

520

9. Stopień racjonalnego zaufania

nie (9.12). Ta sama funkcja musi także spełniać prawo (9.20) dodawania sposobności. Jednakże prawo mnożenia, po podniesieniu stronami do m-tej potęgi, możemy zapisać w formie

g'(AAB|W)

=g"(A|W)g"(BIA AW)

1 widzimy, ze wartość wielkości m jest faktycznie nieistotna. Jakąkolwiek wartość byśmy wzięli, zawsze możemy wprowadzić funkcję

P(x) = g" (x), w terminach której nasze prawa przyjmą postać reguły mnożenia

P(AAB|W) oraz reguły dodawania

==P(A|W)P(BIAAW)

=P (B|W)P(A|BAW) _

P(A|W) + P(AI|W)=1.

(9.21)

(9.22)

Nie zmniejsza to ogólności rozważań, gdyż jedyny warunek, jaki nałożyliśmy na funk-

cję g(x), był warunkiem monotonicznego narastania od zera dla tezy niemożliwej do

jedności dla tezy pewnej. Własność ta zachowuje się dla funkcji P(x) przy dowolnej

wartości parametru m, o ile jest on większy od zera, co także jest spełnione. Czy te dwie reguły wystarczą do znalezienia sposobności dowolnego zdania? Znaj-

dziemy, jako przykład, sposobność tezy danej sumą logiczną tez A oraz B:

P(AVB|W) =P (A A B|w) =|—P(AAB|W)=l1

— P(AIW)P(BIA AW)

= | — P(AJW) (1 — P(BJA AW))

= |] — P(A|W) + P(A|W)P(B|IA A W) = P(AIW) + P(A ABIW) = P(A|W) + P(BIW)P(A|B AW)

= P(A|W) + P(B|W) (1 — P(A|B AW)) = P(A|W) + P(B|W) — P(B|W)P(A|B AW) = P(A|W) + P(B|W) — P(A A BIW) czyli ostatecznie

P(A v B|W) = P(AJW) + P(B|W) — P(A A B|W).

(9.23)

Jeśli badane tezy A oraz B są wzajemnie sprzeczne w świetle posiadanej wiedzy W, tzn. A A B

d

-

jest tezą fałszywą, wtedy na mocy konwencji (9.14) wynik ten upraszcza się

P(Av B|W) =P(A|W) + P(BIW).

(9.24)

W podrozdziale 9.2.1 powiedzieliśmy, że działania logiczne iloczynu i negacji wy-

starczają do skonstruowania wszelkich innych operacji logicznych. Tym samym dwa nasze prawa: mnożenia (9.21) i dodawania (9.22), wystarczają do określenia sposob-

ności dowolnej innej tezy, bez względu na stopień jej komplikacji. Wystarczy, że tezę złożoną z n zdań rozłożymy na 2” fundamentalnych tez, a stosując łańcuchowo regułę

9.2. Sposobność i jej miara

521

mnożenia, określimy sposobność każdej z nich. Ponieważ tezy fundamentalne są logicz-

nie rozłączne, więc po zbudowaniu badanego zdania z tych tez, znajdziemy sposobność tego zdania, stosując prawo dodawania. I tak, dla n = 5, mamy 2” = 32 elementarnych tez, których sposobność musimy

określić z przesłanki

W, a to pozwoli nam, metodą

prostej algebry, przypisać sposobność każdemu z 2** = 4294967 296 możliwych zdań,

jakie możemy skonstruować.

9.2.4. Ku prawdopodobieństwu Jakkolwiek postać uzyskanych przez nas praw (9.21) i (9.22) rządzących sposobnościami

może wydawać się znajoma, dwie okoliczności wskazują na to, że zadanie nasze nie jest jeszcze zakończone. Po pierwsze, chociaż nasze reguły ustalają ograniczenia na to, jakie relacje między funkcjami P sposobności tez są dopuszczalne, dostarczają one jednocześnie olbrzymiej swobody w wyborze funkcji g, a co za tym idzie, także funkcji P. Po drugie, nie możemy naszych reguł zastosować do żadnego praktycznego przypadku, gdyż reguły te nie mówią nic o tym, jak przetworzyć informacje zawarte w przesłance W na konkretne wartości wielkości P najprostszych tez, jakie pojawiają się na wstępie

każdego zagadnienia. Dopiero gdy takie liczby będziemy mieli, możemy odpowiadać na następne, bardziej skomplikowane pytania. Rozwiązanie tej trudności polega na odwołaniu się do dotychczas nie wykorzystanego przez nas dezyderatu 3c.

Rozważmy zagadnienie określenia sposobności A; V A> V Aa|W, że przynajmniej jedna z trzech tez jest słuszna. Możemy to wykonać, stosując prawo dodawania (9.23) dla tezy (A; V Aa) V A3

P(A, Y A> V A3| W) = P(A; V A>[ W) + P(A3| W) — P((A: V A>) A A3IW)

= P (Ay V Az] W) + P(A3| W) — P((A; A 43) V (Az A A3)| W) 1 ponownie to samo prawo dla tezy A; V A> oraz (A; A A3) V (A> A 43)

P(A, V AV Az| W) = P(A,|W) + P(Az| W) + P(Az|W) — P(A: A A>| W) — P(ArA Az| W) — P(Aa A A3l W) + P(A1 A A> A A3| W). Przypuśćmy, że informacje zawarte w W implikują, że tezy A; wzajemnie się wykluczają,

co oznacza, że każda teza postaci A; A A; jest fałszywa, jeśli tylko i £ j. Takie założenie powoduje, że cztery ostatnie wyrazy w powyższej sumie znikają, a wtedy

P(A: V A> V A3|W) = P(A;|W) + P(A»|W) + P(A3IW). Czytelnik łatwo się przekona, stosując metodę indukcji matematycznej, że dodając następne tezy A4, As,..., Ay, spełniające warunek wzajemnego wykluczania, powyższe wyrażenie uogólnia się do:

P(A,VA„V'--VA„|W)=) P(AGIW), k=|

1, A3,..., Ay różniący się od pierwszego jedynie tym, że dwie

pierwsze tezy są zamienione miejscami. Sposób przypisywania indeksów tezom jest oczywiście arbitralny, więc nie ma znaczenia, czy indeks l przypiszemy tezie pierwszej,

czy też drugiej. Jasne jest, że jakąkolwiek wiedzę posiadamy w odniesieniu do tezy A; w pierwszym problemie, co wyznacza dla niej wartość

P(A;|W),

to tę samą wiedzę

posiadamy w odniesieniu do tezy A>, co wyznacza dla niej wartość P' (A,|W), która musi być identyczna z wartością P(A,;|W). Podobnie musi obowiązywać

P(A>|W)

=

samym

w problemie

P'(A1|W), bez względu na to, jak realne bądź nierealne mogę być obie rozważane tezy. Załóżmy teraz, że wiedza W nie wprowadza rozróżnienia między obiema tezami A; 1 A>: jeśli mówi coś na temat jednej z nich, to mówi dokładnie to samo na temat drugiej, a tym stan naszej wiedzy o każdej z tez w zestawie A;, A>, A3,..., Ay

pierwszym jest dokładnie taki sam jak stan naszej wiedzy o każdej z tez w zestawie

Ai, A>, A3,..., Ay w problemie drugim. Przywołajmy dezyderat 3c rzetelnych studiów, który mówi, że jeśli w dwóch problemach stan naszej wiedzy jest taki sam, to obu problemom musi być przypisany ten sam poziom sposobności. Oznacza to, i tylko to, że musi obowiązywać P(A,|W) = P'(A,|W) dla wszystkich wartości indeksu i. Podstawiając ten wynik do równania P(Az|W) = P'(A,|W), znajdujemy, że wartości funkcji P dla tezy A;

oraz

A; muszą być identyczne:

P(A>|W)

=

P(A,|W).

Stąd już tylko

krok dzieli nas od stwierdzenia, że jeśli wprowadzimy trzeci problem, z tym samym

zestawem tez, ale ustawionych w dowolnej kolejności 1 wiedzą W, która nie wyróżnia

ani nie dyskryminuje żadnej z nich, to wartości funkcji P sposobności wszystkich tez

muszą być identyczne. Ponieważ tezy te jednocześnie wyczerpują wszystkie możliwości, więc z (9.26) mamy natychmiast P(A:IW) = Za Keynesem

l ,

i=1,2,...,N.

(9.27)

wynik ten zwany jest w literaturze zasadą nieistotności (Principle of

Indiffjerence), oczywiście ze wskazaniem na przesłankę W. Rozważymy

teraz jej konsekwencje.

Niech będzie dana urna, której zawartość to

N identycznych co do wielkości, koloru, wagi, temperatury, gładkości powierzchni, ...

ponumerowanych kul, z których K, o indeksach i, ip, ...,ik to kule białe, a reszta M =

N — K kul to czarne. Nie mamy również żadnej wiedzy co do tego kiedy, kto, w jakiej kolejności i w jaki sposób umieścił kule w urnie. Przywołujemy na pomoc sierotkę, która

9.2. Sposobność i jej miara

523

z zawiązanymi oczami wydobywa z urny jedną kulę. Zdefiniujmy tezę A„: wyciągnięto kulę o numerze m, gdzie m = 1,2,..., N. Nasza wiedza W, zawarta w drugim, trzecim

1 czwartym zdaniu akapitu, nie pozwala nam na preferencyjne traktowanie którejkolwiek

z owych N tez. Dlatego też wyrażenie (9.27) określa wartości funkcji P(A,|W) dla wszystkich tez. Zdefiniujmy teraz następną tezę B: z urny wydobyto kulę białą. Teza ta

jest logiczną sumą rozłącznych tez A„: B=A,VAĄ,V::: funkcji P(B|W)

znajdujemy z dodawania (9.25):

VA;,, ik» dlatego też wartość

K P(B|W) = P(A; V Az V-*-VAGIW) = ) , P(A,„[W) = y: K

(9.28)

m=l

Przykład ten rozwiązuje jednocześnie dwa postawione przez nas na wstępie pro-

blemy. Pokazuje, jak w jednym szczególnym przypadku, który możemy teraz uogólnić, informacja zawarta w przesłance W prowadzi nas do konkretnych wartości numerycz-

nych dla funkcji P, dzięki czemu możemy rozpatrywać praktyczne zagadnienia. Drugi wniosek jest dość oczywisty: wiedza i prawa dodawania i mnożenia, które zastosowaliśmy, doprowadziły nas do wartości dla ostatecznych funkcji P(A,|W), a nawet bardziej

skomplikowanej funkcji P(B|W), a nie pierwotnych sposobności A,|W czy też B|W. Oznacza to, że słuszniejsze będzie odwrócenie zagadnienia i powiedzenie, że to sposobności są dowolnymi, monotonicznymi funkcjami jednoznacznie wyznaczalnych wielkości P, a nie odwrotnie.

Widząc, że teoria stopnia racjonalnego zaufania może być całkowicie wyrażona za

pomocą wielkości P, możemy wprowadzić dla nich specjalny termin: od tego momentu wielkości te będziemy

nazywali prawdopodobieństwami,

a termin sposobność, jako

pomocniczy, usuniemy w niebyt i nie będziemy do niego więcej wracali. Zrekapitulujmy uzyskane rezultaty. Prawo (9.22) oraz (9.24) wraz z konwencjami

(9.13) i (9.14) to zestaw aksjomatów podrozdziału 2.2, które konstytuują teorię klasycznego rachunku prawdopodobieństwa. Tym samym nasza nowa teoria „dziedziczy” cały formalny dorobek teorii Kołmogorowa, przedstawiony w poprzednich rozdziałach.

Jednakże, w zagadnieniach praktycznych, nowa teoria nie odwołuje się w żaden sposób do częstoŚciowej interpretacji, a opiera się na logicznym wnioskowaniu z posiadanych

przesłanek. Gdy przesłanki te są dostatecznie bogate w informacje, może się zdarzyć, że będziemy mogli przesądzić o słuszności bądź fałszu badanej tezy. Gdy wiedza nasza nie

jest wystarczająca do definitywnego rozstrzygnięcia, o słuszności tezy możemy jedynie

wypowiedzieć się, określając jej poziom prawdziwości, czyli stopień racjonalnego zaufania. Prawdopodobieństwo, którym wtedy operujemy, nie ma żadnego związku z naturą badanego zjawiska, a przedstawia przetłumaczone na liczby nasze wewnętrzne przekonanie o stopniu słuszności każdej głoszonej tezy, do której zechcemy nową metodę

zastosować.

Zauważmy także, że wynik (9.28) to wspomniana w podrozdziale 9.1 klasyczna definicja prawdopodobieństwa, interpretowana przez późniejszych badaczy w duchu często-

Ściowym. Rezultat ten jest także zapowiedzią, że całą konwencjonalną teorię powinniśmy odnaleźć we współczesnej.

524

9. Stopień racjonalnego zaufania

—— 9.3. Wnioskowanie probabilistyczne Na silny logiczny związek między prawdopodobieństwem P(A|W)

tezy A a wiedzą W

wskazuje przykład podany przez wspomnianego wcześniej Jaynesa (E. T. Jaynes, Cle-

aring up Mysteries — The Original Goal, w Maximum-Entropy and Bayesian Methods, J. Skilling (red.), Kluwer, Dordrecht 1989). Rozważymy ponownie urnę wypełnioną identycznymi kulami w liczbie N, wśród których mamy K kul białych, a reszta to kule czarne. Wiedzę tę oznaczymy symbolem W. Szansa P(B;|W) wydobycia białej kuli w

pierwszym losowaniu określona jest związkiem (9.28). Jeśli losowanie prowadzimy bez zwracania, wylosowanie takiej lub innej kuli w pierwszy kroku ma, niewątpliwie, wpływ na szansę wylosowania białej kuli w powtórnym losowaniu. Analizując ten wpływ, nie

jest nam jednak łatwo oderwać się od sprawczego charakteru faktu fizycznego usunięcia

jednej kuli z urny. Aby uzyskać jaśniejszy wgląd w problem i wyzbyć się fałszywych tropów, odwróćmy zagadnienie. Wylosujmy pierwszą kulę i bez sprawdzania koloru odłó-

żymy ją do kieszeni. Sięgnijmy ponownie do urny i wydobądźmy z niej następną kulę. Przypuśćmy, że jest to kula biała. Ile wynosi prawdopodobieństwo P(B,|B A W), że w

naszej kieszeni schowaliśmy białą kulę? Tym razem, przy próbie sformułowania odpowiedzi, duszy naszej nie targają komplikacje związane z przyczynową relacją — wszak

wynik drugiego losowania nie może mieć fizycznego wpływu

na losowanie w pierw-

szym kroku! Brak relacji fizycznej nie uniemożliwia nam jednak uzyskania precyzyjnej odpowiedzi na postawione pytanie. Nie będziemy jej tu podawać w nadziei, że Czytelnik spróbuje ją uzyskać sam, a gdyby miał trudności, powinien powrócić tu po przeczytaniu podrozdziału 9.3.1. My rozpatrzymy jedynie szczegółny przypadek omawianej sytuacji. Jeśli wśród wszystkich kul w urnie tylko jedna jest biała, to z pełną odpowiedzialnością możemy

twierdzić, że kula spoczywająca w naszej kieszeni jest czarna! Przykład ten

z całą mocą ukazuje na dedukcyjny, a nie fizyczny (np. częstościowy) charakter pojęcia

prawdopodobieństwa. Nowa interpretacja pojęcia prawdopodobieństwa ma niezmiernie głębokie konsekwencje. Przede wszystkim, nie ma w nim miejsca na pojęcie „losowości”. Pod tym po-

jęciem, w mniemaniu nowej teorii, ukrywana jest, łagodnie mówiąc, zadufana ignorancja badacza. Zdanie: Nawet gdybyśmy próbowali zbudować maszynę, rzucającą monetą z do-

skonałą prawidłowością, nie moglibyśmy przewidzieć wyników indywidualnych rzutów (H. Cramer, ibid.) w nowej teorii jest przykładem tupetu i braku pokory — jeśli nie

potrafimy czegoś zrozumieć lub przewidzieć, to na Naturę zrzucamy odpowiedzialność

za naszą intelektualną ułomność, twierdząc, że taka jest właśnie natura zjawiska. Wraz z pojęciem „losowej natury zjawiska” znika „zmienna losowa” i cały statystyczny ansambl, z którego owa zmienna jest wybierana aktem eksperymentalnym. Stąd też przed

teorią odkrywają się nowe pola zastosowań. Uzasadnione staje się zadawanie pytań w rodzaju: jakie jest prawdopodobieństwo,

że gdzieś we Wszechświecie istnieje inny układ

planetarny? Rozważenie takiej kwestii w ramach konwencjonalnej teorii zawsze będzie

wysoce spekulatywne z formalnego punktu widzenia, gdyż musi myślowo dopuszczać istnienie nieskończonej liczby wszechświatów takich jak nasz, który z definicji obejmuje cały świat. Rezultatem zanegowania populacji” jest utrata racji bytu wielkości

9.3. Wnioskowanie probabilistyczne

525

statystycznej, jaką jest estymator z całą menażerią jego własności 1 statystyki testowe, co czyni bezprzedmiotowymi różne metody statystycznej oceny parametrów rozkładów,

czyli metody momentów, największej wiarogodności, w końcu metody testów i weryfikacji hipotez. Niewinna, z pozoru, zmiana koncepcji prawdopodobieństwa prowadzi

faktycznie do wielkiej rewolucji w dziedzinie zastosowań, a jednym z jej owoców jest anihilacja całej statystyki matematycznej. To narzędzie w ramach nowej teorii staje się

zbędne, przy zachowaniu, naturalnie, bogactwa wyników matematycznych, jakie w ramach tej dziedziny uzyskano w czasie stuletniego jej rozwoju. Nie oznacza to jednak,

że stajemy bezradni wobec kolosalnej liczby problemów, które dotychczas umieliśmy rozwiązać. Nowa teoria dostarcza nam nowych narzędzi do osiągnięcia tego celu.

9.3.1. Twierdzenie Bayesa Przystępując do oceny stopnia racjonalnego zaufania wobec tezy H, nigdy nie działamy w próżni. W praktyce naukowej mamy zazwyczaj jeszcze dwie dodatkowe informacje.

Są to: dane D uzyskane w wyniku eksperymentu oraz pewna nagromadzona wiedza

W o zagadnieniu, którego hipoteza H dotyczy (przez hipotezę H będziemy rozumieli zdanie stwierdzające słuszność tej hipotezy). Rozdział między danymi a wiedzą jest często podyktowany wygodą: wyniki z wcześniejszego eksperymentu możemy uznać

za element nagromadzonej wiedzy lub też połączyć z zestawem naszych danych. Samo sformułowanie osądu P(H|D A W) nie może jednak wybiórczo traktować żadnego

z warunków D lub W, gdyż byłoby to w sprzeczności z dezyderatem 3b spójnego wnioskowania. Głównym narzędziem takiego wnioskowania w ramach nowej teorii jest prawo (9.21)

mnożenia prawdopodobieństw

P(H A D|W) = P(H|W)P(DIH AW) = P(D|W)P(H|DAW), z którego wynika

P(H|DAW) = P(DIH AW)

P(H|W)

P(DIW)

(9.29)

Jeśli mamy więcej niż jedną hipotezę, a wszystkie one, w Świetle wiedzy W, wykluczają się wzajemnie, tzn. P(H, AH,|W)

=0,

i £J,

oraz wyczerpują wszystkie możliwości, czyli zdanie: H, V H;V...V H, ma wartość logiczną prawda, wtedy na mocy praw algebry Boole'a i prawa dodawania (9.22) możemy

rozwinąć mianownik wyrażenia (9.29):

P(DIW) = P(DA(H,VH>...H,)|W) = P((DAH)vV(DAH)V...(DAH>)|W)

= > P(DAH,|W) = | P(D|H; A W)P(H,|W), i=l

i=l

(9.30)

526

9, Stopień racjonalnego zaufania

co prezentuje Czytelnikowi zapowiadany wcześniej mechanizm równoważny z rozkładem na zdarzenia elementarne w teorii Kołmogorowa. W związku tym rozpoznajemy generalizację (wolną od ograniczenia wielkości H, do zdarzeń losowych) znanej nam formuły pełnego prawdopodobieństwa z podrozdziału 2.8. Rozumowanie prowadzone w przeciwną stronę, wiodące do usunięcia zależności od H,; i pozostawienia jedynie zależności od D, zwane jest, w języku nowej teorii, procedurą marginalizacji względem D. Wykorzystując ten wynik, otrzymujemy twierdzenia Bayesa

P(H,|DAW)

= P(D|H, AW)—

P(H,|W)

5, P(DIH, AW)P(H,|W) i=1

(9.31)

Rezultat ten jest dobrze znany konwencjonalnej teorii prawdopodobieństwa (patrz (2.35)), gdzie także występuje pod tym mianem. Jego znaczenie jest tam jednak marginalne, gdyż jego zastosowania są ograniczone do sytuacji, w której wielkości D oraz H są zdarzeniami losowymi. Nowa interpretacja prawdopodobieństwa poszerza wielce zakres zastosowań, gdyż

wielkość H może być np. zdaniem: we Wszechświecie są trzy rodziny neutrin. W klasycz-

nej teorii taka hipoteza nie jest dopuszczalna, z uwagi na to, że nie możemy prowadzić procesu losowania z populacji, w której byłyby różne liczby rodzin neutrin, aby następnie zbudować estymator tej wielkości i zastanawiać się nad np. jego wartością oczekiwaną. Wszechświat jest tylko jeden i jakakolwiek liczba rodzin neutrin by w nim była, liczba ta

jest raz na zawsze ustalona i nie podlega rozkładowi. Mówiąc swobodniejszym językiem, wielkości takie jak P(H|...)

opisują w klasycznym podejściu fluktuacje wielkości H,

a przy częstoŚciowej interpretacji prawdopodobieństwa istnieje pewna klasa wielkości,

które nie podlegają fluktuacjom. Do nich należy liczba rodzin neutrin we Wszechświe-

cie, czas życia r izotopu uranu **U, masa antyneutrina elektronowego i wiele, wiele innych, w tym długość strony pomiarowa, która zależy od wzdłuż następującej drogi. Z struowana jest wielkość s(D)

zawierającej niniejsze zdanie. Fluktuuje jednak wielkość liczby rodzin, dlatego konwencjonalna analiza postępuje danych D, traktowanych jako wielkość losowa D, konzwana statystyką. Następnie, przy założeniu słuszności

hipotezy H, ze znanego rozkładu f(D|H)

znajdowany jest rozkład g(s|H) tej staty-

styki. Ostatecznie obliczana jest wielkość s(D), jaką statystyka przybiera na uzyskanej próbce i ta liczba rozważana jest w kontekście wszystkich możliwych wartości, jakie

statystyka s może przybrać na wszystkich możliwych danych D przy założeniu słusz-

ności hipotezy H. W wyniku tej konfrontacji podejmowana jest decyzja o możliwości odrzucenia hipotezy. Rezultatem takiego postępowania są zdania takie jak: w świetle uzyskanych danych

nie ma podstaw do odrzucenia hipotezy H na takim to a takim poziomie zgodności lub istotności (w zależności od sytuacji), lub też: dla parametru teorii określiliśmy przedział

ufności na pewnym poziomie ufności, mając na myśli stwierdzenie, że przedział ten za-

wiera z zadanym prawdopodobieństwem poszukiwany parametr, co wcale nie oznacza, że określiliśmy prawdopodobieństwo znalezienia tego parametru w tym przedziale! Różnica między dwoma ostatnimi stwierdzeniami jest dla przeciętnego użytkownika staty-

9.3. Wnioskowanie probabilistyczne

527

styki matematycznej scholastyczna i dopiero dła głęboko szkolonych — fundamentalna.

Rasowy

fizyk, wyrwany

ze snu, oceni prawdopodobieństwo,

że masa bozonu Higgsa

jest większa niż 1 TeV, jako bardzo małe (zakładając, że w ogóle taki obiekt jak bozon

Higgsa istnieje), co w jego ustach będzie herezją, jeśli jest on ortodoksyjnym, praktykującym statystykiem. Procedury i język statystyki matematycznej są w głębokiej nie-

zgodzie z naszym prostym zdroworozsądkowym zrozumieniem zagadnienia, co dobrze

widać u każdego początkującego amatora tej dziedziny, któremu trudno jest przyjąć taką gimnastykę umysłową za swoją. Twierdzenie Bayesa (9.31) w nowym środowisku interpretacyjnym czyni, że nie tylko na stare, dobrze znane problemy możemy spojrzeć nowym okiem, ale także możemy rozpatrywać nowe. Twierdzenie to pozwala rozważać prawdopodobieństwo różnych liczb

rodzin neutrin we Wszechświecie, pozwala zadać pytanie o szansę, że masa bozonu Higgsa jest większa niż 1 TeV, a także wiele, wiele innych pytań, włącznie z tymi

najprostszymi, odnoszących się do rzutów monetą i wydobywania kul z urny. Abyśmy mogli obliczyć prawdopodobieństwo hipotezy występujące po lewej stronie twierdzenia (9.29) lub (9.31), musimy znać trzy wielkości występujące po prawej stronie równości. Najprostsza z nich to P(D|H AW), którą uzyskujemy, podstawiając dane D do rozkładu znalezionego przy założeniu słuszności hipotezy H, co daje nam dobrze znaną funkcję wiarogodności £ z podrozdziału 7.1. Następny czynnik to

P(H|W). Określa on prawdopodobieństwo hipotezy H w śŚwietle dotychczasowej wie-

dzy, a więc niezależnie od danych D. Zwolennicy klasycznej teorii określają go mianem prawdopodobieństwa a priori. W nowej teorii odchodzi się od tego nazewnictwa i w li-

teraturze angielskojęzycznej używany jest powszechnie termin prior probability lub po

prostu prior. W mniemaniu autora, udatnie sens tego terminu w kontekście twierdze-

nia Bayesa można oddać, mówiąc o prawdopodobieństwie zaczątkowym, zalążkowym, zawiązkowym bądź w końcu zarodkowym, przy czym pierwsze z tych określeń jest za-

pewne najzgrabniejsze. Jeśli będziemy chcieli użyć rzeczownika, powiemy po prostu o zaczątku P(H|W). Wielkość P(D|W) to, technicznie rzecz biorąc, zaczątkowe praw-

dopodobieństwo danych D, jakie znajdziemy w eksperymencie i prawdopodobieństwo to moglibyśmy określić na mocy wiedzy W, ale bez odwoływania się do hipotezy H.

Wielkość ta jednak nie jest istotna dla dalszych rozważań, jako że nie zależy ona od

H, 1 jest zwykłym czynnikiem normalizacyjnym, gwarantującym sumowanie się praw-

dopodobieństw P(H;|D A W) wszystkich hipotez do jedności. Wielkość P(H|D AW) także ma swoje własne imię. Klasycy mówią o nim jako o prawdopodobieństwie a posteriori, a dla zwolenników współczesnej teorii, aby uciec od skojarzeń, jest to, oczywiście

w języku angielskim, posterior probability lub też krótko i rzeczownikowo: posterior.

Autor chciałby tu zaoferować Czytelnikowi terminologię: prawdopodobieństwo wynikowe.

Wszystkie te terminy charakteryzuje pewna słabość, wynikająca z nieodłącznego poczucia sekwencji czasowej, jaką one implikują. Jeśli pozostajemy w kręgu zastosowań

do fizyki, odczucie to jest pogłębiane przez nieuniknioną dla naszych schematów myślowych potrzebę poszukiwania przyczynowości. Te koncepcje nie mają żadnego związku

z równością Bayesa. Skojarzenia czasowe oznaczają jedynie to, że pewne elementy wy-

528

9, Stopień racjonałnego zaufania

stępują wcześniej, a inne później w toku naszego rozumowania. Na twierdzenie to należy

patrzeć tylko i wyłącznie jak na związek logiczny między prawdopodobieństwem za-

czątkowym i wynikowym, czyli taki związek, jaki widzimy w dowolnym twierdzeniu matematycznym. Jeśli dowodzimy, że z podzielności liczby przez cztery wynika jej podzielność przez dwa, to nie wyczuwamy tu żadnej korelacji czasowej ani nie poszukujemy związku przyczynowego między tezą a założeniem. We wstępie do niniejszego podrozdziału wspomnieliśmy,

że podział między dane

i wiedzę jest arbitralny i pozostawiony do uznania badaczowi. Czy nie prowadzi to do różnych wniosków, w zależności od tego, jak ten podział przeprowadzimy? Aby sprawdzić, czy taka groźba może się pojawić, przypuśćmy, że dysponujemy danymi

D, które posłużyły nam do wysnucia konkluzji P(H|D A W), wynikającej z twierdzenia Bayesa i przyjętego zaczątku P(H|W). Ponieważ naszą ambicją jest ulepszenie tego rezultatu, wykonaliśmy

własny

eksperyment,

który dostarczył danych

D'. Aby-

śmy byli konsekwentni w naszej analizie nowych danych, musimy przyjąć, że wiedza W” tuż przed wykonywaniem eksperymentu składa się z oryginalnej wiedzy W 1 „starych” danych D: W ' = DAW,a zaczątek P(H|W') to prawdopodobieństwo wynikowe P(H|D wynik

AW).

Po zakończeniu eksperymentu

„ PH|W')

,

w!

A AW)=P(D|HANW)—————— P(H|ID P(D'|W')

zabieramy się do pracy 1 otrzymujemy

,

=P(D|H

W następnym kroku, w miejsce zaczątku P(H|DAW) dzenia Bayesa (9.29) P(D|HADAW)

POD AW)="PODIDAW)

P(H|DAW)

ADAW)——---—.

P(D'|DAW)

podstawiamy prawą stronę twier-

0?

P(H|W)

P(DIW)

a wykorzystując prawo (9.21) mnożenia prawdopodobieństw

P(D|H ADAW)P(DIH AW) = P(D' ADIJH AW) oraz

P(D'|DAW)P(DIW)

otrzymujemy

,

P(H|IDADAW)=P(D Widzimy,

że niezależnie

=P(D Aa DIW),

, AD|HAW)——————-.. P(H|W)

od tego, czy stare dane

czy też połączymy je z nowymi

P(D'A DIW)

D

włączymy

do zasobów

2”, wniosek będzie taki sam. Wynik

wiedzy,

ten ukazuje

twierdzenie Bayesa jako pozbawiony sprzeczności wewnętrznych schemat postępowania, będący jednocześnie solidnym narzędziem do konsolidowania danych i integrowania

wiedzy.

9,3, Wnioskowanie probabilistyczne

-—-

529

Przykład 9.3.1 Twierdzenie Bayesa — hipoteza zagłady Nim przejdziemy do szerszej dyskusji twierdzenia Bayesa, jego własności i wnio-

sków, do których ono prowadzi, a zwłaszcza zastosowań w fizyce, rozważymy przykład „lżejszego kalibru” (K. D. Olum, http://arXiv.org/abs/gr-qc/0009081). Istnieje pewna szansa P(K|W), ze ludzka rasa będzie trwała na Ziemi krótko (teza K), gdyż ulegnie unicestwieniu z powodu np. katastrofy nuklearnej, upadku planetoidy, wyczerpania zasobów naturalnych lub też skażenia środowiska. Naturalnie, jest do pomyślenia, że żadne z tych zdarzeń nie nastąpi, co zapewni, z prawdopodobieństwem P(K|W) = I — P(KIW), pomyślne trwanie ludzi na naszej planecie jeszcze przez wiele, wiele lat. Zastanówmy się nad prawdopodobieństwem P(K |n, W) naszego nagłego końca, świadomi faktu, ze zajmujemy n-tą pozycję w szeregu wszystkich ludzi urodzonych na przestrzeni ostatnich, po-

wiedzmy, 200 000 lat. Z twierdzenia Bayesa otrzymujemy P(K|n, W) =

P(n|K, W)P(KIW)

= = . P(n|K, W)P(K|W) + P(n|K, W)P(K|W)

Wielkości P(n|K, W) i P(n|K, W) określają prawdopodobieństwa urodzenia się jako n-ta osoba w obu scenariuszach. Ponieważ możemy urodzić się, równie dobrze, na początku, w środku, jak i na końcu ery człowieka na Ziemi, więc naturalne będzie przyjęcie, że prawdopodobieństwa te są zadane odwrotnością całkowitych liczb Ny lub Ng ludzi, którym dane jest żyć w obu przypadkach. Podstawiając do twierdzenia Bayesa, znajdujemy, że

P(Kin.W)= |

1 — P(K|W Nę (KIW) 1 l z gy, PKW) + „-P(KIW) K

K

_

Nk (-)

K

P(K|W) P(KIW) +

Nk K

Jeśli nie chcemy, by wkrótce po nas ludzkość dokończyła swego żywota, to ułamek Nx/Nę powinien być mały. Wtedy prawdopodobieństwo P(K |n, W) jest bardzo bliskie jedności, chyba że zaczątek P(K|W) jest zdumiewająco mały: znacząco

mniejszy niż stosunek Ny/N;ę. Pchnęło

to niektórych

(B. Carter, Philosophical

Transactions

of the Royal

Society of London A310 (1983), 347; J. Leslie, Bulletin of the Canadian Nuclear

Society, May 1985, 10; J. R. Gott, Nature 363 (1993), 315; H. B. Nielsen, Acta Physica Polonica B 20 (1989), 427) do wysunięcia hipotezy zagłady (doomsday argument): nasze rokowania są mizerne — koniec.

ludzkość skazana jest na swój rychły n

9.3.2. Probabilistyczna indukcja Podstawowa zasada logiki stwierdza, że zaprzeczenie dowolnej, prawdziwej tezy A daje

tezę A, która jest fałszywa. Dokładnie taki sam schemat rozumowania odnajdujemy

w naszym prawie dodawania prawdopodobieństw: P(A|W) + P(A|W) = 1. Jeśli teza A jest prawdziwa, to P(A|W) = I, a stąd P(A|W) = 0. Gdy nie mamy do czynienia z tak

530

9. Stopień racjonalnego zaufania

klarowną sytuacją, reguła dodawania prawdopodobieństw wydaje się dość naturalnym rozszerzeniem dla logiki arystotelesowskiej.

Metoda rozumowania polegająca na wyciąganiu wniosków z przesłanek to dedukcja. Opiera się ona na fundamentalnym sylogizmie: ((A > B) AA) = B, który mówi: wiadomo, iż A implikuje B oraz stwierdzamy fakt A, więc wnioskujemy, że obowią-

zuje B. Istnieje także reguła przeciwna: ((B => A) A B) = A. Przypatrzmy się, jak twierdzenie Bayesa plasuje się w tym schemacie. Niech nasza wiedza W oznacza zasadniczą przesłankę rozumowania dedukcyjnego, tzn. W jest identyczne ze stwierdzeniem, że implikacja A => B ma logiczną wartość prawda. Niechaj nasze dane D to prawdziwa teza A, natomiast hipoteza H to teza B. Przepisujemy twierdzenia Bayesa

P(BIAA(A + B)) =

P(A|B A (A > B))P(BIA > B) _ P(AAB|A > B) PQAJA 5 B)

-.

PAJA=B)

Jeśli prawdziwa jest implikacja A = B, to teza A A B ma tę samą wartość logiczną co teza A (demonstruje to tabela 9.3), a tym samym co daje nam

P(B|A Aa (A >

P(A a B|A >

B) = P(AJA > B),

B)) = |, czyli prawdziwość tezy B.

FAP=F

FNF=F

vy

PNF=F

PNP=P

NY

PAP=P

PNF=F

U

m

FANP=F

v "v

FNF=F

uv

(4 U M U

yu

U

9 "N

Tabela 9.3. Własności operacji implikacji i koniunkcji

Przyjmijmy teraz, że nasze dane to teza B, przez co chcemy powiedzieć, że prawdą jest, że teza B nie zachodzi, a wtedy twierdzenie Bayesa ma postać

P(A|B A(A 2 B)) =

P(B|AA (A > B))P(A|A > B) _ P(BAAJA > B) P (B|A + B) | P(BIA>B)

Ponownie, zakładając prawdziwość implikacji A > B, znajdujemy z tabeli 9.3, że war-

tość logiczna tezy A A B jest zawsze fałszywa (z definicji implikacji, jako równoważnej wartości logicznej zdania A v B wynika, że teza A A B jest prawdziwa tylko wtedy,

gdy implikacja jest fałszywa). Oznacza to, że P(A A BIJA => B)= 0, a tym samym teza A jest fałszywa: P(A|B A (A = B)) =0. Widzimy, jak reguła mnożenia odtwarza, w skrajnym przypadku, zasady dedukcji logicznej.

_ _ Pamiętając, że nie obowiązują reguły ((A > B) AB) => A oraz ((A > B)A A) >

B, ani też reguły do nich odwrotne ((B > A)AA) > B, ((B > A)AB) > A, rozważmy mniej klarowną sytuację. Niech dalej obowiązuje wiedza W zadana wartością

9,3. Wnioskowanie probabilistyczne

S31

logiczną prawda dla implikacji A = B i niechaj będzie prawdziwa teza B. Co możemy powiedzieć na temat tezy A? Zapiszmy twierdzenie Bayesa

AE AA

207

P(B|A A(A > B))P(A|A=> B) _ P(AJA > B)

P(BIA > B)

* P(BIA > B)

gdyż z naszej tabeli 9.3 wynika, że jeśli wartością logiczną tezy A A (A > B) jest prawda, to teza B też jest prawdziwa. Jednakże założenie prawdziwości samej implikacji A

=

B nie pociąga za sobą bezwzględnej

prawdziwości

tezy

B. Oznacza

to, że

P(B|A = B) jest mniejsze, a co najwyżej równe jedności, a tym samym mamy związek

P(A|B A (A > B)) > P(A|A = B), czyli stwierdziwszy prawdziwość tezy B, teza A staje się bardziej prawdopodobna, choć niekoniecznie pewna. Obserwujemy tutaj, jak fałszywa reguła wnioskowania ((A > B)AB) + A nabiera probabilistycznych rumieńców. Przyznajmy — akceptacja dowolnej teorii fizycznej A następuje w wyniku zgromadzenia faktów eksperymentalnych B, choć

te mogą wynikać z wielu innych teorii. A)

Bardzo podobny proces zachodzi dla fałszywego schematu logicznego ((A > B)A

=

B. Przyjmijmy, że słuszna jest implikacja A >

B i przyjmijmy, że prawdą jest

A. Co możemy powiedzieć na temat tezy B? Stosowny układ twierdzenia Bayesa dla

tej sytuacji, to

B))P(B|A > B) PBIAA(A > B)) = P(A|B A (A +

P (A|A > B)

Jednakże przed chwilą pokazaliśmy, że P(A|B a (A => B)) wynika P(A|B A (A + B)) < P(AJA = B), toteż

>

P(A|A

>

B), skąd

P(B|A A (A > B)) < P(B|A > B). Widzimy, że jeśli utrącimy założenia, przestajemy wierzyć w tezę, choć wcale nie mamy takiego obowiązku.

Twierdzenie Bayesa, opisując proces zdobywania wiedzy, odzwierciedla nasze Intu-

icyjne zasady indukcyjnego rozumowania.

Nie chodzi nam tutaj o pewien szczególny

rodzaj indukcji, jaki występuje w matematyce 1 zwany indukcją matematyczną, jako że ta, mimo swej nazwy, jest par excellence schematem dedukcyjnym. Chodzi nam o codzienne metody wnioskowania, kiedy to próbujemy uogólniać pewne fakty. Na przykład, obserwując przez całe życie różne gatunki ptaków, dochodzimy do wniosku, na

drodze nieznanego nam bliżej procesu fizjologicznego w mózgu, zwanego indukcją, że upierzony stwór ze skrzydłami i czterema nogami nie istnieje w przyrodzie. Twierdzenie Bayesa usiłuje te schematy myśłowe porządkować i formalizować, nadając im matematyczną formę. Przedstawia sobą narzędzie poszerzające zasady klasycznej logiki o elementy, które moglibyśmy nazwać probabilistyczną indukcją. Nie jest to oczywiŚcie metoda niezawodna. Kant zawsze utrzymywał, że łabędzie są tylko białe. Istotnie, w całej Europie łabędzie są białe. Zoolodzy potrzebowali aż podróży do Australii, aby stwierdzić, że bywają też czarne.

532

9. Stopień racjonalnego zaufania

9.3.3. Estymacja parametrów z twierdzenia Bayesa Rozważmy zastosowanie twierdzenia Bayesa do klasycznego przykładu. Rozszerzymy omawiane w podrozdziale 9.2.4 zagadnienie dotyczące losowania kuli z urny, zakładając, że wiedza W dostarcza następujących informacji:

urna zawiera znaną liczbę N absolutnie identycznych kul, z jedyną różnicą,

= N — K jest

PEER

że znana liczba K pośród nich jest białych, a reszta M

z

czarnych. Nie wiemy kto, kiedy i jak umieścił kule w urnie. Losowanie to odbywa się z zawiązanymi oczami i jest bez zwracania. Niech tezy B, oraz C, oznaczają: e B,: w i-tym losowaniu wydobyto z urny kulę białą,

e C,: w j-tym losowaniu wydobyto z urny kulę czarną. Rozważmy prawdopodobieństwo P(B; A B,|W), które na mocy prawa mnożenia

(9.21) znajdujemy jako

P(B, A B,|W) = P(B,|W)P(B>|B, AW). Pierwszy czynnik w tym wyrażeniu już znamy — dany jest on związkiem (9.28). Drugi wyprowadzamy w sposób analogiczny, gdyż dodatkowa przesłanka B, w warunku mówi

nam, że po wylosowaniu kuli białej w pierwszej turze, w urnie pozostaje już tylko N— 1 kul, z czego K — I to kule białe. Łącznie daje nam to

P(B; A B|W)= KK

37

NN-1

Kontynuując, znajdujemy, że prawdopodobieństwo P (B; ABzA: : -:ABz,|W) wylosowania k białych kul w pierwszych k ciągnieniach, wynosi

KK-1 K-k+1l KKUN...r,

byłby zapisem wyniku n-krotnego losowania za pomocą liczby w systemie, którego

podstawą jest liczba m (jeśli rzucamy sześcienną kostką do gry, to liczba 3405 oznaczałaby, w systemie szóstkowym, że wykonaliśmy cztery losowania, wynikiem pierwszego była „czwórka”, drugiego „piątka”, trzeciego „jedynka”, a czwar-

tego „szóstka). Takie sformułowanie problemu ma tę własność, że uciekamy na-

wet od pojęcia losowania i jego repetycji. Jedyne, czym dysponujemy, to układ

535

536

9. Stopień racjonalnego zaufania

n-cyfrowych liczb, których pełny nabór wynosi m”. W warunkach zasady nieistotności każda z tych możliwości ma jednakowe prawdopodobieństwo, zadane przez

m". Niechaj przedmiotem naszego zainteresowania będzie podzbiór $ owych m” wyników, złożony z s elementów. Jakie jest prawdopodobieństwo, że k spośród n znaków ryr...r„ trafi do podzbioru S? Łatwiej będzie odpowiedzieć na to py-

tanie, jeśli zaproponujemy pewien model. Niech m oznacza liczbę komórek, do których może trafić kulka w pojedynczym losowaniu. Wykonujemy n losowań,

czyli umieszczamy n kulek w m komórkach. Jakie jest prawdopodobieństwo, że k kulek trafi do grupy $ komórek? Musimy obliczyć liczbę sposobów, na które taką

sytuację możemy zrealizować. Liczbę k kulek spośród n możemy wybrać na (>) sposobów. Owe k kulek w wybranych s komórkach możemy ułożyć na s* sposo-

bów, a pozostałe n — k kulek możemy rozłożyć wśród pozostałych m — s komórek na (m — s)""* sposobów. Daje nam to poszukiwane prawdopodobieństwo:

1

/ny,

B(kls, m,n, W) W) =— - (4):

(m ——5)" s)

2

(nys* (m=s)"*

= (Z) — - ——|-—

ny,

m

= (Z) 8'(1—09)” (1—09)”-,

gdzie 0 = s/m.

Widzimy, że u podstaw rozkładu dwumianowego nie leży wcale fizyczna niezależność poszczególnych aktów losowania. Jest to rezultat czysto kombinatoryczny,

wynikający z symetrii problemu wyrażonej brakiem preferencji dla któregokolwiek z m” możliwych rezultatów. Wynik ten musi mieć głębokie konsekwencje dla interpretacji pozostałych, szeroko stosowanych rozkładów prawdopodobieństwa, takich

jak Poissona, wykładniczego, gaussowskiego 1 ich pochodnych, które, jak to pokazaliśmy w rozdziale 5, wywodzą się ze schematu Bernoulliego.

n

Rozkład (9.34) posłuży nam za pierwszy przykład wnioskowania probabilistycznego.

Przypuśćmy, że dokonaliśmy, wg opisanego modelu, n losowań, w wyniku których uzy-

skaliśmy k białych kul. Niechaj liczba K białych kul w urnie nie jest nam znana. Oznacza

to, że nasza obecna wiedza W jest uboższa od wiedzy przedstawionej na początku niniej-

szego podrozdziału właśnie o tę informację, ale jednocześnie bogatsza jest o informację o liczbie k wylosowanych białych kul i liczbie n losowań. Chcemy ocenić liczbę K.

Wykorzystamy do tego prawo mnożenia (9.21), które zapiszemy w postaci P(k, K|n, N, W) = P(kln, N, W)P(K|n, N,k, W) = P(K|n, N, W)H(k|N,K,n,

W)

i rozwiążemy je względem poszukiwanego prawdopodobieństwa P(K|n, N,k, W)

P(K|n,N,k, W) =H(KIN,K,n, W)

P(K|n,N, W) P(kln, N, W):

(9.35)

uzyskując twierdzenia Bayesa (9.29) „skrojone” do naszego problemu. W związku tym

wielkość H(k|N, K,n, W) to funkcja wiarogodności P(D|H A W) przy zadanej liczbie K, czyli rozkład hipergeometryczny, do którego podstawiamy uzyskaną daną eksperymentalną k. Czynnik normalizacyjny P(k|n, N, W), czyli P(D|W), określimy za

9,3. Wnioskowanie probabilistyczne

537

moment, gdyż najpierw musimy podjąć decyzję co do zaczątku P(K|n, N, W), oznaczo-

nego we wzorze (9.29) symbolem P(H|W). Przypomnijmy, wielkość ta określa prawdopodobieństwa różnych liczb K białych kul w urnie, w warunkach naszej wiedzy

o urnie. Ponieważ wiedza ta jest niedostateczna w treści, które pozwoliłyby rozstrzy-

gnąć o uprzywilejowaniu jakiejkolwiek z dopuszczalnej wartości K = 0,1,2,...,N, więc przyjmiemy, w zgodzie z zasadą nieistotności (9.27), następującą postać zaczątku:

1 P(K|n,N,W)=——, (K|n "NZ

K=0,1,2,...,N.

9.36 (9.36)

Takie równoprawne potraktowanie wszystkich możliwości pierwszy zaproponował

Bayes, a Laplace podniósł je do fundamentalnej zasady niedostateczności (Principle of

Insufficient Reason), zwanej dziś także postulatem Bayesa

jeśli nic nie jest nam wiadome a priori o poszczególnych możliwych hipote-

zach, prawdopodobieństwa tych hipotez powinniśmy przyjąć równe.

Za pomocą

(9.35)

związku

(5.3) znajdujemy

SE

czynnik

normujący

4)=(„21)

—

(wś

m

n+ 1

prawdopodobieństwo

,

a stąd pełną postać rozkładu liczby K białych kul w urnie

PiknNkW= (7)

-|

(90,3).

k

K=k

N+ŁN

KN/N-K

K+1-0(7)(-:)

"LP

(21)

2

/K+ŁIN/N-K (200,3)

k+1 —1=(N+2)—— — 1, (A+

nF2

gdzie ponownie wykorzystaliśmy związek (5.3). W sytuacji, gdy liczby N, n oraz k są duże, wynik ten różni się marginalnie od mody (9.38), co wskazuje na narastającą

symetrię prawdopodobieństwa wynikowego jako funkcji K. Jak możemy określić margines niepewności dla naszego oszacowania 6 ułamka bia-

łych kul w urnie? Jako stosowne narzędzie wybierzemy wariancję rozkładu wynikowego. Nie będziemy podawać szczegółowych obliczeń, odwołamy się jedynie do następującej

własności współczynników Newtona:

(K +2)(K + v(3) = (k+2D(k + v(; k+22).

która istotnie łagodzi trud obliczeń:

| k+1 k+1 Y[K]= ——— | 1 — |N+20(N —n). —riaęz( 3)! 2X ) Tak oto rozwiązaliśmy prosty problem probabilistyczny (w konwencjonalnej teorii określilibyśmy go mianem: statystyczny) znalezienia estymatora punktowego i przedzia-

łowego (używając języka statystyki matematycznej), wychodząc z jednego narzędzia —

twierdzenia Bayesa — i wykorzystując standardowe metody teorii prawdopodobieństwa. Na miejscu będzie tutaj jedna uwaga dotycząca wykorzystanych pojęć wartości oczekiwanej i wariancji, wywodzących się ze „starej” teorii. Zgodnie z tym, co powiedzieliśmy na temat różnic między konwencjonalną i nową, współczesną teorią prawdopodobieństwa, wielkości te nie opisują wielkości K jako zmiennej losowej, gdyż takie pojęcie w nowej teorii nie istnieje. To, co te wielkości opisują, odnosi się nie do ocenianej wielkości K, lecz do rozkładu prawdopodobieństwa tej wielkości. Dłatego (K) to nie wartość oczekiwana wielkości K, która miałaby się jakoby zmieniać w niekontrolowany sposób, a wartość oczekiwana prezentowałaby typową wartość tej wielkości, lecz jest to wartość oczekiwana rozkładu wynikowego P(K |n, N,k, W). Wielkość ta opisuje cechę

rozkładu,

a nie własność

K. Podobnie

ma się rzecz i z wariancją V[K|]. Wielkość

ta

nie podaje nam rozmiarów fluktuacji wielkości K, lecz szerokość rozkładu wynikowego.

Za pomocą dyspersji D[K]

oceniamy rozsądny obszar rozkładu, mierzony jego argu-

mentem, w którym jest on istotnie różny od zera, a przez to zakres możliwych wartości liczby białych kul, jakie mogą się znajdować w urnie. Interpretacja ta, wraz z odrzuceniem pojęcia zmiennej losowej tłumaczy, dlaczego odstąpiliśmy od specjalnej notacji (czcionka bezszeryfowa) dla argumentów w wielkościach oczekiwanych i wariancjach, jakie pojawiły się powyżej. Nowe zastosowanie starych wielkości jest przyczyną ucieczki od terminologii jednoznacznie kojarzonej z konwencjonalną teorią. W szczególności, dla wartości oczekiwanej

9.3. Wnioskowanie probabilistyczne

539

stosowany jest w literaturze angielskojęzycznej termin przewidywanie (prevision), który

autor chciałby zastąpić słowem nadzieja rozkładu lub po prostu nadzieja, przywracając teorii prawdopodobieństwa, jej stary, dawno zapomniany termin, dobrze oddający

sens dyskutowanej wielkości. Termin wariancja (a tym bardziej dyspersja) nie znalazł

jeszcze swego „współczesnego” zamiennika. -——

Przykład 9.3.3

Reguła następstw Laplace'a Z. uwagi na znaczenie historyczne, znajdziemy prawdopodobieństwo tezy B,.,, że po wyciągnięciu n kul z urny, wśród których było k kul koloru białego, następną

kulą, jaką wyciągniemy, będzie kula biała. Jeśli zdefiniujemy tezę Dz: w urnie znajduje się K białych kul, to teza Dy v D, v D, V::: v Dy jest bez wątpienia słuszna, dlatego też

N

P(B,„|W) = P(B,, A (DOY Di V...V Dy) |W) = | ,P(B,. A DklW) K=0

N

= > P(B,,.|Dx A W)P(Dk|W). K=0

Pierwszy czynnik pod znakiem sumy to prawdopodobieństwo wydobycia białej kuli przy następnym po n-tym losowaniu, przy założeniu, że w urnie pierwotnie znajdowało się K kul białych, dlatego też dane jest ono wyrażeniem typu (9.28)

K-k

P(B,„„|DkAW)=——,

N—n

natomiast drugi czynnik to rozkład wynikowy razem, otrzymujemy

(9.37). Składając obie informacje

raw) ERZE(O(Z5) K=

Posiłkując się wynikiem dla nadziei (K), znajdujemy

P(B,„|W)

k+l1

+2

(9.39)

Uzyskany rezultat zwany jest regułą następstw Laplace'a. Odegrała ona, bę-

dąc źródłem wielu kontrowersji, ważną rolę w historii rachunku prawdopodobień-

stwa. Za liczne nieporozumienia odpowiedzialny jest sam Laplace, który reklamował swą regułę, jak współczesny szef działu sprzedaży, twierdząc, że skoro Świat powstał 5000 lat temu (25 lutego w roku 3123 przed naszą erą), to gotów był on

dać 1826213 (5000.365, 2426 = 1826213) franków do jednego, że jutro wstanie

Słońce. Gdyby wziąć to rozumowanie za dobrą monetę, musielibyśmy uznać, że

szansa zachowania przez Słońce takich obyczajów przez następne 5000 lat wynosi niewiele więcej niż 1/3: 1 226

213

EL (; 826213 + )

1826213

= 0,368.

540

9. Stopień racjonalnego zaufania

Oczywiście, nie powinniśmy podejrzewać Laplace'a o taką naiwność. Uczony ten miał na swym koncie wiele istotnych osiągnięć z zakresu astronomii i dobrze

wiedział, że za wschody i zachody Słońca odpowiedzialne są znane i sprawdzone prawa fizyki Newtona, a nasza wiedza o zjawiskach astronomicznych nie sprowadza

się do prymitywnej alternatywy. Zapominało o tym jednak wielu jego następców, którzy z całą powagą, a przeciw posiadanej wiedzy, atakowali regułę następstw np. w następujący sposób: roczne dziecko ma szansę tylko 2/3 dotrwania do końca

drugiego roku swego życia, podczas gdy jego prapradziadek w wieku 98 lat ma szansę przeżycia następnego roku znacznie większą i bardzo bliską jedności, bo

równą 99/100.

TI

Rozważmy, jakiej zmianie będzie ulegał problem estymacji dyskretnego parametru K, jaki omówiliśmy wyżej, jeśli zarówno liczba K białych kul, jak i liczba N

wszystkich kul będzie bardzo duża. Gdybyśmy, zamiast hipotez o liczbie K rozważali

hipotezy dotyczące stosunku 6 = K/N, wtedy liczba możliwych hipotez na odcinku [0; 1] będzie bardzo „gęsta”, przy czym oczekujemy, że prawdopodobieństwa wynikowe dla hipotez, dla których wartości 6 będą zbliżone, będą niewiele różniły się od siebie. Naturalne stanie się wtedy pytanie nie o prawdopodobieństwo wynikowe konkretnej wartości 6, lecz o prawdopodobieństwo wynikowe, że wartość ta znajdzie się w pewnym przedziale A6 wokół wartości 6. W ten sposób problem przekształci się w zagadnienie oceny ciągłego parametru 0, zadanego przez granicę stosunku K/N, gdy zarówno

liczba K, jak i liczba N dążą do nieskończoności. Spójrzmy na twierdzenie Bayesa (9.31) P(H,|DAW)

=P(DIH,

AW)

P(H,|W)

—

>” P(D|H, A W)P(K,|W) i=|

1 zastanówmy się, jakiej ono ulega zmianie, jeśli liczba hipotez wzrasta do nieskończo-

ności, wypełniając „szczelnie” odcinek [0; 1]. Wielkość P(D|H;, A W), czyli funkcja wiarogodności nie stwarza specjalnych problemów, gdyż jest to granica wyrażenia na

prawdopodobieństwo tezy, nazwijmy ją BęyC„-k, określającej kolejność pojawiania się kul różnych kolorów, przy czym kul białych znaleziono łącznie k, a czarnych n — k, co

opisane jest wzorem (9.32). Jak to wynika z dyskusji wzoru (9.33), prawdopodobieństwo

wylosowania kuli białej w ciągnieniu o numerze i +- 1, jeśli wcześniej wylosowaliśmy już k takich kul oraz i — k kul czarnych, dane jest przez K-0o,K/N->8

N —i

natomiast prawdopodobieństwo wylosowania kuli czarnej N-K-(i-k) N —i

=

N N —i

_—

K+i—k N —i

— N>0%,K-—>00,K/N—>8

1-9.

9,3. Wnioskowanie probabilistyczne

541

Widzimy, że pierwsze losowanie daje nam funkcję wiarogodności jako 0 bądź

1 —9,

a kazde następne powoduje uzupełnienie jej o kolejne takie czynniki, prowadząc w rezultacie do ostatecznej postaci

P(DIH, AW) = P(BpC,-vlW)

NoE

EIN

L (k, nio, W) =0'(1—0)7"*.

Zauważmy, że taka analiza wyklucza trudności związane z decyzją o zakończenia eks-

perymentu, które były źródłem kłopotów w przykładzie 9.1.4. W konwencjonalnej teorii

liczba n losowań może być, decyzją eksperymentatora, umieszczona w warunku, podczas

gdy obecnie zalicza się ona do danych D, gdyż to dane właśnie określają tę wielkość, a nie przyjęta z góry reguła zatrzymania.

Oczywiście, możemy założyć, że dane będziemy zbierać tak długo, aż nazbieramy n przypadków. Wtedy funkcją wiarogodności jest P(D|n, H; AW). Jednakże, skoro w danych D mamy informację zarówno o liczbie n, jak i k przypadków, zatem P(D|n, H, AW)

= P(k,nlin, H;, AW)

= P(kin, H; AW)P(nln, H; AW)

= P(kln, H;, NW),

gdyz P(nln, H; AW) = 1. Oznacza to, że powtarzanie się jest bez znaczenia. Bez względu na to, czy w danych zawarta jest informacja, którą znamy z wiedzy wstępnej, czy też nie — funkcja wiarogodności pozostaje bez zmiany. Własność ta powoduje, że reguła zatrzymania w teorii bayesowskiej przestaje odgrywać jakąkolwiek rolę. Otóż z prawa mnożenia prawdopodobieństw otrzymujemy P(H,,n|DAW)

= P(H,;|n, DAW)P(n|DAW)=P(nlH;

a ponieważ P(n|D AW)

= 1, a także P(n|H; ADAW)=|1, P(H;|n, DAW)

Tym

samym

dowolne

kryterium

ADAW)P(H;|DAW), więc

= P(H,|IDAW).

określające

koniec

(9.40)

eksperymentu jest równie

i każde z nich doprowadzi nas do tej samej postaci rozkładu wynikowego. Zajmijmy

się teraz prawdopodobieństwem

wynikowym.

Wielkość

dobre

ta ma określać

prawdopodobieństwo, że ułamek 6 znajdzie się w przedziale d9 wokół wartości 6. Określa nam to P(H;|D AW) jako wielkość infinitezymalnie małą, proporcjonalną do prze-

działu dó. Współczynnik proporcjonalności to funkcja w(6|k, n, W) gęstości rozkładu wynikowego dla poszukiwanego parametru 6. Konsystencja matematyczna wymaga, by prawdopodobieństwo zaczątkowe także było dane wyrażeniem z(6|W) do, gdzie z(6|W) jest gęstością dla tego parametru. W konsekwencji suma w mianowniku po wszystkich hipotezach przeobraża się w całkę względem wartości tego parametru, dając ostatecznie

ciągłą wersję twierdzenia Bayesa

w(ólk, n, W) = - £(k, nić, W)z(61W)

J £(k,n|0, W)z(8|W) do 0

(9.41)

542

9. Stopień racjonalnego zaufania

Twierdzenie to łatwo możemy uogólnić dla przypadku, gdy zarówno poszukiwany

parametr O, jak i wielkości mierzone x przybierają wartości ciągłe z dowolnego obszaru:

w(6|x, W) =

CH DZEW)

f LQ, W)z(6|W)do

(9.42)

—00

Zastanówmy się teraz, jak zasadę nieistotności, wyrażoną przez (9.36) dla przypadku

dyskretnego, możemy zaadaptować do nowej sytuacji. Wiedza W podpowiada nam, że skoro każda z hipotez o wartości K jest równie prawdopodobna, więc liczba hipotez w przedziale AK wokół K jest taka sama dla każdej z wartości K i zależy jedynie od

szerokości przedziału AK. Stąd też liczba hipotez o wartości stosunku 8 w przedziale

A8 także będzie określona jedynie szerokością tego przedziału i nie będzie zależała od

samej wartości parametru 6. Wnioskujemy stąd, że w granicznym przypadku prawdopodobieństwo zaczątkowe z(6|W) parametru 6 powinno być zadane rozkładem jednostajnym w przedziale określonym przez zakres zmienności parametru, czyli na odcinku [0; 1]:

z(8|W)=l, Prawdopodobieństwo

zaczątkowe,

0.a _|_H(N (N + 1)2

_ 1

NĄ!

Cc

|N, , Ną, A: Ng, B; W)

Ng!

x

- No Nc!(NA — NC)! (Nz — NC)! y N=Nmin

1 N=NIN — NZ)! l N+1(N-N,—Nz+NQ)! (N+1)!

547

548

9. Stopień racjonalnego zaufania

gdzie jeden z czynników N +-1 włączyliśmy do funkcji N!, natomiast N,, = N, +

Ng — Nc, co wynika z faktu, że niewątpliwie liczba N wszystkich cząstek nie może być mniejsza od tej, jaką zarejestrowały nasze detektory. Asymptotycznie wyrazy

sumowanego szeregu zachowują się jak N""c"*, a ponieważ zazwyczaj liczba Ne

jest duża, więc są one bardzo szybko zbieżne do zera, dlatego też górną granicę sumy możemy bezpiecznie przesunąć do nieskończoności. Jeśli takie przybliżenie

będziemy także stosować we wszelkich obliczeniach, w których wystąpi sumowanie po N, to czynnik normujący możemy zapisać w uproszczonej postaci Ż =

NĄ! NZ! NC!(NA — NO)! (NB — NO)!

3 N=Npin

I (N-N!(NNZ)! l — N+1(N-N,=—Ns+N(N+ 1)! O)!

a o zaczątku P(N|W) zapomnieć, gdyż czynnik ł/N» uprości się za każdym razem 1 zniknie z dalszych wyrażeń. Dokonamy teraz paru podstawień: N="N—N"Ng+NO

ZN

—nyp,

NN=n+Ng—No=zn+ng,

N=—Ng=n+N,—Ncz=n-+ny,

NąB = Ną

hp + Nę = Nin;

które pozwolą zapisać wyrażenie na Z w nieco innej formie

- Ne!((Na — NO)! (Ns— NO)! żn+nys+tl I (N, + 137 (NZ + 1) FN + X

c —

(n+tnąp +1)!

ni

>

1)F'(n4 + 1)T' (ng + 1)

l Tn+n4 +1)T(n+n.+1) 1 n + nąp +1 T' (n + nyg +2) nt

Sumy tu podanej nie można obliczyć w sposób analityczny, jeśli nie dokonamy pewnego przybliżenia. Otóż, w warunkach każdego eksperymentu zajmującego się badaniem efektywności detektora, liczba n 45, przedstawiająca łączną liczbę cząstek widzianych przez oba liczniki, jest duża, dlatego też z wyśmienitym przybliżeniem ułamek (n + n4g + 1)! możemy zastąpić przez (n + nąp +2)" Z

2

F(N,

- PN

+

1)F' (NB

+ 1)

PF

(ną4B

+ 3)

X

+ DT mas +3) D' (na + 1) (ng +1)

x 2,—

in!

F(n + nap + 3)

1 wykorzystać definicję funkcji hipergeometrycznej F (a, b, c; x) F(a,b,c;x)

=

I (c)

3 Ir (n +a)T'(n +b) x"

rf0rtb 4

Tn+o)

nn

która ma tę szczęśliwą własność, że znamy jej zamkniętą postać dla jednostkowej wartości argumentu x

_ FP(o)F'(c —a —b)

F(a,b,cGl)=TCZArc=b)

549

9,3. Wnioskowanie probabilistyczne

Po podstawieniu 1 uproszczeniu otrzymujemy ostateczną postać czynnika normu-

jącego Z

„ TN, + DT (NZ + 1) =

TNOEDT(st3)

F(n,

74

+ l,ngp

+1, Nąp + 3, 1)

*

m

)

=

l

(NA + 1)(N5 + 1)

Dla kompletności zapiszmy jeszcze raz rozkład wynikowy, wyrażając go przez N, Ną, Ng OTAZ Nąp, Zachowując także tu i ówdzie, dla wygody, symbol No: w(n, Pą, Pelna, NB, Nap, W)

l

F'(n+nąg + 1)

"ZTN+ŁDTn,

bo

a+Nc

+DT(nz +1) n!?*

(= pa)

rea p "e(1— pzy"

Pozostawimy Czytelnikowi wykazanie, że wartości parametrów py, pp Oraz N, które maksymalizują ten rozkład, to znane nam oceny znalezione w przykładach

2.4.2, 5.4.10 oraz 7.2.9. Zajmiemy się obliczeniem innych ocen, zadanych nadziejami. Zaczniemy od

nadziei efektywności pą. Marginalizując względem p,, usuniemy najpierw zależność od efektywności pp: w(n,

ALTELTE

l

HAB;

w)

5 (n +nyąg

+

1)

"ZTN+DTn,+DT(n

—l

py: *"C(l

—

PA)”

X

+1) ni

l - |

BAC

(|

—

ps)" "A

dpp

0

1 T(N; +1) Ta+n,+D1 pa — p) "ZTN+DTn,+DTnz+D) ntnyatl ni” PA

n+ng

1 obliczymy nadzieję l

F(NZ + 1)

(pa) = 7 TNc+DTr+DTO+ D —

X >

[(n+n,y + 1) 1 |

0 ntnatl

nl

1

PA7

A+NC+1

( I — PA) =+eB d PA

0

_1

F(N, + 2)T (Nz + 1)

o

x

a )

Fn+n.a WE

I'(n

+)Fn+nzs+1) +

Nnąp

+ 3)

1 nt

Ponownie, sumy tej nie potrafimy obliczyć analitycznie, jeśli nie zastosujemy przy-

bliżenia analogicznego do tego, jakiego użyliśmy przy obliczaniu czynnika Z. Tym razem musimy w wyrażeniu n + n4g + 1 zastąpić jedynkę trójką

.

9. Stopień racjonalnego zaufania

(Pa)

[le

550

1 TNA +2)T(Nz + 1) Z

T(NC

y_

1)7' (nąB

+

+ 4)

FI (n,

+

1)7' (ng

F(n+n, + DFn+ng+1)

—

_

T (nas + 4)

-ZT(NC+DT(nas +4) _ (N4+ D(Nc +1) „Ne (Na +20(Ns +2)

F(n,

+

1)

L

I (n + nąp +4)

I PF(NA + 2)F (NZ + 1)

x

n! +

1, ng

+ 1,

Nąp

+4;

1)

Naj

Wynik ten jest w znakomitej zgodności z rezultatem konwencjonalnym. Opanowawszy technikę funkcji hipergeometrycznej, łatwo znajdziemy wyraże-

nie na wariancję efektywności detektora A. Nadzieja kwadratu efektywności tego

detektora wynosi 2

PA

„_ TNA +3)T (mas + 3)F(na + 1, ng + 1, nas F3; 1)

TOY DTGwE5FGat nat ln t3D

_ (Na + 1)(NC + 1)(Nc + 2)

— (Na Ł3)(N3 + 2)(N5 +3)

skąd otrzymujemy wariancję y [Pa]

s (NA + 1)(Nc + 1)(NC + 2) s (N + D(NC + 1)? x (pa) U — (PA) (NĄ + 3)(Np +2)(N5 +3) (N4 + 2)7(NB + 2)? Ng

Podobne rezultaty otrzymujemy dla efektywności detektora B, wystarczy jedynie indeks A zastąpić indeksem B (pz)

[>]

"8

Z

(NZ + 1)(NC + 1)

(N3+D(N1+2)

„Ne

Na

Z (Nz + 1)(VCc + 1)(NCc + 2) a (Nz + 1)Ż(NC + 1)? m (Ps) (l — (Pz))

(Nz + 3)(NA + 2)(N4, +3)

(Ns+27(N, + 2)?

NĄ

Przejdziemy teraz do oceny całkowitej liczby N przypadków. Obliczamy

(N+ 1) = (n+ nag + 1)

_1 DI(N, + 1)T (NZ + 1) > Z T(Nc+1)F' (ny + 1)T' (ng + 1) z yo —

tras t 1Fn+ną N +n,B + 1

+I)Tn+ng.+1) 1

I' (n + nąp + 2)

n!

i widzimy, że nie musimy dokonywać żadnych przybliżeń:

(N+1)=

l T(N, + DT (NB + 1) x Z T(N,+1)T' (n4 + 1)T' (ng + 1)

—

rTn+tn,+UT(n+ng+1)

e

F' (n + nąp + 2)

93 _

| F(N4 + 1)F(NZ + 1)

"ZT(NC+ DT (nas +2)

I

—

n!

F (ną+ l, l,ng+ 1, 1, nąp + 2;1)= )

ZN. .

9.3. Wnioskowanie probabilistyczne

Po podstawieniu, otrzymujemy (N, + 1)(N3 + 1) _12

(N) 2

NANe

Nc

Nę

Zajmiemy się także wariancją. Obliczymy nadzieję kwadratu wielkości N + 1:

(N+ 1)

I'(N, + DT (Np + 1)

=—-

ZT(N

x

+ 1)T'(n, + 1)7 (ng + 1)

m T(n+n, (n +nąg + 1) > 48

_1

x

+DT(n +np+1) 1 — FT (n + nąpg + 2) n!

T(N, + DU(NZ + 1)

"ZT(N.+1)T (ną + 1)T' (ng +1)

>

y rn+n, +]Tn+n.+1) 1 0

I'(n + nąg + 1)

_1ITWA+DT(Nz+1) Z TN + DT (naz + 1) _d1 NaNB " Z(N—

n!

F(n, + 1,ng+ 1,nąp + 1; 1)

DNC

a w rezultacie

(N+1)7)2

N4(NA + 1)Np(NZ + 1)

(Nc — 1)Nc

|

Ponieważ dla wariancji obowiązuje załeżność Y [x + a] = Y[x], gdzie a jest dowolną stałą, toteż YTN]=

NANA + DNS(Ns +1)

(Na +1) (Nz + 1)” = (N) 1 — (pa) — (PB)

(Nc — 1)Nę

NC

(Pa) (PB)

Wynik ten jest jednak ułomny, gdyż dopuszcza ujemne wartości wariancji. Jest to artefakt przybliżenia zastosowanego przy obliczaniu czynnika normującego Z. Przybliżenie l 1 n+nągp+1

- n+Nąp +2

jest zbyt grube. Subtelniejsze będzie:

l

5

n+nąs+tl

l

l

n+nąs +2 * (n + nas +2)(n + nas +3).

W konsekwencji otrzymujemy nowy czynnik normujący

-

- (Na +1)(Nz + 1)

(+

75675)

(NA + 2)(N3 +2)/'

który asymptotycznie nie różni się od pierwotnego. Dostarcza on nowego wyrażenia dla nadziei liczby cząstek

551

552

9. Stopień racjonałnego zaufania

(N+ 1) = (N, + D(Ns +1)

MAJ

Ne

1 +

Nę

t

l

Nę

(NĄ + 2)(N5 + 2) 1 „zdrowego” matematycznie dla wariancji

(I = (PA) — (PB))

VIN]I=(N)

|

Przykład 9.3.6 Estymacja stałej Natury Wróćmy do przykładu 2.6.8 i rozważmy wpływ, jaki hipotetyczny rozkład (2.28) stałych Natury wywiera na wyniki uzyskiwane przez eksperymentatorów. ważmy pomiar x;, jeden spośród n, opisany modelem rozkładu Gaussa N

(x,10,

Oi,

Ww)

l

= 4)

gdzie

© jest poszukiwaną

wartością

wszystkich takich pomiarów wynosi L (x|8,0, W

x

21

0;

(

(x; —

P

i=1

Roz-

|

207

stałej Natury.

-mp|-57

Funkcja

|

wiarogodności

dla

57 — 6) )Fzszz 0;

Ponieważ znamy postać (2.28) prawdopodobieństwa zaczątkowego

z(8|W) x 4

(9.47)

możemy obliczyć prawdopodobieństwo wynikowe

vółe.0.W) a gap (-z7 0). —_PpYŻ

i==]

i

Wartość modalną możemy łatwo znałeźć, jeśli z prawdopodobieństwa wynikowego wyciągniemy logarytm, który różniczkowany względem parametru 6 dostarcza równania

a tł 41 — Inw(ó|x,o, W) = -5 +27 00

Po przekształceniu, uzyskujemy równanie kwadratowe

BY

pO

t1=0.

zz] 0;

—

o rozwiązaniu Omoda

=

NI

-——

(Pa) (PB)

(X +

/37 407),

9.3. Wnioskowanie probabilistyczne

gdzie

,

Xw

25m2 i=1

=

Oi

5

oraz

ń

i=1 0;

2

I

m

w

zi

—= 2

|

—. o?

Gi

Z dwóch dopuszczalnych rozwiązań wybieramy to ze znakiem „+, ponieważ drugie rozwiązanie opisuje minimum rozkładu wynikowego. W wielkości x, odnajdujemy średnią ważoną pomiarów, a o„ to jej wariancja (podrozdział 4.3). Jak to widzieliśmy już wcześniej, także i w tym przypadku duża liczba pomiarów prowadzi do konwencjonalnego

wyniku

Onoda £ xw. Jednakże

dla kazdej

skończonej

liczby

danych nasz wynik jest, co do wartości, mniejszy niż standardowa Średnia ważona.

Poprawka, jaką ustanawia nasz nowy wynik, wynika z monotonicznie malejącego przebiegu zaczątku, wskazującego na preferencję dla małych wartości stałej. Spójrzmy, jakiej zmiany w ocenianej wartości możemy się spodziewać, je-

Śli zastosujemy nową formułę. Kompendium Review of Particle Properties podaje dla czasów życia mezonu r” następujące cztery wartości (w jednostkach 1077 s): 8,97 + 0,28, 8,2 + 0,4, 5,6 + 0,6 oraz 9,0 + 0,68 i znajduje ich średnią ważoną: 8,4 + 0,6. Jeśli powtórzymy obliczenia wykonane przez autorów kompendium i zachowamy większą liczbę cyfr znaczących, wtedy dla Średniej otrzymamy

następujący wynik: (8,385 + 0,611) : 107''s. Zastosowanie nowej formuły prowa-

dzi do wartości 8,371 - 107''s. Widzimy, że różnica między dwoma podejściami

stanowi znikomy ułamek niepewności wartości mierzonej, nawet w sytuacji, gdy

dysponujemy jedynie czterema pomiarami. Istotniejszej poprawki moglibyśmy oczekiwać jedynie wtedy, gdy pomiarów jest bardzo mało — jeden lub dwa, a błędy indywidualnych pomiarów stanowią

istotny ułamek wartości mierzonej. Wtedy też powinniśmy być bardziej ostrożni w cytowaniu wartości tej stałej, o ile jesteśmy przekonani o słuszności tezy głoszącej istnienie uniwersalnego prawa określającego rozkład stałych Natury. Gdyby odkrywcy (J. K. Christenson, W. J. Cronin, V. L. Fitch i F. Turlay, Phys. Rev. Letters 13 (1964), 138), łamania symetrii parzystości kombinowanej CP ulegli ta-

kiemu poglądowi, wtedy zamiast wartości (2,0-E0,4) : 107” dla stosunku rozpadów mezonu K; na dwa piony do wszystkich kanałów rozpadu podaliby raczej wartość (1,9 + 0,4) : 107. Zauważmy jednak, że wynikowy rozkład w(60|x, o, W), z uwagi na osobliwość

w zerze, nie jest normowalny, tym samym nie możemy określić wariancji i nadziei

parametru 0, jeśli arbitralnie nie ograniczymy jego zakresu zmienności.

7

Przykład 9.3.7 Odplatanie wg Bayesa Dotychczas zajmowaliśmy się odzyskiwaniem parametrów rozkładu. Teraz wykorzystamy twierdzenie Bayesa do odzyskania całego rozkładu z danych doświad-

czalnych. Abyśmy byli bardziej konkretni w naszych rozważaniach, rozpatrzymy jednowymiarowy, teoretyczny rozkład z,(x|W) argumentu x. Może to być np. rozkład kątowy w reakcji nukleonów. niskiej energii z jądrem. Dobrego opisu takiej

554

9, Stopień racjonalnego zaufania

reakcji, przy energiach do kilkunastu MeV, dostarcza tzw. model optyczny. Z mo-

delu tego można wyprowadzić wyrażenie na różniczkowy przekrój czynny, czyli właśnie rozkład kątowy. Rozkład z,(x|W)

(indeks t ma właśnie oznaczać „teore-

tyczny”) jest przykładem zaczątku wyprowadzonego z posiadanej wiedzy. Podob-

nie, dysponując dodatkową wiedzą o detektorach użytych w eksperymencie, ich własnościach i zastosowanych procedurach, możemy pokusić się o ustanowienie zaczątkowego rozkładu zą4(y|W) danych, jakie uzyskamy w tymże eksperymencie.

Z formuły (9.30) pełnego prawdopodobieństwa wynika, że obie wielkości po-

łączone są ze sobą równaniem Fredholma (gdy znany jest zaczątek za stojący po lewej stronie równości, a poszukiwany jest zaczątek z,): 00

OW) = | role WzlslW)dz. gdzie funkcja r(y|x, W) zdolności rozdzielczej eksperymentu, odpowiedzialna za wędrówkę przypadków z przedziału Ax do przedziału Ay, odgrywa rolę funkcji wiarogodności i spełnia warunek unormowania je

| rot Wydy=l1 dla każdej

wartości parametru x. Warunek te wyraża zasadę zachowania liczby

przypadków: wszystkie, które znajdują się w obszarze Ax wokół punktu x, musimy odnaleźć w pełnym spektrum wartości y. Najprostszy sposób rozwiązania równania Fredholma polega na przekształcenia go do wersji dyskretnej i przekształcenia go w układ n równań na n niewiadomych gdzie:

P, = RP, P; = (P;(Q7),..., Pa(yn)) to zestaw oczekiwanych doświadczalnych czę-

stości rejestracji przypadków w przedziałach histogramu zmiennej doświadczalnej y, P, =

(P,(x,),..., P,(x,)) to zestaw poszukiwanych częstości w przedziałach

zmiennej x, natomiast macierz R to kwadratowa macierz wymiaru n x n elemen-

tów R(y,|x;) opisujących migrację przypadków. Rozwiązanie otrzymuje się metodą

algebraiczną, odwracając macierz R (patrz podrozdział 2.7). W podejściu bayesowskim (Ali Mohamad-Djafari, Bayesian Inference for Inverse Problems, http://arXiv.org/abs/physics/01 10093) wysiłek związany z rozwiązaniem równania Fredholma skierowany jest na wyprowadzenie rozkładu wynikowego w(x|y, W), warunkowanego wynikami eksperymentu:

w(x|y, W) a r(y|x, W)z,(x|W). Zobaczmy, jak to podejście funkcjonuje w prostej sytuacji, gdy mamy dwie, mieszające się między

sobą klasy przypadków.

Niech jako model posłuży problem

odzyskania ułamka p przypadków sygnału w warunkach pomiaru z zaburzającym tłem. Przyjmijmy, że w eksperymencie wyprodukowana została ogólna liczba n wszystkich przypadków, z których k to przypadki sygnału, a pozostałe są zanie-

czyszczeniem. Wiemy, że modelem dobrze oddającym takie zachowanie jest model rozkładu dwumianowego B(k|n, p, W), przy czym parametr p jest wielkością poszukiwaną. W procesie rejestracji, liczby k oraz n—k przypadków mieszają się mię-

dzy sobą, w wyniku czego znajdujemy pewną liczbę m przypadków sygnału oraz

9,3, Wnioskowanie probabilistyczne

n — m przypadków tła (przyjmiemy, że nasz eksperyment nie gubi przypadków). Zastanówmy się teraz nad modelem, który opisałby owo mieszanie. Przyjmijmy, że każdy z przypadków sygnału może być z pewnym prawdopodobieństwem © zarejestrowany poprawnie jako sygnał oraz z prawdopodobieństwem 1 — a jako tło, podczas gdy każdy z przypadków tła może zostać z prawdopodobieństwem 1 — 8 mylnie zaklasyfikowany jako sygnał oraz poprawnie jako tło z prawdopodobień-

stwem 8. Model ten determinuje związek między nadziejami (m) oraz (n — m) a liczbami wyprodukowanych przypadków sygnału i tła w formie liniowej relacji:

(wm)=hta

51)

=R(,-.).

którą, z uwagi na założenie o braku strat, możemy zastąpić jednym związkiem:

(m) = (a + B — 1)k + (1 — B)n. Tym samym funkcję zdolności rozdzielczej eksperymentu możemy opisać modelem dwumianowym r(m|n, k, W) = B(mln, n(k, a, B), W), gdzie

k

u(k, a, B) = (a + B — DFA

— B).

co prowadzi do rozkładu wynikowego

w(k|m, p, a, B, W) x B(mln, z (k, «, 8), W)B(kln, p, W). W

relacji tej parametr

p pozostaje nieznany,

z(p|W):

dlatego

opiszemy

go zaczątkiem

w(k, p|m, a, B, W) a B(mln, z (k, a, B), W)B(kln, p, W)z)p|W),

skąd już tylko krok do ostatecznego rozkładu: w(k|m, p,a, B, W) 1

—

Z,

m,a

n

8).

W)

2

Bnin.

(k,

a, B),

W)Btkln,

PD,

W)z(plW),

gdyż wielkość k, niedostępną eksperymentalnie, usuwamy procedurą marginalizacji. Współczynnik normujący wynosi:

1

Z(n, m, a, B), W) = 5, B(mln, r(k, a, B), W) J B(k|n, p, W)z(p|W)dp k=0

_

0

l

"n+1)),.,B(mlin, a(k,a,B), W)

Poziomice rozkładu ukazane są na rysunku 9.3 wraz z krzywą (pogrubioną) nadziei

(p), jako funkcji ułamka y = m/n opisującego obserwowaną frakcję przypadków sygnału oraz linią prostą kropkowaną: p

ko y n a«a+8-1

1-8 a«a+B8-1

555

556

9, Stopień racjonalnego zaufania

1,0 0,9

|

0,8

|

0,7 0,6 a

05 0,4 0,3 0,2 0,1 0,0

j

0,0

I

01

|

0,2

p

0,3

1

I

0,4

i

l

05

,

I

06

.

1

07

1

|

08

1

l

0,9

1

1,0

y=m/n Rys. 9.3. Poziomice rozkładu wynikowego w(p|m,ax, 8, W) na płaszczyźnie (y, p) dla przykładowych wartości n = 100, a = 0,8 oraz 8 = 0,7. Krzywa pogrubiona przedstawia zależność nadziei (p) od obserwowanego ułamka y przypadków sygnału, natomiast prosta kropkowana to rozwiązanie uzyskane z równania Py = RP,

reprezentującą rozwiązanie równania P, = RP,. Główną zaletą podejścia bayesowskiego jest uzyskanie oceny parametru p w sytuacji, w której konwencjonalne podejście doprowadza do niefizycznych rezultatów. Zauważmy, że dla osobliwej

macierzy R, tj. wtedy gdy a = 1 — 8, rozkład wynikowy w(p|m, «, B, W) sprowadza się do zaczątku z(p|W).

T)

Reguła następstw Laplace'a to narzędzie umożliwiające przewidywanie — jego war-

tości potrafimy obliczyć dopiero po wykonaniu eksperymentu, który dostarczył pary liczb n oraz k. Prawdopodobieństwo to należy do szerszej rodziny prawdopodobieństw, które moglibyśmy nazwać profetycznymi (predictive), a które konstruujemy w następujący sposób. Niech modeł zjawiska opisany będzie gęstością f (x|0, W) z nieznanym parametrem 6. Z danych doświadczalnych x, konstruujemy funkcję wiarogodności £ (x|6, W), a z twierdzenia Bayesa 1 z pomocą zaczątku z(8|W) otrzymujemy prawdopodobieństwo wynikowe w(6|x, W). Jeśli wykorzystamy prawo mnożenia prawdopodobieństw (9.21),

9.3. Wnioskowanie probabilistyczne

557

możemy usunąć zależność od parametru 8 OO

sGlx.W)= | fGo, Wywolx, W)do,

(9.48)

a otrzymamy rozkład w pełni określony przez znane wielkości. -—-

Przykład 9.3.8

Prawdopodobieństwo profetyczne — rozkład beta dwumianowy Niech model

zjawiska opisany będzie rozkładem dwumianowym

B(m|n, 6, W),

a zaczątek rozkładem beta (9.44). Zaczątek w takiej formie jest atrakcyjny, gdyż w jakimś sensie podsumowuje naszą dotychczasową wiedzę, prezentując ją w formie jednego, wielkiego eksperymentu, w którym znaleziono a + b — 2 przypadki, z których a — I okazały się sprzyjające. Tak sformułowany problem dostarcza prawdopodobieństwa wynikowego (9.45) także w postaci rozkładu beta, natomiast prawdopodobieństwo profetyczne (9.48) przyjmuje postać P(m|n,k,a,b, W) 1

=

ECO

W)w(6|n, k,a,b, W)do

0 —

1 n!

r(n

+

a

t b)

m!(n — m)! I (k +a)T'(n — k ++b)

F'(n + 1)

gmtera—l

(1

—_

0)

m+b-1

do

0

T'(n + a +b)

"Tm+DTu-=m+DTk+talrn=k+b) >

(2n —k—m I' (m +k+a )l+b)

Ten+a+b)

Jeśli wprowadzimy oznaczenia

a=a+k,

B=n+b—k,

to rozkład ten zapiszemy w konwencjonalnej formie P(m|n, a, B, W) =

'(n+1)T(a+8) T(m+a)T(n +8 —m) F'(n + a + B)T (a)T (8) T' (m + 1)T' (n—m +1)

przy czym m = 0, 1,2,...,n,

i określamy go mianem rozkładu beta dwumia-

nowego. Dla kompletu podajmy jego własności: € [m]

a =n=—5

Pim]= „Pn ta +8)

(a + B)”(a + 8+1)

W szczególności, jeśli zaczątek wybierzemy jednostajny, czyli dla a = b = 1, skąd « =k+1l, B=n—k+-1, to rozkład profetyczny będzie miał kształt

558

9. Stopień racjonalnego zaufania

P

(m|n

T'(n + 1)T'(n + 2)

)

Tk+DTm-k+DTQOn+2)

,k,W)=

r(m+k+1)T(2n-k-m+1) T(m +1)T'(n— m + 1)

o nadziei

,

m=0,1,2,...,n

kLl n

i wariancji

k+1

Y [m] lm] = 2

20

1-

k+lyn+l1

ró)nta

m

m

=2ne[]ln (1( -£|7])z):

Widzimy, że rozkład ten jest szerszy niż odpowiadający mu rozkład dwumianowy.

Przedstawia to rys. 9.4, porównujący kształt rozkładu beta dwumianowego (punkty)

określonego przez parametry n = 100 oraz k = 25, k = 50 i k =90 z kształtem rozkładu dwumianowego (słupki histogramu), określonego przez odpowiadające

parametrom k wartości parametru 6 równe 0,25, 0,5 oraz 0,9. rozkład dwumianowy (słupki) i beta dwumianowy (punkty), n = 100 0,14 r 012

|-

0,10 |

m=100 k=25 9=025

n=100 k=50 8=0,5

n=100 k=90 8=0,9

0,08 | 0,06 t 0,04 |0,02 |

0,00

0

ookżeoo 10

20

30

40

50

60

70

80

90

Rys. 9.4. Porównanie rozkładu dwumianowego (słupki) i beta dwumianowego n = 100

100

(punkty);

Rozkład beta dwumianowy stanowi interesującą alternatywę dla zwykłego roz-

kładu dwumianowego. Wyposażony jest w więcej parametrów, a więc zapewnia większą elastyczność przy dopasowywaniu do danych doświadczalnych.

Na zakończenie dyskusji elementarnych metod oceny wej teorii zwróćmy przede wszystkim uwagę na to, że taki sam, jaki otrzymalibyśmy, stosując konwencjonalne szej wiarogodności. Maksymalizując prawdopodobieństwo

T)

parametrów rozkładu w nowynik (9.38) jest dokładnie metody, tzn. zasadę najwiękwynikowe P(K|n, N,k, W),

9.3. Wnioskowanie probabilistyczne

559

maksymalizowaliśmy faktycznie wiarogodność H(k|N, K,n, W) pomnożoną przez zaczątek P(K|n, N, W), który przyjęliśmy w postaci (9.36), a więc bez jawnej załeżności od K. Gdyby nasza pierwotna wiedza W dyskryminowała pewne wartości K, a inne

faworyzowała, wynik naszego rozważania byłby różny od wyniku metody największej

wiarogodności. To zachowanie stwierdziliśmy także w wyniku (9.46), uzyskanym z maksymalizacji prawdopodobieństwa wynikowego (9.45) z zastosowaniem nieinformatywnego prawdopodobieństwa zaczątkowego (9.43). Jest to generalna cecha wnioskowania z użyciem twierdzenia Bayesa. Metody konwencjonalne to szczególny przypadek metody bayesowskiej stosowanej w sytuacji, gdy jesteśmy kompletnymi ignorantami. Wszelka dodatkowa informacja, np. z poprzedniego eksperymentu, pozwala nam uściślić wiedzę o przedmiocie, a twierdzenie Bayesa dostarcza naturalnego narzędzia do integrowania

tej wiedzy i wysnuwania ostatecznych wniosków.

I jeszcze słowo na temat własności ocen parametrów uzyskanych z zastosowaniem twierdzenia Bayesa z punktu widzenia klasycznej teorii. Przede wszystkim, estymatory bayesowskie są zgodne i asymptotycznie spełniają te same warunki co estymatory naj-

większej wiarogodności, a więc są: najefektywniejsze, mają rozkład normalny, a także są

funkcjami dostatecznych estymatorów i to niezależnie od wybranego prawdopodobień-

stwa zaczątkowego. Wynika to z faktu, że w wyrażeniu na logarytm prawdopodobieństwa wynikowego In w(0|D, W) = InL (Do, W) + Inz(0|W) + const,

pierwszy wyraz jest efektywnie n-krotnie większy niż drugi, który tym samym staje się asymptotycznie nieistotny dla dużej próby.

9.3.4. Weryfikacja hipotez z twierdzenia Bayesa Problem oceny parametrów dyskutowany w poprzednim podrozdziale prowadzony był

przy założeniu słuszności danego rozkładu. Często spotykamy znacznie poważniejsze za-

gadnienie, dotyczące oceny trafności analizowanego modelu. Jeśli model jest kwestionowany, to musi on być ulepszony bądź zastąpiony zupełnie nowym i musimy być w stanie dokonać ilościowej oceny funkcjonowania każdego z nich. Niekiedy dysponujemy kilkoma konkurującymi modelami i wskazane byłoby posiadanie narzędzia pozwalającego dokonać sądu i doprowadzić do rozstrzygnięcia. Przyjmijmy wobec tego, że do wyjaśnienia pewnego zjawiska opisywanego przez

informację D uzyskaną na drodze doświadczalnej pretenduje n różnych modeli, o których

założymy, że wykluczają się wzajemnie i wyczerpują wszystkie możliwości. To ostatnie założenie, o wyczerpywaniu, może wydawać się dość silnym ograniczeniem, jako że nigdy nie możemy przewidzieć, co geniusz jutrzejszego badacza chowa nam w zanadrzu.

Dobrym

przykładem mogą tu być wszystkie dziewiętnastowieczne próby wyjaśnienia

precesji Merkurego, które obracały się w kręgu teorii grawitacji Newtona. Jeśli jednak nie dysponujemy superteorią, to przyjmijmy postawę pozytywną i dokonajmy wyboru tego schematu, który na dzień dzisiejszy najlepiej zdaje sprawę ze stanu rzeczy. Jeśli 1 ten najlepszy model będzie miernie odtwarzał rezultaty eksperymentów, to przynajmniej będziemy mieli wskazówkę, sugerującą potrzebę dalszego wysiłku intelektualnego.

560

9, Stopień racjonalnego zaufania

Niechaj teza M; stanowi: model i jest słuszny. Rozumowanie, odniesione do układu tez M;, identyczne z tym, jakie doprowadziło nas do twierdzenia Bayesa (9.31), prowadzi do następującego, analogicznego rezultatu:

P(M,|W)

P(M,|D A W) = P(D|M,; AW)—

2, P(D|M, AW)P(M,|W)

|

(9.49)

i=l

W wyrażeniu tym, tak jak i w (9.31), mianownik to oczywisty czynnik normalizacyjny.

W

P(M;|W)

wielkości

rozpoznajemy prawdopodobieństwo zaczątkowe dla słuszności

modelu o numerze i, natomiast wielkość P(D|M; AW) zbliżona jest swym sensem do standardowej funkcji wiarogodności, jednakże z pewną różnicą. Otóż w części określa-

jącej warunki tej wielkości występuje założenie o słuszności danego modelu. Z reguły

modele zawierają w swoim sformułowaniu pewne dodatkowe wielkości, a mianowicie rozmaite parametry, których wartości mogą, lecz nie muszą być wyspecyfikowane. Wielkość P(D|M; AW) określa wiarogodność, zbiorczo, dla całego modelu, bez wdawania się w takie szczegóły techniczne i dlatego nazywana jest ona globalną wiarogodnością. Jak mamy postępować w sytuacji, gdy model nie jest do końca Ściśle określony? Przywołajmy na pomoc przykład. Niech będą nam dane wyniki doświadczenia,

w którym mierzono rozkład kątowy cząstek emitowanych z rozpadu A > a+-b. Przypu-

śćmy, że dysponujemy dwoma modelami opisującymi ten rozkład. Pierwszy z nich twierdzi, że rozkład ten powinien być izotropowy, a więc jednostajny w wielkości x = cos%: HOIW)

l = 7.

—l, (x

— u).

i=]

Wykorzystujemy zaczątek Jeffreysa i znajdujemy rozkład wynikowy dla parametru o

nSż

l

w(o|5,,n, W) =

Ż„(S.4/n)o"+! ©P (- 202

):

0)):

(9.76)

0

co też daje nam ostateczną postać rozkładu dla parametru a u(eiś.,n.W) 277

1

(

OWZAWE 3

)

zai

p

nS?

(55: )

0)=>u 20?

— x)52 ) ,

gdzie czynnik normujący wynika z przejścia granicznego

jesz) z. RE 2

_ ) n —— (UL —

o 20 —.

d

U]

Z. rozkładu tego znajdujemy, że najlepsza ocena parametru lokacji dana jest nadzieją (i jednocześnie modą)

u=(u)ED[u]=x+ Ai Wynik ten jest dokładnie taki sam, jak w konwencjonalnej teorii, jednak jakże

różna jest jego interpretacja. W tradycyjnej statystyce matematycznej powiedzielibyśmy, że statystyka ji = X podlega rozkładowi Gaussa -

O |

N (ża 5) =

/n

ąz 0 (

TE

2:

zĄ2

zy).

Wynik ten tłumaczymy na stwierdzenie, że najlepszą oceną parametru ju jest staty-

styka X, a niepewność tej statystyki wynosi o/4/n, co określamy prawdopodobień-

stwem P(u=o//n

z(u|W).

w formie minimalnie informatyw-

nej, a powtarzając rozumowanie, które doprowadziło nas do rozkładu wynikowego w(a|a, o,, W), docieramy do celu naszych rozważań

w(uly,o, W) =

|

/2n

exp (- (U — —)

o

20 2

|

Widzimy, że najlepszą oceną ji poszukiwanej wielkości „ jest poprawiony, o wynik

a kalibracji, pierwotny pomiar x: i = y = x+a, a ocena niepewności tego wyniku

to niepewność o, uzyskana przez dodanie, w kwadratach, niepewności pomiaru o, (błąd statystyczny) i kalibracji o, (błąd systematyczny). Procedurę oceny wpływu czynników systematycznych na poszukiwaną wiel-

kość ji metodą pomiaru x, o nadziei j4,, który następnie korygowany jest do wartości y o nadziei u, możemy

łatwo formalnie uogólnić na przypadek, gdy takich

czynników mamy n, a każdy z nich jest opisany wielkością a,. Chwilowo przyjmiemy ograniczające założenie, że oceny tych wielkości mają charakter czysto do-

świadczalny — są wynikiem specjałnego pomiaru, np. efektywności detektora lub parametru skali w kalibracji kalorymetru. Założenie to oznacza, że dysponujemy,

9.4. Prawdopodobieństwo bezpośrednie

wywiedzionym z wcześniejszego pomiaru a = (a;,...,a,), łącznym zaczątkiem z(a|a, W) wszystkich parametrów « = (a,,...,,). O wielkości a przyjmiemy,

że stanowi ona nadzieję (a) = a rozkładu z(a|a, W), a komplet znanych wielko-

Ści V [%,, x,] dostarcza macierzy kowariancji tego rozkładu. Rozporządzamy także

funkcją wiarogodności £ (x|u,, W) „surowego” pomiaru x, o którym założymy, że

jest równy nadziei: (j4,) = x, a niepewność o, zadaje dyspersję rozkładu wielkości ii,. Jeśli wyliczenie to uzupełnimy o zaczątek z(j4,|W), to wszystkie jego elementy możemy złożyć w całość i uzyskujemyć łączny rozkład wynikowy poszukiwanego

parametru j4, oraz układu wszystkich nieznanych czynników a, opisujących wpływ efektów systematycznych

l

w(u,,a|x,a, W) = zł (x|u,, W)z(ala, W)z(u.|W),

(9.84)

gdzie czynnik 1/Z dostarcza unormowania. Zauważmy, że rozkład ten ulega fak-

toryzacji na część zależną od j4, oraz część zależną od czynników «, wpływu. Jest to efekt naszego założenia, ukrytego w postaci zaczątku z(u,|W), o niezależności pomiaru zasadniczego, tj. wielkości „,, od pomiaru efektów systematycznych.

Gdy obiektem naszego zainteresowania jest poprawiona wielkość ju, znajdo-

wana wg recepty u = f(u,,a), wtedy w funkcji wiarogodności £ (x|ju,, W) dokonujemy zamiany parametru j4, na je, co też i prowadzi do nowej funkcji

wiarogodności £ (x|u, a, W) = £(x|f"'(u, a), W), a to, z kolei, umożliwia znalezienie łącznego rozkładu wynikowego l

w(u, x|x, a, W) = 77 (alk, w, W)z(a|a, W)z(ula, W), gdzie z(u|a, W) to zaczątek indukowany Rozkład ten, po marginalizacji:

1 w(u|x,a, W) = z | Solna

przez przekształcenie

u

=

f(u,,a).

W)z(a|a, W)z(uja, W)da,...da,,

(9.85)

jest źródłem wszelkiej informacji o wartości wielkości „e 1 jej niepewności.

Wynik analityczny, jak ten dotyczący przesunięcia skali, możemy uzyskać jedynie w najbardziej elementarnych sytuacjach — już nawet przekształcenie skalowania postaci a. = wi, nie poddaje się takiej analizie (o ile nie dobierzemy specjalnych rozkładów). Gdybyśmy potrafili wykonać wszystkie obliczenia do końca, z rozkładu (9.85) znaleźlibyśmy, niechybnie, najlepszą ocenę /4i poszukiwanej wielkości u jako pewną funkcję g(x, a) zmierzonych wartości x oraz a, czego przykład widzieliśmy powyżej, w zagadnieniu pomiaru przy użyciu przyrządu z przesunię-

tym zerem skali. Ponieważ funkcja ta nie jest nam znana, musimy zadowolić się

przybliżeniem 1 = f(x, a), wykorzystującym tę samą funkcję f, jaka łączy wartość „prawdziwą” w z wartościami „prawdziwymi” j4, oraz m. Aby ukazać Czytelnikowi, że postępowanie takie ma swoje uzasadnienie, rozważmy przez moment

przypadek, w którym zaczątek z(j4|W) wybieramy nieinformatywny, a zaczątek

z(a|a, W) nie zależy, jak to jawnie zapisaliśmy, od wielkości a, co w ogólności nie musi być prawdą (choć trudno byłoby sobie wyobrazić sytuację, w której taka

zależność by występowała). Przyjmijmy także, że nasze najlepsze oceny niezna-

nych wielkości to mody rozkładów wynikowych. Jeśli oceną parametru j4, jest moda x, to także najlepszą oceną parametru u = f(u,,a«) jest moda rozkładu w(u,a|x,a, W), a ta wynosi f(x, «), co wynika wprost z własności funkcji wiarogodności £ (x|;4,, W).

597

598

9, Stopień racjonalnego zaufania

Przyjmując przybliżenie £ = f(x,a), znajdziemy przybliżone wyrażenie na

dyspersję wielkości „w. Dokonamy tego, rozwijając w szereg, do wyrazów liniowych włącznie, zależność u = f(u,, x) względem m, oraz a, wokół punktu (x, a):

u= f(u,, a) = f(x,a) + f,(L. — x) + 3 fi (0; — a;), i=l

gdzie przez f, oraz f; oznaczyliśmy pochodne cząstkowe względem m, oraz «;, obliczone w punkcie (x, a). W przybliżeniu tym odzyskujemy naszą pierwotną propozycję: i = (u) = f(x,a). Dalej procedura przebiega jak w klasycznej statystyce matematycznej — konstruujemy różnicę u — (u) Z u — i, podnosimy

do kwadratu i obliczamy nadzieję rozkładu (9.84). W rezultacie otrzymujemy

Y[u] = (f,a0,) + Ż, fi Vla, ax] J;. i,k=l

Relacja ta, zastosowana np. do przekształcenia skalowania u = aji,, prowadzi do rezultatu

V [u] Z a”o) + x*o;,

co jest dość zabawne, gdyż wynik ten nie jest zgodny ze ścisłym obliczeniem

(at, — (a) (1,))?) = (a?) (uż) — (a)? (u)? = ozoż +ożx" +a'o?, które potrafimy wykonać, mimo że nie znamy funkcji g(x, x). Różnica spowodo-

wana jest składnikiem ożjo;, który, w warunkach uzasadniających liniową aprok-

symację związku u = aj,, jest po prostu małą mniejszego rzędu niż wielkość

ox” lub też a*”o*.

Droga, jaką dotarliśmy do wyniku (9.85), pozwala oderwać się od uprasz-

czającego założenia o doświadczalnym charakterze wartości a, wpływu

efektów

systematycznych. Często wielkości te nie pochodzą z bezpośredniego pomiaru,

lecz prezentują sobą założony w obliczeniach model opisu fizycznego zjawiska.

Dodatkowo sytuację może komplikować fakt, że w grę wchodzi parę konkurują-

cych modeli, a każdy z nich zawiera w sobie jeden lub więcej parametrów, przy czym nie wszystkie muszą być jednoznacznie określone. Niektóre z nich mogą

być rezultatem wcześniejszych dopasowań, a inne pozostawać nawet niezdefiniowane. Przypomnijmy, że problem oceny błędów systematycznych w takiej sytuacji

jest zadaniem, którego nie można rozwiązać w ramach klasycznej statystyki matematycznej. Ta nie może nam służyć pomocą dopóty, dopóki nie przeprowadzimy experimentum crucis i dokonamy wyboru poprawnego modelu. Zobaczmy, jak

„Sprawuje się” w takich warunkach teoria Bayesa.

Przyjmijmy, że dysponujemy liczbą m modeli M, (k = 1,2,...,m), przy czym z każdym z nich skojarzony jest zestaw parametrów a,, (i = 1,2,...,n,). Prowadzi to do układu m konkurencyjnych funkcji wiarogodności £ (x|j4,, My, a,, W)

rezultatu pomiarowego x, uzyskanego przy założeniu słuszności modelu M; wraz

z zestawem jego parametrów e,. Niech każdy z tych modeli realizuje się na poziomie P(M,|W) racjonalnego przekonania, a naszą ufność w słuszność specyficznych wartości właściwych mu parametrów opisuje zaczątek z(a,|M;, a,, W), gdzie wiel-

kości a, zadają najlepsze oceny parametrów a,. Wtedy każdy model przyczynia się w wymiarze

9.4. Prawdopodobieństwo bezpośrednie

w(x,

My,

a;|X,

a,

599

W) A

L

(x |£Lx,

M, OŁ,

W )z(a,|M;,

dz,

W)P(M,IW)z(iu,

|0t%,

Ww)

do rozkładu wynikowego w(u,|Xx,a;,...,a„, W) |

4"

=Z

3

je

(x|/Lx,

My,

Oy,

W )z(a,|M;,

a,

W)P(M,IW)z(u,

|ot,,

W)

da; |

Ż.. da; n,.

k=l

W ramach kazdego modelu znajdujemy wielkość u = f(i,, 4), reprezentującą poszukiwaną wielkość „w właściwą dla tegoż modelu. Rozwiązując tę równość

względem m, i podstawiając do funkcji wiarogodności, a także modyfikując sto-

sownie pierwotny zaczątek z(u,|a4, W), znajdujemy rozkład w(u|x, I

=

A;,...,

dm,

W)

m

>.

fetlu.

My,

Ok,

W )z(a,|M;,

dz,

W)P(M,|W)z(ula,

W)

da

1

...

dO

n,»

k=l

stanowiący fundamentalne narzędzie oceny wartości i niepewności wielkości ut.

Tr)

9.4.4. Zasada maksymalnej entropii Jak wspomnieliśmy wcześniej, reguły mnożenia i dodawania prawdopodobieństw to jedynie część teorii. Jej praktyczny rozwój wymaga dodatkowego, równie ważnego elementu składowego, jakim jest narzędzie przetwarzające naszą werbalną wiedzę na postać

rozkładu prawdopodobieństwa. Mamy tu na myśli nie tylko kwestię prawdopodobieństw zaczątkowych, ale także tę część twierdzenia Bayesa, w której występuje funkcja wiarogodności. Wielkość ta, w niektórych wyżej przedstawionych przykładach i rozważaniach

pojawiała się nieomalże na zasadzie królików wydobywanych przez iluzjonistę z kapelusza, a przecież pojęciowo nie ma różnicy między nieinformatywnym zaczątkiem z(6|W) dla parametru 6 a modelem Gaussa N (x|t, o, W) dla wyniku pomiaru x, wykorzysty-

wanym w funkcji wiarogodności. W tym drugim mamy tylko więcej informacji wydo-

bytych na zewnątrz z „czeluści” W. W jaki sposób konkretna wiedza o wielkościach

oraz o pozwala nam dojść do takiej a nie innej postaci tego rozkładu? Czy z wielkości

W nie powinniśmy wyłuskać jeszcze innych wskazówek i umieścić je po pionowej kre-

sce w symbolicznym zapisie rozkładu? Do tej pory „transmutację” wiedzy na rozkład potrafiliśmy wykonać w pewnych dość uproszczonych warunkach: wszystkie możliwe sytuacje wydawały się nam na tyle symetryczne, że nie odczuwaliśmy potrzeby wyróż-

niania żadnej z możliwych konfiguracji. Taką metodę postępowania uznaliśmy nawet za godną podniesienia do rangi pryncypialnej i stworzyliśmy dla niej zasadę nieistotności (podrozdział 9.2.4). Wariantem tego postępowania są rozważania podrozdziałów 9.4.2 1 9.4.3, gdzie warunki symetrii skłoniły nas do ustanowienia pewnych równań na funkcje zaczątków. Taki system dochodzenia do rozkładów moglibyśmy nazwać metodą grupy symetrii niezmienniczych transformacji.

600

9. Stopień racjonalnego zaufania

Jak jednak z informacji: typowa wartość wielkości x, która może przyjmować zarówno dodatnie, jak i ujemne wartości, wynosi u, a jej typowy rozrzut wynosi o, mamy utworzyć

rozkład tej wielkości? To, czym tu dysponujemy, to konkretne wartości liczbowe i możemy sobie wyobrazić bardzo wiele różnych rozkładów, które odtworzą zadane wartości, np. rozkład Gaussa, Studenta lub też logistyczny. Rozkłady te narzucają jednak dodatkowe warunki: wszystkie są symetryczne, a to pojęcie nie występuje w sformułowaniu

zagadnienia. Wykorzystując którykolwiek z nich, czynilibyśmy dodatkowe założenie, nie mając do tego stosownej legitymacji. Rozkład, którego poszukujemy, to rozkład, który

spełniałby warunki problemu, a jednocześnie pozostawiał nam maksymalną swobodę, czyli możliwie maksymalną niepewność w odniesieniu do innych elementów, jakie mogą

wchodzić w grę, a których nie wyspecyfikowaliśmy explicite. Rozwiązanie tak postawionego zagadnienia wymaga od nas zbudowania wielkości, która byłaby miarą niepewności, jaką reprezentuje sobą każdy rozkład prawdopodobieństwa. Okazuje się, że taką wielkość można jednoznacznie określić, nakładając na nią kilka (w miarę) prostych, warunków.

Przyjmiemy, że mamy

do czynienia z dyskretnym i skończonym układem praw-

dopodobieństw P;, gdzie indeks i przyjmuje wartości 1, 2,...,n. Miarę niepewności rozkładu P; oznaczymy przez $„(P+, P,..., P„). Opiszemy kilka własności, jakich od

tej wielkości będziemy wymagać. Założymy przede wszystkim, że jest ciągłą funkcją

swych argumentów. Jeśli wszystkie wielkości P;, z wyjątkiem jednej, są równe zeru, wtedy nie mamy żadnej niepewności i przyjmiemy, że

$,(1,0,...,0)=S„(0,1,...,0)=::-=S,(0,0,...,1)=0 W szczególności, jeśli mamy tylko jedną możliwość, to na pewno nie mamy najmniejszej

niepewności 1 dlatego $,(1) = 0. Jeśli mamy układ n Pa Op P, oraz n + 1 prawdopodobieństw P,; takich, że P;, = P; dlai = 1,2,...,n, natomiast P,,, = 0, to

S„(Py, ,..., P,) = S„u(Pi, P.,..., P/,0). Przyjmiemy także, że w warunkach najmniej określonych przez rozkład, tzn. wtedy,

gdy wszystkie prawdopodobieństwa są identyczne, niepewność jest maksymalna:

S(Py, P,...,P)

nn

1 l —..., n

S„(1/n,1/n,...,1/n)

= s(n).

Przypatrzmy się teraz sytuacji, w której mamy dwie tezy określone przez prawdopodobieństwa P;, oraz P> o jednostkowej sumie, lecz tezę drugą możemy rozłożyć na trzy

prostsze, rozłączne tezy o prawdopodobieństwach P>, P>» 1 P>z spełniających warunek P = Pą, + Py + Pa. Od wielkości S$ będziemy wtedy wymagali, aby

Pą

S4(Pi, Pą, Pa, Pa3)= $>(Py, P>) + PaS3 (7

Pra Paz

P,' P' P>

Prawdopodobieństwa

P>;/P>,

Pą/P>

1 Py3/ P, to znane nam prawdopodobieństwa

wa-

runkowe, określające szanse każdej z trzech dodatkowych subtez, przy założeniu, że teza druga jest słuszna. Całość możemy odczytać jako niepewność czterech możliwości, która dana jest niepewnością dwóch pierwotnych i trzech dodatkowych, ale te trzy dodatkowe,

9,4. Prawdopodobieństwo bezpośrednie

601

wywodząc się z rozbicia tezy drugiej, przyczyniają się do pełnej niepewności z łącznym

prawdopodobieństwem P>. Ostatni warunek możemy uogólnić w następujący sposób. Niech prawdopodobieństwa

P, odpowiadają pełnemu układowi n wzajemnie wykluczających się tez A;. Niepewność rozkładu P, określona jest przez S„(P,, P;,..., P„). Zamiast jednak podawać prawdo-

podobieństwa P; dla każdej tezy bezpośrednio, możemy zgrupować pierwsze k z nich i podać prawdopodobieństwo nm; = P, + P» + ::: + P, tezy Bi. =A,VAzV:::V 4%, następne m tez zgrupować w tezę B, = Az V Ap V*** V Az 1 Określić dla niej

prawdopodobieństwo r = Pi; + Pra +** * + Pkqm itd., aż dojdziemy do tezy B, okre-

ślającej sumę pewnej liczby pozostałych tez A;, której prawdopodobieństwo wynosi 7T,

i zadane jest sumą prawdopodobieństw tych tez. Dla takiego układu prawdopodobieństw

x; otrzymujemy niepewność S,(7y, Ta, ...,7r,). Następnie określamy prawdopodobień-

stwa warunkowe P,/my, P»/7,..., P,/rr, każdej ztez A;, A>,... „Az, co daje niepewność S+(P+/ru, Pe/ry,..., Pz/q1) z prawdopodobieństwem n;,. Podobny

zbiór prawdopodo-

bieństw warunkowych P,; /712, Pką2/702,. . . , Pkąm/7t2 Uzupełnia wyznaczenie łącznej niepewności S$, o składnik m+S,„(Pkx:/12, Pk+2/T02, .-., Pk+m/7T2) itd. Ostatecznie, niepew-

ność $„(P;, P;,..., P,) możemy wyrazić alternatywnie pod postacią skończonej sumy S„(P4,

Pa, ...,

P,)

=

Ś,(Ty,

02,

21, TTy)

LMS, (>= TT2

+

TY SK

Pa

P,

P

(>:

—

KIWA z

TT

day

PŹ

>)

(9.86)

p.

TT

co stanowi ogólne równanie funkcyjne, jakie niepewność $ musi spełniać. Wyliczone powyżej własności i warunki pozwalają jednoznacznie określić postać funkcji niepewności rozkładu:

S„(P,, P,,..., P,) =— )(Pi InP,,

(9.87)

i=l

z dokładnością do ogólnej multiplikatywnej stałej, którą możemy ukryć pod postacią podstawy logarytmu. Wynik (9.87) znany jest pod nazwą twierdzenia Shannona

(C. E Shannon,

A Mathematical Theory

of Communication,

Bell System

Technical

Journal 27 (1948), 379). Dowód tego twierdzenia podajemy w dodatku E.

Wielkość S określona wzorem (9.87), kojarząc się z dobrze znaną z fizyki statystycznej wielkością (5.6), nosi nazwę entropii informacyjnej. Mierzy ona ilość niepewności,

jaka zawarta jest w rozkładzie prawdopodobieństwa P,. ———

|

Przykład 9.4.11 Entropia informacyjna — rozkład geometryczny Znajdziemy entropię rozkładu geometrycznego (5.12)

G (kip, W) = pą*,

q=l-p,

k=0,1,2,....

(9.88)

Jesteśmy tutaj w dość trudnej sytuacji, ponieważ nasza definicja entropii dotyczyła

rozkładów o skończonej liczbie prawdopodobieństw, podczas gdy rozkład geome-

9. Stopień racjonalnego zaufania

tryczny ma nieskończoną liczbę wyrazów.

Dlatego ograniczymy

liczby n + 1 pierwszych członów:

K=0l-n

=qogpmd> —_q*

P(k|p,n, W) = —ga

ten rozkład do

a po wykonaniu wszystkich obliczeń dokonamy przejścia granicznego z liczbą n

do nieskończoności. Dla takiego obciętego rozkładu entropia wynosi n

S(Po, ..., PJ)

l

n

l

=) PnP, = -7 ) q' ln (ze) k=0

k==( 1

n

(9.89)

n

-7 (-u Z) 3 ą' + (Inq) s k=0 k=0

,

Pierwsza suma w tym wyrażeniu sprowadza się do czynnika normującego Z, natomiast drugą sumę znajdujemy po odwołaniu się do zależności

SU ką? = k=0

kę = ązię (20) -« z (7) l-q

l —

(n

+

1)q”

+

nq”*!

(1—g)7

|

co dostarcza nam następującego rezultatu:

Dq" + ną +nq"*! na Sma(Bo.., ) = 3I (-ZmZ +ą 1- (n++ Da" (l-q)

=-h(

p

)-

1 — (m + l)q" + nq”*

04

05

06

l-q'*!

(l-qg)(1 —q7*')

entropia rozkładu geometrycznego

602

000

01

02

03

07

08

09

10

Rys. 9.13. Zależność entropii informacyjnej dla rozkładu geometrycznego w zależności od

wartości parametru p

9.4. Prawdopodobieństwo bezpośrednie

Dokonujemy przejścia granicznego n —

603

oo, uwzględniając fakt, że wyrazy typu

q” jak również nq” w takim przejściu znikają, i otrzymujemy Sn

(Po,

-..,

P„)

—

S$(p)

n—>00

=

—lnp

—

l-p In(1 — p).

(9.90)

Rezultat ten przedstawiony jest na rys. 9.13 jako funkcja parametru p roz-

kładu. Widzimy, że entropia jest tym większa (dąży do nieskończoności), im wartość parametru p jest bliższa zera. Przypomnijmy: jeśli parametr ten jest bardzo

mały, rozkład geometryczny charakteryzuje się bardzo wolnym zanikiem, co do pewnego stopnia symułuje sytuację, w której wszystkie prawdopodobieństwa są

sobie równe. Natomiast dla wartości parametru p bliskiej jedności, całe prawdopodobieństwo rozkładu jest praktycznie skupione na pierwszym wyrazie i dlatego entropia, zgodnie z postulowanymi własnościami, dąży do zera. Zauważmy, że wynik (9.90) jest dokładnie taki sam, jaki otrzymalibyśmy, gdybyśmy podstawili postać (9.88) rozkładu do wzoru (9.89) i od razu rozciągnęli

sumowanie do nieskończoności.

7

Zachęceni wynikiem powyższego przykładu, rozszerzymy definicję entropii na nieskończony układ prawdopodobieństw

P;, i = 1,2,...,

S(P,, P»,...) = -)P, In P..

(9.91)

i=l

Twierdzenie Shannona pozwała rozwiązać problem postawiony na wstępie niniejszego podrozdziału: jak określić rozkład prawdopodobieństwa P;, jeśli dysponujemy pewną liczbą informacji o jego specyficznych własnościach. Przyjmijmy, że te specyficzne własności to liczba m znanych nam nadziei j4, zadanych funkcji f4(i)

L=) _MGP,

k=1,2,...,m.

i=l

(9.92)

Optymalny rozkład prawdopodobieństw uzyskamy, jeśli zmaksymalizujemy

entro-

pię (9.91) wzgłędem prawdopodobieństw P;, uwzględniając więzy (9.92). Wymusimy w ten sposób spełnienie warunków określonych przez nadzieje, pozostawiając maksymalną, dopuszczalną swobodę — niepewność rozkładu pozostanie możliwie największa

— względem wszelkich innych możliwych jego elementów. Tak sformułowana procedura

postępowania zwana jest zasadą maksymalnej entropii. W praktyce zasadę wariacyjną maksymalnej entropii rozwiązujemy metodą mnożników Lagrange'a A = (Ay, A»,..., A„), tzn. maksymalizujemy następujące wyrażenie: —

3 i=l

P, In P; —Ag

(> i=l

P,

—

)-

Ak k=l

(>

Jx(i) P;

—

w)

=

max(P;,

P>,

Ż..% A0; A),

= i =]

gdzie uwzględniliśmy, za pomocą mnożnika Ag, także warunek unormowania rozkładu P,. Maksymalizowaną wielkość, dła dalszej wygody w obliczeniach, a bez straty ogól-

604

9, Stopień racjonalnego zaufania

ności, możemy także zapisać jako

-—),PilnP, — (49—1)) Pi) Ax) i=l

i=l1

k=l

fi(i)P; = max(P,, Pa,..., Ao, A),

i=l

gdyż dodawanie lub odejmowanie stałych wartości nie zmienia rozwiązania wariacyjnego. Wykonując różniczkowanie względem prawdopodobieństw P;, otrzymujemy

- mP —20-) 4f()=0 k=l

=>

Pi=exp (> - aso) k=l

Mnożnik Ag możemy wyeliminować z warunku unormowania 3

P, = ) exp

(>>

— Zano) k=1

= exp (—Avg) ) exp (i=]

Hana) k=1

= |.

Jeśli wprowadzimy funkcję rozdziału, zwaną w fizyce statystycznej sumą statystyczną

ZA) = ) exp (- >. i=l

k=l

0.

(9.93)

to poszukiwany rozkład otrzymamy jako

P = P(iA, W)= 20)eo(Korzystając z równań więzów (9.92), NS

lk = 2 J()P, = z 2>

ana).

(9.94)

wyeliminować mnożniki Lagrangea A;

Jx(i) exp (-

Haańoj.

co także możemy zapisać jako pochodną logarytmu funkcji rozdziału wzgłędem mnożników 3 Hk =——l|nZzQa 34, nZ(A),

k=1,2,...,m.m

Relacja ta jest dobrze znana w fizyce statystycznej, gdzie występuje pod nazwą przekształcenia Legendre'a. -——

Przykład 9.4.12 Entropia informacyjna — rozkład dyskretny z zadaną nadzieją Przyjmijmy, że wielkość i charakteryzuje się zadaną nadzieją u oraz podlega dyskretnemu rozkładowi prawdopodobieństwa określonemu na zbiorze liczb naturalnych. Jaki jest rozkład wielkości i? Obliczamy najpierw funkcję rozdziału Z (9.93)

Zł) = )expt- Ai) =) esp(-24) -

l

_1-

exp(—A)

| = Tzapc3) 7! 7 T=exp(-3)

9.4. Prawdopodobieństwo bezpośrednie

a z pochodnej jej logarytmu otrzymujemy związek między nadzieją /4 a mnożnikiem Lagrange'a A

—_4 —_4y( PO) _|_, ©xP—Ń)| = maa 70)7 r u (Eo |= 1+ TECH 5 skąd

- 1=exp(-X)

,

exp(—A) = 1 — —. LL Podstawiając do funkcji rozdziału, otrzymujemy Ż=u-—-l,

co daje nam rozkład (9.94) w postaci

|

exp(-Ai) =

Gu, W) ="

TEG

|

l

Ly

ul (! - z) (exp(-X))) = —

-( | =-|1--) u u Uzyskaliśmy dobrze nam znany rozkład geometryczny (5.12). Przypomnijmy, że w podrozdziale 5.2.1 otrzymaliśmy ten rozkład, rozważając prawdopodobieństwo pierwszego sukcesu w kolejnych losowaniach prowadzonych wg schematu

Bernoulliego, wymagającego absolutnej powtarzalności warunków każdego z losowań i ich niezależności. Tym razem żadne z takich obostrzeń nie występuje. Wystarcza jedyna informacja: nadzieja rozkładu dyskretnego, a wtedy najbardziej

ogólnym rozkładem prawdopodobieństwa, jaki spełnia to wymaganie, jest właśnie rozkład geometryczny. Możemy wyprowadzić także inny rozkład wielkości dyskretnej, przebiegającej nieskończony przedział i spełniający warunek zadanej nadziei. Rozważmy

model

czasu zmieniającego się dyskretnie. W każdym z przedziałów czasu może pojawić się pewne zjawisko. Jednostkę czasu wybierzmy na tyle małą, aby w każdym

z odcinków czasowych mogło nastąpić co najwyżej jedno zdarzenie. Niech łączna liczba takich przedziałów będzie n. Jeśli np. n = 3, to możliwe są następujące konfiguracje: 000, 00X, OXO, XOO, OXX, XOX, XXO, XXX, gdzie symbol „o” obrazuje

brak zdarzenia, a symbol „x” jego wystąpienie. Każdą z takich sekwencji nazy-

wać będziemy historią (fizyk zamiast słowa historia użyłby terminu mikrostan). W przypadku przedziału czasowego trwającego n jednostek liczba możliwych historii wynosi N = 2”. Niech każda z możliwych historii ma swoje prawdopodo-

bieństwo p,. Będziemy poszukiwali maksimum entropii informacyjnej dla prawdopodobieństw p;,: N

S(Pr

Das

-::;

PN)

5

—

p,

ln p,

=

max(p;,

Pa, ...,

DN):

i=l

z dodatkowymi warunkami, które za chwilę sprecyzujemy. Rozłóżmy najpierw wszystkie historie na klasy, w których liczba j zdarzeń jest taka sama. Takich

klas będziemy mieli n + 1. Do pierwszej z nich zaliczymy wszystkie historie,

605

606

9, Stopień racjonalnego zaufania

w których nie było w ogóle zdarzeń (jest tylko jedna taka historia: o0o...o), do

drugiej włączymy wszystkie historie, w których nastąpiło jedno zdarzenie (takich

historii mamy

n: X00...O, OXO...O, OOX...O,

..., 000...x) itd., w końcu ostatnia

klasa będzie się składała także z jednego elementu określonego historią xxx... x. Łatwo

się upewniamy,

że klasa historii z liczbą j zdarzeń występuje tyle razy,

ile wynosi wartość współczynnika Newtona (7). Przyjmijmy również, że wszystkie prawdopodobieństwa p, w klasie o numerze j są identyczne i wynoszą q,, wtedy N

n

WANE:

3 j=0

=>

Gy? GZ

Zdefiniujmy prawdopodobieństwo

p, ln p,

iefklasa j)

Inq;.

P, natrafienia, w dowolnie wybranej sek-

wencji czasowej, historii z liczbą zdarzeń równą j, czyli klasy o numerze j P

n!

|

= ——1,4

jiłm=l"

Definicja taka oznacza, że nie tylko utożsamiamy wszystkie historie z klasy j, ale

także określamy to prawdopodobieństwo jako proporcjonalne do liczby historii,

które wnoszą wkład do danej klasy (w fizyce statystycznej mówimy,

że prawdo-

podobieństwo stanu jest proporcjonalne do liczby mikrostanów realizujących ten stan). Po tych zmianach entropia przyjmuje

S(P,, P,,...,P) = —

postać

Pin ( i: —

Nim zaczniemy poszukiwać rozkładu

p 3)

(9.95)

P,, który maksymalizuje tę entropię,

rozważmy sytuację, w której dyskretny czas jest duży, czyli wtedy gdy n + oo. Do części współczynnika Newtona zależnej od liczby n klas i występującego jako argument funkcji logarytm wykorzystamy rozwinięcie Stirlinga (5.5):

(n-j! n!

|

(n=jmie"i n'e”m

|

|

(n=jrei Mon).

OCENE

co, po podstawieniu do (9.95) daje

pla n (= j'n BD

OPZC

| e”

"(-;)

JY

1

m

)

= -S0Piln(;!P) + nn) YO jP. Ostatni wyraz przedstawia sobą wielkość proporcjonalną do nadziei ju

k= DJP, j=0

rozkładu prawdopodobieństw P, określonego na klasach, a będąc wartością stałą, nie odgrywa żadnej roli w procesie poszukiwania ekstremum i możemy go odrzu-

9,4. Prawdopodobieństwo bezpośrednie

607

cić. Narzucimy teraz na entropię warunek unormowania rozkładu oraz warunek na

nadzieję, co prowadzi do zasady maksymalnej entropii w postaci

S(P, P,,...) =— $. P,ln(j!P,) — (44 —1)) ,P,—A) JP, j=0

j=0

j=0

= max(7Póy, P;,..., Ag, A), gdzie dodatkowo wykonaliśmy

przejście graniczne z liczbą klas do nieskończo-

ności. Po zróżniczkowaniu względem wybranego prawdopodobieństwa P, uzyskujemy równanie: d 3p, Po P,,...) = — In(fi!P,) — Ay — AI =0, i=0,1,2,..., którego rozwiązanie ma postać

P, = | hę

1! | Po narzuceniu warunku unormowania i warunku na nadzieję otrzymujemy rozkład Poissona

P(i|u, W) =

u

|

re. i! Zauważmy, że gdybyśmy w związku (9.95) nie dokonali przybliżeń wynikających z dużej liczby klas, to maksymalizowalibyśmy następujące wyrażenie:

S(P,, P,,..., P

=-X 7h (z ju I p, -08-D))P ADP j=0

j=l

które po zróżniczkowaniu, prowadzi natychmiast do równania

d -_S(P, P,,..., P)=-mP-ln( OP,

!(n — i)! FO n!

)-a-ai=0, i=0,1,...,n,

o rozwiązaniu zadanym przez rozkład dwumianowy n!

B(i|n,p, W) =———--p'd — p) ,

ICEDI

n-i

p=—-. A

n

Aby przybliżyć zasadę maksymalnej entropii, zilustrujmy jej sens następującym rozważaniem. Przypuśćmy, że przeprowadzamy pewien eksperyment, w wyniku którego możemy otrzymać n różnych wielkości x,, gdzie i = 1,2,3,...,n. Jeśli eksperyment

ten powtórzymy N razy, to każda z wartości x, pojawi się m; razy, natomiast liczba możliwych rezultatów (historii, mikrostanów) wyrażonych ciągiem wyników x; będzie wynosiła n*. W zadanym ciągu wyników układ krotności mi, ma, ... , m, możemy otrzymać na tyle sposobów, na ile sposobów możemy uporządkować m; elementów Xx1, mą elementów x» itd. Łączną liczbę 42 sposobów (prawdopodobieństwo termodyna-

608

9. Stopień racjonalnego zaufania

miczne) dla takiego zagadnienia znaleźliśmy już w przykładzie 5.1.5 1 wynosi ona £2 =

N! m;!m!...m,!

Tamże pokazaliśmy, wzór (5.6), że

—

M;

m,

In2QZ-NYy n 2. —]l1 yn (7). (gy Widzimy teraz, że poszukując maksymalnej wartości entropii, poszukujemy takiego układu rezultatów x;, aby liczba 62 była maksymalna, a tym samym układ ten pojawił się na największą liczbę sposobów. Ekstremum (które w istocie okazuje się wartością maksymalną, czego nie będziemy tu dowodzili) prawdopodobieństwa termodynamicznego, uwzględniające jednocześnie warunek normalizacji i więzów (9.92), dostarcza

wartości częstości P; = m;/N. Nie oznacza to, że rozwiązaliśmy problem i znaleźliśmy

prawdziwe wartości częstości P; — do tego potrzebowalibyśmy więcej informacji, np. liczba m równań więzów musiałaby być o jeden mniejsza od liczby n możliwych wyników pojedynczego eksperymentu. Pustkę spowodowaną brakiem n — m — 1 równań

staramy się jedynie uzupełnić racjonalną zasadą, która podpowiada nam, że powinniśmy

wybrać taki układ krotności m,, który występuje najczęściej.

Można by sądzić, że twierdzenie Shannona (9.91) możemy uogólnić na wielkość x przyjmującą wartości ciągłe -

ste) = — | sGIW)insoiw)dz. gdzie g(x|W) jest poszukiwaną funkcją rozkładu. Niestety, wyrażenie to nie jest niezmiennicze względem zamiany zmiennej x na dowolną inną, związaną z nią funkcyjnie operacją y = f(x). Niedostatek ten oznacza, że entropia informacyjna zależy od wyboru

zmiennej, a to prowadzi, w prostej linii, do niespójnej teorii. Aby nadrobić ten brak, musimy powrócić do dyskretnych prawdopodobieństw i rozważyć operację graniczną, w wyniku której z dyskretnej wielkości i otrzymujemy wielkość ciągłą x. Przykłady takiego postępowania widzieliśmy w punktach 5.5.1 oraz 5.5.4, gdzie poszukiwaliśmy

ciągłej wersji rozkładu dwumianowego,

a także w przykładzie 5.3.6, w którym uzy-

skaliśmy rozkład Erlanga jako ciągłą wersję ujemnego rozkładu dwumianowego. Dla uproszczenia przyjmijmy, że wielkość i przebiega skończony zakres wartości, np. od zera do n. Rozważmy receptę i=h(x,n),

za pomocą której zwiążemy wielkość dyskretną i z wielkością dyskretną x;, która w wyniku przejścia granicznego stanie się wielkością ciągłą x. Prawdopodobieństwo P, przy

takiej zamianie ulega przekształceniu na P,

=

P, Ai

gdzie Ai = 1 oraz Ax

która w granicy n —

=

P(i(x;)|n,

W)

Ah Ax;

AX;

=

g(x;|n,

W)Ax;,

(9.06)

= Xx, — X;, a Wielkość g(x;|n, W) jest poszukiwaną funkcją,

00, i >

oo stanie się funkcją gęstości g(x|W) ciągłej zmiennej x.

9,4. Prawdopodobieństwo bezpośrednie

Gdy wykonujemy

przejście graniczne n —

oo, we wnętrzu dowolnego,

609

skończonego

przedziału Ax pojawia się wzrastająca liczba punktów x,. Jeśli wybierzemy dwie dowolne wartości x oraz x + Ax, to w przedziale tym będziemy mieli liczbę dh Ai =h(x,n) —h(x + Ax,n) = q, A% x

takich punktów. Ich gęstość w(x|W)

możemy

sposób:

w(x|W)=

Ai =)

lim

00

zdefiniować w następujący, naturalny

d /h(x, — lim ( Ś m.

NA Ax

n>o dx

n

(9.97)

Jeśli za przedział Ax wybierzemy Ax; = x;4; — x;, przyjmując tym samym Ai = I, to otrzymujemy asymptotycznie poprawną (dla dużych wartości n) relację l

(9.98)

Ax, * ——--..

nw (x;|W)

Przykład 9.4.13

Przejście od zmiennej dyskretnej do ciągłej Rozważmy prosty przykład. Wybierzmy obcięty rozkład geometryczny

l -

P =

—q"

54, |

I=012...n

i przekształcenie

x i=n—,

T gdzie wielkość T jest ustalona i definiuje wymiar wielkości x,. Nie jesteśmy zobligowani do takiego traktowania parametru 7 i w dalszej części naszych rozważań uwolnimy się od tego ograniczenia, zezwalając na jego zmienność. Zamiana wiel-

kości i na x; prowadzi do rozkładu

P,

—

= =

l

—

l-q

q

[zgi

q

i__

l

——

p

(

4

nx,lng| T

e

ilnq

n

) q Ak

z

= g(x;|lq,n, T, WJAx;.

Wykonajmy teraz przejście graniczne, w którym liczby i oraz n są proporcjonalne i dążą jednocześnie do nieskończoności, dzięki czemu x, dąży do ustalonej

wartości x, a maksymalna wartość x, dąży do wielkości 7. Niech jednocześnie

parametr q dąży do jedności, ale w następujący, specjalny sposób:

n Inq

—

noo,

q>l1

—AT

=>

AT qf%exp (-7): Nn

gdzie wielkość A jest ustałona i ma wymiar dany odwrotnością wymiaru wielkości 7.

610

9, Stopień racjonalnego zaufania

Po podstawieniu do wyrażenia na funkcję g znajdujemy, że

Cz)

l —exp| CZECH

n, T,

w)

=

(

| —exp|

Wykonując przejścia graniczne n wykładniczy AT | exp —) n | —exp|

(

—

AT(n

)

T

exp(—Ax;).

n

©, i

,

otrzymujemy obcięty rozkład ,

—

xph)

-—————

n

L

-—————

— exp(-Ax;)

AT (n + -) T

n

————

nio

exp(—AX).

| —exp(-AT) exp(—22)

n

Łatwo znajdujemy postać funkcji w (x|W) dla tego przykładu:

5(x|W) = no lim

(7) n

dx

— n>odx lim (rż) - >: Mn T

która jest po prostu funkcją stałą.

Uwolnijmy się teraz od ograniczenia dla parametru 7 i pozwólmy mu się zmieniać. Uzyskana powyżej graniczna forma ciągłego rozkładu podpowiada nam, że parametr ten powinniśmy odsunąć do nieskończoności. Jak 1 poprzednio założymy,

m

nlnq

—

T

n,T>oo,

—A

q—1

©»

(

qX00

Konsekwencją tej własności jest

(

AT(n + -) n

Oraz Ah

=

a tym samym

T

Fm

OO,

AT l — exp (-7) n

i A,

Ww

, T,

—A

—

—

i

l=exp|-——— n

—

E(x|A, W) = Aexp(—Ax),

N,F,i>00

dochodzimy

do

rozkładu

wykładniczego

w (x|W) w tym przypadku znika

w(x|W) = lim T—oo

(7) n

=

na pełnej

półosi.

lim A (rż) T->00

dx

Gęstość

= lim (7) T—00

T

punktów =0.

9,4. Prawdopodobieństwo bezpośrednie

611

Rozkład wykładniczy otrzymaliśmy, definiując liniową zależność między in-

deksem i oraz wielkością x;. Gdybyśmy przyjęli zależność np. kwadratową ł =

X?

"T2

wtedy rezultatem przejść granicznych byłby rozkład, zwany rozkładem Rayleigha, określony na dodatniej półosi, o kształcie funkcji Gaussa (o wartości centralnej równej zeru) pomnożonym przez zmienną niezależną (rozkład ten opisuje rozkład

długości wektora prędkości w dwuwymiarowym rozkładzie Maxwella). Dobierając bardziej skomplikowane prototypy wiełkości ciągłej x, uzyskiwalibyśmy inne, bardziej złożone typy rozkładów.

T)

Podstawiając wyniki (9.96) oraz (9.98) do wyrazenia (9.87) na entropię dyskretnego rozkładu, znajdujemy

SB) = - | PnP 2-3 glin. W) ( i=l

i=l

Sn A |

seiWh

(Zaw)

g(x|W)

Sm = |

sein

(ŻE)

—_T = |

sewn(=C)

8 (Xi |n, m)

Ax,

nw (x,|W)

dx

s(x|W)

* +

s(xlW)

dx + Inn.

am

f

| seiwWa

—00

Jak widzimy, w wyniku przejścia granicznego entropia uzupełniona jest formalnie nieskończoną stałą. Jeśli tę stałą opuścimy, możemy zaproponować następującą postać en-

tropii informacyjnej dla rozkładu ciągłego:

wi) d sg =- | saiWn( —--. | dx. w (x|W)

—00

Granice całkowania zaznaczyliśmy symbolicznie. Wynikają one jednoznacznie z proce-

dury przejścia granicznego. Fundamentalną własnością tej postaci jest jej niezmienniczy charakter przy przekształceniu wielkości x, a to z uwagi na występowanie w niej funkcji gęstości punktów o(x|W), która przy takiej zamianie przekształca się, na mocy

konstrukcji (9.97), dokładnie według tego samego prawa, które obowiązuje dla funkcji rozkładu g(x|W).

612

9, Stopień racjonalnego zaufania

Możemy teraz dokonać stosownych uogólnień w (9.93) oraz (9.94). Jeśli wprowa-

dzimy nadzieje Hy, k =1,2,...,m, funkcji f,(x) rozkładu g(x|W) u =

|

fodgW)dx,

k=1,2,...,m,

to dla funkcji rozdziału Z (9.93) otrzymamy

ZQ) = J w (x|W) exp (- ao) oo

dx

k=|

a poszukiwaną funkcją rozkładu g będzie

sA, W) = ww) 20) o(-Żaia). Prawa strona powyższego związku wyrażona jest przez mnożniki Lagrange'a, ałe możemy je wyeliminować, rozwiązując układ równań lh =

0

TWA

k=1,2,...,m.

W przykładzie 9.4.13 widzieliśmy, że gęstość w (x|W), będąc wielkością dość intucyjną, jeśli otrzymujemy ją w procesie przejścia granicznego, jest w istocie obiektem nie tak prostym. W szczególności, dla rozkładu określonego na nieskończonym przedziale, przyjęła ona wartość równą zeru, co stawia pod znakiem zapytania znaczenie wyrażenia na entropię informacyjną. By bliżej zrozumieć tę trudność, rozważmy rozkład g(x|W) wielkości x, o której nie mamy

żadnych wstępnych informacji, nawet w postaci dys-

kretnego modelu, nad którym moglibyśmy wykonać przejście graniczne. Wiemy jedynie to, że jest ona zawarta między dwiema zadanymi wielkościami a oraz b. Otrzymujemy wtedy natychmiast, że

gtdlW) = PE J w(x|W)dx

Tak więc gęstość w(x|W), z dokładnością do stałego współczynnika, jest zacząt-

kiem opisującym naszą wstępną niewiedzę. Tym samym wróciliśmy, niczym bumerang,

do punktu wyjścia. Wyruszyliśmy na poszukiwanie prostej i zwięzłej zasady, która dostarczyłaby nam, także w odniesieniu do wielkości ciągłej, recepty na konstrukcję stopnia racjonalnego zaufania, a znaleźliśmy dość specyficzny obiekt — tzw. lewą miarę Haara w(x|W) — o którym niewiele, z wyjątkiem szczególnych sytuacji, potrafimy powiedzieć. Dopóki trudność ta nie zostanie rozwiązana, dopóty metoda maksymalnej entropii w odniesieniu do zmiennej ciągłej pozostanie jedynie generalną wskazówką przy poszukiwaniu prawdopodobieństwa bezpośredniego.

9.4, Prawdopodobieństwo bezpośrednie

——

Przykład 9.4.14

Rozkład Gaussa z zasady entropii Niech wielkości j4, zadają pierwszy i drugi moment rozkładu g(x|W) określonego na nieskończonym przedziale —00 < x < 0

u= | xsGlwyaz.

us = | 2gGW)az.

to znaczy funkcje f,(x) definiujemy przez f,(x) = x*. W naszych rozważaniach przyjmiemy, arbitralnie, że miara w (x|W) jest wielkością stałą i od razu położymy ją równą jedności. Funkcja rozdziału Z(A;, A) zadana jest przez 00

fm

Z(Ay, A>) = | exp(—A;x — Aax”) dx =

A

R exp (zz).

—00

Znajdziemy związek między nadziejami a mnożnikami Lagrange'a:

Inn Z(A,, , 22A2)

in (zWAX

7) CTH

= In

o u=-—

(2

2

lnu

(2

p—

lina, + 21—, 2007 4Ą;

zINn

/1 l A A |-nn-->lnly+—- | =——

3a,

29%,o

2l mx

=—IMNT—

4A,

Li A 207

—

—

+

n

ZA,

M 440) 2h —n—

|

ma

+

42M

—.

Ze związków tych otrzymujemy wyrażenia na mnożniki: Ay

|

=

—

L M — U?

=

iL o?

— —

A+

,

l 2(4—Hu)

=

=

l 20?

O

,

ZIĄ—W,

a w konsekwencji również funkcję gęstości AT

N

(xl, O,

W)

=

=

=

zw(-

„/2r0o 2

1

V2RG

Zano)

ex CX

u

———

P

b

20*

(

(x —

————

2o?

|; Y"—

Zz

—A

—

2”

)

na

©Xp

Ę

— A1X

— AX )

|?

—— AK

Żo?

.

Otrzymaliśmy rozkład normalny. To, co najbardziej zaskakuje w tym wyniku, to sformułowanie warunków niezbędnych do uzyskania tego rozkładu. W tradycyjnej teorii rozkład ten wiązany jest zawsze, w mniejszym lub większym stopniu, z centralnym twierdzeniem granicznym. Po to, byśmy mogli odwołać się do rozkładu normalnego, musimy, za każdym razem, szukać uzasadnienia w postaci dużej liczby losowych efektów zaburzających rezultat pomiaru. W praktyce oznacza to

613

614

9, Stopień racjonalnego zaufania

z reguły konstruowanie fizycznego modelu pomiaru i odwoływanie się do mechanizmów wprowadzających niekontrolowane fluktuacje, jak to uczyniliśmy w pod-

rozdziale 5.5.1, budując model Laplace'a małych błędów. Jeśli takiego obrazu pomiaru nie udaje się nam stworzyć, odczuwamy głęboki niepokój, że popełniamy

poważny błąd, który usuwa nam grunt spod nóg i stawia pod znakiem zapytania

całokształt naszych rozważań. W nowej teorii rozkład ten możemy zawsze zastosować w sytuacji, gdy dana jest nam wiedza o typowej wartości wielkości x i jej dyspersji. To wystarczy.

r

9.4.5. Metoda najmniejszych kwadratów Zajmiemy się teraz zastosowaniem dotychczas uzyskanych rezultatów do jednego z najbardziej typowych zagadnień, jakie spotykamy w praktyce: do zagadnienia dopasowania funkcji do danych doświadczalnych. Problem ten jest na tyle obszerny, że zapewne zasługiwałby na wyodrębnienie w oddzielnym rozdziale. Z, drugiej strony, stanowi ilustrację metod współczesnej teorii prawdopodobieństwa, dlatego rozpatrzymy go w tym miejscu, na zakończenie tej części naszych rozważań nad metodą bayesowską, traktując go jako

jeden wielki przykład.

W naszej analizie ograniczymy się do zagadnienia liniowego w nieznanych parametrach 6;, i = 1,2,...,m, tzn. przyjmiemy, że mierzymy n wielkości y;, określonych za

pomocą związku

6,91(X) + 629200) + *** + OnQPm(X),

(9.99)

przy n wartościach wielkości x;, gdzie Q;(x) są zadanymi, liniowo niezależnymi funk-

cjami. Dane y; są zakłócone przez zmienny komponent, „nieregularność, którą określimy symbolem e;,, a której nie potrafimy kontrolować. Przyczyna zaburzenia może nie być nam znana, a jeśli jest znana, to nie dysponujemy żadnymi danymi, które pozwoliłyby nam przewidzieć jego efekt. Zaburzenia tego nie powinniśmy mylić z kwestią losowego charakteru pomiaru. Szum, jaki zniekształca wynik pomiaru, ma dobrze okreŚloną, fizyczną przyczynę. Gdybyśmy tę przyczynę znali i potrafili ją ująć w równania, posiedlibyśmy pewną dodatkową wiedzę o badanym zjawisku, a to pomogłoby nam uściślić nasze wnioskowanie i zawęzić charakter końcowej niepewności. Przyjmiemy

też, że znane są nam

wielkości, które w konwencjonalnej

teorii na-

zywamy błędami wielkości y,. W podejściu bayesowskim wielkości te odnoszą się do zaburzeń i podają dyspersję. Ponieważ określona jest także wartość pomiaru, więc to wystarcza, na mocy przykładu 9.4.14, do stwierdzenia, że wielkości e; ej = y; — 6191(%;) — hP-2(Xx;) — :*: —

OnQn(ti),

podlegają rozkładowi Gaussa. Jeśli uogólnimy problem, wprowadzając korelacje między

zakłóceniami poszczególnych pomiarów, określone przez macierz V, to funkcja wiarogodności naszego problemu będzie zadana przez

LGl6,x,V, W) =

1 (/2n)"x/det V

PB (

-5 0 — 807V- ty — 00) )

(9.100)

9,4, Prawdopodobieństwo bezpośrednie

615

gdzie pozostałe oznaczenia zachowaliśmy z podrozdziału 7.3. Aby „przetworzyć” funkcję wiarogodności na prawdopodobieństwa wynikowe parametrów 6;, zastosujemy twierdzenie Bayesa, do którego potrzebujemy zaczątków parametrów. Te przyjmiemy jako

wzajemnie niezależne i nadamy im postać minimalnie informatywną, właściwą dla pa-

rametrów lokacji, czego uzasadnienie znajdzie Czytelnik parę linijek niżej: z(8,| W) = const,

i = ],2,...,m.

(9.101)

Otrzymujemy w ten sposób funkcję rozkładu wynikowego

l

w(6|y, x, V, W) x exp (-; (y — 66) V"! (y — 00)

(9.102)

Funkcja ta, jak należało oczekiwać, zadana jest rozkładem Gaussa. Zobaczymy to wyNajpierw wykładnik (bez współczynnika 5 i znaku „—”) rozwiniemy

R=(y-©96)'V'y-$0)=y'V'y-y'V'96-09'V'y+0'6'V '$6, a następnie wprowadzimy kwadratową, symetryczną macierz wymiaru m X m:

W'=$'V'$,

(9.103)

co pozwala zapisać wyrażenie na i

R=y'V'y—y'VIpWW"'8 -86W'WE'V

'y+6'W'6

=ylVviy—ylwrw”'9 —6W'Wwy+60W"!6, które jednocześnie wprowadza macierz

v=weg'v-.. Obie macierze W oraz W są tak samo zdefiniowane jak w podrozdziale 7.3. Zwiniemy następnie formę kwadratową R

R =(6 — Wy)” W” (6 — Wy) + y'V"'y — y”WoW”"Wy,

a po podstawieniu definicji macierzy W do ostatniego wyrazu, znajdujemy

R =(6-Wwy)' W” (6 — Wy) +y' Ry,

(9.104) |

gdzie wprowadziliśmy jeszcze jedną macierz:

A=V"'(V-ów$"')Vv"'. Konsekwencją tych manipulacji jest przekształcenie gęstości wynikowej (9.102) do

postaci (składnik z macierzą SŁ upraszcza się z powodu unormowania):

w(óly,x,V,W) =

1 exp (-; (6 — Wy) W"! (6 — vy) . (/2n)"A/det W

(9.105)

Widzimy, że najlepszej oceny poszukiwanych parametrów dostarcza nam nadzieja

(i jednocześnie wielowymiarowa moda) tego rozkładu dmoda =

(6)

=

Wy,

|

(9.106)

Ak

jedynych, które mogliśmy ustanowić, gdyż rozważamy bardzo ogólny model. W konkretnych przypadkach możemy dysponować pewną dodatkową wiedzą, która może zawęzić

klasę gęstości zaczątkowych. Jeśli np. zajmujemy się pomiarem przekroju czynnego o

na oddziaływanie neutrin niskich energii E (nie więcej niż kilka gigaelektronowoltów w układzie laboratoryjnym) z nukleonami, to przekrój ten możemy określić związkiem o =0E, a o parametrze O wiemy, że jest on dodatni. Ogranicza to jego gęstość zaczątkową do wartości większych od zera, co prowadzi do modyfikacji gęstości wynikowej (9.105) i pociąga za sobą uściślenie jego najlepszej wartości i zawężenie obszaru wiarogodności. Istotnie, rozważmy przykład zależności y = 6x, który dla zaczątku (9.101)

prowadzi do funkcji rozkładu wynikowego (9.105)

1 (8 — 065)? ao exp (-—-)

w(6|6g, o, W) = gdzie

natomiast wielkości o, określają dyspersje czynnika zaburzającego dla każdego z n pomiarów. Przypuśćmy, że w wyniku dopasowania otrzymaliśmy 6, = 1,0 oraz o = 0,7. Przedział wiarogodności odpowiadający 95% prawdopodobieństwa określony jest przez krańcowe wartości —0,372 oraz 2,372, a więc o całkowitej szerokości 2,744. Zwróćmy uwagę, że rozciąga się on na wartości ujemne. Narzucimy teraz warunek na parametr 0, wymagając, aby był dodatni. W ten sposób nasz mały przykład staje się jednocześnie ilustracją ogólnych metod bayesowskich stosowanych w przypadkach, gdy parametr, będący przedmiotem zainteresowania, podlega fizycznym ograniczeniom. Wynikowa funkcja gęstości przyjmie wtedy postać

w(0|0%, o, W) 0

„O,

z

ZĄ/2nO

a LĘ

P

(

6 —

——-——.

20?

)

6>0

|)

ZU,

(9.107) .

gdzie czynnik normujący Z wynosi Z =

1

f

—0)?

|ee(-—2210 20?

do.

0 Tym razem przedział wiarogodności odpowiadający 95% prawdopodobieństwa rozciąga

się od zera do wartości około 2,2, a więc jest krótszy. Oczywiście, wpływ obcięcia staje tym mniej istotny, im wielkość o jest mniejsza w stosunku do wartości centralnej 05.

A 21 ENNY EDP

Wyniki tu otrzymane są dokładnie takie same jak w podrozdziale 7.3, co nie powinno nas dziwić, gdyż są konsekwencją przyjętych przez nas gęstości zaczątkowych (9.101),

PNW

a łączny obszar wiarogodnych wartości tych parametrów określony jest macierzą W (9.103). Rozkład prawdopodobieństwa dla dowolnego z parametrów otrzymamy metodą marginalizacji, co także prowadzi do rozkładu Gaussa z wariancją określoną przez odpowiadający temu parametrowi wyraz stojący na diagonali macierzy W (patrz (5.75)).

so wia meentnaii mh mame Am Nm

aaa m m admi

maa

9. Stopień racjonalnego zaufania

EZEOE O Z PRZE NNOZER EE

616

9.4. Prawdopodobieństwo bezpośrednie

I tak, dla o = 0,3 czynnik normujący Podobny efekt dyspozycji bardziej

617

obcięcie przestaje już mieć nieomal jakiekolwiek znaczenie, gdyż Z jest wtedy praktycznie równy jedności. poprawy precyzji wnioskowania uzyskalibyśmy, gdybyśmy mieli do konkretną wiedzę na temat nieregularnych czynników e;.

r-—— Przykład 9.4.15 Masa antyneutrina — przedział wiarogodności Zastosujmy powyższy mechanizm ograniczania prawdopodobieństwem

zaczątko-

wym rozkładu poszukiwanego parametru do fizycznego obszaru w ocenie masy antyneutrina elektronowego, który to problem dyskutowaliśmy wcześniej w przykła-

dzie 2.7.2 oraz podrozdziale 7.4.5. Zakładając model rozkładu Gaussa dła pomiaru

nieznanej wielkości = m;, jej wynikowa funkcja gęstości prawdopodobieństwa jest dokładnie taka sama jak ta we wzorze (9.107): l w(m;|6,,0, W) =-———ex

j

gdzie 6, = —54 eV”,

Zy/2no

h

(m) — 85)” (-F-

,

żo?

> m,>0,

o = 30 eV”. Pełny rozkład oraz jego część ograniczona do

dodatnich wartości kwadratu masy antyneutrina, unormowany do jedności w tym obszarze, przedstawione są na wykresie 9.14. Z rozkładu tego znajdujemy dziewięćdziesięcioprocentowy przedział wiarogodności 0 < m; < 26,6 eV” dla kwadratu masy antyneutrina (przypomnijmy rezultat konwencjonalnej statystyki z podrozdziału 7.4.5: 0 < m? < 13,5 eV”). Jeśli przejdziemy od kwadratu masy do samej masy, przedział wiarogodności na tym samym poziomie zawiera się między

zerem a 5,2 eV.

Powyższe

obliczenia oparliśmy na zaczątku, który traktowany jako funkcja

kwadratowa masy jest stały. Postępowanie to nie ma uzasadnienia w żadnej z dotychczas przedstawionych zasad. Wynika ono tylko i wyłącznie z tradycji, wymu-

szonej, nota bene, prostotą matematyczną, jaka się utarła w odniesieniu do analizy

tego zagadnienia.

0,08 0,06

|

—150

MO

—100

NJ

-50

0

50

Rys. 9.14. Pełny rozkład Gaussa i jego część zawężona do dodatnich wartości ocenianego

parametru

r”

618

9. Stopień racjonalnego zaufania

Rozważmy teraz inną typową sytuację, kiedy macierz kowariancji V określona jest z dokładnością do czynnika skalującego o*

V=OoV,

(9.108)

gdzie macierz V jest znana. Postać (9.100) funkcji wiarogodności dla tego zagadnienia nie ulega zmianie, przekształcimy jedynie jej wykładnik (9.104) do postaci jawnie uwzględniającej czynnik skalujący:

R=

|

m

l

--

1 -

3 (6 — Wy)” V-"' (6 — Wy) + cz) NY = zd.

Macierz W pozostaje bez zmiany, ponieważ w jej definicji nieznany czynnik o ulega uproszczeniu

Wy= (97007!)

Bra ZY-ly = (87610)

GTV-!y,

pozostaje on jednak w macierzy kowariancji W

w= (870-010)

=? GÓR

= ow,

(9.109)

jak również w definicji macierzy Sł

Q=V'(V-6W$')V"'=

W” (Y — owa”) V' = Ś

Poniewaz jednocześnie mamy związek

detV = o”" detV, to dla funkcji wiarogodności otrzymujemy L(yl8,x,V, W) =

(

exp (- (6 — Wy)” W” (6 — Wy) ydy |

2Zn)rorv det V

202

Prowadzi to do gęstości wynikowej, warunkowanej także parametrem o, m l w(ó|o, y,x, V, W) x —exp| o"

—

(9.110)

(6 — Wy) W”! (6 — Wy) + m 202

Gdyby interesowała nas tylko ocena parametrów 6,, to parametr o w tej gęstości

byłby parametrem naprzykrzającym i moglibyśmy go usunąć procedurą marginalizacji. W niektórych zastosowaniach możemy być jednak zainteresowani jego wartością, dlatego postąpimy w bardziej ogólny sposób i zbudujemy łączną gęstość wynikową zarówno dla 0;, jak i o. Dla gęstości zaczątkowej parametrów 60; zachowamy postać (9.101), natomiast dla wielkości o wybierzemy postać Jeflreysa (9.74): 1

z(o|W)=—,

O

o>0,

9.4. Prawdopodobieństwo bezpośrednie

619

a otrzymamy łączną gęstość wynikową dla wszystkich poszukiwanych wielkości w(

6,

o|y

x

hyV,

4

)

s(-

l

—

Zg”"+1

8—WyTW-!(0—W p)” W-! (6 — Wy) 202

+y

TQ

)

(9.111)

gdzie Z jest czynnikiem normującym

1

z= |

l

ep

-

Ndo

——y! dy

o"

f

„|ee

20?

_(

o

6 — WyTW-! (6 — W )

202

y)

do.

—00 0 Całkowanie względem parametrów 6, dostarcza czynnika proporcjonalnego do o”

| ox (5 00

—

Wy)” Tęqyp-1 W-! (6

w

—

20?

19 — (Zn) m o" kier,z

—00

co prowadzi do całki normującej w postaci (patrz (9.76))

Z = (zz)

Yderw | 0

— (2x)

exp (-z577% 20?

o” m

) do o

Zaw ( yrŚy v/detW.

W związku tym może nas zaniepokoić fakt pierwiastka z wielkości yTRy,o której nie wiemy, czy jest dodatnia. Rozważmy wykładnik funkcji wiarogodności (9.110)

R=(06—Wwy)"W"'(6-Wwy) Hy $y. Jeśli podstawimy do niego rozwiązanie (9.106) konwencjonalnej metody najmniejszych kwadratów, wielkość ta przyjmie najmniejszą możliwą wartość, jaką ta metoda może wymusić na wielkości Ń:

R

h

—.

dihn=y Sy.

(9.112)

Stąd też wnioskujemy, że musi być ona dodatnia. Wyrażenie (9.111) dostarcza jednoczesnej oceny najlepszych (najbardziej prawdopodobnych) wartości parametrów 6; zgodnych z (9.106) oraz wartości wielkości o: ad

g

moda

YTY

+1

_

Śmin

n+1

Jeśli nie interesują nas parametry 6,, możemy je z łącznej funkcji rozkładu (9.111) usunąć, wykonując całkowanie: 00

w(oly,x,V, W) = J w(8,o|y,x, V, W)dó 7%

=

—

I

Zam (Yin) 07m!

exp

( >) |-——

2a

(9.113)

| -

620

9. Stopień racjonalnego zaufania

NAZWCZTAE

Rozkład ten charakteryzuje się nadzieją

_

=

Zm

(

n-m—l

Śnin

o

'a

(—>7)

2

nm

którą warto porównać z tradycyjnym wynikiem (7.47), jak również z

(o) =

l Znm

(y

— Śnin

J

f

o”

uar

Ńmin

SXP | 755

20?

0

0

do =

Znm+2 Zn_m

( (v

—

Śri

=

Sin

Mtmin

,

nm

(9.114)

Z. gęstości (9.113) wynika także inna, bo niezależna od parametrów 6;, ocena najbardziej prawdopodobnej wartości czynnika skalującego o Omoda

z

—

Śtmin

n=m+

1 .

Obu tych wielkości możemy użyć do oceny pełnej macierzy kowariancji (9.108) 1 (9.109).

W filozofii podejścia bayesowskiego zapewne lepsza z nich jest ta zadana przez modę

rozkładu, choć bardziej konwencjonalne rezultaty, jak się przekonamy o tym za chwilę, otrzymamy, stosując asymptotyczne przybliżenie w wyrażeniu na nadzieję (o) lub Ścisły

wynik (9.114) na (o”).

Spójrzmy teraz na postać rozkładu parametrów 0,, który uzyskamy z (9.111), cał-

kując względem czynnika skalującego o 00

w(óly,x,V, W) = | w(e.oly,x.%. W) do

ZMOWA 0

(6 — Wy) W-" (6 — „|

Rozkład ten jest rodzajem rozszerzenia rozkładu Studenta dla przypadku m zmien-

nych. Nadzieja, jak również wielowymiarowa moda tego rozkładu zadana jest tradycyjnym wyrażeniem (9.106), a obszary wiarogodności o zadanym prawdopodobieństwie

określone są hiperelipsoidami w m-wymiarowej przestrzeni. Z rozkładu tego mogą nas interesować dwie wielkości: rozkład pojedynczego, wybranego parametru 0, lub też

rozkład pełnej formy kwadratowej występującej w nawiasie kwadratowym.

Zacznijmy od rozkładu wybranego parametru. Rozkład ten będzie nam łatwiej określić, jeśli powrócimy do wyjściowej postaci (9.111), w której usuniemy, przez całko-

wanie, wszystkie parametry 6; z wyjątkiem wybranego parametru 6;. Wykorzystamy do tego znaną własność (5.75) wielowymiarowego rozkładu normalnego. Własność ta,

9.4. Prawdopodobieństwo bezpośrednie

621

odniesiona do rozkładu (9.111), dostarcza nam rozkładu wybranego parametru

w(6;,o|y,x, V, W)

ŚĘ.. U) —gaa2

p

| »(-

T qy-1

6—w

6-—w

DW

> dó, ... d6;_;d6;,,... dO,

—00

l

=

=

l

exp | -752

1

dj,

— (65)

2

yć

+ Rmin |

|»

gdzie, dla uproszczenia notacji, „wprowadziliśmy nadzieję (9; | z równania (9.106) oraz diagonalny element macierzy W oznaczyliśmy przez w,,. Ten związek, scałkowany

względem o:

OO

w(8;|y, x, V, W) = J w(6;,o|y, x, Vv, W) do

-0) +3 nin

r(ęni)

_—

2

—

|

— 3 (m—m-+1)

( +

_G- (6, TZ ) |

(n — m)tb,; (0?)

m)

NEC — m)tb,; (02) (

(po ostatnim znaku równości wykorzystaliśmy wyrażenie (9.114) dla nadziei (a*)), po podstawieniu 0, — (9.

= =) W; (0?)(02

—00 < tj < ©,

przechodzi w rozkład Studenta (5.86) o n—m stopniach swobody, jednakowy dla każdego

z parametrów 6,

r (——-) w(t,|n, m, W) =

xG=m)r

(=

p (

+

n-m

—1(n—m+1) )

.

622

9. Stopień racjonalnego zaufania

Zarysujemy teraz sposób na określenie rozkładu formy kwadratowej parametrów 0, z łącznej funkcji rozkładu (9.111), którą przepiszemy tutaj, rozbijając ją na iloczyn dwóch czynników: %

w(8,oly,x, V, W) =

— Źn=m

l

Śnin

exp (-=)

( So)

gnm+l

(V2x)

0

l

l

x

any/det Wą

x

exp (5:

20?

—

6 —wWwy'w" 0 - wy).

Drugi czynnik w tym wyrażeniu to m-wymiarowy rozkład normalny parametrów 65, o ile byłaby znana nam wielkość o. Oznacza to, że wielkość l

—

u = —o (6 — Wy) W” (6 — Wy) opisana jest rozkładem (5.77) x* o m stopniach swobody, dlatego łączny rozkład (9.111) możemy zastąpić rozkładem

w(u,oly,x, V, W) —

za (finjooa l 22) rgm

"03

exp (- >)

uż"! exp (->)

„Wyłuskamy” teraz z wielkości u zależność od o, definiując nową, większą od zera zmienną t£: U

=

t”

—

>

o

du

21

=

—3

o

dt ,

co pozwala zapisać funkcję rozkładu przez w(t,oly,x,V,

W) =

2

Zy_m (VS) (2)

r (im)o"* p exp (-

=

202

Teraz możemy wycałkować względem parametru o: m

w(ily,x,V,W)=2

m (y £2 + Si) (42)

Zn=m (VS)

gm!

5 (żm)

1

=2

—

I (zn)

—

r (>m) 2 jA (zn — m)) Y Hmin

(1 + —) min

m—l

(

-

min

)

Dokonamy w końcu podstawienia

2.

= |

ro (02)

(o?)

-

6 — Wy) W-! (6 — Wy).

.

9,4. Prawdopodobieństwo bezpośrednie

623

gdzie W

= (07)W,

jest naszą najlepszą macierzą kowariancji rozkładu parametrów 6,. Podstawienie to doprowadza nas do ostatecznej postaci rozkładu w(T|n,m,W)=2

m

A)

r(z)

—

(oe)

2

4773

R—M

rea

będącego wariantem rozkładu zwanego rozkładem Hotellinga. Gdy m = 1, otrzymujemy rozkład Studenta o n — 1 stopniach swobody. Właściwy rozkład Hotellinga w klasycznej statystyce występuje pod postacią

w(T;n,m) =2

czy r(g)e(e) (3)

2

1 określony jest dla statystyki

2

(0

T"'(1+

r

-

T>0,

T=(1-1)6-p)"V"'(x- p), gdzie macierz V to macierz estymatorów wariancji (4.5) i kowariancji (4.13). Służy on

do testu istotności łącznego odchylenia średnich x,, Xą,...,X„ hipotetycznego układu wartości oczekiwanych ui, Ma, ..., Lm.

z próbki od pewnego

Jeśli umiemy dopasować zależność teoretyczną do danych doświadczalnych, to na-

stępnym krokiem jest ustalenie, która z konkurujących zależności lepiej opisuje te dane. Dlatego rozważymy teraz problem weryfikacji modeli określonych różnymi zależno-

ściami. Najbardziej elementarny przykład potrzeby takiego rozstrzygnięcia pojawia się przy dopasowaniu wielomianu, kiedy to musimy podjąć decyzję co do jego stopnia. Za-

sadniczo procedura weryfikacji wygląda tu bardzo podobnie do tej, jaką rozpatrywaliśmy w podrozdziale 9.3.4. Z uwagi na techniczne komplikacje, spowodowane nieskończonym

zasięgiem dopuszczalnych, a priori, wartości zarówno parametrów 6;, jak i parametru o,

przeprowadzimy tu powtórnie stosowne obliczenia. Rozważymy przypadek pełnej znajomości macierzy kowariancji V. Funkcja wiarogodności modelu określonego przez m parametrów zadana jest wyrażeniem (9.100), do którego podstawimy przekształcenia (9.104) oraz (9.106):

C(6,x,V,W) =

(vzr)

Gp —— esp (-> (6 — (6) W, (6 — (8) + i) w det V 2 (9.115)

Do wielkości min oraz W dodaliśmy dodatkowy indeks (m), aby zaznaczyć, że pochodzi

ona z modelu zadanego wyrażeniem typu (9.99) i określonego przez m parametrów 6,. Abyśmy mogli znaleźć globalną wiarogodność P(D|M,„ A W) dla tego modelu — teza M(„, głosi: model z liczbą m parametrów jest słuszny — musimy wprowadzić

624

9, Stopień racjonalnego zaufania

gęstości zaczątkowe parametrów i scałkować względem nich. Przyjmiemy, że wszystkie zaczątki są jednorodne zł

6;16;,87, W |

ł

ł

)=

0;

—

—,

0;

0,

) x

(8 — (8)) W”! (6 — (0) + zw

|) do.

W następnym kroku przekształcimy wykładnik:

—o (6 — (6) W" (6 — (6)) + —07W-'9 5? —

02 +- 52

—

52

06 )

1

W"l0—-

52

0

g2

W”!

(0

(w ostatnim składniku włączyliśmy czynnik o* do macierzy W, dzięki czemu mogliśmy uniknąć nad jej symbolem znaku tyldy). Całkując względem uprzykrzających parame-

2

9. Stopień racjonalnego zaufania

a7

626

ii

ibn

trów 6;, znajdujemy

dat malima koala ae ke bee

P(DIó, Mm AW) m

(/2r)

7I

o o? + 63

/det V

e xp | ( —z (m o" | Vlmn +F 5 2 o” +6

(6) W"!

o ))

Nh

=

Ponieważ wielkość 6 jest z założenia znacznie większa od czynnika o , dlatego dokonamy

przybliżenia, zaniedbując o* w stosunku do 6”:

PN 5m/det V mp(-1(ar507W 0). 2

g”

P(DIó,

Mn)

A W)

=

(2x)

Musimy teraz zmarginalizować wprowadzony parametr 6. Dokonamy tego za pomocą właściwego zaczątku Jeffreysa (9.75): l

m

P(D,

Ó| Mm)

A

=

W)

n

A (/2r) 5m+1/det V

cXp

(-;

2

2

(Sta

+

—

6

o

(6)' w”

))

,

gdzie

aby następnie scałkować względem niego

P(D|Mqm, W)

k

=

gm

>

a(/2n) vdetV

exp | —

Ńmin | f 1

|

2

02

— exp | >=

ó”!

26?

(98)

mai „N dó W”

(6) | —.

0

min

Ufając, że nie popełniamy istotnego błędu, przesuniemy granice całkowania do zera oraz nieskończoności:

P(D|M,„, W)

3

m

A (42) /det V o" a(42a

-

:

ap (- min |) J(1— exp (-5 0 w” toy) —d 2

(

+/det V

exp | —

8

26

6

: 2

(42) „r ()ep (- az 2a (/2x) vdetV(418) W-' (6))

|

|

9,4. Prawdopodobieństwo bezpośrednie

627

Teraz już możemy utworzyć stawkę, w której upraszcza się czynnik normalizacyjny A

zaczątku Jefireysa, o ile każdy z modeli ma przynajmniej jeden parametr:

P(D|Mm AW) P(M„IW)

Qm)/tk) F

P(D|M%

A

W)

P(M%|W)

m

_1

2 min) P(MlW)

N—

= (42) GAMOWAE, »p( W ((8)

z

(6)) r () exp (-z%m. 2

2

min

PMW)

gdzie przy macierzach W oraz wielkościach Ytm;, umieściliśmy dodatkowy indeks, wskazujący na związek tych obiektów z określonym modelem. Pierwsze trzy czynniki to współczynnik Ockhama, natomiast stosunek funkcji wykładniczych to stosunek maksymalnych wartości funkcji wiarogodności, czyli poznany przez nas wcześniej w związku (9.59) czynnik Bayesa.

Podobnie obliczenia możemy wykonać również w przypadku, gdy pierwotna macierz

V znana jest z dokładnością do czynnika skalującego. Szczegółowe rachunki pozostawimy jednak do wykonania Czytelnikowi, jak również pozostawimy mu ocenę „ekwilibrystyki umysłowej”, jakiej tu dokonaliśmy.

Wyrażenie na stawkę przyjmuje prostszą postać, jeśli zdecydujemy się na zastosowanie wielomianów ortogonalnych, gdyż, jak wiemy z podrozdziału 7.3.2, macierz W jest wtedy jednostkowa. Jeśli, dodatkowo, pierwotna macierz V jest diagonalna, wtedy także wyrażenie na St; redukuje się do (patrz np. (9.112)) _

_

s

n

_

2

m

Nnin =) Ly =yVy-yV'G6'V'y=y'V"'y-(6) (6) =) 3-2 ,08)”. i=l

Ji

i

i=1

gdzie o; to i-ty element na diagonali macierzy V. Podstawiając te rezultaty do stawki Qimytk, otrzymujemy

k

(CZ

F

e

Q mh)

(8;) (aż) i m (Ż 0?) 2]

>

7

r(7

_ ( z)

Dł

k

(3)

Przyjmijmy, że m = k + 1, czyli rozważamy lomianu o jedność, wtedy

WA

Qt+1)/(h) = = k

ł

=|

(6,)”

exp (

F Zaj

3

2 i=k+1

w)

PM

|W)

P(M5|W)

słuszność podwyższenia stopnia wie-

(6.2 | TGE+D) "Tt kl

.

(1

N PMaqylW)

exp ( (8441) ) "PMolW)

*

i=l

W sytuacji, gdy nie mamy preferencji dla żadnego z rozważanych wielomianów, ostatni czynnik (stosunek prawdopodobieństw zaczątkowych modeli) możemy przyjąć jednost-

628

9, Stopień racjonalnego zaufania

kowy. Jeśli dodatkowy parametr (6,4) nie jest istotnie duży, wtedy dwa pierwsze czynniki mogą zadziałać jak brzytwa Ockhama i zaważyć na wartości stawki, gdyż stosunek funkcji gamma Eulera z dobrym przybliżeniem wynosi ,/k/2, a więc w wielu zastoso-

waniach jest niewiele większy od jedności.

—- 9.5. Prawdopodobieństwo personalne Zasadniczym jądrem przedstawionej dotychczas teorii prawdopodobieństwa jest kwestia uzasadnienia postaci rozkładu prawdopodobieństwa. Staraliśmy się pokazać, jakie prze-

słanki są niezbędne do odtworzenia wszystkich ważniejszych rozkładów, które pojawiają

się w klasycznej teorii. Wskazaliśmy także na dwa fundamentalne narzędzia: metodę

grupy transformacji i metodę maksymalnej entropii, za pomocą których przekształcamy posiadaną informację (bądź jej brak) na matematyczną formułę rozkładu. Nacisk na logiczny i dedukcyjny charakter związku między werbalną wiedzą a analityczną formułą

sprawia, że prawdopodobieństwo uzyskiwane na tej drodze zwane jest obiektywnym. Stosowany bywa także bardziej precyzyjny termin prawdopodobieństwo logiczne. Właśnie ten logiczny aspekt teorii chyba najbardziej przemawia do fizyka, gdyż zgodny jest z jego postrzeganiem procesu poznania naukowego. Dlatego też zapewne nie jest dziełem przy-

padku, że jego twórca — H. Jeffreys i najgorętszy orędownik — E. T. Jaynes, byli fizykami. Nie jest to jedyny sposób podejścia do kwestii prawdopodobieństwa. Czyż nie zdarzyło się Ci, Czytelniku, wygłosić albo usłyszeć zdanie, które miałoby sens: daję dwa

przeciwko jednemu, że następne wybory wygra X lub: moja drużyna wygra mecz z dru-

żyną Y. Takim stwierdzeniem dajesz nam do zrozumienia, że jesteś, Czytelniku, gotów

zaryzykować 2 zł, aby wygrać 1 zł. Jest to Twoja osobista miara oceny szansy, że obstawiane zdarzenie nastąpi z prawdopodobieństwem 2/3. Naprzeciw tak rozumianemu prawdopodobieństwu wychodzą instytucje totalizatora, a bookmacherzy żyją z niego, co

ukazuje na jego operacyjny, a więc praktyczny, charakter. Ponieważ taka definicja praw-

dopodobieństwa łączy się nierozerwalnie z Twoją wiedzą, prze-

konaniami, a może nawet uprzedzeniami (każdy kibic sportowy jest niepoprawnym optymistą w kwestii szans zwycięstwa jego

drużyny), prawdopodobieństwo to zwane jest subiektywnym lub jeszcze lepiej personalnym. Jeśli definicję tę uzupełnimy paroma postulatami, to otrzymamy ten sam zbiór reguł, jaki obowiązuje dla teorii Kołmogorowa i prawdopodobieństwa logicznego. Ojcem takiego podejścia był włoski matematyk B. de Fi-

netti, który swym artykułem „Le Prćvision: ses lois logiques,

ses sources subjectives”, opublikowanym w Ann. Inst. Poincarć 7, 1 (1937), dał początek całej serii prac i to tak skuteczny, że

B. de Finetti,

1906-1985

znakomita większość literatury dotyczącej współczesnej teorii prawdopodobieństwa odnosi się do tego . nurtu. o. o, Z nurtu tego wyrastają inne operacyjne definicje prawdopodobieństwa personalnego. Przypuśćmy, że chcemy uzyskać opi-

9.5, Prawdopodobieństwo personalne

nię eksperta w kwestii pewnej

decyzji, którą musimy

629

podjąć, a decyzja ta może być

trafna lub błędna, w zależności od dalszego biegu wypadków, którego nie umiemy przewidzieć. Umawiamy się ze specjalistą co do jego wynagrodzenia, a suma którą ustalamy,

będzie jednostką w dalszych rozważaniach. Domagamy się jednocześnie od eksperta, aby

wraz ze swoją opinią przekazał nam pewną liczbę x, zawartą między zerem a jednością, a następnie potrącamy mu z honorarium sumę (1 — x)? jednostek, jeśli jego sugestia

będzie trafna, lub x*, gdy nam doradzi źle. Zmusi to eksperta do rzetelnego rozważe-

nia możliwych wariantów dalszego rozwoju sytuacji. Jeśli ekspert chce zminimalizować stratę swojego zarobku, będzie musiał wybrać wielkość x jako równą prawdopodobieństwu p przebiegu zdarzeń prowadzących do trafnej decyzji. Istotnie, oczekiwana strata

eksperta wynosi

pl —x) + (4 — px” 1 przyjmuje wartość minimalną dla x = p. Trzecia, także operacyjna definicja prawdopodobieństwa odwołuje

się do loterii.

Przypuśćmy, że zainteresowany jesteś Czytelniku pewnym wydarzeniem A. Oznaczmy przez p Twój poziom przekonania o możliwości zajścia tego zdarzenia. Ocenę wielkości

p możemy uzyskać, stawiając Cię przed następującym wyborem: e Uzyskasz nagrodę w wysokości 10 zł, jeśli zdarzenie A nastąpi, lub też zostaniesz

pozbawiony tej nagrody (nie dostaniesz nic), gdy zdarzenie to nie nastąpi. e Weźmiesz udział w darmowej loterii, w której możesz wygrać 10 zł z prawdopodobieństwem p lub nie wygrać nic z prawdopodobieństwem 1 — p.

Jeśli dana jest Ci, Czytelniku, taka alternatywa i nie widzisz preferencji między opcjami,

to wielkość p mierzy Twój poziom wewnętrznego przekonania co do szansy wystąpienia zdarzenia A.

Od strony formalnej teorie prawdopodobieństwa logicznego i personalnego nie róż-

nią się. Obie stosują ten sam aparat, a jako narzędzie wnioskowania wykorzystują twierdzenie Bayesa wraz z jego całym arsenałem pojęć. Jednakże obok różnic interpretacyjnych, jakie znajdujemy w obu podejściach, występują różnice praktyczne. Zwolennik

podejścia logicznego ma spętane ręce: najpierw musi postawić się w roli kompletnego ignoranta, aby z symetrii problemu wydobyć nieinformatywny zaczątek lub też z wiedzy, jaką posiada, minimalnie informatywny zaczątek i dopiero na tym fundamencie budować gmach wiedzy z danych doświadczalnych. Nie jest to zadanie, które zostało do końca rozwiązane — wspomnieliśmy o zasadniczych trudnościach, jakie „gnębią” zasadę maksymalnej entropii w odniesieniu do zmiennej ciągłej. Także w odniesieniu do narzędzi, które już znamy i rozumiemy, jak np. grupa transformacji symetrii, nie zawsze i do końca potrafimy rozpoznać trafnie problem. Praktyk podejścia personalnego znajduje się w znacznie bardziej komfortowej sytu-

acji. Nie musi dbać o żelazną logikę i konsekwencję — stać go na wybór bardziej liberalnej postaci zaczątku, do konstrukcji którego może wprząc swoją wiedzę i doświadczenie zawodowe. Wystarczy, że jego zaczątek będzie „„wrozsądny”, a dane doświadczalne, dostatecznie

obfite, dokończą dzieła, redukując i wygładzając wszelkie niedokładności. Przykładem takich rozważań jest cały podrozdział 9.4.5 poświęcony metodzie najmniejszych kwadratów.

630

9, Stopień racjonalnego zaufania

Nie oznacza to, że zwolennik podejścia personalnego wolny jest od wewnętrznych

rozterek. W duszy jego ciągle Ścierają się dwa aspekty analizy danych: zależność uzyskanych wyników od zastosowanego zaczątku i łatwości interpretacji rezultatów. Ten

pierwszy każe mu problem komplikować i badać istotność zmian w wyniku końco-

wym, co nieuchronnie prowadzi go do praktycznych trudności z wykonaniem samych obliczeń, a ten drugi każe mu wykorzystywane narzędzia upraszczać. Zważywszy, że

typowe obliczenia we współczesnej teorii są bardziej skomplikowane niż ich odpowiedniki w klasycznym podejściu, zagadnienie wytworzenia w miarę elastycznych, a jedno-

cześnie praktycznie użytecznych modeli i prawdopodobieństw zaczątkowych ma swoje znaczenie. Widzieliśmy dwa przykłady takiego praktycznego podejścia. W podrozdziale 9.3.3,

gdy rozważaliśmy funkcję wiarogodności w postaci rozkładu dwumianowego, zaczątek zaproponowaliśmy w formie rozkładu beta (9.44), co doprowadziło nas do prawdopodo-

bieństwa wynikowego (9.45), także w postaci rozkładu beta. Podobny wynik otrzymamy także i dla funkcji wiarogodności zadanej modelem ujemnego rozkładu dwumianowego.

Atutem takiego sformułowania problemu jest podsumowanie wszystkich wcześniejszych

eksperymentów

za pomocą równoważnej

liczby przypadków, wyrażonej parametrami

tego rozkładu. Identyczna prostota i łatwość interpretacji występuje dla funkcji wiarogodności zadanej rozkładem Poissona i zaczątku w formie rozkładu gamma, na co

zwróciliśmy uwagę w przykładzie 9.4.4. Takie specjalne zaczątki, dobrane do postaci funkcji wiarogodności i dostarczające rozkładu wynikowego w postaci funkcyjnej identycznej z zaczątkiem, określane są mianem sprzężonych. Zaczątki sprzężone można podać i dla innych modeli pomiaru. Na przykład dla parametru 4 wartości centralnej

rozkładu Gaussa takim zaczątkiem jest również rozkład Gaussa, a dla parametru o” tego rozkładu rozkład gamma w zmiennej zadanej odwrotnością argumentu o”.

Gdy zaczątek i model zostaną wybrane, pozostaje przeprowadzenie analizy i wy-

ciągnięcie wniosków.

Wnioski te jednak będą właściwe Tobie, jeśli Ty zdecydowałeś

(zdecydowałaś) o założeniach. Jeśli Ty także ponosisz konsekwencje tej decyzji, to zapewne taka sytuacja jest akceptowalna. Trudniej jednak wygląda kwestia prezentacji wyników naukowego eksperymentu, gdyż łatwo można się narazić na zarzut subiekty-

wizmu. Wydaje się, że jedynym wyjściem z tego ambarasu jest dyskusja i „ucieranie” poglądów. Unikniemy w ten sposób, co prawda, krytyki, a rezultaty nabiorą intersubiek-

tywnego charakteru, usankcjonowanego w nauce powszechną praktyką, nie oznacza to jednak, że będą sobą reprezentowały prawdę obiektywną.

NAGRODA

Dwa są główne elementy nagrody: zaszczyt i użyteczność.

Unormowania terminologiczne

W 1993 roku, w wyniku współpracy szeregu instytucji międzynarodowych, w tym Mię-

dzynarodowej Unii Fizyki Teoretycznej i Stosowanej (International Union of Pure and Applied Physics — IUPAP), Międzynarodowa Organizacja Normalizacyjna (International Organization for Standardization — ISO) wydała zalecenia: Guide to the Expression of Uncertainty in Measurement dotyczące wyrażania niepewności w pomiarach. Wersja amerykańska publikacji ISO przyjęta w Stanach Zjednoczonych przez National Institute

of Standards and Technology (NIST) ma tę zaletę, że osiągalna jest w Internecie pod adresem: http://physics.nist.gov/Pubs/guidelines/outline.html. Istnieje polski odpowied-

nik tej publikacji, wydany w 1995 r przez Główny Urząd Miar (GUM), a zatytułowany

Wyrażanie niepewności pomiaru. Przewodnik. Informacje przedstawione niżej pochodzą

właśnie z tego wydawnictwa. Celem Przewodnika jest przede wszystkim uporządkowanie terminologii, jaka panuje w dziedzinie zastosowań statystyki matematycznej w nauce i technice. Służy temu wprowadzenie fundamentalnego i ogólnego terminu, jakim jest niepewność pomiaru, która ma wyrażać rozrzut wartości, jaki możemy przypisać wielkości zmierzonej, przy czym nie precyzuje się bliżej operacyjnej metody określania tej wielkości. Niniejszy wykład zasadniczo zgadza się z proponowaną nomenklaturą w zakresie bardziej precyzyjnych terminów: wariancja i kowariancja, korelacja i współczynnik korelacji, a także odchyle-

nie standardowe

eksperymentalne, zwane również niepewnością standardową. Drobna

różnica występuje w znaczeniu terminu odchylenie standardowe zmiennej losowej, które

my, z uwagi na wygodę, nazywamy dyspersją (patrz podrozdział 3.2), rezerwując frazę odchylenie standardowe dla estymatora tejże dyspersji. Jednakże niebagatelnie różni się niniejszy wykład od Przewodnika w kwestii zastosowania słowa błąd, które dla społeczności fizyków jest synonimem odchylenia standardowego. Słowo to w zamyśle autorów dokumentu ISO oznacza wielkość abstrakcyjną z punktu widzenia analizy danych, ponieważ e błąd pomiaru to różnica między wynikiem pomiaru a wartością rzeczywistą wielkości

mierzonej.

Podobnie jest z pochodnymi:

e błąd przypadkowy to różnica między wynikiem pomiaru a średnią z nieskończonej

634

Dodatek A. Unormowania terminologiczne

liczby pomiarów tej samej wielkości mierzonej, wykonanej w warunkach powtarzalności;

e błąd systematyczny to różnica między Średnią z nieskończonej liczby pomiarów wykonanych z zachowaniem powtarzalności a wartością rzeczywistą wielkości mierzonej. Powyższe definicje praktycznie eliminują ten tak popularny termin z praktyki fizyka doświadczalnika. W konsekwencji odchodzą w niebyt takie wyrażenia, jak błąd Średniej, który zastępowany jest niepewnością standardową Średniej; błąd względny, czyli

względna niepewność standardowa, a także błąd wielkości mierzonej pośrednio, czyli

złożona niepewność standardowa. Warto jeszcze wspomnieć o klasyfikacji niepewności, jaką wprowadza Przewodnik. Otóż rozróżniane są dwa jej typy:

e niepewność typu A — czyli taka, którą możemy poszukiwać metodami statystyki matematycznej, a więc stosując aparat przedstawiony w rozdziałach 1—8 niniejszego wykładu;

e niepewność typu B — czyli taka, którą szacujemy innymi sposobami niż statystyki matematycznej. Istotne tu mogę być informacje pochodzące od producenta np. w me-

tryczce urządzenia pomiarowego, różne certyfikaty i świadectwa materiałowe, dane literaturowe, a także własne doświadczenie

i wiedza użytkownika

oraz szczegółowa

znajomość zjawisk składających się na całość procesu pomiarowego. Warto zwrócić uwagę na to, że definicja tej niepewności to wyraźny ukłon w stronę bayesowskiego

podejścia do zagadnienia estymacji. Mamy wykorzystać wszelką dostępną wiedzę, aby z niej wydobyć rozkład prawdopodobieństwa, a z niego poszukiwaną niepewność. Innymi słowy, szacowanie niepewności typu B to bardziej sztuka doświadczalna niż rzemiosło. Na zakończenie warto przypomnieć dwie pomocnicze publikacje regulujące terminologię języka polskiego w dziedzinie statystyki matematycznej, teorii prawdopodobieństwa i metrologii. Są to: e Rachunek prawdopodobieństwa i statystyka matematyczna. Terminologia, Polska Nor-

ma PN—90/N—01051.

e Międzynarodowy słownik podstawowych i ogólnych terminów metrologii, Główny Urząd Miar, Warszawa 1996 (tłumaczenie International Vocabulary of Basic and General Terms in Metrology, ISO, 1993).

Uzupełnienie

W tej książce, a zwłaszcza w rozdziale 4, wielokrotnie pojawiała się konieczność znajdowania sum wartości oczekiwanych jednomianów o postaci 3

(GY;Z% . .),

i,j,k...

gdzie sumowanie rozciąga się na wszystkie elementy próbki, a sama próbka jest prosta. Wartość oczekiwana pojedynczego wyrazu sumy zależy od tego, czy indeksy występu-

jące w tym wyrazie są identyczne, czy też różne. Przykładem postępowania w takim

przypadku było obliczanie wariancji wartości średniej (podobna sytuacja wystąpiła przy obliczaniu wartości oczekiwanej kowariancji z próby), gdzie sumę iloczynów x;,x; rozbilliśmy na dwie: w jednej z nich wystąpiły kwadraty wielkości x,, które dają przyczynek do wariancji zmiennej losowej x, a w drugiej iloczyny mieszane o różnych wartościach

indeksów, co dało iloczyny wartości oczekiwanych. Podobne wyodrębnienie powtarzających się indeksów można przeprowadzić 1 dla bardziej skomplikowanych sum. Podamy tu wyniki dla jednomianów

złożonych z trzech i czterech czynników,

ponieważ takie

wzory wystarczają do rozwiązania przedstawionych w tym rozdziale przykładów. Powtórzymy, dla kompletu, wynik dla sumy jednomianów złożonych z dwóch czynników:

n

3

i=1 j=1

Ż ,%Yjzk = 2% i,j,k

).

XiYjZkim = )

i,j,k,m

+ 3 ij

XYJ

=

Z

>.

i=l, ji

RJE

+) GYszj + Myjzi + XYZ) + |Xi);Zk. ij

i,j,k

xYszik i

(Gyszit, + Xryszzt; + X YsZyt + XrYzzzt, + X Yzzyt, + X;Y;Zit, + X; Yjzytj)

+ >, (X YsZkEj + XyjZiłk H XrYjZkli + XiYjZyty PF XYGZKtk + XY;ZKtj) + 3 i.j.k

i,j,k,m

Xi YjZkim»

636

Dodatek B. Uzupełnienie

gdzie w sumach zaznaczonych po prawej stronie znaku wszystkich równości indeksy i, j,... przebiegają różne wartości, jak to jawnie zaznaczone zostało w pierwszym

wyrażeniu.

Powyższe wyniki pozwalają łatwo znaleźć wartość oczekiwaną np. następującego wyrażenia (dla próby prostej): (7

1)

= >

2000)

+

>

i,j,k

(GX;X; + X;X;X; + 199)

+

ij

>

1)

i,j,k

— (Z z + ię Pó) + > w =

b! +32

Gx) +), ogra) i,j,k

=

b! |+32_bi ) b) + >, 66) i,j,k

=n(x | + 3nn — 1) b gdzie w drugiej i trzeciej

| 09) + nn — 1)(m — 2) (x)”,

sumie przed ostatnią równością występujące

tam czynniki

mogliśmy rozdzielić wartością oczekiwaną, właśnie z uwagi na rozłączne wartości indeksów.

Po nieco bardziej skomplikowanych obliczeniach uzyskujemy także następujące re-

zultaty (również słuszne dla próby prostej)

l

E[8- 1] = zE[6- w]. 1

E|[E- nu] = zE[6-—w']+

wi

2 x ].

Prawo mnożenia sposobności

W tym dodatku zajmiemy się rozwiązaniem równania funkcyjnego, wyrażającego prawo łączności

JU, y),2) = f0, JQ,2)).

(C.1)

Bez wątpienia, najprostsza funkcja spełniająca to równanie to funkcja stała. Ponieważ mało ciekawa jest teoria, w której wszystko jest stałe (a teoria taka, w dodatku, pogwał-

ciłaby nasze wymaganie monotoniczności i zgodności ze zdrowym rozsądkiem), dlatego potrzebujemy nietrywialnego rozwiązania równania (C.1). Wprowadzimy, dla uproszcze-

nia, dwa oznaczenia: u = f(x,y) oraz v = f(y,z), w której to notacji (zmienne x, y

oraz z utrzymujemy jednak jako niezależne) związek (C.1) możemy przepisać w postaci f (x,v) = f(u,z). Zróżniczkujmy tę równość względem x oraz względem y:

9

9

x

0x

3,3 © V) = ZF U, 2) O

3,J

y

0 V) =

O

—

dy

f (u, z)

> >

hnlx,v) = filu,z)fi(x, y), px,v)fiOG.

z) = Ji lu, z) f(x,

Y);

gdzie indeksy określają numer pozycji argumentu funkcji f, względem którego ją różniczkujemy. Dzielenie stronami drugiego równania przez pierwsze daje

G(x, v) 17,2) = G(x,y),

gdzie

G(x, y) =

hl(x,y) J 1 (x

(C.2)

Y )

Ponieważ prawa strona zależy jedynie od x oraz y, lewa strona, mimo występującego jawnie oraz implicite argumentu z, nie może od tej wielkości zależeć. Mnożąc równość (C.2) przez G(y, z), otrzymujemy

G(x, v) fa(y, Z) = G(x, y)G(y, z).

(C.3)

Obliczymy teraz pochodną lewej strony (C.2), o której wiemy, że nie zależy od zmiennej z, względem tej zmiennej:

0 zz Św v) A0,2) = G>(x,v) A0,2)0,2) + GGQ,0) 207,2)

=0,

638

Dodatek C. Prawo mnożenia sposobności

a także pochodną lewej strony (C.3) względem y 0

3,

v)

ly, z)

=

G(x,

v) 107.

z) fl. z)

+ G(x,

v) fa1(Y; z).

Widzimy, że obie pochodne są sobie równe, a ponieważ pierwsza jest równa zeru, tak więc i druga musi być też równa zeru, co oznacza, że prawa strona (C.3) nie zależy od zmiennej y. Otrzymujemy w ten sposób fundamentalną własność funkcji G: pomnożona przez drugą taką samą funkcję, w której pierwszy argument jest identyczny z argumentem stojącym na drugiej pozycji w pierwszej funkcji, musi prowadzić do uproszczenia tego

argumentu. Najbardziej ogólna postać takiej funkcji zadana jest przez

G(x,y)=r

H(x)

HY)

gdzie wielkość r jest dowolną stałą. Ponieważ domagamy się monotoniczności funkcji f(x, y), co implikuje, że pochodne f, oraz f, są większe od zera, tym samym stała r musi być dodatnia, natomiast funkcja H nie może zmieniać znaku w zakresie zmienności swego argumentu. Skorzystamy teraz z tej postaci funkcji G i ze związków (C.2) oraz (C.3), które pozwalają znaleźć wyrażenia na pochodne cząstkowe funkcji f hO,z)

KY,2)

ZY,Z)

a z relacji

s

H (v)

=

HQ)

=r —

HC)”

dv = df(y, z) = (7,2) dy + fa(y, z) dz

otrzymujemy następującą formę różniczkową: dv

H(v)

=

dy

—

H(y)

|

dz

r—-—..

HQ)

Jeśli wprowadzimy funkcję g(x) związaną z funkcją H(x) związkiem dx

g(x) = exp ([ c) gdzie przez brak granic całkowania zaznaczyliśmy fakt, że w wykładniku znajduje się funkcja pierwotna wraz z dowolną stałą całkowania, naszą formę różniczkową możemy scałkować

sv) =g(/0,2)) =80)8 (2).

Biorąc funkcję g równości f(x, v) = f(u,z) i stosując prawo (C.4), otrzymujemy

g(f%,0)) =g(flu,2))

>

g(x%)g' W) = glu)g (2),

a wykorzystując ponownie (C.4) w stosunku do g(v), a także do g(u), znajdujemy

SWW

O)

WIO)

>

220808 0) =sg20)8' (08 0).

Jak stąd wynika, jedyna niesprzeczna i nietrywialna wartość stałej r to jedność.

(C.4)

Dodatek C. Prawo mnożenia sposobności

639

Powyższe wyprowadzenie ogólnej postaci prawa łączności działań zawdzięczamy R. T. Coxowi (Probability, Frequency and Reasonable Expectation, American Journal of Physics 14 (1946), 1). Opiera się ono na założeniu dwukrotnej różniczkowalności funkcji f. Istnieje (J. Aczel, Lectures on Functional Equations and their Applications,

Academic Press, New York 1966) rozwiązanie tego problemu bez wykorzystania faktu różniczkowalności. Funkcja g, zastosowana do relacji AAB|IW

= f(AIW,BIAAW)

dostarcza związku między sposobnościami A A B|W oraz A|IW iBJAAW: g(A AB|W)

= g(A|W)g(B|A AW).

PAM „A wie Ad” 2 Zk Aa a ARA

Prawo dodawania sposobności

W tym dodatku rozwiążemy równanie funkcyjne

„r(-9) x

=yF(->). y

(D.1)

dla funkcji F łączącej sposobności przeciwstawnych tez. Tożsamość

(D.1l) jest określona na kwadracie jednostkowym

0 < x,y


. =

I, znajdujemy poszukiwaną funkcję |

Fx)=(l-x")".

s

(D.6)

Widzimy, że warunek F(1) = O jest także spełniony, jak również prostym rachunkiem sprawdzamy, że funkcja ta jest odwrotna do siebie samej, a także spełnia (D.1).

Przedstawione wyżej wyprowadzenie pochodzi ze wspomnianej we wstępie publikacji E. T. Jaynesa i wykorzystuje fakt, że funkcja F' jest jednokrotnie różniczkowalna. Wzmiankowany w dodatku C artykuł R. T. Coxa zawiera alternatywne wyprowadzenie, zakładające dwukrotną różniczkowalność. Powtórzymy to wyprowadzenie teraz, ponie-

waż jest ono znacznie prostsze, a także „smakowite” matematycznie.

Dla uproszczenia notacji wprowadzimy oznaczenia u = F(y) /x oraz v = F(x)/y, otrzymując z (D.l) (D.7) x F(u) = yF(v).

Po zróżniczkowaniu tego związku względem x, względem y oraz względem obu zmiennych otrzymujemy następujące równości:

uF' (u) — F(u) = —F' (v)F' (x),

(D.8)

F'(u)F'Q) = —vF (v) + F(v),

(D.9)

-F'(u)F') = ;F"OF'a).

(D.10)

Mnożąc równanie (D.7) przez (D.10), usuwamy jednocześnie x oraz y, uzyskując uF'(u)Fl(u)F'y) =vF'(v)F(v)F (x). Z równania tego możemy wyeliminować F'(x) oraz F'(y), jeśli wykorzystamy równanie (D.8) oraz (D.9), co prowadzi nas do uF”(u)F (u)

(uF'(u) — F(u)) F'(u)

s

vF"(v)F(v)

(0F'(v) — F(v)) F'(v)

Dodatek D. Prawo dodawania sposobności

643

Ponieważ każda ze stron tego równania zależy od innej zmiennej, więc aby możliwe było, że obie strony są sobie równe, każda z tych stron może być tylko stałą. Oznaczając tę stałą przez k, otrzymujemy równanie różniczkowe na nieznaną funkcję F (u) uF' (u)F(u) =k (uF'(u) — F(u)) F' (u), które możemy przepisać w postaci dF _|

dF

du

F

uj)

F' co, po scałkowaniu, daje nam

F F' (u)

=A

(7)

u

k ,

gdzie A jest stałą całkowania. Ponieważ forma ta dopuszcza rozdzielenie zmiennych, więc możemy łatwo wykonać także i drugie całkowanie, z rezultatem F" (u) = Au” + B,

gdzie m = 1 —k. Podstawiając warunki brzegowe F(0) = 1 oraz F(1) = 0, otrzymujemy ponownie (D.6)

F"(u)+u"=L.

Jeśli do związku tego podstawimy sposobności g(A|W) oraz g(A|W), to otrzymamy

ostateczną postać zależności łączącej sposobności przeciwstawnych tez

g"(AIW) + g”(AIW)=1.

Twierdzenie Shannona

Przeprowadzimy dowód twierdzenia Shannona

S„(Pi, P,,..., P,) =) Zauważmy najpierw, że

1 1 50) = S, (gaz) n

1, ) =

—00 < I < ©,

,

n=l,2,...,

v[t] = —— dla n > 2. p =

y =0 dla n > 3

6

n > 4. dla

n-4

Gdy parametr n ma jednostkową wartość, rozkład ten nosi nazwę rozkładu Cauchy ego. Rozkład Breita-Wignera

JaQ;u T)=

r 2

a (5)+ 6 — 02)

—00

< X < W,

0),

o

—00 < X < O,

(X) =m, Rozkład Pareto

Xx

(x)

=

ab

1

, dl

aa >

3

0

dl

2.

Rozkład Weibulla f(x;a,a) =

(-) o No

a—l

a

xp (- (>) ). a

0)