Multivariate Statistical Methods [4 ed.] 0534387780

Citation preview

M u l l i v a l i a i e

S i a i i s t i c a l M e t h n d s FIUHTH[ll11IN

I o I H l i f M I I I I s o I

一 一

m U X E U R Y A D V A N C E D S E R I E s

ー一手一三一一一

＃ 熱繋

’ 1

｜

ノ

1

1

I

I

’

’

一一一一一ﾓ,一冬一.&一一

DI1x〕uI

Multivariate

StatiStiCalMethods

FourthEdition

DonaldEMorrison 771eWharro"ScJIooノ

[ﾉ"iveJMyqfん""Syんα"ja

．

ＮＥ

Ｍ ’一

三

Ｈ

ｏ

Ｔ

AustraliaoCanadaoMexicooSingaporeeSpaineUnitedKingdomoUnitedStates

TMOM三．N −

−

BROOKSﾉ匠○旦匡

AcquiringEditor:QImly"CC"ke" A s s i s t a n t E d i t o r : A " 〃 D a y EditorialAssistant:Rho""Le""s

T b c h n o l o g y P r q j e c t M a n a g e r : B I " k e 7 Z Z / i MarketingManager:乃加Ziolkowski A d v e r t i s i n g P I n j e c t M a n a g e r : M z r h α " i e I B e F g J o F z Micheko"

P r q j e c t M a n a g e I ; E d i t o r i a l P m d u c t i o n : 碓酌eyM℃Gee

COPYRIGHT@2005Bmoks/Cole,adivisionofnlomson

L e a m i n g , I n c . T h o m s o n L e a m i n g r M i s a t r a d e m a r k u s e d heI巴inunderlicense.

ManufacmringBuyer:E)"maqの'W" P e r m i s s i o n s E d i t o r : S r e p " " i e Z e e T y p e s e t t e r : J h r e " " " o " α / 7 ) W e s e " 伽 g α " 。 ⑰畑pos"io"

CoverDesigler:上""舵rMac"s C o v e r P r i n U n g , P r i n t i n g a n d B i n d i n g : Q"ebecorWわﾉｶ城i"g叩o〃

Bmoks/ColeThomsonLearning 10DavisDrive

Belmont,CA94002 USA

ALLRIGHTSRESERVED・Nopartofthis workcoveI℃dbythecopyrighthereonmaybe

r e p r o d u c e d o r u s e d i n a n y f b n n o r b y a n y m e a n s g r a p h i c , e l e c t r o n i c , o r m e c h a n i c a l , i n c l u d i n g b u t n o t l i m t e d t o p h o t o c o p y i n g ,

r e c o r d i n g , t a p i n g , W e b d i s t r i b u t i o n , i n f b r m a t i o n n e t w o r k s , o r i n f b r m a t i o n s t o r a g e a n d r e m e v a l s y s t e m s w i t h o u t t h e w r i t t e n

p e n n i s s i o n o f t h e p u b l i s h e r b A l l p r o d u c t s u s e d h e I e i n a r e u s e d f b r i d e n t i f i c a t i o n p u I p o s e o n l y a n d m a y b e t r a d e m a r k s o r r e g i s t e I 巳 d t r a d e m a r k s o f t h e i r I e s p e c t i v e o w n e r s . PrintedintheUnitedStatesofAmerica

12345670807060504

Fbrmoreinfbnnationaboutourproducts,contactusat ThomsonLeamingAcademicResourceCenter l-800.423-0563

F O r p e r m i s s i o n t o u s e m a t e r i a l f r o m t h i s t e x t , c o n t a c t u s b y

Asia

T h o m s o n L e a m i n g 5 S h e n t o n W a y # 0 1 0 1 U I C B u i l d i n g S i n g a p o I E O 6 8 8 0 8 AuStrahaﾉNew""Izmd

T i O m s o n L e a m i n g 102DoddsStreet

S o u t h b a n k , V i c t o r i a 3 0 0 6 A u s t r a l i a

Canada Nelson 1120Bi1℃hmountRoad

Tbronto,OntarioM1K5G4 Camd2

EUmpe/MiddleEaSt/Ahica ThomsonLeaming HighHolbomHouse 5"SIBedfbrdRow LondonWCIR4LR

U n i t e d K i n g d o m

W e b : h t t p : " w w w . t h o m s o n r i g h t s ・ c o m

ISBNO-534-38778-0

鯵

! i I i 1

． ハ

＃'

｜ ＃ ￨

I

FbJ･Phy"is

一 一 一 ■ 一 一 一 一 一 一 一 一 一 一

難

’

I

’

’

’

’

’

−

Preface

T h i s i s t h e f b u r t h e d i t i o n o f M I ｛ " ﾊ ' α ﾉ ･ i " e S I α " s " " / M a h o d s . I n w r i t i n g t h e h r s t e d i t i o n , m y o r i g i n a l

m o t i v a t i o n c a m e f i ･ o m t h e k i n d s o f s t a t i s t i c a l p r o b l e m s b r o u g h t b y i n v e s t i g a t o r s i n t h e l i f e , m e d i c a l , andbehavioralsciencesattheNationallnstituteofMentalHealth,andtheneedfbratextand

r e f e r e n c e s o u r c e w h i c h d i d n o t p r e s u p p o s e s e v e r a l c o u r s e s i n s t a t i s t i c a l t h e o r y . S u b s e q u e n t l y t h e bookwasusedasthebasisfbraone-semestercourseinmultivariatemethodsfbrthirty-plusyears

a t t h e W h a r t o n S c h o o l o f t h e U n i v e r s i t y o f P e n n s y l v a n i a .

I n p l a n n i n g t h e r e v i s e d v o l u m e I c o n c l u d e d t h a t t h e m a t e r i a l o f t h e p r e v i o u s C h a p t e r l , a n o v e r v i e w o f t r a d i t i o n a l u n i v a r i a t e s t a t i s t i c s , a n d C h a p t e r 2 , a s u m m a r y o f u s e f U l m a t r i x a l g e b r a

c o n c e p t s , w e r e r e a d i l y a v a i l a b l e i n m a n y o t h e r t e x t s , a n d s h o u l d b e o m i t t e d . H e n c e , t h o s e c h a p t e r s ofthethirdeditionhavebeenscannedtoawebsitefOrthecurrenteditionthatismaintainedby DuxburyPress.

C e r t a i n t h e m e s c o n t i n u e i n t h i s e d i t i o n : T h e e x t e n s i o n o f u n i v a r i a t e t e s t s o n t h e m e a n t o m u l t i d i -

m e n s i o n a l m e a n v e c t o r s t h r o u g h t h e H o t e l l i n g T 2 s t a t i s t i c a n d t h e m u l t i v a r i a t e a n a l y s i s o f v a r i a n c e ( M A N O V A ) , c l a s s i f i c a t i o n b y v a r i o u s d i s c r i m i n a t i o n m e a s u r e s , a n d t h e d i s s e c t i o n o f c o v a r i a n c e s t r u c t u r e b y p r i n c i p a l c o m p o n e n t a n d f a c t o r a n a l y s i s ・ W h e r e v e r p o s s i b l e , t h e t e s t s a r e f O l l o w e d b y s i m u l t a n e o u s i n f e r e n t i a l p r o c e d u r e s . F o r t h a t r e a s o n l s t i l l p r e f e r S . N . R o y ' s u n i o n i n t e r s e c t i o n d e v e l o p m e n t o f t h e t e s t s , a n d i t s n a t u r a l c o n c o m i t a n t o f s i m u l t a n e o u s c o n n d e n c e i n t e r v a l s f O r a n y r e q u i s i t e m u l t i p l e c o m p a r i s o n s .

I h a v e a t t e m p t e d t o r e f e r e n c e m a n y o f t h e r e l e v a n t c o n t r i b u t i o n s t o m u l t i v a r i a t e a n a l y s i s f r o m t h e m a i n s t r e a m j o u r n a l s o v e r t h e p a s t n f t e e n y e a r s i n t h i s e d i t i o n , e s p e c i a l l y i n s u c h a r e a s a s t h e a n a l y s i s o f r e p e a t e d m e a s u r e s d a t a . A d d i t i o n a l e x e r c i s e s u s i n g a c t u a l d a t a s e t s h a v e b e e n i n c l u d e d , p a r t i c u l a r l y i n C h a p t e r s 2 , 3 , a n d 6 . A v a r i e t y o f d i s c i p l i n e s i s r e p r e s e n t e d b y t h o s e d a t a . A n u m b e r o f e x a m p l e s a r o s e f i ･ o m m y p a r t i c i p a t i o n i n t h e C e r e b r o v a s c u l a r R e s e a r c h C e n t e r a t t h e M e d i c a l S c h o o l o f t h e U n i v e r s i t y o f P e n n s y l v a n i a , a n d l a m m o s t g r a t e f U l t o D r . M a r t i n R e i v i c h a n d h i s c o l l e a g u e s f b r t h a t s t i m u l a t i n g a s s o c i a t i o n a n d t h e u s e o f t h e i r d a t a h e r e . O t h e r s e t s , e . g . , c o u r s e a n d i n s t r u c t o r r a t i n g s , m a y b e m o r e m u n d a n e , b u t s t i l l n i c e l y i l l u s t r a t e c e r t a i n m u l t i v a r i a t e c o n c e p t s a n d m e t h o d s . A s i n t h e e a r l i e r e d i t i o n s n o s i n g l e s t a t i s t i c a l s o f t w a r e s y s t e m i s u s e d f O r i m p l e m e n t i n g t h e

m u l t i v a r i a t e a n a l y s i s . I h a v e f b u n d M I N I T A B c o n v e n i e n t a n d u s e r f r i e n d l y f O r M A N O V A , d i s c r i m i n a t i o n a n d c l a s s i n c a t i o n , e x t r a c t i n g p r i n c i p a l c o m p o n e n t s , a n d f a c t o r a n a l y s i s , a n d l a m g r a t e f U l t o M I N I T A B , I n c . , f b r p r o v i d i n g c o p i e s o f i t s s o f t w a r e u n d e r i t s A u t h o r A s s i s t a n c e P r o g r a m . I n o t h e r

e x a m p l e s I h a v e u s e d A P L f b r e v a l u a t i n g l i n e a r a n d q u a d r a t i c f U n c t i o n s o f d a t a , a n d e s p e c i a l l y i t s E I G a n d S Y M E I G f u n c t i o n s f O r c o m p u t i n g t h e c h a r a c t e r i s t i c r o o t s a n d v e c t o r s o f m a t r i c e s . I a m g r e a t l y i n d e b t e d t o C a r o l y n C r o c k e t t , S e n i o r A c q u i s i t i o n s E d i t o r o f D u x b u r y P r e s s , f b r h e r s u p p o r t o f t h i s p r q j e c t . K e l s e y M c G e e a t D u x b u r y w a s v e r y h e l p f U l f O r h e r e n c o u r a g e m e n t a n d

●

Vl

P J e / t z c e

i n t e r P s t i P t h e b o o k d u r i n g i t s p r e p a r a t i o n . J e n n i f e r J e n k i n s a n d R h o n d a L e t t s a t D u x b u r y w e r e

c o n m u a l l y s u p p o r t i v e d u r i n g t h e w r i t i n g a n d c o m p o s i t i o n p h a s e s .

T h e i n i t i a l c o m p o s i t i o n o f t h i s b o o k i n L a f l b x p a g e s w o u l d n o t b e e n p o s s i b l e w i t h o u t a n i n -

t e r v e n t i o n o f m y w i f e , P h y l l i s M o I r i s o n . B e f b r e a t a l k b y P r o f e s s o r R i c h a f d K a d i s o n o f t h e P e n n

¥ a ! ' e m 2 t i c s P e p a f t m e n t t O t h e U n i v e r s i t y W o m e n ' s c l u b , s h e m e n t i o n e d m y p r q j e c L P r o f e s s o ｢ K a j i s q n i n t r o d p c e d m p t o m s g r a d u a t e s m d e n t , J u n h a o S h e n , w h o a g r e e d t o u i d e r t i k e t h e l e n g t h y

t a s k o f c o m p o s i n g t h e b o o k b y t h e T b X l a n g u a g e ・ I a m g g e a t l y i n d e b t e d t o M L S h e n f b r h i s s t e a d f a s t

w 9 r L i n p r o d u c i n g i i e p a g e s a n d t h e i r n u m e r o u s t a b l e s a n d m a t h e m a t i c a l d i s p l a y a A n y e r r o r s t h a ( m i g h t a p p e a r a r e , o f c o u r s e , m y o w n r e s p o n s i b i l i t y .

DonaldFMorrison

Contents

1SAMPLESFROMTHEMUIⅢ､偽Ⅲ（TENORMALPOPULATION1

1 n t r o d u c t i o n l ・ W h y D o W e N e e d M u l t i v a r i a t e M e t h o d s ？ ’ ● M u l t i d i m e n s i o n a l R a n d o m V a r i a b l e s 3 o T h e M u l t i v a r i a t e N o m a l D i s t r i b u t i o n 8 o C o n d i t i o n a l a n d M a r g i n a l D i s m b u t i o n s

o f M u l t i n o n n a l V a r i a t e s l 4 o S a m p l e s f r o m t h e M u l t i n o n n a l P o p u l a t i o n 2 0 o C o I T e l a t i o n a n d

R e g r e s s i o n 2 5 ･ S i m u l t a n e o u s l n f e r e n c e s a b o u t R e g r e s s i o n C o C f f i c i e m s 3 4 ･ I n f e r e n c e s a b o u ( t h eC o r r e l a t i o n M a t r i x 3 8 e S a m p l e s w i t h l n c o m p l e t e O b s e r v a t i o n s 4 3 o E x e I ℃ i s e s 4 6

2TESTSOFHYPOTHESESONMEANS55

I n t r o d u c t i o n 5 5 o T b s t s o n M e a n s a n d t h e T 2 S t a t i s t i c 5 5 o S i m u l t a n e o u s l n f e r e n c e s f O r Means62oTheCaseofTwoSamples64oTheAnalysisofRepeated-Measurements68o

G r o u p s o f R e p e a t e d M e a s u r e m e n t s : T h e P a i r e d T 2 T b s t 8 4 e P r o f i l e A n a l y s i s f b r T w o l n d e p e n d e n t G r o u p s 8 7 o T h e P o w e r o f T b s t s o n M e a n V e c t o r s 9 3 o S o m e T b s t s w i t h K n o w n C o v a r i a n c e

M a t r i C e s 9 7 ･ T b s t s f O r O u t l y i n g O b s e r v a t i o n s 9 9 ･ T b s t i n g t h e N o m a l i t y A s s u m p t i o n l O 3 e ExerciseslO8

3

THEMUIﾉTIVARIATEANALYSISOF，碓皿ANCE131 1 n t r o d u c t i o n l 3 1 e T h e M u l t i v a r i a t e G e n e r a l L i n e a r M o d e l l 3 1 o T h e M u l t i v a r i a t e A n a l y s i s o f V a r i a n c e l 4 0 e T h e M u l t i v a r i a t e A n a l y s i s o f C o v a r i a n c e l 5 6 e M u l t i p l e C o m p a r i s o n s i n t h e

M u l t i v a r i a t e A n a l y s i s o f V a r i a n c e l 6 4 o P r o f i l e A n a l y s i s l 7 2 o C u r v e F i t t i n g f O r R e p e a t e d Measul巳mentsl83oOtherT℃stCritedal90oExercisesl92 4

CLASSIFICATIONBYDISCRIMINANTFUNCTIONS209

I n t r o d u c t i o n 2 0 9 o T h e L i n e a r D i s c r i m i n a n t F u n c t i o n f b r T w o G r o u p s 2 1 0 o C l a s s i f i c a t i o n w i t h KnownParameters213oTheCaseofUnequalCovarianceMatrices215oEstimationofthe M i s c l a s s i n c a t i o n P r o b a b i l i t i e s 2 1 8 o C l a s s i n c a t i o n f b r S e v e r a l G r o u p s 2 2 1 o L i n e a r D i s c r i m i n a t i o n w i t h a S i n g u l a r C o v a r i a n c e M a t r i x 2 2 6 e C l a s s i l i c a t i o n b y L o g i s t i c

R e g r e s s i o n 2 3 0 o S o m e F u r t h e r A s p e c t s o f C l a s s i l i c a t i o n 2 3 2 o E x e r c i s e s 2 3 4 5

INFERENCESFROMCO,低RIANCEMATRICES242

I n t r o d u c t i o n 2 4 2 o H y p o t h e s i s T b s t s f O r a S i n g l e C o v a d a n c e M a t r i x 2 4 2 o T b s t s f b r T w o S p e c i a l P a t t e m s 2 4 5 o T b s t i n g t h e E q u a l i t y o f S e v e r a l C o v a r i a n c e M a t r i c e s 2 4 7 o T b s t i n g t h e I n d e p e n d e n c e o f S e t s o f V a r i a t e s 2 4 9 e C a n o n i c a l C o r r e l a t i o n 2 5 5 o E x e r c i s e s 2 6 0

●●●

VnI

⑰"re"応

6THESTRUCTUREOFMULTIVARIATEOBSERMTIONS: I.PRINCIPALCOMPONENTS264

I n t r o d u c t i o n 2 6 4 ･ T h e P r i n c i p a l C o m p o n e n t s o f M u l t i v a d a t e O b s e r v a t i o n s 2 6 5 ･ T h e G e o m e m c a l M e a n i n g o f P r i n c h a l C o m p o n e n t s 2 7 4 ･ T h ･ I n l e I P r C t a t i o n o f P r i n c i p a l

C o m p o n e n t s 2 7 8 o S o m e P a t t e m e d M a m c e s a n d T h e i r P d n c i P a l C o m p o n e n t s 2 8 2 ･ T h e S a m p m n g P r o p e r t i e s o f P r i n c i p a l C o m p o n e n t s 2 8 5 e S o m e F u r t h e r T b p i c s 2 9 3 o E x e r c i s e s 2 9 8

7

THESTRUCTUREOFMUI』TIYARIATEOBSERWTIONS: II.FACTORANALYSIS317

Introduction317eTheMathematicalModelfbrFacterAnalysis318oEstimationoftheFactor ，：

L o a d i n g s 3 2 2 o T b s t i n g t h e G o o d n e s s o f F i t o f t h e F a c t o r M o d e l 3 2 7 e E x a m p l e s o f F a c t o r A n a l y s e s 3 2 9 o F a c t o r R o t a t i o n 3 3 4 o A n A l t e r n a t i v e M o d e l f b r F a c t o r A n a l y s i s 3 4 0 o TheEvaluationofFactors342oModelsfbrtheDependenceStrucmreofOrderedResponses345

・ C l u s t e r i n g S a m p l i n g U n i t s 3 5 1 o M u l t i d i m e n s i o n a l S c a l i n g 3 5 7 o E x e r c i s e s 3 6 4 REFFRFNCES

371

APPENDIXA:Ⅱ注BIESANDCHARTS400

T h b l e l : U p p e r C r i t i c a l V a l u e s o f t h e S t a n d a r d N o m a l D i s t r i b u t i o n 4 0 0 e T h b l e 2 : U p p e r C r i t i c a l V a l u e s o f t h e C h i s q u a r e d D i s m b u t i o n 4 0 1 e T h b l e 3 : U P P e r P e r c e n t a g e P o i n t s o f t h e r Dismbution402e'Iable4:UpperPercentagePointsoftheFDistribution403e'Iable5:The

F i s h e r Z T r a n s f b n n a t i o n 4 0 5 o ' 1 h b l e 6 : M i n i m u m S a m P l e S i z e s f b r a S i n g l e _ S a m p l e R e p e a t e d M e a s u 1 ℃ s D e s i g n 4 0 6 o C h a r t s l 8 : P o w e r F u n c t i o n s o f t h e F T b s t 4 1 0 o C h a r t s 9 1 6 a n d T a b l e 7 _ 1 5 : U p p e r p e r c e n t a g e p o i n t s o f t h e l a r g e s t c h a r a c t e r i s t i c r o o t 4 1 8 APPENDIXB:DAⅡ洩SETS443

W e c h s l e r A d u l t l n t e l l i g e n c e S c a l e s u b t e s t s c o r . s 4 4 3 ･ I r i s S p e c i e s P e t a l a n d S e p a l

Measurements445･ObesityStudyBiochemicalLevels447･FinancialRatioSofSolventand

F i n a n c i a l l y D i s t r e s s e d P r o p e r t y L i a b i l i t y l n s u r e r s 4 4 9 o F i n a n c i a l R a t i o s o f B a n k r u p t a n d S o l v e n t C o m p a n i e s 4 5 2 ･ D i m e n s i o n s a n d C h a r a c t e r i s t i c s o f W i n g e d A p h i d s ( A ﾉ ﾋ " e q d e j g e 8 ) 4 5 4 ･ E x c h a n g e a b l e C a t i o n s i n F o r e s t S o i l 4 5 5 o A v e r a g e l n s t r u c t o r a n d C o u r s e E v a l u a t i o n s f O r BusinessSchoolFacultyMembers457 NAMEINDEX461 SUBJECTINDEX

−

465

’

’｜

Chapterl

Samplesh⑪mtheMuhivariafe NormalPopulation

1.11ntroduction

I n t h i s c h a p t e r w e s h a l l e x t e n d t h e c o n c e p t o f a c o n t i n u o u s r a n d o m v a r i a b l e t o v a r i a t e s d e f i n e d i n s e v e r a l d i m e n s i o n s . W e s h a l l c o n c e n t r a t e o u r a t t e n t i o n o n t h e m u l t i v a r i a t e g e n e r a l i z a t i o n o f n o n n a l l y

d i s t r i b u t e d r a n d o m v a r i a b l e s . T h e p a r a m e t e r s o f t h a t m u l t i n o n n a l d i s t r i b u t i o n w i l l b e r e l a t e d t o m u l t i p l e a n d p a r t i a l c o r r e l a t i o n m e a s u r e s f b r d e s c r i b i n g r e l a t i o n s a m o n g t h e d i m e n s i o n s ・ W e s h a l l c o n s i d e r m e a n s o f e s t i m a t i n g t h e m u l t i n o r m a l P a r a m e t e r s f r o m r a n d o m s a m p l e s o f o b s e r v a t i o n s o n t h e v a r i a t e s , a s w e l l a s t h e s a m p l i n g d i s t r i b u t i o n s o f e s t i m a t e s a n d r e l a t e d s t a t i s t i c s ・ I n t h e m e t h o d s f O r h y p o t h e s i s t e s t s a n d c o n f i d e n c e s t a t e m e n t s o n P a r a m e t r i c f U n c t i o n s w e s h a l l e m p h a s i z e P r o c e d u r e s w h i c h c o n t r o l e r r o r r a t e s f b r s e v e r a l s i m u l t a n e o u s i n f e r e n c e s ・ S o m e a t t e n t i o n w i l l b e g i v e n t o e s t i m a t i o n w h e n o b s e r v a t i o n s a r e m i s s i n g a t r a n d o m i n t h e d a t a .

1.2WhyDoWeNeedMultivariateMethods？ U n i v a r i a t e s t a t i s t i c a l m e t h o d s d e a l w i t h s i n g l e v a r i a b l e s : Q u a n t i t a t i v e G r a d u a t e R e c o r d E x a m i n a t i o n

s c o r e s f b r s t u d e n t s m a t r i c u l a t i n g i n a u n i v e r s i t y P r o g r a m , b l o o d g l u c o s e l e v e l s i n t h e c o n t r o l g r o u p o f a n u t r i t i o n s t u d y a t a p a r t i c u l a r t i m e , o r t h e t o t a l s c o r e o f a c o g n i t i v e a b i l i t y t e s t g i v e n t o t w e n t y y e a r o l d w o m e n a s p a r t o f a l o n g i t u d i n a l i n v e s t i g a t i o n o f h u m a n a g i n g . I n e a c h c a s e w e w i s h t o m a k e s t a t i s t i c a l i n f e r e n c e s a b o u t t h e p o p u l a t i o n d i s t r i b u t i o n o f t h e v a r i a b l e , s e t c o n n d e n c e i n t e r v a l s

f O r i t s p a r a m e t e r s , a n d p e r h a p s t e s t h y p o t h e s e s a b o u t t h e v a l u e s o f t h e p a r a m e t e r s . O u r v i e w o f e a c h variableisone-dimensional.

一

一

zqi叩だ〃

灘 t i g 駕 a t 罵 e t 辮 h e 黒 v a : r i a 撫 t i g o n E i n X t h e W r a W t e W a t W w 随 W c h t W h e W h u w m a h n b I r a i a n m g e t m a b e o n z E e s W g l s u c E o s i e a t H d i E f f M e r I e n M t a n W a t " o m : i c 3 a l 織 b y 證 C M : R g ｣ l § , c 鯛 a n 駕 b e M m : e a W s u P r S e d M b y : P o W s W i t W r o E n e : m " i s " s i " o " 、 t " o m " o g " r $ a p " h y u ( P W E W I ) W s c : a W n s 唖 o f 聴 t h 誰 e 淵 b r 蜑 a i 照 n 淫 w h 照 e n t h e 職 T h 溌 e n : , 驚 f b 辮 r P 謡 a 照 n a : t o : m c 窯 a 黒 l r 蕊 e g " i W o n g s o W f Z m t : e r " e " s t : o r W c W o o W r d W i W n a " t e M l M o c M a t : i W o n W s i ; n X t h i e b 毫 r 遜 a i 識 n t j h 急 e m : e a 堤 s u 鯛 r 縦 e d 澱 C M R g l ●

v a l u e s c a n b e r e p r e s e n t e d b y t h e r o w v e c t o r o f o b s e r v a t i v a l u e s c a n b e r e p r e s e n t e d b y t h e r o w v e c t o r o f o b s e r v a t i o n S

X ' = [ x , , … , x p ]

I f w e h a v e a s a m p l e o f j V s u b j e c t s t h e d a t a g a n b e r e P r e s e n t e d c o n v e n i e n d y i n m a t r i x f b n n a ｡

【 M , 三 二1

X=

"gWWifW:WWW""colu"sgiveCMRglfbrapar

l o c a t i o n i n t h e b 皿 ､ ､ h t h e a l g e b r a i c s e n s e t h e a l g e b r a i c s e n s e , w e h a 9 e n d e d O E E M M M : I W W pcomponents. X X W W W B g W W Z W W 4 " . 4 s s u m p t i o n o f a m u l t i d i m e n s i o n a l n o r m a ! d ii o n h o l d s , w e c a n a n % l e s e q u e s t i o n s a b o u t t h e P M M ; f W W W 1 ． A r e t h e C M R g l P o P u l a t i o n m e a n s s i m u l t a n e o u s l y e q u a l t o p s p e c i f i e d v a l u e s ？ 2 ． I s t h e m e a n C M R g l t h e s a m e a t t h e P l o c a t i o n s i n t h e b r a i n ？

3 ． W h a t a r e t h e c o n f i d e n c e i n t e r v a l s f b r t h e p p o p u l a t i o n C M R g l m e a n s ？

4 ． W h a t c a n w e i n f e r a b o u t t h e v a r i a b i l i t y a n d d e p e n d e n c e s t r u c m r e s o f t h e p v a r i a b l e s ？ D o e s 山 e s t r u c t u r e h a v e a t h e O u r e h a v e a p a t t e r n t h a t m i g h t i m p l y s i m p l e r h i d d e n S f f i E M ;

W W W r W g W f " u n i T t e stSandconf｡intchbrparametersto v e c t o r s o r m a t r i c e s o f p a r a m e t e r s . W g g W W X W W E R E W W o m P l P x j e s i g n s t h a n a s i m p l e r a n d o m s a m P l e , e

aU4mO"vaqa"WW94MWi"edmentaidesignsMfiJMMM;WW;H

v e c t o r s t o p r o d u c e t e s t a m r t h e e q u a l i t y o f t w o o r m o r e m e a n V e c t o f S ・ F b r e x a m p l e , i n t h e c a s e o f SWgW""WWSWWWY2SGPW,ampLsOfybIEMeM1aMM ""AQ"RXWW""2W""(ROIs)iime6ffEMMe;""y "9r"f脚聾篭互弛狸喫辨平rePascOrreSponding!孟加職1淵臘t鬼 m e t a b o n c r a t e s m i g h t b e a n a 皿 g g W n " g U , V v h e r e t h e o 6 s e r v a t i b n s a r e a g i : E d W : z S M E x t o a v o i d t h e u n n e c e s s a l y c o m p l i c a t i o n s o f s u b s c r i p t s . ●

M u l t i v a r i a t e s t a t i s U g a l d l ･ o I y P r o v i d e s m e t h o d s f b r m a k i n g t h e s e i n f e r e n c e s a b o u t t h e d i s t r i b u -

t i o n o f o l d a n d y o u n g C M R g l v a l i a b l e s :

1 ． A r e t h e C M R g l m e a n s d i f f e r e n t f b r t h e o l d a n d y o u n g p o p u l a t i o n s ？ 2 ． D o t h e l e f t a n d I i g h t h e m i s p h e r e S d i f f e r i n t h e C M R g l m e a n s ？ 一

Sm叩ﾉeS伽mr/ieM"/伽αr〃eﾉVo""α/んp"jα"o〃

3

TABLE1．1

C e r e b r a l M e t a b o l i c R a t e s C r o s s C l a s s i n e d b y A g e andHemisphere Hemisphere

Age

S u l l i e c t

Old

YOung

LeftRegion l…〃

RightRegion l…〃

1

.I．．・・て

X，．、X

NI

X、．、X

.X、．．､X

l

.X、．、X

.X、．、X

Ⅳ2

.X、．、X

.X、．、X

3 ． A r e t h e l e f t r i g h t h e m i s p h e r e d i f f e r e n c e s t h e s a m e f O r t h e o l d a n d y o u n g p o p u l a t i o n s ？ 4 . D o t h e r e g i o n s h a v e t h e s a m e C M R g l m e a n s , e i t h e r a g g e g a t e d o v e r a g e a n d h e m i s p h e r e , o r s e p a r a t e l y w i t h i n t h o s e c l a s s i n c a t i o n s ？

5 . A I ℃ m e a n l i n e a r f U n c t i o n s ( e . g . , t h e a v e r a g e ) t h e s a m e f b r t h e o l d a n d y o u n g p o p u l a t i o n s , o r f b r t h e l e f t a n d r i g h t h e m i s p h e r e s ？

6 . W h a t a r e t h e p r o p e r t i e s o f t h e v a r i a b i l i t y a n d d e p e n d e n c e s t r u c t u r e s f b r t h e a g e a n d h e m i s p h e r e s u b g r o u p s ？

F o r a s i n g l e C M R g l o b s e r v a t i o n w e c o u l d a n s w e r t h o s e q u e s t i o n s b y r a n d F t e s t s , a n d t h e a n a l y s i s o f v a r i a n c e . F o r m u l t i v a r i a t e d a t a t h o s e m e t h o d s h a v e b e e n g e n e r a l i z e d t o h y p o t h e s e s t e s t s o n v e c t o r s

o f m e a n s , o r m u l t i v a r i a t e a n a l y s i s o f v a r i a n c e f b r v e c t o F v a l u e d o b s e r v a t i o n s . I n t h e f O r t h c o m i n g s e c t i o n s o f t h i s b o o k w e s h a l l d e s c r i b e t h o s e s t a t i s t i c a l m e t h o d s ・ I n t h e n e x t s e c t i o n w e s h a l l b e g i n

b y d e v e l o p i n g s o m e o f t h e i r u n d e r l y i n g m a t h e m a t i c a l a s s u m p t i o n s .

1.3MultidimensionalRandomVariables L e t u s d e i i n e t h e p d i m e n s i o n a l r a n d o m v a r i a b l e X a s t h e v e c t o r (1)X'=[XI,...,Xp] w h o s e e l e m e n t s a r e c o n t i n u o u s u n i d i m e n s i o n a l r a n d o m v a r i a b l e s w i t h d e n s i t y f U n c t i o n s ハ ( . x l ) , . . . ,

ん ( . x p ) a n d d i s t r i b u t i o n f U n c t i o n s F I ( × 1 ) , . . . , F ) , ( x p ) . I n l i k e m a n n e r X h a s t h e j o " 〃 “ " ･ 池 " " o 〃 ん"c"o〃 ( 2 )

ー

F1(.x1,…,x")=P(XI≦X1,…,Xp≦.xp)

1

8Cb叩re7I Laterweshallneedthemamxofpopulationcorrelations

P=

( 2 5 ）

1

IfwedenotebyD(oi)thediagonalmamxofthestandarddeviationsofthevariates,thecovariance andcolTelationmamcescanberelatedas

P ､ = ) " D ( 圭 ）

( 2 6 ）

E=D(oi)PD(oY)

1.4TheMultivariateNormalDistributiOn I n t h e r e m a i n d e r o f t h i s b o o k o n l y t h e m u l t i v a r i a t e n o n n a l d i s m b u t i o n w i l l b e u s e d t o d e s c r i b e t h e

p o p u l a t i o n o u t o f w h i c h o u r s a m p l e s o f o b s e r v a t i o n v e c t o r s w i l l b e d r a w n ・ T h e r e a r e t w o c o m p e l l i n g r e a s o n s f b r t h i S r e s t r i c t i o n :

1 . A r a n d o m v e c t O r w h i c h a r o s e a s t h e s u m o f a l a r g e n u m b e r o f i n d e p e n d e n t l y a n d i d e n t i c a l l y d i s t r i b u t e d r a n d o m v e c t o r s w i l l b e d i s t r i b u t e d a c c o l d i n g t o t h e n i i , l t i v a r i a t e n o r m a l d i s t r i b u t i o n a s t h e n u m b e r o f t h e s e f i m d a m e n t a l s o u r c e v e c t o r s i n c r e a s e s w i t h o u t b o u n d . T h a t i s , t h e u s u a l c e " " n J " " 〃 的 e O 花 加 , w h i c h a s s u r e s a n o n n a l d i s t r i b u t i o n f O r v a r i a t e s w h i c h

a r e s u n n n a t i o n s o f m a n y i n d e p e n d e n t r a n d o m i n p u t s , c a r r i e s o v e r d i r e c t l y t o m u l t i d i m e n s i o n a l i n p u t s ・ T h i s s u n u n a t i o n m o d e l a p p e a r s t o b e a r e a l i s t i c o n e f O r m a n y k i n d s o f r a n d o m p h e n o m e n a e n c o u n t e r e d i n t h e l i f e a n d b e h a v i o r a l s c i e n c e s .

2 . D i f f e r e n t m o d e l s f b r t h e v a r i a t e v e c t o r s m g h t l e a d t o r a t h e r d i f f e r e n t j o i n t d i s t r i b u t i o n s o f t h e e l e m e n t s w h o s C m a t h e m a t i c a l c o m p l e x i t y w o u l d p r e v e n t t h e d e v e l O p m e n t o f t h e s a m P l i n g d i s t r i b u t i o n s o f t h e u s u a l t e s t s t a t i s t i c s a n d e s t i m a t e s . S u c h d i s t r i b u f i o n s w o u l d h a v e t o b e

p r o v i d e d f O r e a c h m o d e l ' s f U n d a m e n t a l p o p U l a t i o n . H o w e v e r , i t s e e m s l i k e l y t h a t w i t h t h e e x c e p t i o n o f r a t h e r p a t h o l o g i c a l c a s e s , t h e m u l t i v a r i a t e c e n t r a l _ l i m i t t h e o r e m w o u l d g u a r a n t e e t h a t t h e l a r g e s a m p l e d i s m b u t i o n s o f t e s t s t a t i s t i c s w o u l d l e a d u s t o s i m i l a r c o n c l u s i o n s a b o u t thestateofnature.

N o w l e t u s d e v e l o p t h e m u l t i v a r i a t e n o n n a l d e n s i t y f U n c t i o n ・ R e c a l l t h a t t h e d e n s i t y o f a n o r m a l l y distributedrandomvariableXis l

( 1 )

[ ; ( " 号 " ) 1

. ( x ) = ▽ 妄 5 e x p

一○○＜X＜○○

Sα碗pJesﾉｼひ碗〃zeM""んα"areⅣり"7z"JHp"Jα"o〃

２

〃 ■■■ｅ

ＱＤ■●

Ｘ ／ＪＩ１、

ａ

ｐＥ目

ｌｌ２

( 2 ) ｡ ( x l , … ' x p ) = ( 2 7 r ) p / 2 o , … ぴ pexp

ｒｌｌ０Ｌ

1

１ １

Thejointdensityoftheindependentnonnalvariatesisthus

9

Ifwewritex'=[xl,…,xp],ﾒﾙ'=[ﾒﾙl,…,"p],and 可ＩＩｌｌｌｌＩＪ

一一

。２ｐ ︵Ｕ” ｏ

へノー■■且●

ぴ︾︽Ｕ

図

thejointdensitycanbegivenas 1

( 3 )

｡(x)=

． " [ ｻ ( 斑 似 ) ' 勇 一 ｜ ( 麓 " ' ］

( 2 7 T ) p / 2 I E I I / 2

I n t h i s r e p r e s e n t a t i o n w e s e e i m m e d i a t e l y t h a t x h a s b e e n r e p l a c e d b y a v e c t o r v a r i a t e , / L i s n o w a v e c t o r o f m e a n s , a n d o 2 h a s b e e n g e n e r a l i z e d t o a d i a g o n a l m a m x . T h e s q u a r e d t e n n o f t h e u n i v a r i a t e d e n s i t y e x p o n e n t i s n o w a q u a d r a t i c f b n n i n t h e d e v i a t i o n s o f t h e v a r i a t e s f r o m t h e i r m e a n s , a n d t h e s q u a r e r o o t o f t h e d e t e n n i n a n t o f E h a s a s s u m e d t h e r o l e o f t h e u n i v a r i a t e s c a l e f a c t o r O ． T h e g e n e r a l p d i m e n s i o n a l n o n n a l d e n s i t y f U n c t i o n i s o b t a i n e d b y p e l m i t t i n g Z i n ( 3 ) t o b e α " y p × p S y 碗 m e " i c p o s " j v e d a / f " " e m a t r i x . T h e n ' ( x ) i s p o s i t i v e f b r a l l f i n i t e x , a n d

に…広 j(x)dx'･･･dxp=1 f b r a l l " , s o t h a t . ( x ) i s i n d e e d a d e n s i t y f i m c t i o n . T h e i t h e l e m e n t o f " i s s t i l l t h e m e a n o f x i , t h e i t h d i a g o n a l e l e m e n t o f t h e m o r e g e n e r a l m a m x Z i s s t i l l t h e i t h v a r i a n c e , a n d n o w t h e i / t h e l e m e n t

o i j o f Z c a n b e s h o w n t o b e t h e c o v a r i a n c e o f t h e i t h a n d / t h c o m p o n e n t s o f x ・ W e s e e i m m e d i a t e l y t h a t i f a l l p ( p 1 ) / 2 c o v a r i a n c e s a r e z e r o , t h e P c o m P o n e n t s o f x a r e i n d e p e n d e n t l y d i s m b u t e d .

T h e c a s e o f p = 2 i s e s p e c i a l l y i m p o r t a n t i n s t a t i s t i c a l t h e o r y ・ H e r e 似＝

， 兎 ' 琴 ］ に 1 コ ＝｛

a n d t h e j o i n t d e n s i t y i s

l ; ( 1 毒 』 ( 判 云 娯 ‘ ) ’ （ 蕊 ' 三 " ' ) ( 麺 孟 " ) 半 ( 難 ' 三 " ）’ ］ 1

(4)d(xl,x2)=

2 7 r o l o 2 ､ / T 二 万 百 e x p

2

−2β

10C〃"だγI

T h e s i a g W a r d i z e d b i v a r i a t e n o n n a l d e n s i t y w i t h m e a n s z e r o a n d u n i t v a r i a n c e s i s i m m e d i a t e l y a P ●

●

●

parent.Ifwelet

( X15 "1) X2( z 5), z'= ＝ LL− =-a z z2 2 =E= ＝ -l − A2 o l - o 2

thedensitybecomes 1 ｢ 1 1

( 6 ) ｡ ( Z 1 , Z 2 ) = 万 ﾏ T = = ､ x p[ ; f F ( z f … 崎 ) ] T h . s ! a n d a F j i Z 3 t i o n h a g r e m o v e d t h e s c a l e f a c t o r s o , a n d o Z f r o m t h e c o n s t a n t t e r m , a n d t h e d e n s i t y ●

c o n t a i n s o n l y t h e c o r r e l a t i o n p a r a m e t e l %

T h b l e s o f t h e m u l t i n o n n a l d i s t r i b u t i o n f U n c t i o n a r e r a l ℃ l y n e e d e d i n a p p l i e d m u l t i v a r i a t e a n a l y s i s .

T h e . i v a r i a t e i n t e g a P a s b g e n t a P u l a t C d e x t e n s i v e l y b y t h e f I a t i o n a l B u f g i m 6 E M a f a S ( 1 9 5 9 ) ; a n d

g " " I W W W 4 i l n e ¥ i o P a l P " b i l i t y s t a t e m e n t s h a v e b e e n c o m P d t e a 5 7 G u P t a ( 1 9 6 3 a ) f b r t h e e q u i c o l T e l a t i o n m a t r i x ・ O l l P t a ( 1 1 6 3 b ) " s a l s o c o m p i l e d a b i b l i o g r a P h y f b r i h e d i s t r i b u t i o n , W W W E F e f e r e n c e s , p r o p e m e s , a n d s p e c i a n z e d p r o b a l j i l i t i e s h a V e r 6 : e m l f E t e a b y Z e l e n a n d Severo(1965). ル加cゎαJAxesqMeM"/""o""αIDe"si" Theexponent

( x − 〃 ) ' 刃 − 1 ( x − 〃 ）

" g p W W l m l " " " W i i e s t h e C q u a t i O l l o f a n e l l i p s o i d i n t h e p _ d i m e n s i o n a l v a r i a t o s p a c e w h e n i t i s s e t e q u a l t o s o m e p o s i t i v e c o n s t a n t c ・ T h e f a m l y o f e l l i p s o i d S g e n e r a t e d b y v a r y i n g

g h a s " c o m o p g e n t e r P o i r U k " T h e / W P " " " q x i S o f e a c h e i l i p S 6 I M M l i n e p a S S i n g t h r o u g h i t s g r e a t e s t d i m e n s i o n ・ I f M v . r e P F e S P n l a n y l i n e t h r o u g h " t o t h e s d i f a 6 5 0 M E m i p s o i d b y i t S C o p r J i n a t . s x o n t h e s u n f a c e , t h e f i r s t P r i n c i P a l a x i s w i U h a v e c o o r d i n a t e s t h a t n i a x i m i z e ･ i t s s q u a r e d

h a l f L l e n g t h

( x − 〃 ) ' ( x − 〃 ）

( 7 )

s呵ecttotheconstraint ( 8 )

(x−〃)'辺−1(x−〃)=c

t h a t x b e o n t h e s u r f a c e . F b r t h e l e n g t h t o b e a t i t s m a x i m u m v a l u e i t i s n e c e s s a r y t h a t i t s d e r i v a t i v e s w i t h r e s p e c t t o t h e e l e m e n t s o f x e a c h e q u a l z e r o . I f w e i n t r o d u c e t h e c o n s t r a i n t ( 8 ) w i t h t h e a i d o f theLagrangianmultipier入,themaximandis ( 9 )

f(x)=(x−似)'(x−〃)−入[(x一〃)'刃-1(x−似)-c]

Sα"2pﾉes/io'〃r/ieA""/抑α"are"り""α/"p"jα"o〃

11

a n d i t s v e c t o r o f f i r s t p a r t i a l d e r i v a t i v e s i s "(x)

(10)4z=L=2(x一〃)−2入E−I(x−〃） 8x T h e c o o r d i n a t e s o f t h e l o n g e s t a x i s m u s t s a t i s f y t h e e q u a t i o n

(11)[1−入z−1](x一似)=0 o l ; s i n c e Z i s n o n s i n g u l a r , t h e e q u i v a l e n t e q u a t i o n (12)[Z一入I](x−似)=0

T h e c o o r d i n a t e s s p e c i f y i n g t h e p r i n c i p a l a x i s a r e p r o p o r t i o n a l t o t h e e l e m e n t s o f a c h a r a c t e r i s t i c v e c t o r o f z . B u t t o w h i c h o f t h e p c h a r a c t e r i s t i c r o o t s o f Z d o e s t h i s v e c t o r c o r r e s p o ､ . ？ P r e m u l t i p l y e q u a t i o n ( l l ) b y 4 ( x 一 〃 ) ' ：

(13)4(x−ﾉﾙ)'(x-")=4(x一〃)'Z-1(x−似） ＝4入c

F O r a 6 x e d v a l u e o f c t h e l e n g t h o f t h e p r i n c i p a l a x i s i s m a x i m i z e d b y t a k i n g 入 a s t h e g ノ セ q r e S r c h a r a c t e r i s t i c r o o t o f Z . T h e r e f O r e ,

7 y l e p o s i " o " 叩 h e β ﾉ W p r i " 叩 α ﾉ " " q f r / ' e c o " c e " " 籾 " o " e " 加 s o i d s i s s p e c i / i e d b y d " で c " O " C O S 加 e s w / l i c ﾉ ， α だ 『 ﾉ I e e ﾉ e " 7 2 " r S 叩 h e 〃 ｡ " " α " Z e d c h a m a e " s " c v e c r o ﾉ ｡ α 1 " s o c i " " w " h r ﾉ l e g 花 α r e S r C h a m c r e r i s " c r o o r 入IQf刃．

T h e l e n g t h o f t h e a x i s f O r a p a r t i c u l a r m e m b e r o f t h e f a m i l y i s 2 、 / X T E . T h e s e c o n d l o n g e s t a x i s o f t h e f a m i l y o f e l l i P s o i d s h a s a n o r i e n t a t i o n g i v e n b y t h e e l e m e n t s o f t h e v e c t o r o f t h e s e c o n d l a r g e s t c h a r a c t e r i s t i c r o o t . T h i s P r o c e s s i s r e p e a t e d u n t i l t h e e q u a t i o n s o f t h e P n e w a x e s o f t h e f a m i l y h a v e b e e n d e t e n n i n e d . I f t h e c h a r a c t e r i s t i c r o o t s a r e d i s " " α , s o t h a t 入l>入2>･･.>入">0

t h e p o s i t i o n s o f t h e a x e s a r e u n i q u e l y s p e c i n e d , a n d s i n c e 入 i ≠ 入 ﾉ i m p l i e s ノ

αjαノー0

t h e p a x e s a r e m u t u a l l y p e r p e n d i c u l a r ・ I f t w o s u c c e s s i v e r o o t s a r e e q u a l , t h e e l l i p s o i d i s c " ℃ " ﾉ α ﾉ ・ t h r o u g h t h e p l a n e g e n e r a t e d b y t h e a s s o c i a t e d v e c t o r s , a n d a l t h o u g h t w o p e r p e n d i c u l a r a x e s c a n b e c o n s t r u c t e d f b r t h e c o m m o n r o o t , t h e i r p o s i t i o n t h r o u g h t h e c i r c l e i s h a r d l y u n i q u e . I n g e n e r a l , i f 入 j i s a c h a r a c t e r i s t i c r o o t o f m u l t i p l i c i t y ﾉ ･ j , e a c h o f i t s a x e s c a n b e c h o s e n t o b e o r t h o g o n a l t o o n e a n o t h e r a n d t o t h e r e m a i n i n g p J ･ i a x e s , a l t h o u g h t h e y c a n b e r o t a t e d t o a n i n f i n i t y o f 6 6 p r i n c i p a l ' ' o r i e n t a t i o n s . F o r s u c h a c h a r a c t e r i s t i c r o o t t h e e l l i p s o i d h a s a h y p e r s p h e r i c a l s h a p e i n t h e ﾉ ･ i d i m e n s i o n a l s u b s p a c e , a n d t h e a s s o c i a t e d r a n d o m v a r i a t e s a r e s a i d t o h a v e i s o t r o p i c v a r i a t i o n s i n t h a t s p a c e ・ W e s h a l l d e f e r e x a m p l e s o f s u c h p r i n c i p a l a x e s t o c h a p t e r 6 , w h e r e t h e c o n c e p t i s d i s c u s s e d i n f U l l a s a s t a t i s t i c a l t e c h n i q u e .

12C"叩だ〃

T h e n e w v a r i a t e v e c t o r Y ' = [ Y 1 , … , Y P ] w h o s e e l e m e n t s h a v e v a l u e s o n t h e p r i n c i p a l a x e s o f t h e c o n c e n t r a t i o n e l l i p s o i d s i s r e l a t e d t o t h e o r i g i n a l v a r i a t e s b y t h e t r a n s f b n n a t i o n

Y=A'(X−〃）

( 1 4 ）

w h e r e t h e i t h c o l u m n o f A i s t h e n o n n a l i z e d c h a r a c t e r i s t i c v e c t o r q j ・ T h e o r t h o g o n a l i t y o f A i m p l i e s t h a t t h e t r a n s f O n n a t i o n c o n s i s t s o f a s h i f t o f t h e o r i g i n o f t h e n e w a x e s t o t h e c e n t e r " o f t h e e l l i p s o i d ,

f b l l o w e d b y a r i g i d r o t a t i o n o f t h e o r i g m a l a x e s i n t o t h e p r i n c i p a l a x e s o f t h e e l l i p s o i d . T h e c o v a r i a n c e matrixoftheelementsofYis

( 1 5 ) A ' E A a n d t h e v a r i a n c e o f t h e i t h p l i n c i p a l a x i s v a r i a t e i s

(16)var(If)=cM{璽α‘ ：＝入j

I f t h e c h a r a c t e r i s t i c r o o t s a r e d i s t i n c t , o r i f t h e v e c t o r s a s s o c i a t e d w i t h m u l t i p l e r o o t s h a v e b e e n c o n s t r u c t e d t o b e o r t h o g o n a l ,

(17)cov(yi,X/)=Q;図αノ=0j≠ノ T h e p r i n c i p a l a x i s t r a n s f b n n a t i o n h a s r e s u l t e d i n u n c o l T e l a t e d v a r i a t e s w h o s e v a r i a n c e s a r e p r o P o r -

t i o n a l t o t h e s q u a r e d a x i s l g l g t h s O f " y s P e c i f i c c o n c e n t r a t i o n e l l i p s o i d . L e t u s a p p l y t h . s C r e " l t S W l C b i v g r i a t e n o n n a l d e n s i t y . I n t h b i n t e r e s t s o f s i m p l i c i t y w e s h a l l u s e t h e s t a n d a r d i z e d d e n s i t y ( 6 ) . I f w e d e f i n e t h e f a m l y o f e l l i p s e s b y s e t t i n g ( 1 8 ）

〃=｡(zl,z2)

t h e i r e q u a t i o n i s ( 1 9 ）

( 1 − p 2 ) c = z f 2 p Z l Z 2 + z ;

w h e r e c = 2 1 n ( 2 元 " ､ / T=F ) . T h e c h a r a c t e r i s t i c r o o t s o f ( 2 0 ）

図＝

M

a r e 入 1 = 1 + p , 入 2 = 1 p , a n d t h e i r r e s p e c t i v e n o n n a l i z e d v e c t o r s a r e

α { ＝ { の / 2 , 、 / 面 / 2 ］ α § ＝ [ 、 / 豆 / 2 , ､ / 百 / 2 ］ I f p i s p o s i t i v e , t h e f i r s t p r i n c i p a l a x i s i s t h e l i n e Z 2 = z l , a n d t h e m i n o r a x i s r u n s a l o n g t h e l i n e z2=-zl.Foranegativeptheequationsofmajorandminoraxesarereversed.Ifp=0,theellipse i s a c i l ℃ l e , a n d a n i n f i n i t y o f p e r p e n d i c u l a r a x e s ( i n c l u d i n g t h o s e o f t h e o r i g i n a l v a r i a t e s ) c a n b e g i v e n a s G 4 p r i n c i p a l . ' ' W e n o t e f O r t h i s s p e c i a l c a s e o f e q u a l v a r i a n c e s t h a t t h e a x e s h a v e t h e s a m e

p o s i t i o n f b r a l l v a l u e s o f p ・ T h e s e a x e s a n d c o n c e n t r a t i o n e l l i p s e s f b r v a l u e s o f / @ c o l T e s p o n d i n g t o

Samples加加的eM""んarja花"り"7zQIHp"jα"o"13

Z1

F I G U R E 1 ． 1 C o n c e n t r a t i o n e l l i p s e s o f a b i v a r i a t e n o n n a l d e n s i t y 0.2,0.4,0.6and0.8ofthemaximumheight.(0,0)ofthestandardbivariatenormaldensitywith p＝0．6areillustratedinFigurel.l.

助〃e"cajα"dE"jp""JDe"s"yRI""es A P d i m e n s i o n a l d i s t r i b u t i o n i s s a i d t o b e S p 舵 減 c q j i f i t s r a n d o m v e c t o r X a n d t h e t r a n s f b n n e d v e c t o r P X h a v e t h e s a m e d i s t r i b u t i o n f b r a l l p × P o r t h o g o n a l m a t r i c e s P . S u c h d i s t r i b u t i o n s w e r e o r i g i n a l l y

d e s c r i b e d b y M a x w e l l ( 1 8 6 0 ) , B a r t l e t t ( 1 9 3 4 ) , a n d H a r t m a n a n d W i n m e r ( 1 9 4 0 ) . S o m e e x a m p l e s a r e t h e m u l t i v a r i a t e n o n n a l d i s t r i b u t i o n w i t h n u l l m e a n v e c t o r , c o m m o n v a r i a n c e , a n d z e r o c o v a r i a n c e s , andthemultivariaterdistribution(Comish,1954;JohnsonandKotz,1972).Muirhead(1982)

h a s d e s c r i b e d s o m e p r o p e r t i e s o f s p h e r i c a l d i s t r i b u t i o n s t h a t a r e r e l e v a n t t o m u l t i v a r i a t e a n a l y s i s . C h m i e l e w s k i ( 1 9 8 1 ) h a s r e v i e w e d t h e p r o p e r t i e s a n d e f f e c t s o f s p h e r i c a l l y s y n n n e t r i c d i s m b u t i o n s i n

s t a t i s t i c a l i n f e r e n c e , p r o b a b i l i t y , a n d s t o c h a s t i c p r o c e s s e s , a n d h a s p r o v i d e d a b i b l i o g r a p h y o f s o u r c e s i n t o l 9 8 1 ・ I n p a r t i c u l a r p o p u l a t i o n s p h e r i c a l s y m m e t r y l e a d s t o t h e s a m e r a n d F d i s m b u t i o n s d e r i v e d f r o m n o r m a l m o d e l s , a n d t o t h e s a m e m a x i m u m l i k e l i h o o d e s t i m a t o r s f O r t h e l i n e a r m o d e l p a r a m e t e r s a s f O u n d f r o m n o n n a l l y a n d i n d e p e n d e n t l y d i s m b u t e d e r r o r t e n n s . T h e e 伽 " c q / d i s t r i b u t i o n f a m i l y h a s d e n s i t i e s w i t h t h e g e n e r a l f O n n ( 2 1 )

V r ( x ) = C ( p ) ￨ Z ￨ ' / 2 g [ ( x 一 畔 ) ' 図 − l ( x − 似 ) ]

C(P)isapositiveconstant,"isaP×lvector,andZisap×Ppositivedefinitemamx.The C h m i e l e w s k i ( 1 9 8 1 ) b i b l i o g r a p h y a l s o a d d r e s s e s e l l i p t i c a l l y s y m m e t r i c d e n s i t i e s ・ T h o s e d i s m b u t i o n s h a v e s u c h p r o p e r t i e s a s t h e s a m e c o r r e l a t i o n m a m x f O r a g i v e n Z , a n d c o n d i t i o n a l e x p e c t a t i o n s t h a t arelinearfUnctionsofthefixedvariates.

1

14C"叩花〃

1.5ConditionalandMarginalDistributions ofMultinormalVariates

I n t h i s s e c t i o n w e s h a l l p r e s e n t a n u m b e r o f e s s e n t i a l r e s u l t s d e r i v i n g 廿 o m t h e m u l t i n o n n a l d i s t r i b u t i o n w h i c h w i l l b e n e e d e d c o n t i n u a l l y i n t h e l a t e r c h a p t e r s . T h e i r p r o o f S w i l l u s u a l l y i n v o I v e m o r e o f t h e c a l c u l u s t h a n w e h a v e s e t a s a p r e r e q u i s i t e f b r t h i s t e x t , a n d f b r t h e m t h e r e a d e r i s r e f e r r e d

t o A n d e r s o n ( 1 9 8 4 ) o r G r a y b i l l ( 1 9 8 3 , c h a p ・ 1 0 ) . T h r o u g h o u t w e s h a l l r e s t r i c t o u r a t t e n t i o n t o t h e

" o " s 伽 g " I z z r m u l t i n o n n a l d i s t r i b u t i o n , o r o n e w h o s e c o v a r i a n c e m a m x i s o f f U l l r a n k . W e b e g i n w i t h thisbasicresult:

P r o p e r t y l . 1 . L e r r h e p d i m e " s i o " α / m " d O " z v e c r o r X b e d i s " i b " r e d q c c o ﾉ t ﾉ m g r o r / i e m " 〃 加 O " " α ／ d i s r " " " o " w 城 m e α " V e C r O r 〃 α " d c o v α " α " “ 腕 α " i x E q f m " k p . " A i s α " y " z × p 〃 ' α " な Q /

花αﾉ〃"mZうど応w肋、"k"≦p,"ze"ew"z-coﾉnpo"e"rm"dO"zvecror Y=AX

ZSa碗""腕o"7za/m"dひmva"α〃eW城meα"E(Y)=A〃α"dcovα"α"Cemα〃jxAZA'. T h i s p r o p e r t y h a s t h e s e c o n s e q u e n c e s :

1 ． I f " z = L t h e s c a l a r v a r i a t e a ' X h a s t h e u n i v a r i a t e n o n n a l d i s t r i b u t i o n w i t h m e a n a ' 〃 a n d vananceaﾉza、

2 . T h e j o i n t d i s m b u t i o n o f a n y s e t o f e l e m e n t s o f X i s m u l t i n o n n a l w i t h m e a n v e c t o r a n d c o -

Y " I l c e . m a t r r g i y e q b y t h e . a p p r p p " t e e l e m e n t s o f " a n d B I n p a r t i c u l a r , t h e m a r g i n a ! d i s m b u t i o n o f e a c h e l e m e n t i s u n i v a r i a t e n o n n a l ・ H o w e v e r b n o n n a l m a r g i n a l s d o " o r n e c -

e s s a r i l y i m p l y a j o i n t m u l t i n o n n a l d i s m b u t i o n : e x a m p l e s o f s u c h d i s t r i 5 u t i o n s h a v e b e e n

d i s c u s s e d e x t e n s i v e l y b y K o w a l s k i ( 1 9 7 3 ) .

P r o p e r t y L l i m p l i e g t h a t t j . P r i n c i P a l a x i s v a r i a t e s d e f i n e d b y t h e t r a n s f b r m a t i o n ( 1 4 ) o f t h e p r e c e d i n g s e c t i o n h a v e t h e m u l t i v a r i a t e n o n n a l d i s t r i b u t i o n a n d , b y d i n t o f t h e i r z e r o c d r r e l a t i o n s , a r e i n d e p e n d e n t l y d i s t r i b u t e d .

77ieCo""jo"IDe"s"yqf"ie〃"ﾉ"yα加花ﾉvひ""αﾉDis"j伽"o〃

T h C n o t i o l p o f " i a l a q J m u l l i p l e c o I T J a t i o n a r e d o u b t l e s s f a m i l i a r t o t h e r e a d e r t h r o u g h t h e i r r o l e s

i n d a t a a n a l y s i s . W e s h a l l n o w i n t e I P r e t t h e s e q u a n t i t i e s a s p a r a m e t e r s o f t h e c o n d i t i o n a l T n u l t i n o r m a l d e n s i t y . T b o b t a i n t h a t d e n s i t y w e s t a r t f r o m t h e n o n s i n g u l a r ( p + 9 ) d i m e n s i o n a l m u l t i n o r m a l p o p u l a t i o n w h Q S g y a n a t e s a r C W r i t t e n a s t h e p a r t i t i o n e d v e c t o r X ' ､ X i X i ] , w h e r e X i c o n t a i n s p e l e m e n t s a n d X i t h e r e m a i n i n g 9 . T h e m e a n v e c t o r a n d c o v a r i a n c e m a t r i k a r e c o r r e s P o n d i n g l y p a r t i t i o n e d a s ( 1 )

〃＝

[ : J " [ : M : : ]

ThesubmatricesEll,Z,2andZ22havedimensionsp×p,p×9,and9×9.Byconsequence(2)of

P r o p e r t y l . 1 , X , a n d X 2 a r e m a r g i n a l l y m u l t i n o n n a l r a n d o m v e c t o r s w i t h d i s t r i b u t i o n s / V ( " , , E , , ) a n d N ( " 2 , 2 2 2 ) . T h e v a l u e s o f t h e e l e m e n t s o f Z 1 2 r e l a t i v e t o t h o s e o f Z l l a n d E 2 2 d e t e n n i n e t h e d e g r e e a n d p a t t e m o f d e p e n d e n c e b e t w e e n t h e t w o s e t s o f v a r i a t e s . I n p a r t i c u l a r , w e h a v e : Property1.2．私erq"do"Ivecro"Xlα"dX2w"ルrhem〃"vα”α花〃Or碗αﾉdis〃め""o"descﾉ･必ed

byr/zepqrqmae応(ﾉﾉαだ""“"yi"depe"de"rlydis"め"花｡ヴα"do"jyヴ璽12=0.

T h e c o n d i t i o n a l d e n s i t y f U n c t i o n o f X l g i v e n t h a t t h e e l e m e n t s o f X 2 a r e f i x e d , s a y a t x 2 , w a s g i v e n f O r g e n e r a l m u l t i d i m e n s i o n a l d i s t r i b u t i o n s i n S e c t i o n 1 . 2 a s /(x',x2)

g(x'Ix2)=-M= h(x2)

I n t h e p r e s e n t c a s e 1

( 2 )

"(x2)=

， 「1、

,面-,,-、1

･ " [ : ､ ) ' 璽 云 4 ' ]

submatricesofE.Theinverseofthatmamxcanbeshowntobe 訓璽訓璽

刃ｚ

ＪもＩノロｌ

２ ２ １図 １ 刃 １１

−一 ｊ ｊ

一−

Ｅｚ ｌ −２ ２１ −２ ２ 刃図 ２ ２ １図 １ 図

１ｌ １ １

Ｅ

−〃皿

−２

図

ｌ２

−２

十

ｚ

[ _ 皇 噺 奎 ￨ : 呈 叩

図ｉ 辺 ｉ

(3)E-1==

ｌ

F o r t h e c o m p u t a t i o n o f g ( x I I x 2 ) w e s h a l l n e e d t h e j o i n t d e n s i t y / ( x l , x 2 ) e x p r e s s e d i n t e n n s o f t h e

ｌ２

L

Sn"zp/es/》℃mr/ZeM""ivα"areﾉVOrnmJHp"/α"o"15

anditsdetenninantis

(4)IZI=￨Z221.￨zl!_zl2瑚刃121 T h e j o i n t d e n s i t y c a n b e w r i t t e n a s l

(5)/(x',X2)=

( 2 7 r ) ( ' + 9 ) / 2 I E 2 2 1 ' / 2 ･ ￨ Z l ! z 1 2 現 z 1 2 1 ' / 2

￨ } [ ( x ! " ' ' ( 函 Ⅷ M か い 1 ( x l " 1 )

･exp

( x 2 − 脾 2 ) ' " z l 2 ( E I ! E 1 2 現 逗 1 2 ) ' ( X ! _ " , ) ( x l − " , ) ' ( E ' ! z ' 2 瑚 図 1 2 ) I E I 2 " ( X 2 − " 2 ) + ( x 2 − " 2 ) ' 刃 か 1 2 ( E I ! − 量 1 2 瑚 逗 1 2 )I Z I 2 " ( X 2 − " 2 )

｝

+ ( x 2 " 2 ) ' 現 ( x 2 − “ 2 ) ]

U p o n d i v i s i o n b y / I ( x 2 ) t h e t e n n ( 2 7 r ) 9 / 2 1 Z 2 2 1 ' / 2 i n t h e n o n n a l i z i n g c o n s t a n t a n d t h e f i n a l q u a d r a t i c f b n n o f t h e e x p o n e n t v a n i s h . I n s p e c t i o n o f t h e r e m a i n i n g e x p o n e n t i a l t e n n s s h o w s t h a t t h e c o n d i t i o n a l

16C"叩”〃 densitycanbewrittenas 1

(6)8(xllx2)=

( 2 7 r ) ' / 2 1 z , ! − 刃 1 2 図 か 1 2 1 ' / 2

{ ; [ x " ｣ " ￨ , 璽 垂 ( X 2 " 2 ) ] '

･exp

l

･ ( E , ! − z 1 2 z 云 図 1 2 ) ' [ X ｣ 似 l z , 2 " ( X 2 − " 2 ) ] T h i s i s t h e d e n s i t y o f a m u l t i n o n n a l d i s m b u t i o n w i t h m e a n v e c t o r

(7)〃1＋図,2"(X2−牌2) andcovariancemamx

( 8 )

図'1−図12射刃12

S i n C e t h e e l e m e n t s o f X l a n d X 2 c O u l d h a v e b e e n c h o s e n i n a n y c o m b i n a t i o n f r o m t h e o r i g i n a l

r a n d o m v e c t o r b w e m a y s u m m a r i z e t h e p l e c e d i n g r e s u l t a s :

P r o p e r t y l ･ 3 ． 筋 e c o " " " o " α J d i s 加 加 " o " q f q " y s e r q f p w " j Z z r e s 伽 加 α " " " j " o r w z " J p o p 〃 α " ｡ 〃

w " 9 o " e r v a r i z z r e s q f r h e p q p " J α " o " ん e " c o " s m " " s " " " " o F T 7 z a l w j 娩 加 e α " V e C r O r α " d c o v α " α " C e " @ z z " ･ i x g i v e " b y e x p " s s i o " s ( 刀 α " d ( 8 ﾉ ．

｜

Therandomvector

( 9 )

X,.2=X,-"1−回,2"(X2−"2)

i " a l l e q t h e s e t o f " " I v q F i a r s , f b r i t r e p r e s e n t s t h e d i s c r e p a n c i e s o f t h e e l e m e n t s o f X ! a n d ●

t h e i r v a l u e s a s p r e d i c t e d f r O m t h e l i n e a r r e l a t i o n s h i p o f t h e c o n d i f i o n a l d i s m b u t i o n m e a n v e c t o r w i t h t h e X 2 v a r i a t e s . T h e c o v a r i a n c e s o f t h e e l e m e n t s o f X l w i t h t h o s e o f X l . 2 a r e ●

( 1 0 )

E [ ( X 1 似 , ) X 1 . 2 ] = E ( X I X 1 . 2 )

= E { X , [ X i " 1 ( x 2 − " 2 ) ' 図 か 1 2 ] } =211−z12z強12 o r m e r e l y t h e c o v a r i a n c e m a m x o f t h e c o n d i t i o n a l d i s m b u t i o n ・ H o w e v e r b t h e c o v a r i a n c e s o f t h e

I℃sidualsandtheiixedsetare

( 1 1 ）

E I ( X 2 − " 2 ) X 1 2 ] = E { ( X 2 − " 2 ) [ X i − " 1 _ ( X 2 − 〃 2 ) ' 現 図 1 2 ] } ＝刃{2−刃22羽E12 ＝0

I n t h e m u l t i n o n n a l p o p u l a t i o n t h e r e s i d u a l a n d f i x e d v a r i a t e s a r e i n d e p e n d e n t l y d i s t r i b u t e d . −

L

Sと""p/es/う℃mrheM""vα"areﾉVり"7za/Hp〃α伽〃17 R"･rjqJCor"Jα"o〃

T h e e l e m e n t s o f t h e c o v a r i a n c e m a m x ( 8 ) o f t h e c o n d i t i o n a l d i s t r i b u t i o n a r e c a l l e d t h e p a r r i z z I v a r i a n c e s a n d c o v a r i a n c e s , f b r t h e y m e a s u r e t h e v a r i a t i o n a n d d e p e n d e n c e o f t h e v a r i a t e s i n t h e f i r s t setconditionaluponiixedvaluesofthoseintheseco"dset.Ifwedenotethe"thelementofthe matrixby ( 1 2 )

oij.p+1,…,p+9

t h e p α " j α ﾉ C O r 肥 ﾉ α " o " o f t h e i t h a n d ﾉ t h v a r i a t e s o f t h e f i r s t s e t w i t h a l l m e m b e r s o f t h e s e c o n d s e t heldconstantis o".p+1,…,p+9

( 1 3 ）

−

pij.p+1,…,p+9-

Oii.p+1,…,p+9o〃.p+1,…,p+9

I f w e l e t D = d i a g ( E l l − E 1 2 z 菱 刃 1 2 ) , t h e m a t r i x o f p a r t i a l c o n e l a t i o n s c a n b e w r i t t e n a s

(14)D-1/2(EI!−刃12回か12)D 1/2 w h e r e t h e } p o w e r o f D i n d i c a t e s t h a t t h e m a m x c o n s i s t s o f t h e s q u a r e r o o t s o f t h e r e c i p r o c a l s o f theelementsofD.

I f t h e n u m b e r o f f i x e d v a r i a t e s i s s m a l l t h e p a r t i a l c o r r e l a t i o n s m a y b e c o m p u t e d f r o m a r e c u r s i o n relation.Let

( 1 5 )

p " . c = β " . p + 1 . … , ル ー 1 , / 1 + 1 ･ … ､ " + 9

r e p r e s e n t t h e ( 9 1 ) s t o r d e r p a r t i a l c o I T e l a t i o n w i t h a l l v a r i a t e s o f t h e s e c o n d s e t e x c e p r X " h e l d c o n s t a n t ・ T h e n i t i s p o s s i b l e t o s h o w t h a t t h e p a r t i a l o f X i a n d X j w i t h t h e c o ﾉ " p / e r e s e t f i x e d c a n b e computedas

( 1 6 )

β"､c−pjA.cβﾉﾉ2°C β".hc==

( ' p 乱 c ) ( ' p ｻ ﾙ c )

F o r e x a m p l e , t h e f p ( p _ 1 ) ( p 2 ) d i f f e r e n t f i r s t o r d e r P a r t i a l s c a n b e c o m p u t e d f r o m p〃−β"Ipノル

′1句、

( 1 7 ）

β " ・ ﾉ ' ＝

( ' p i ) ( ' p ; " )

f b r h = 1 , … , p ; j , ノ = 1 , . . . , p , w i t h i < ノ . I n s u c c e s s i o n t h e s e c o n d o r d e r , … , ( p + 9 2 ) t h o r d e r p a r t i a l c o r r e l a t i o n s c a n b e c o m p u t e d . W e n o t e t h a t i f a l l c o r r e l a t i o n s o f a c e r t a i n o r d e r e q u a l z e r o , a l l h i g h e r o r d e r p a r t i a l s m u s t a l s o v a n i s h . D e r i v a t i o n s o f t h e r e c u r s i o n f b n n u l a c a n b e f O u n d i n A n d e r s o n ( 1 9 8 4 ) f b r t h e c a s e o f a m u l t i n o n n a l j o i n t d i s t r i b u t i o n o f t h e v a r i a t e s o r i n Y u l e a n d K e n d a l l ( 1 9 5 0 ) o r K e n d a l l a n d S t u a r t ( 1 9 7 9 ) f b r a g e n e r a l m u l t i d i m e n s i o n a l d i s m b u t i o n w h o s e s e c o n d o l d e r momentsarefinite.

『P

18Ch叩花〃 E x a m p l e l ･ 1 ． M a r k o v c o v a r i a n c e m a t r i c e s w i t h t h e p a t t e m

I ; ; 1

E=02

p l a y a n i m p o r t a n t r o l e m s t o c h a s t i c P r o c e s s e s a n d t i m e s e r i e s a n a l y s i s , a n d w e s h a l l s e e i n c h a p t e r 7 t h a t t h e y a r e a l s o e n c o u n t e r e d a s m o d e l s f b r t h e d e p e n d e n c e s t r u c m r e o f i n t e l l i g e n c e t e s t s ・ T h e p a r t i a l c o r r e l a t i o n o f t h e ( i 1 ) s t a n d ( j + 1 ) s t v a r i a t e s w i t h t h e i t h h e l d c o n s t a n t i s

p2−p・p

pi-1,i+1.i==--

l−p2

=0i=2,3

S i m i l a r l y t h e c o I T e l a t i o n o f t h e n r s t a n d f b u r t h v a r i a t e s w i t h e i t h e r t h e s e c o n d o r t h i r d 6 x e d i s

z e r o . 血 曲 e t i m e s e r i e s c o n t e x t t h i s i m p l i e s t h a t a v a r i a t e X j i s d e p e n d e n t u p o n i t s p r e d e c e s s o r s w i t h s m a l l e r s u b s c r i p t s o n l y t h r o u g h i t s h n m e d i a t e n e i g h b o r X i _ , . F i x i n g t h e v a l u e o f t h a t r a n d o m variableleavesXiandXi_2uncorrelated.

M""わJeCひ"℃地加〃

S u p p o s e t h a t i n t h e j o i n t d i s t r i b u t i o n s P e c i f i e d b y t h e p a r t i t i o n e d m e a n v e c t o r a n d c o v a r i a n c e m a m x o f ( 1 ) t h e f i r s t s e t c o n t a i n s a s i n g l e v a r i a t e X l a n d t h e s e c o n d s e t c o n t a i n s 9 v a r i a t e s . I t i s d e s i r e d t o f i n d t h a t l i n e a r c o m p o u n d

Y=β'X2

( 1 8 ）

o f t h e s e c o n d s e t h a v i n g t h e g e a t e s t c o r r e l a t i o n w i t h X l . T h a t c o r r e l a t i o n i s β'α12

(19）α,､/百壷顕 一

w h e r e o f i s t h e s i n g l e e l e m e l l t o f Z 1 l a n d o l 2 = Z ] 1 2 i s a 9 _ c o m p o n e n t c o l u m n v e c t o m T h e

c o l T e l a t i o n i s i n v a r i a n t u n d e r c h a n g e s o f l o c a t i o n a n d s c a l e i n X , a n d Y , a n d s o i t w i l l b e n e c e s s a r y

t o i m p o s e s o m e c o n s t r a i n t s b e f b r e t h e l i n e a r c o m p o u n d c a n b e u m q u e l y d e f i n e d . L e t t h e s e c o n s t r a i n t s be

( 2 0 ）

ぴ ; ＝ ’

β'図22β＝1

T Y l e c o r r e l a t i o n c a n t h e n b e m a x i m z e d b y d e t e r m i m n g t h e g r e a t e s t v a l u e o f i t s c o v a r i a n c e t e r m s 呵 e c t t o t h e s e c o n d c o n s t r a i n t . I n t r o d u c t i o n o f t h a t r e s t r i c t i o n t h r o u g h t h e L a g r a n g i a n m u l t i P l i e r 入 y i e l d s t h e f U n c t i o n

(21)f(B)=β'"12-;' .-]) −

肋ﾉ叩/“伽"z油e〃""vαﾉ･加eﾉVひ""αﾉ助p"/α"o〃

19

w h o s e v e c t o r o f p a r t i a l d e r i v a t i v e s w i t h r e s p e c t t o t h e e l e m e n t s o f a i s 〃(β） 8 β

(22)､'LLg'=ol2-入刃228 a n d f b r e a c h d e r i v a t i v e t o v a n i s h i t i s n e c e s s a r y t h a t ( 2 3 ）

β = ; 理 ｡ ｡

I t f O l l o w s f r o m t h e s e c o n d c o n s t r a i n t o f ( 2 0 ) t h a t 入 2 = o l 2 羽 ぴ 1 2 . H o w e v e r i b y t h e i n v a r i a n c e p r o p e r t y o f t h e c o r r e l a t i o n a n y p o s i t i v e v a l u e o f 入 w i l l g i v e t h e s a m e m a x i m u m c o l T e l a t i o n , a n d w e shalltake

( 2 4 ）

6=zijo,2 一 一

a s t h e v e c t o r o f ノ ゼ g r e s s i o " c o " c i e " r s o f t h e v a r i a t e X l u p o n t h e e l e m e n t s o f X 2 . F r e q u e n t l y , a s i n

S e c t i o n l . 7 , i t w i l l b e n e c e s s a r y t o c o n s i d e r a l l r e g r e s s i o n c o e f f i c i e n t s o f o n e s e t o f p v a r i a t e s o n a

s e c o n d s e t o f 9 . W e s h a l l w r i t e t h a t s e t o f p a r a m e t e r s a s t h e P × 9 m a m x B = E , 2 " . T h e r a t h e r c u r i o u s u s e o f . G r e g r e s s i o n ' ' i s d u e t o G a l t o n ( 1 8 8 9 ) , w h o i n t r o d u c e d i t i n h i s s t u d i e s o f t h e c o r r e l a t i o n o f h e i g h t s o f f a t h e r s a n d s o n s : t h e h e i g h t s o f s o n s o f e i t h e r u n u s u a l l y t a l l o r s h o r t

f a t h e r s t e n d t o b e c l o s e r t o t h e s o n g a v e r a g e h e i g h t t h a n t h e i r d e v i a n t f a t h e r d v a l u e s w e r e t o t h e m e a n f b r t h e i r g e n e r a t i o n . G a l t o n r e f e r r e d t o t h i s p h e n o m e n o n a s a ｡ 6 r e g r e s s i o n t o m e d i o c r i t y ' ' a n d n a m e d t h e p a r a m e t e r o f t h e l i n e a r r e l a t i o n s h i p a c c o r d i n g l y . Themaximumcorrelation

( 2 5 ）

α12現ぴ12 β1.2…(9+1)=

ol

、 / 5 石 万

一

一

ぴl

i s c a l l e d t h e " z " 伽 ﾉ e c o r l r / α " o " c o " c i e " r o f X l w i t h t h e v a r i a t e s i n X 2 ・ B y e x p l ℃ s s i o n ( 8 ) f O r t h e

s i n g l e p a r t i a l v a r i a n c e

(26)of-"12理ぴ,2=of('-pi2…(9+,)) a n d t h e s q u a r e d m u l t i p l e c o r r e l a t i o n c o e f r i c i e n t i s e q u a l t o t h e P r o P o r t i o n o f t h e v a r i a n c e o f X , w h i c h c a n b e a t t r i b u t e d t o t h e r e g r e s s i o n r e l a t i o n s h i p w i t h t h e v a r i a t e s i n X 2 .

F o r t h e s p e c i a l c a s e o f t h e b i v a r i a t e n o r m a l d e n s i t y , 9 = l a n d t h e r e g r e s s i o n c o e f f i c i e n t i s ( 2 7 ）

Ol

β'2＝po2

I f t h e f r e e a n d n x e d v a r i a t e s a r e i n t e r c h a n g e d , t h e n e w c o e f f i c i e n t i s ( 2 8 ）

ぴ2

62'=β−

ぴI

20Cんaprerl

T h e s e r e g r e s s i o n c o e f f i c i e n t s a n d t h e i r a s s o c i a t e d l i n e a r f U n c t i o n s g i v i n g t h e m e a n s o f t h e c o n d i t i o n a l d i s m b u t i o n s a r e d i s t i n g u i s h e d b y r e f e m n g t o t h e f i r s t a s t h e ノ セ g i f s s j o " q f X l o " X 2 , a n d t o t h e s e c o n d astheノゼgressio"QfX20"X1.血eithercase p1.2=p2.1=￨pl

f b r b y d e f i n i t i o n t h e c o e f f i c i e n t c a n h a v e o n l y n o n n e g a t i v e v a l u e s .

T h e m u l t i p l e c o r r e l a d o n i s i n v a r i a n t u n d e r n o n s i n g u l a r t r a n s f b n n a t i o n s o f t h e o r i g i n a l v a r i a t e s . Let

yl=qXl+b ( 2 9 ）

Y2=CX2+d

wherefzandbarescalars,the9×9mamxCisoffilllrank,anddisacolumnvectorof9real

c o n s t a n t s . T h e s q u a r e d m u l t i p l e c o r r e l a t i o n o f Y 1 w i t h t h e e l e m e n t s o f Y 2 i s

a ケ 1 2 C ' ( C E 2 2 C ' )' C o l 2 q

(30)pf2…(9+1)-

a 2 o f ケ 1 2 回 五 ケ 1 2 ． f

−

−

Thispropertyimpliesthatthesamecorrelationwillbeobtainedfromthemamxofcorrelationsas

f r o m t h e c o v a r i a n c e m a t r i x . T h e r e g r e s s i o n c o e f f i c i e n t s o f t h e t r a n s f b n n e d v a r i a t e s ( 2 9 ) a r e

(31)7=a(CE22C')-'C｡,2

＝ α C ' 1 逗 云 o 1 2 ＝ α c ' 一 ' β I f C i s a d i a g o n a l m a t r i x o f s c a l e f a c t o r s , e . g ． , t h e r e c i p r o c a l s o f t h e s t a n d a r d d e v i a t i o n s o f t h e v a r i a t e s i n X 2 , t h e e f f e c t o f t h a t s c a l e c h a n g e i s t h e m u l t i p l i c a t i o n o f e a c h e l e m e n t o f a b y q / o i ・ F o r

e x a m p l e , t h e b i v a r i a t e r e g r e s s i o n c o e f f i c i e n t ( 2 7 ) b e c o m e s t h e d i m e n s i o n l e s s q u a n t i t y p u n d e r t h e scalingcz=1/ol,c=1/の．

I f Z a n d Z 2 2 b o t h h a v e r a n k 9 , X l c a n b e e x P r e s s e d e x a c t l y a s a l i n e a r c o m p o u n d o f t h e 9 v a r i a t e s o f t h e s e c o n d s e t . T h e n t h e m u l t i p l e c o r r e l a t i o n i s e x a c t l y u n i t y , a n d a i s t h e c o e f f i c i e n t v e c t o r o f t h e l i n e a r r e l a t i o n s h i p . I f Z 2 2 h a s r a n k l e s s t h a n 9 , t h e u s u a l e x p r e s s i o n f O r t h e m u l t i p l e c o r r e l a t i o n isindeterminate,andthemultiplecorrelationmustberede伽edasthemaximumcorrelationofXl

w i t h a l i n e a r c o m p o u n d o f a s u b s e t o f t h e X 2 v a r i a t e s w h o s e r a n k i s e q u a l t o t h a t o f Z 2 2 .

1.6SamplesfmmtheMultinormaIPopulation I n t h e p r e c e d i n g s e c t i o n s w e h a v e d i s c u s s e d t h e p r o p e r t i e s o f t h e m u l t i v a r i a t e n o n n a l d i s t r i b u t i o n a s t h o u g h t h e v a l u e s o f i t s p a r a m e t e r s w e r e k n o w n a n d u n d e r o u r c o n t r o l ・ O c c a s i o n a l l y t h i s i n fOnnationisavailable,asin(hecaseofmodelsconstructedtoexplainrandomphenomenainthe

−

L

SMzples伽加的eM"""α"α花ﾉVひﾉ77zQIHp"肱加〃21

p h y s i c a l s c i e n c e s . H e r e t h e s t r u c t u r e o f t h e m o d e l , a n d u s u a l l y t h e r e s p o n s e c h a r a c t e r i s t i c s o f a n y 6 G b l a c k b o x e 3 ' t h r o u g h w h i c h i t s o u t p u t s m u s t p a s s , m a y b e k n o w n t o t h e i n v e s t i g a t o r ・ F O r s u c h p h e n o m e n a i t i s o f t e n p o s s i b l e t o ･ o b t a i n v e r y l a r g e s a m p l e s o f d a t a i n a s h o r t t i m e a n d t h e r e b y e s t i m a t e a n y o t h e r u n k n o w n p a r a m e t e r s . W o r k e r s i n t h e l i f e a n d b e h a v i o r a l s c i e n c e s r a r e l y h a v e t h e s e a d v a n t a g e s , a n d i n t h i s s e c t i o n w e s h a l l c o n s i d e r m e t h o d s f b r e s t i m a t i o n o f t h e v a r i o u s p a r a m e t e r s

o f t h e m u l t i n o n n a l d i s t r i b u t i o n f r o m t h e d a t a o f s m a l l r a n d o m s a m p l e s a n d t h e s a m p l i n g p r o p e r t i e s

oftheseestimates.

O n c e a g a i n w e m u s t e m p h a s i z e t h a t t h e q u a l i f i c a t i o n @ c r a n d o m ' ' i s e s s e n t i a l f b r t h e v a l i d i t y o f t h e e s t i m a t e s a n d t h e i r a s s o c i a t e d s i g n i f i c a n c e t e s t s a n d c o n f i d e n c e s t a t e m e n t s . I n p r a c t i c e , r a n d o m n e s s m e a n s t h a t t h e s a m p l i n g u n i t s o f t h e o b s e r v a t i o n v e c t o r s w e r e d r a w n i n d e p e n d e n t l y o f o n e a n o t h e r

f r o m s o m e h o m o g e n e o u s p o p u l a t i o n . T h e u n i t s m u s t n o t h a v e c o m m o n c h a r a c t e r i s t i c s o r t r a i t s w h i c h m i g h t i n d u c e d e p e n d e n c e a m o n g t h e i r v e c t o r s : a n i n v e s t i g a t i o n o f m e a n l e v e l s o f f b u r b i o c h e m i c a l compoundsinthebrainsofacertainstrainofmiceshouldnotbebaseduponassaysofmicefifom

a f e w l a r g e l i t t e r s b u t f i o m a r a n d o m s a m p l e o f m i c e i n t h e s t r a i n . S i m i l a r l y , b i a s e d a n d h i g h l y u n r e l i a b l e e s t i m a t e s o f t h e g e n e r a l e f f e c t o f a t r a n q u i l i z i n g d r u g w o u l d b e o b t a i n e d i f t h e s a m p l i n g u n i t s w e r e t h e d a i l y m o o d s t a t u s r e s p o n s e s o f a s m a l l n u m b e r o f p s y c h i a t r i c p a t i e n t s s m d i e d o v e r s e v e r a l w e e k s . J u s t a s e a c h l i t t e r o f m i c e p r o b a b l y h a s c o m m o n g e n e t i c a n d b i o l o g i c a l f e a m r e s , i t

i s r e a s o n a b l e t o a s s u m e t h a t a p a t i e n t ' s a f f e c t i v e c o n d i t i o n h a s s l o w l y v a r y i n g f e a t u r e s w h i c h w i l l m a k e t h e r a t i n g s o n s u c c e s s i v e d a y s h i g h l y d e p e n d e n t . F u r t h e n n o r e , s e v e r e s h i f t s i n m o o d o f o n e P e r s o n o n t h e w a r d p r o b a b l y i n d u c e c h a n g e s i n t h e o t h e r s u b j e c t s o f t h e s t u d y . T h e s e s o u r c e s o f

d e p e n d e n c e r e d u c e t h e t r u e n u m b e r o f i n d e p e n d e n t o b s e r v a t i o n s , a n d t h e t r e a t m e n t o f s u c h d a t a b y c l a s s i c a l p r o c e d u r e s m a y l e a d t o s p u r i o u s l y s h o r t c o n n d e n c e i n t e r v a l s a n d o v e r l y s i g n i f i c a n t t e s t s o f h y p o t h e s e s .

L e t u s s u p p o s e t h a t t h e s e r e q u i r e m e n t s o f i n d e P e n d e n c e a n d h o m o g e n e i t y h a v e b e e n m e t b y t h e S a m p l i n g u n i t s a n d t h a t " o b s e r v a t i o n v e c t o r s h a v e b Q e n r e c o r d e d o n t h e p r e s p o n s e s o f i n t e r e s t .

Thesevalueshavebeensummarizedinthedtz"碗α〃な’

に : ｜

( 1 )

X=

L e " h e s e d a t a b e r e a l i z a t i o n s o f a p d i m e n s i O n a l _ r a n d o m v a r i a b l e d i s t d b u t e d a c c o r d i n g t o t h e m u l t i n o r m a l l a w w i t h m e a n v e c t o r " a n d n o n s i n g u l a r c o v a r i a n c e m a t r i x E . T h e l i k e l i h o O I i o f t h e

o b s e r v a t i o n s ( 1 ) i s ( 2 )

1

Lい,図)＝

[ ; 薑 は ‘ " 岬 価 ”］

exp

( 2 J r ) 1 / 2 Ⅳ p ￨ Z l l / 2 J V

o r t h e d i r e c t e x t e n s i o n o f t h e l i k e l i h o o d n o t i o n t o v e c t o r v a l u e d o b s e r v a t i o n s . A s i n t h e u n i v a r i a t e c a s e , w e s h a l l c h o o s e a s e s t i m a t o r s o f t h e e l e m e n t s o f " a n d Z t h o s e f i l n c t i o n s o f t h e o b s e r v a t i o n s I I n t h e l a t e r s e c t i o n s X w i l l d e n o t e e i t h e r t h e a b s t r a c t r a n d o m v e c t o r o r i t s m a t r i x o f o b s e r v e d v a l u e s . I n e a c h c a s e t h e m e a n i n g w i l l b e m a d e e x p l i c i t f r o m t h e c o n t e x t .

22Cylqpだ〃 whichmaximize(2).Ifweintroducethesamplemeanvector ｈ Ｘ

〃Ｅ周

ｌｌ

ｌ−Ｎ

−Ｘ

( 3 )

andthemamxofsumsofsquaresandcrossproducts

A = J ( 漁 伽 X ) ( x / I X ) ' Ⅳル=1

( 4 )

Ⅳ

= E x , i x ル ー " 耐 h=1

t h e n a t u r a l l o g a r i t h m o f t h e l i k e l i h o o d c a n b e w r i t t e n a s 1nr,_-,l.____,1

( 5 ) [ ( " , z ) : " p ' n ( 2 " ) 五 " l n l Z ￨ ' t r A Z ! う 脈 " ) , 函 1 ( X " ) S i n c e z − l i s a s y m m e t r i c p o s i t i v e d e 6 n i t e m a t r i x , t h e q u a d r a t i c _ f b n n t e n n w i l l b e a m i n i m u m o n l y w h e n " i s e q u a l t o X , s o t h a t t h e m a x i m u m l i k e l i h o o d e s t i m a t o r o f t h e m e a n v e c t o r i s x ．

T h e e s t i m a t o r o f t h g g o v a r i a n c e m a t r i ¥ i s m o r e e a s i l y f b u n d b y c o m p u t i n g t h e m a x i m u m -

l i k e l i h o o d e s t i m a t o r o f z l a n d a p p l y i n g t h i s u s e f i l l r e s u l t :

L e m m a l . ' ・ L a 沈 e d i s " ･ j b " " o " ん " c " o " q f a 腕 " j " v α " a r e m " d o " z y a が α 〃 e d e p e " d o " r / i e p q r " " @ e 花 緬 9 ， ， … , a k , w 肋 m a x i m " " 〃 k e " h o o d e s " m a r o r s e l , . . ． , e k . L e 〃 ん e p a m m a e ﾉ 籾 rl=gl(81,…,OA)

Tj･=gr(el,…,ek)

" r l ≦ r ≦ た , b e " i " e d b y " " " y b " " α " o " Q M e p q m m a e r S p q c e . 7 7 1 e " 的 e " 2 α x " 7 " " " 舷 e " 加 o d eS""αromq/丁1,…,吟α花

f ' = g ' ( 9 , , … , O k )

公

八

八

ff=gr(81,…,仇）

ThelemmaanditsproofhavebeengivenbyMoodaaﾉ.(1974);itisanextensionofaresultdue t o Z e h n a ( 1 9 6 6 ) . T h e l e m m a e x p r e S § e s t h e 伽 v α " α " c e P m P e r l y o f m a x i m u m l i k e l i h o o d e s t i m a t o r s i n t h e m u l t i v a r i a t e c a s e : M a x i m u m l i k e l i h o o d e s t i m a t o r s o f f i l n c t i o n s o f t h e p a r a m e t e r s a r e s i m p l y t h o s e s a m e f U n c t i o n s e v a l u a t e d f b r l h e m a x i m u m l i k e l i h o o d e s t i m a t o r s o f t h e o r i g i n a l p a r a m e t e r s .

I n t h e p r e s e n t c o n t e x t , h = p ( p + 1 ) , t h e a i a r e t h e e l e m e n t s a i j o f z ' a n d t h e t i a r e t h o s e o f E . ' I b i i n d t h e m a x i m u m l i k e l i h o o d e s t i m a t o r o f e = 図 一 1 w e c o m p u t e t h e d e l i v a t i v e s

( 6 )

鶚 里 = ; " ， " ; ‘ ” 辿 些 』 = N e i j − α 〃 j < ノ 鋤ノ

w h e r e e " , e i j a r e t h e e l e m e n t s o f e l . H e n c e , t h e e s t i m a t o r i s

( ､ A ) '

@=

( 7 )

andbyLemmal．l,themaximum-likelihoodestimatorofZis Ａ ｌ一Ⅳ

( 8 )

一一

︽刃

L

SMzp/es伽"z"leM""んα"areⅣひ"""IHMIα"o"23

へ

I t i s e a s i l y s h o w n b y a n a p p l i c a t i o n o f t h e e x p e c t a t i o n o p e r a t o r t h a t Z i s a b i a s e d e s t i m a t o r b W e s h a l l a d o p t i n s t e a d t h e u n b i a s e d m o d i f i c a t i o n

S=古へ

( 9 )

Hencefbrth,Swillbereferredtoasthesamplecovα〃α"“"α〃ix.

R E q u e n t l y o b s e r v a t i o n s a r e c o l l e c t e d o n k i n d e P e n d e n t g r o u P s o f s a m p l i n g u n i t s ・ T h e r e s p o n s e s a r e d e s c r i b e d b y a m u l t i n o n n a l r a n d o m v a r i a b l e w i t h m e a n v e c t o r " h i n t h e ﾉ z t h g r o u p a n d a c o v a r i a n c e m a t r i x E c o 加 加 o " t o a l l g r o u p s ・ W r i t e t h e d a t a m a m x f b r g r o u p / l a s ( 1 0 )

Xh＝

に

w i t h i t h r o w x { " . T h e m a x i m u m l i k e l i h o o d e s t i m a t o r o f " h i s t h e s a m p l e m e a n v e c t o r X j i o f t h e ﾉ @ t h

group,andtheunbiasedestimatorofZis ( 1 1 )

S = 志 譜 x j h X / , ) ( x j h 靴 『 ＝上 士A/! Ⅳ一kE

w h e r e A ﾉ i i s t h e m a m x ( 4 ) o f s u m s o f s q u a r e s a n d c r o s s P r o d u c t s w i t h i n t h e / t t h g r o u p a n d / V = "1+…+M.

24CIzqprerI

Dis加加加〃qf"teSam”Meα〃陀CrOr

ItiseasilyshownbyPropertyl.loftheprecedingsectionthatthesamplemeanvectorofJV i n d e p e n d e n t o b s e r v a t i o n s f r o m t h e m u l t i n o n n a l p o p u l a t i o n l V ( " , E ) i s a l s o a m u l t i n o n n a l r a n d o m variablewithparameters"and刃/W.Thisisadirectgeneralizationofthedistributionofthe u m v a r i a t e m e a n , a n d i t s i m p l i c a t i o n s f b r c o n s t r u c t i n g s i g n i f i c a n c e t e s t s a n d c o n f i d e n c e r e g i o n s f b r

" w h e n Z i s k n o w n w i l l b e e x p l o i t e d i n t h e n e x t c h a p t e l :

肋α‘加jssj〃"yqMeSα〃ﾌJeMe"〃吃CrOr Stein(1956)fbundthisunexpectedProPertyoftheinmitiveestimatorofthemeanvector:When

p ≧ 3 t h e s a m p l e m e a n v e c t o r i s 加 α d " z i s s i b l e ・ T h a t i s , a n o t h e r e s t i m a t o r t e x i s t s w i t h s m a l l e r e x p e c t e d q u a d r a t i c l o s s , o r

E [ ( t " ) ' ( t − 〃 ) ] < E [ ( ヌ ー 似 ) ' ( ヌ ー 似 ) ] J a m e s a n d S t e i n ( 1 9 6 1 ) p r o p o s e d a l t e r n a t i v e " s h r i n k a g e ' ' e s t i m a t o r s . T h e e s t i m a t o r s a n d d e v e l o P -

m e n t s o f t h e i r t h e o r e t i c a l p r o P e r t i e s h a v e b e e n g i v e n b y A n d e r s o n ( 1 9 8 4 , S e c t i o n 3 . 5 ) a n d M u i r h e a d ( 1 9 8 2 , S e c t i o n 4 . 2 ) . TWeMs加〃Dお加加"o〃

T h e m a t r i c e s A a n d Z i = , A " d e f i n e d b y ( 4 ) a n d ( 1 1 ) c a n b e w r i t t e n a s t h e s u m s o f p r o d u c t s o f

Ⅳ − l a n d Ⅳ − k i n d e p e n d e n t p d i m e n s i o n a l r a n d o m v e c t o r s w i t h t h e c o m m o n d i s m b u t i O n N ( 0 , Z ) ･

I n g e n e r a l , a n y s y m m e m c p o s i t i v e d e f i n i t e m a t r i x A o f q u a d r a t i c a n d b i l i n e a r f b n n s w h i c h c a n b e transfOnnedtothesum 〃

7] y i y ;

( 1 2 ）

j=1

w h o s e p _ c o m p o n e n t v e c t o r s y i a r e i n d e P g l d e n t l y d i s t r i b u t e d a c c o r d i n g t o t h e d i s t r i b u t i o n N ( 0 , Z ) i s s a i d t o h a v e t h e W i s h a r t d i s t r i b u t i o n ( W i s h a r t , 1 9 2 8 ) . T h e d e n s i t y f U n c t i o n o f A i s

l ; 哨 鍔 剛 滞 鶚 H Ⅷ ､ 剛 : 顛 隠

(13)w(A;Z,")=

F o r t h e s i n g l e s a m p l e m a t r i x ( 4 ) , " = Ⅳ 1 , a n d f b r t h e h s a m p l e w i t h i n g r o u p s m a t r i x i n e x p r e s s i o n ( 1 1 ) , " = Ⅳ 一 兆 . W e s h a l l r e f e r t o " a s t h e d e g r e e s o f f r e e d o m p a r a m e t e r o f t h e W i s h a r t d i s t r i b u t i o n ;

t o g e t h e r w i m z i t s p e c i f i e s t h e f b r m o f t h e d e n s i t y f U n c t i o n . Ifp=landE=1,theWishartdensitybecomesthatofthechi-squareddismbutionwith " d e g r e e s o f f r e e d o m ・ W i s h a r t d i s t r i b u t e d m a t r i c e s p o s s e s s m a n y o f t h e p r o p e r t i e s o f c h i s q u a r e d v a r i a t e s ・ I n p a r t i c u l a r t h e f b l l o w i n g w i l l b e u s e f U l f b r u S :