USF Libraries
USF Digital Collections

Estimates of statistical power and accuracy for latent trajectory class enumeration in the growth mixture model

MISSING IMAGE

Material Information

Title:
Estimates of statistical power and accuracy for latent trajectory class enumeration in the growth mixture model
Physical Description:
Book
Language:
English
Creator:
Brown, Eric C
Publisher:
University of South Florida
Place of Publication:
Tampa, Fla.
Publication Date:

Subjects

Subjects / Keywords:
Monte Carlo simulation
Structural equation model
Noncentral chi-square distribution
Longitudinal design
Sample size determination
Dissertations, Academic -- Measurement and Evaluation -- Doctoral -- USF   ( lcsh )
Genre:
government publication (state, provincial, terriorial, dependent)   ( marcgt )
bibliography   ( marcgt )
theses   ( marcgt )
non-fiction   ( marcgt )

Notes

Summary:
ABSTRACT: This study employed Monte Carlo simulation to investigate the ability of the growth mixture model (GMM) to correctly identify models based on a "true" two-class pseudo-population from alternative models consisting of "false" one- and three-latent trajectory classes. This ability was assessed in terms of statistical power, defined as the proportion of replications that correctly identified the two-class model as having optimal fit to the data compared to the one-class model, and accuracy, which was defined as the proportion of replications that correctly identified the two-class model over both one- and three-class models. Estimates of power and accuracy were adjusted by empirically derived critical values to reflect nominal Type I error rates of a = .05.Six experimental conditions were examined: (a) standardized between-class differences in growth parameters, (b) percentage of total variance explained by growth parameters, (c) correlation between intercepts and slopes, (d) sample size, (e) number of repeated measures, and (f) planned missingness. Estimates of statistical power and accuracy were related to a measure of the degree of separation and distinction between latent trajectory classes (lambda-square), which approximated a chi-square based noncentrality parameter. Model selection relied on four criteria: (a) the Bayesian information criterion (BIC), (b) the sample-size adjusted BIC (ABIC), (c) the Akaike information criterion (AIC), and (d) the likelihood ratio test (LRT).
Thesis:
Thesis (Ph.D.)--University of South Florida, 2003.
Bibliography:
Includes bibliographical references.
System Details:
System requirements: World Wide Web browser and PDF reader.
System Details:
Mode of access: World Wide Web.
Statement of Responsibility:
by Eric C Brown.
General Note:
Title from PDF of title page.
General Note:
Document formatted into pages; contains 155 pages.
General Note:
Includes vita.

Record Information

Source Institution:
University of South Florida Library
Holding Location:
University of South Florida
Rights Management:
All applicable rights reserved by the source institution and holding location.
Resource Identifier:
aleph - 001681123
oclc - 62790462
usfldc doi - E14-SFE0000622
usfldc handle - e14.622
System ID:
SFS0025312:00001


This item is only available as the following downloads:


Full Text
xml version 1.0 encoding UTF-8 standalone no
record xmlns http:www.loc.govMARC21slim xmlns:xsi http:www.w3.org2001XMLSchema-instance xsi:schemaLocation http:www.loc.govstandardsmarcxmlschemaMARC21slim.xsd
leader nam Ka
controlfield tag 001 001681123
003 fts
005 20060215071255.0
006 m||||e|||d||||||||
007 cr mnu|||uuuuu
008 060106s2003 flu sbm s000 0 eng d
datafield ind1 8 ind2 024
subfield code a E14-SFE0000622
035
(OCoLC)62790462
SFE0000622
040
FHM
c FHM
049
FHMM
090
LB3051 (Online)
1 100
Brown, Eric C.
0 245
Estimates of statistical power and accuracy for latent trajectory class enumeration in the growth mixture model
h [electronic resource] /
by Eric C Brown.
260
[Tampa, Fla.] :
b University of South Florida,
2003.
502
Thesis (Ph.D.)--University of South Florida, 2003.
504
Includes bibliographical references.
516
Text (Electronic thesis) in PDF format.
538
System requirements: World Wide Web browser and PDF reader.
Mode of access: World Wide Web.
500
Title from PDF of title page.
Document formatted into pages; contains 155 pages.
Includes vita.
520
ABSTRACT: This study employed Monte Carlo simulation to investigate the ability of the growth mixture model (GMM) to correctly identify models based on a "true" two-class pseudo-population from alternative models consisting of "false" one- and three-latent trajectory classes. This ability was assessed in terms of statistical power, defined as the proportion of replications that correctly identified the two-class model as having optimal fit to the data compared to the one-class model, and accuracy, which was defined as the proportion of replications that correctly identified the two-class model over both one- and three-class models. Estimates of power and accuracy were adjusted by empirically derived critical values to reflect nominal Type I error rates of a = .05.Six experimental conditions were examined: (a) standardized between-class differences in growth parameters, (b) percentage of total variance explained by growth parameters, (c) correlation between intercepts and slopes, (d) sample size, (e) number of repeated measures, and (f) planned missingness. Estimates of statistical power and accuracy were related to a measure of the degree of separation and distinction between latent trajectory classes (lambda-square), which approximated a chi-square based noncentrality parameter. Model selection relied on four criteria: (a) the Bayesian information criterion (BIC), (b) the sample-size adjusted BIC (ABIC), (c) the Akaike information criterion (AIC), and (d) the likelihood ratio test (LRT).
590
Co-adviser: Dedrick, Robert F.
Co-adviser: Greenbaum, Paul E.
653
Monte Carlo simulation.
Structural equation model.
Noncentral chi-square distribution.
Longitudinal design.
Sample size determination.
690
Dissertations, Academic
z USF
x Measurement and Evaluation
Doctoral.
773
t USF Electronic Theses and Dissertations.
4 856
u http://digital.lib.usf.edu/?e14.622



PAGE 1

E s t i m a t e s o f S t a t i s t i c a l P o w e r a n d A c c u r a c y f o r L a t e n t T r a j e c t o r y C l a s s E n u m e r a t i o n i n t h e G r o w t h M i x t u r e M o d e l b y E r i c C B r o w n A d i s s e r t a t i o n s u b m i t t e d i n p a r t i a l f u l f i l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f D o c t o r o f P h i l o s o p h y D e p a r t m e n t o f E d u c a t i o n a l M e a s u r e m e n t a n d R e s e a r c h C o l l e g e o f E d u c a t i o n U n i v e r s i t y o f S o u t h F l o r i d a C o M a j o r P r o f e s s o r : R o b e r t F D e d r i c k P h D C o M a j o r P r o f e s s o r : P a u l E G r e e n b a u m P h D C H e n d r i c k s B r o w n P h D J o h n F e r r o n P h D C y n t h i a P a r s h a l l P h D D a t e o f A p p r o v a l : J u n e 9 2 0 0 3 K e y w o r d s : M o n t e C a r l o s i m u l a t i o n s t r u c t u r a l e q u a t i o n m o d e l n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n l o n g i t u d i n a l d e s i g n s a m p l e s i z e d e t e r m i n a t i o n C o p y r i g h t 2 0 0 3 E r i c C B r o w n

PAGE 2

D e d i c a t i o n T o m y p a r e n t s C e c i l i a J o n e s a n d R i c h a r d W B r o w n w i t h l o v e a n d t h a n k s

PAGE 3

A c k n o w l e d g m e n t s M y s i n c e r e s t a p p r e c i a t i o n g o e s t o t h o s e w h o m a d e t h i s d i s s e r t a t i o n p o s s i b l e : P r o f M a r k A m e n D i r e c t o r o f t h e G l o b a l i z a t i o n R e s e a r c h C e n t e r a t t h e U n i v e r s i t y o f S o u t h F l o r i d a ; P r o f R o b e r t F r i e d m a n f o r m e r c o l l e a g u e s a n d f r i e n d s a t t h e D e p a r t m e n t o f C h i l d a n d F a m i l y S t u d i e s L o u i s d e l a P a r t e F l o r i d a M e n t a l H e a l t h I n s t i t u t e ( U n i v e r s i t y o f S o u t h F l o r i d a ) ; D r W a y n e H o l d e n o f O R C M a c r o I n t e r n a t i o n a l ; P r o f B e n g t M u t h n D r C h e n P i n W a n g K a t h e r i n e M a s y n a n d m e m b e r s o f t h e P r e v e n t i o n S c i e n c e M e t h o d o l o g y G r o u p ; a n d D r M L e e V a n H o r n a n d C h a r l e s B F l e m i n g a t t h e S o c i a l D e v e l o p m e n t R e s e a r c h G r o u p ( U n i v e r s i t y o f W a s h i n g t o n ) A l s o m y d e e p e s t h e a r t f e l t t h a n k s t o M a b e l f o r h e r h e l p a n d s u p p o r t t h r o u g h o u t

PAGE 4

i T a b l e o f C o n t e n t s L i s t o f T a b l e s i i i L i s t o f F i g u r e s i v A b s t r a c t v C h a p t e r O n e : I n t r o d u c t i o n 1 T h e L a t e n t G r o w t h M o d e l 3 T h e L a t e n t V a r i a b l e M i x t u r e M o d e l 4 T h e G e n e r a l G r o w t h M i x t u r e M o d e l 5 M o d e l S e l e c t i o n 6 S t a t i s t i c a l P o w e r 9 S t a t e m e n t o f t h e P r o b l e m 1 1 P u r p o s e o f t h e S t u d y 1 1 A M o t i v a t i n g E x a m p l e 1 5 R e s e a r c h Q u e s t i o n s 1 6 C h a p t e r T w o : L i t e r a t u r e R e v i e w 1 8 M o n t e C a r l o S i m u l a t i o n 1 8 M o n t e C a r l o S i m u l a t i o n S t u d i e s 1 9 A p p l i c a t i o n s o f G r o w t h M i x t u r e M o d e l i n g 3 0 C h a p t e r T h r e e : M e t h o d 3 3 D e v e l o p m e n t o f R e s e a r c h Q u e s t i o n s 3 4 M o d e l S p e c i f i c a t i o n 3 6 P o p u l a t i o n P a r a m e t e r s 3 7 S e l e c t i o n o f E x p e r i m e n t a l C o n d i t i o n s 3 9 S o f t w a r e 4 1 E x e c u t i o n o f S i m u l a t i o n R u n s 4 2 V e r i f i c a t i o n 4 4 C h a p t e r F o u r : R e s u l t s 4 5 E f f e c t i v e T y p e I E r r o r R a t e s a n d C r i t i c a l V a l u e s 4 5 S t a n d a r d i z e d B e t w e e n C l a s s D i f f e r e n c e s i n G r o w t h P a r a m e t e r s 4 8 P e r c e n t a g e o f V a r i a n c e E x p l a i n e d b y G r o w t h P a r a m e t e r s 4 9 C o r r e l a t i o n B e t w e e n I n t e r c e p t s a n d S l o p e s 4 9 S a m p l e S i z e 5 0 N u m b e r o f R e p e a t e d M e a s u r e s 5 1

PAGE 5

i i T a b l e o f C o n t e n t s P l a n n e d M i s s i n g n e s s 5 1 D e g r e e o f S e p a r a t i o n B e t w e e n K 1F a n d K 2T M o d e l s (2) 5 2 M o t i v a t i n g E x a m p l e 5 3 C h a p t e r F i v e : D i s c u s s i o n 5 8 S u m m a r y o f M o n t e C a r l o S i m u l a t i o n P r o c e d u r e 5 9 S u m m a r y o f F i n d i n g s f o r t h e R e s e a r c h Q u e s t i o n s 6 2 A p p l i c a t i o n o f R e s u l t s 7 3 S c e n a r i o # 1 7 3 S c e n a r i o # 2 7 5 F i n d i n g s f r o m t h e M o t i v a t i n g E x a m p l e 7 6 L i m i t a t i o n s a n d D i r e c t i o n s f o r F u t u r e R e s e a r c h 7 7 C o n c l u s i o n s 8 0 R e f e r e n c e s 8 3 A p p e n d i c e s 9 2 A p p e n d i x A : M p l u s I n p u t S y n t a x f o r A n a l y s i s o f G r o w t h M i x t u r e M o d e l f o r P o p u l a t i o n Y 9 3 A p p e n d i x B : S A S P r o g r a m U s e d t o C r e a t e S i m u l a t e d D a t a f o r P o p u l a t i o n Y 9 8 A p p e n d i x C : D O S B a t c h F i l e s U s e d i n t h e A n a l y s i s o f S i m u l a t e d D a t a 1 0 0 A p p e n d i x D : S P S S S y n t a x U s e d t o E x a m i n e M o d e l S e l e c t i o n C r i t e r i a f o r P o p u l a t i o n Y 1 0 4 A p p e n d i x E : M p l u s I n p u t P r o g r a m s U s e d i n M o n t e C a r l o S i m u l a t i o n o f E v a l u a t i o n D a t a f o r M o t i v a t i n g E x a m p l e 1 1 2 T a b l e s 1 1 9 F i g u r e s 1 3 6 A b o u t t h e A u t h o r E n d P a g e

PAGE 6

i i i L i s t o f T a b l e s T a b l e 1 M o n t e C a r l o s i m u l a t i o n s t u d i e s o f l a t e n t c l a s s e n u m e r a t i o n 1 2 0 T a b l e 2 A p p l i c a t i o n s o f g r o w t h m i x t u r e m o d e l i n g 1 2 2 T a b l e 3 G r o w t h p a r a m e t e r v a l u e s v a r i a n c e s a n d c o v a r i a n c e s f o r s i m u l a t e d d a t a 1 2 3 T a b l e 4 P o p u l a t i o n / d e s i g n s a n d e x p e r i m e n t a l c o n d i t i o n s 1 2 4 T a b l e 5 P l a n n e d m i s s i n g n e s s d e s i g n s 1 2 6 T a b l e 6 9 5 % C o n f i d e n c e i n t e r v a l s f o r p = 5 0 a n d 9 0 1 2 7 T a b l e 7 C o n v e r g e n c e r a t e s b y m o d e l e x p e r i m e n t a l c o n d i t i o n 1 2 8 T a b l e 8 E f f e c t i v e T y p e I e r r o r r a t e s f o r K 1T v e r s u s K 2F m o d e l s 1 3 0 T a b l e 9 E f f e c t i v e T y p e I e r r o r r a t e s f o r K 2T v e r s u s K 3F m o d e l s 1 3 1 T a b l e 1 0 9 5 % c r i t i c a l v a l u e s f o r d e r i v a t i o n o f T y p e I e r r o r r a t e s o b t a i n e d f r o m e m p i r i c a l d i s t r i b u t i o n s 1 3 2 T a b l e 1 1 E s t i m a t e s o f s t a t i s t i c a l p o w e r a c c u r a c y a n d p o p u l a t i o n / d e s i g n b y 2 1 3 3 T a b l e 1 2 M o d e l s e l e c t i o n i n f o r m a t i o n f o r e v a l u a t i o n d a t a a n d c o r r e s p o n d i n g M o n t e C a r l o s i m u l a t i o n s 1 3 4 T a b l e 1 3 P a r a m e t e r e s t i m a t e s f o r o n e t w o a n d t h r e e c l a s s g r o w t h m i x t u r e m o d e l s o f e v a l u a t i o n d a t a 1 3 5

PAGE 7

i v L i s t o f F i g u r e s F i g u r e 1 L a t e n t g r o w t h m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yt) g r o w t h f a c t o r s ( 0 a n d 1) a n d t i m e i n v a r i a n t c o v a r i a t e ( w ) 1 3 7 F i g u r e 2 L a t e n t v a r i a b l e m i x t u r e m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yn) l a t e n t c l a s s v a r i a b l e ( c ) a n d c o v a r i a t e ( x ) 1 3 7 F i g u r e 3 G e n e r a l g r o w t h m i x t u r e m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yt) g r o w t h f a c t o r s ( 0 a n d 1) t i m e i n v a r i a n t c o v a r i a t e ( w ) l a t e n t c l a s s v a r i a b l e ( c ) a n d o u t c o m e v a r i a b l e ( u ) 1 3 8 F i g u r e 4 G r o w t h m i x t u r e m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yt) g r o w t h f a c t o r s ( 0 a n d 1) t i m e i n v a r i a n t c o v a r i a t e ( w ) a n d l a t e n t c l a s s v a r i a b l e ( c ) 1 3 8 F i g u r e 5 S p a g h e t t i p l o t s f o r s i m u l a t e d d a t a f r o m P o p u l a t i o n Y 1 3 9 F i g u r e 6 F r e q u e n c y d i s t r i b u t i o n f o r K 1T – K 2F A B I C v a l u e s f o r P o p u l a t i o n K 1 4 0 F i g u r e 7 A d j u s t e d p o w e r e s t i m a t e s f o r s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s 1 4 1 F i g u r e 8 A d j u s t e d p o w e r e s t i m a t e s f o r p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s 1 4 1 F i g u r e 9 A d j u s t e d p o w e r e s t i m a t e s f o r d i f f e r e n t w i t h i n c l a s s c o r r e l a t i o n b e t w e e n i n t e r c e p t s a n d s l o p e s 1 4 2 F i g u r e 1 0 A d j u s t e d p o w e r e s t i m a t e s f o r v a r i o u s s a m p l e s i z e s b y s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s 1 4 2 F i g u r e 1 1 A d j u s t e d p o w e r e s t i m a t e s b y n u m b e r o f r e p e a t e d m e a s u r e s 1 4 3 F i g u r e 1 2 A d j u s t e d p o w e r e s t i m a t e s f o r t w o p l a n n e d m i s s i n g n e s s d e s i g n s e a c h w i t h v a r y i n g p e r c e n t a g e s o f m i s s i n g d a t a 1 4 3 F i g u r e 1 3 E s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y b y v a l u e s o f 2 1 4 4 F i g u r e 1 4 G r o w t h t r a j e c t o r i e s f o r n e g a t i v e a n d p o s i t i v e c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s ( w i t h i n C l a s s 2 ) 1 4 5

PAGE 8

v E s t i m a t e s o f S t a t i s t i c a l P o w e r a n d A c c u r a c y f o r L a t e n t T r a j e c t o r y C l a s s E n u m e r a t i o n i n t h e G r o w t h M i x t u r e M o d e l E r i c C B r o w n A B S T R A C T T h i s s t u d y e m p l o y e d M o n t e C a r l o s i m u l a t i o n t o i n v e s t i g a t e t h e a b i l i t y o f t h e g r o w t h m i x t u r e m o d e l ( G M M ) t o c o r r e c t l y i d e n t i f y m o d e l s b a s e d o n a “ t r u e ” t w o c l a s s p s e u d o p o p u l a t i o n f r o m a l t e r n a t i v e m o d e l s c o n s i s t i n g o f “ f a l s e ” o n e a n d t h r e e l a t e n t t r a j e c t o r y c l a s s e s T h i s a b i l i t y w a s a s s e s s e d i n t e r m s o f s t a t i s t i c a l p o w e r d e f i n e d a s t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t c o r r e c t l y i d e n t i f i e d t h e t w o c l a s s m o d e l a s h a v i n g o p t i m a l f i t t o t h e d a t a c o m p a r e d t o t h e o n e c l a s s m o d e l a n d a c c u r a c y w h i c h w a s d e f i n e d a s t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t c o r r e c t l y i d e n t i f i e d t h e t w o c l a s s m o d e l o v e r b o t h o n e a n d t h r e e c l a s s m o d e l s E s t i m a t e s o f p o w e r a n d a c c u r a c y w e r e a d j u s t e d b y e m p i r i c a l l y d e r i v e d c r i t i c a l v a l u e s t o r e f l e c t n o m i n a l T y p e I e r r o r r a t e s o f = 0 5 S i x e x p e r i m e n t a l c o n d i t i o n s w e r e e x a m i n e d : ( a ) s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s ( b ) p e r c e n t a g e o f t o t a l v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s ( c ) c o r r e l a t i o n b e t w e e n i n t e r c e p t s a n d s l o p e s ( d ) s a m p l e s i z e ( e ) n u m b e r o f r e p e a t e d m e a s u r e s a n d ( f ) p l a n n e d m i s s i n g n e s s E s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y w e r e r e l a t e d t o a m e a s u r e o f t h e d e g r e e o f s e p a r a t i o n a n d d i s t i n c t i o n b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s (2) w h i c h a p p r o x i m a t e d a c h i s q u a r e b a s e d n o n c e n t r a l i t y p a r a m e t e r M o d e l s e l e c t i o n r e l i e d o n f o u r c r i t e r i a : ( a ) t h e B a y e s i a n i n f o r m a t i o n c r i t e r i o n ( B I C ) ( b ) t h e s a m p l e s i z e a d j u s t e d B I C ( A B I C ) ( c ) t h e A k a i k e i n f o r m a t i o n c r i t e r i o n ( A I C ) a n d ( d ) t h e l i k e l i h o o d r a t i o t e s t

PAGE 9

v i ( L R T ) R e s u l t s s h o w e d t h a t p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e l a t e n t t r a j e c t o r y c l a s s e s w e r e p o s i t i v e l y r e l a t e d t o g r e a t e r b e t w e e n c l a s s s e p a r a t i o n g r e a t e r p r o p o r t i o n o f t o t a l v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s l a r g e r s a m p l e s i z e s g r e a t e r n u m b e r s o f r e p e a t e d m e a s u r e s a n d l a r g e r n e g a t i v e c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s ; a n d i n v e r s e l y r e l a t e d t o g r e a t e r p r o p o r t i o n s o f m i s s i n g d a t a R e s u l t s o f t h e M o n t e C a r l o s i m u l a t i o n s w e r e f i e l d t e s t e d u s i n g s p e c i f i c d e s i g n a n d p o p u l a t i o n c h a r a c t e r i s t i c s f r o m a n e v a l u a t i o n o f a l o n g i t u d i n a l d e m o n s t r a t i o n p r o j e c t T h i s t e s t c o m p a r e d e s t i m a t e s o f p o w e r a n d a c c u r a c y g e n e r a t e d v i a M o n t e C a r l o s i m u l a t i o n t o e s t i m a t e s p r e d i c t e d f r o m a r e g r e s s i o n o f d e r i v e d 2 v a l u e s R e s u l t s o f t h i s m o t i v a t i n g e x a m p l e i n d i c a t e d t h a t k n o w l e d g e o f 2 c a n b e u s e f u l i n t h e t w o c l a s s c a s e f o r p r e d i c t i n g p o w e r a n d a c c u r a c y w i t h o u t e x t e n s i v e M o n t e C a r l o s i m u l a t i o n s

PAGE 10

1 C h a p t e r O n e I n t r o d u c t i o n R e s e a r c h e r s h a v e l o n g u n d e r s t o o d t h e i m p o r t a n c e o f a n a l y z i n g c h a n g e i n i n d i v i d u a l s o v e r t i m e R e c e n t l y m e t h o d s t o a n a l y z e c h a n g e i n i n d i v i d u a l s h a v e e v o l v e d i n t o s o p h i s t i c a t e d l a t e n t v a r i a b l e t e c h n i q u e s t h a t i n c o r p o r a t e c h a n g e i n i n d i v i d u a l s i n t o a b r o a d e r c o n t e x t o f c h a n g e w i t h i n p o p u l a t i o n s O n e s u c h t e c h n i q u e i s l a t e n t g r o w t h m o d e l i n g ( L G M ) w h i c h r e l i e s o n i n d i v i d u a l g r o w t h t r a j e c t o r i e s t o d e t e r m i n e p a t t e r n s o f c h a n g e i n l a r g e r g r o u p s o f i n d i v i d u a l s A p r i m a r y a s s u m p t i o n o f L G M i s t h a t t h e g r o w t h t r a j e c t o r y t h a t r e p r e s e n t s c h a n g e i n t h e d e p e n d e n t i n d i c a t o r v a r i a b l e s i s m o d e l e d a s a s i n g l e p o p u l a t i o n d i s t r i b u t i o n a n d t h a t a n y n o n r a n d o m d e v i a t i o n f r o m t h e u n d e r l y i n g p o p u l a t i o n d i s t r i b u t i o n m u s t b e m o d e l e d e x p l i c i t l y b y c o v a r i a t e s i n c l u d e d i n t h e s t u d y d e s i g n ( e g i n t e r v e n t i o n s t a t u s a g e g e n d e r ) H o w e v e r t h e p r e s e n c e o f m u l t i p l e d i s t r i b u t i o n s i n a p o p u l a t i o n c a n r e s u l t i n u n o b s e r v e d h e t e r o g e n e i t y i n t h e d i s t r i b u t i o n o f i n d i v i d u a l g r o w t h t r a j e c t o r i e s a r o u n d a s i n g l e p o p u l a t i o n d i s t r i b u t i o n a n d c o n s e q u e n t l y r e q u i r e s a m i x t u r e m o d e l i n g a p p r o a c h I n r e s p o n s e t o t h i s r e s e a r c h e r s ( e g M u t h n & S h e d d e n 1 9 9 9 ; N a g i n 1 9 9 9 ) h a v e r e c e n t l y d e v e l o p e d m o d e l s s u c h a s t h e g e n e r a l g r o w t h m i x t u r e m o d e l a n d t h e s e m i p a r a m e t r i c g r o u p b a s e d m o d e l t h a t a r e b a s e d o n t h e a s s u m p t i o n t h a t i n d i v i d u a l s ’ g r o w t h t r a j e c t o r i e s c a n b e s i m u l t a n e o u s l y m o d e l e d b y m o r e t h a n a s i n g l e p o p u l a t i o n d i s t r i b u t i o n I n t h e s e m o d e l s t h e d e g r e e t o w h i c h a n i n d i v i d u a l ’ s g r o w t h t r a j e c t o r y c a n b e m o d e l e d b y a p a r t i c u l a r p o p u l a t i o n d i s t r i b u t i o n i s c o n s i d e r e d t o

PAGE 11

2 b e s t o c h a s t i c a n d t h e p r o b a b i l i t y o f b e i n g c o r r e c t l y m o d e l e d b y a p a r t i c u l a r d i s t r i b u t i o n i s q u a n t i f i e d e x p l i c i t l y T h i s g i v e s r i s e t o t h e i d e n t i f i c a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s o f i n d i v i d u a l s w h i c h c o n s t i t u t e l i k e l y g r o u p i n g s o f i n d i v i d u a l s w i t h s i m i l a r p a t t e r n s o f c h a n g e T h e u t i l i t y o f t h e s e m o d e l s l i e s i n t h e i r a b i l i t y t o i d e n t i f y t y p o l o g i e s f o r l a t e n t t r a j e c t o r y c l a s s e s C o n s e q u e n t l y t h e s e t y p o l o g i e s c a n h e l p r e s e a r c h e r s d e v e l o p i n t e r v e n t i o n s t a i l o r e d t o t h e u n i q u e n e e d s o f t h e s e g r o u p s I f t h e u t i l i t y o f t h e s e m o d e l s i s t o b e m a x i m i z e d t h e n t h e r e l i a b l e i d e n t i f i c a t i o n ( i e e n u m e r a t i o n ) o f l a t e n t t r a j e c t o r y c l a s s e s m u s t f i r s t b e e s t a b l i s h e d T h i s i s c o m p l i c a t e d h o w e v e r b y t h e l i m i t e d d i s t r i b u t i o n a l t h e o r y u n d e r l y i n g s t a t i s t i c a l t e s t s i n v o l v i n g m o d e l s w i t h c o m p e t i n g n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s F u r t h e r m o r e e x i s t i n g m o d e l s e l e c t i o n c r i t e r i a u s e d t o d e t e r m i n e t h e o p t i m a l n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s i n l o n g i t u d i n a l d a t a h a v e n o t b e e n e x a m i n e d f u l l y w i t h r e g a r d t o v a r y i n g p o p u l a t i o n d i s t r i b u t i o n s o r d e s i g n c o n s t r a i n t s T h e r e f o r e t h e p u r p o s e o f t h i s s t u d y w a s t o u s e M o n t e C a r l o s i m u l a t i o n o f s a m p l e d a t a d r a w n f r o m a p o p u l a t i o n c o n t a i n i n g a m i x t u r e o f t w o d i s t i n c t d i s t r i b u t i o n s t o a s c e r t a i n t h e c o n d i t i o n s n e c e s s a r y t o i n s u r e a d e q u a t e s t a t i s t i c a l p o w e r a n d a c c u r a c y t o d e t e c t m u l t i p l e l a t e n t t r a j e c t o r y c l a s s e s A n a d d i t i o n a l p u r p o s e o f t h i s s t u d y w a s t o e v a l u a t e t h e v a r i o u s c r i t e r i a b y w h i c h m o d e l s a r e i d e n t i f i e d i n t e r m s o f t h e i r T y p e I e r r o r r a t e s A f i n a l p u r p o s e o f t h i s s t u d y w a s t o d e m o n s t r a t e t h r o u g h a p p l i c a t i o n o f a m o t i v a t i n g e x a m p l e t h e p r o c e s s b y w h i c h r e s e a r c h e r s c a n d e r i v e e s t i m a t e s o f p o w e r a n d a c c u r a c y f o r e n u m e r a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s f o r s p e c i f i c p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s

PAGE 12

3 T h e L a t e n t G r o w t h M o d e l O n e p o p u l a r t e c h n i q u e t o m o d e l i n d i v i d u a l c h a n g e o v e r t i m e i s t h e l a t e n t g r o w t h m o d e l ( D u n c a n D u n c a n S t r y c k e r L i & A l p e r t 1 9 9 9 ; W i l l e t t & S a y e r 1 9 9 4 ) I n t h e s i m p l e s t f o r m o f t h e L G M c h a n g e o v e r t i m e i s m o d e l e d a s a l i n e a r f u n c t i o n o f i n d i v i d u a l g r o w t h t r a j e c t o r i e s d e n o t e d a s yi t = 0 i + 1 i ( xt) + i t, w h e r e v a l u e s f o r t h e d e p e n d e n t i n d i c a t o r v a r i a b l e ( yi t) a r e m o d e l e d a s a l i n e a r f u n c t i o n o f a n i n d i v i d u a l ’ s s p e c i f i c i n t e r c e p t (0 i) l i n e a r s l o p e (1 i) a n d a r a n d o m e r r o r t e r m i t, ~ N ( 0 2) w h e r e 2 r e p r e s e n t s t h e r e s i d u a l v a r i a n c e V a r i a b l e x r e p r e s e n t s r e p e a t e d m e a s u r e m e n t o c c a s i o n s w h e r e f o r e x a m p l e t = 0 1 2 … T W i t h i n t h e b r o a d e r f r a m e w o r k o f t h e s t r u c t u r a l e q u a t i o n m o d e l ( S E M ) t h i s i s r e f e r r e d t o a s t h e m e a s u r e m e n t m o d e l ( M u t h n 2 0 0 1 b ) I n t h e f r a m e w o r k o f t h e m u l t i l e v e l o r h i e r a r c h i c a l l i n e a r m o d e l ( H L M ) t h i s i s r e f e r r e d t o a s t h e L e v e l 1 m o d e l ( G o l d s t e i n 1 9 9 5 ; R a u d e n b u s h & B r y k 2 0 0 2 ) I n t u r n i n d i v i d u a l s ’ s p e c i f i c i n t e r c e p t a n d s l o p e p a r a m e t e r s c a n b e m o d e l e d a s a l i n e a r f u n c t i o n o f l a t e n t g r o w t h f a c t o r s a n d c o v a r i a t e s r e p r e s e n t e d b y 0 i = 0 + 0wi + 0 i a n d 1 i = 1 + 1wi + 1 i, w h e r e 0 a n d 1 r e p r e s e n t p o p u l a t i o n a v e r a g e i n t e r c e p t a n d s l o p e p a r a m e t e r s r e s p e c t i v e l y w r e p r e s e n t s a t i m e i n v a r i a n t c o v a r i a t e ( e g i n t e r v e n t i o n s t a t u s a g e g e n d e r ) a n d 0 a n d 1 r e p r e s e n t t h e e f f e c t s o f w o n a n i n d i v i d u a l ’ s s p e c i f i c i n t e r c e p t a n d s l o p e p a r a m e t e r s R e s i d u a l e r r o r t e r m s 0 a n d 1, a r e b i v a r i a t e n o r m a l l y d i s t r i b u t e d 0 i ~

PAGE 13

4 N ( 0 0 2) a n d 1 i ~ N ( 0 1 2) w h e r e 0 2 a n d 1 2 r e p r e s e n t r e s i d u a l v a r i a n c e s f o r e a c h g r o w t h p a r a m e t e r r e s p e c t i v e l y T h i s i s r e f e r r e d t o a s t h e s t r u c t u r a l m o d e l i n S E M a n d t h e L e v e l 2 m o d e l i n t h e m u l t i l e v e l m o d e l o r H L M M u t h n a n d K h o o ( 1 9 9 8 p 8 2 ) p r o v i d e a d i a g r a m m a t i c e x a m p l e o f t h e L G M r e p r o d u c e d i n F i g u r e 1 I n t h i s f i g u r e s q u a r e s r e p r e s e n t t h e o b s e r v e d v a r i a b l e s a n d c i r c l e s r e p r e s e n t l a t e n t v a r i a b l e s A d d i t i o n a l l y T r e p e a t e d m e a s u r e s o f i n d i c a t o r v a r i a b l e yt a r e m o d e l e d a s a f u n c t i o n o f c o r r e l a t e d l a t e n t g r o w t h f a c t o r s 0 a n d 1 ( w i t h l o a d i n g s f o r e a c h g r o w t h f a c t o r s h o w n i n t h e d i a g r a m ) a n d t i m e i n v a r i a n t c o v a r i a t e w T h e L a t e n t V a r i a b l e M i x t u r e M o d e l A s m e n t i o n e d e a r l i e r p o p u l a t i o n a v e r a g e i n t e r c e p t a n d s l o p e p a r a m e t e r s i n t h e L G M (0 a n d 1, r e s p e c t i v e l y ) a r e b a s e d o n t h e a s s u m p t i o n t h a t t h e d e p e n d e n t i n d i c a t o r v a r i a b l e ( yi t) i s r e p r e s e n t e d b y a s i n g l e p o p u l a t i o n d i s t r i b u t i o n c h a r a c t e r i z e d b y a s p e c i f i c u n d e r l y i n g m o m e n t g e n e r a t i n g f u n c t i o n ( e g m e a n v a r i a n c e s k e w n e s s a n d k u r t o s i s ) W h e n a p o p u l a t i o n c o n t a i n s m o r e t h a n o n e u n d e r l y i n g d i s t r i b u t i o n f o r t h e yi t v a r i a b l e m i x t u r e d i s t r i b u t i o n s a r e s a i d t o e x i s t T h e l a t e n t v a r i a b l e m i x t u r e m o d e l ( L V M M ; E v e r i t t & H a n d 1 9 8 1 ; M c L a c h l a n & B a s f o r d 1 9 8 8 ; M c L a c h l a n & P e e l 2 0 0 1 ; M u t h n & S h e d d e n 1 9 9 9 ; T i t t e r i n g t o n S m i t h & M a k o v 1 9 8 5 ) t a k e s m i x t u r e d i s t r i b u t i o n s i n t o a c c o u n t b y p a r t i t i o n i n g t h e u n o b s e r v e d h e t e r o g e n e i t y i n d a t a ( i e h e t e r o g e n e i t y t h a t i s n o t r e a d i l y c a p t u r e d b y c o v a r i a t e s ) a n d a s s i g n i n g p r o b a b i l i t i e s o f m e m b e r s h i p t o l a t e n t c l a s s e s f o r e a c h i n d i v i d u a l w i t h t h e o v e r a l l n u m b e r o f c l a s s e s i n t h e m o d e l b e i n g s p e c i f i e d b y t h e r e s e a r c h e r u s i n g a p a r t i c u l a r m o d e l s e l e c t i o n c r i t e r i o n a n d d e c i s i o n r u l e T h e s e p o s t e r i o r p r o b a b i l i t i e s o f l a t e n t c l a s s m e m b e r s h i p t y p i c a l l y v a r y a c r o s s l a t e n t c l a s s e s ( s u m m i n g t o u n i t y a c r o s s a l l l a t e n t c l a s s e s w i t h i n a m o d e l ) a n d t h e r e f o r e c a n

PAGE 14

5 h a v e d i f f e r e n t i a l r e l a t i o n s h i p s w i t h i n d i c a t o r v a r i a b l e s a n d c o v a r i a t e s a s w e l l a s m o d e r a t e t h e r e l a t i o n s h i p b e t w e e n i n d i c a t o r s a n d c o v a r i a t e s M u t h n ( 2 0 0 1 a p 3 4 ) p r o v i d e s a d i a g r a m m a t i c e x a m p l e o f t h e s e r e l a t i o n s h i p s r e p r o d u c e d h e r e i n F i g u r e 2 A s s h o w n i n t h e f i g u r e m u l t i p l e i n d i c a t o r v a r i a b l e s ( y1, y2, y3, … yn) c a n b e r e g r e s s e d o n a l a t e n t c l a s s v a r i a b l e ( c ) i n a m a n n e r a n a l o g o u s t o t h e t r a d i t i o n a l f a c t o r a n a l y t i c m o d e l W h e n i n d i c a t o r v a r i a b l e s a r e c o n t i n u o u s p a r a m e t e r e s t i m a t e s r e p r e s e n t t h e m e a n f o r e a c h i n d i c a t o r v a r i a b l e a n d t h e m o d e l i n g i s r e f e r r e d t o a s a l a t e n t p r o f i l e a n a l y s i s W h e n i n d i c a t o r v a r i a b l e s a r e b i n a r y p a r a m e t e r e s t i m a t e s r e p r e s e n t t h e p r o b a b i l i t y f o r e a c h i n d i c a t o r v a r i a b l e a n d t h e m o d e l i n g i s r e f e r r e d t o a s a l a t e n t c l a s s a n a l y s i s ( M u t h n 2 0 0 1 a ) T h e G e n e r a l G r o w t h M i x t u r e M o d e l D e s p i t e t h e i r u t i l i t y L V M M s a r e i n s u f f i c i e n t t o c a p t u r e u n o b s e r v e d h e t e r o g e n e i t y t h a t i s b e s t r e p r e s e n t e d a s a d y n a m i c p r o c e s s ( e g d u r i n g a d e v e l o p m e n t a l p e r i o d o f a n i n d i v i d u a l ’ s l i f e ) T o r e m e d y t h i s t h e L V M M c a n b e c o m b i n e d w i t h t h e L G M i n a g e n e r a l i z e d m o d e l i n g f r a m e w o r k r e f e r r e d t o a s t h e g e n e r a l g r o w t h m i x t u r e m o d e l ( G G M M ; M u t h n 2 0 0 1 b ; M u t h n e t a l 2 0 0 2 ) I n t h e G G M M l a t e n t t r a j e c t o r y c l a s s e s a r e i d e n t i f i e d b y a s s i g n i n g p o s t e r i o r p r o b a b i l i t i e s o f l a t e n t c l a s s m e m b e r s h i p b a s e d o n i n d i v i d u a l s ’ g r o w t h t r a j e c t o r i e s M o r e o v e r t h e G G M M r e p r e s e n t s a f a m i l y o f l a t e n t v a r i a b l e m o d e l s ( e g f a c t o r a n a l y t i c l a t e n t c l a s s l a t e n t t r a n s i t i o n a n d g r o w t h m i x t u r e m o d e l s ; s e e M u t h n & C u r r a n 1 9 9 7 ; M u t h n & M u t h n 2 0 0 0 ) a n d c o n s e q u e n t l y h a s b e e n u s e d i n a v a r i e t y o f a p p l i c a t i o n s s u c h a s s t u d i e s o f r e a d i n g d e v e l o p m e n t ( D e d r i c k G r e e n b a u m & V a u g h n 2 0 0 1 ; M u t h n K h o o F r a n c i s & B o s c a r d i n 2 0 0 0 ) ; s c h o o l e x p u l s i o n ( P e t r a s e t a l 2 0 0 1 ) ; e m o t i o n a l / b e h a v i o r a l p r o b l e m s ( G r e e n b a u m D e d r i c k &

PAGE 15

6 B r o w n 2 0 0 0 a 2 0 0 0 b ) ; a l c o h o l u s e ( C o l d e r C a m p b e l l R u e l R i c h a r d s o n & F l a y 2 0 0 2 ; G r e e n b a u m D e l B o c a D a r k e s & G o l d m a n 2 0 0 1 ; L i D u n c a n & H o p s 2 0 0 1 ; O x f o r d e t a l 2 0 0 3 ; T u c k e r O r l a n d o & E l l i c k s o n 2 0 0 3 ) ; a d o l e s c e n t s m o k i n g ( C o l d e r e t a l 2 0 0 1 ) ; a n d s e r v i c e d e l i v e r y i n t e r v e n t i o n s ( G r e e n b a u m & B r o w n 2 0 0 2 ) C u r r e n t l y t h e G G M M c a n b e i m p l e m e n t e d u s i n g t h e M p l u s c o m p u t e r p r o g r a m ( M u t h n & M u t h n 2 0 0 1 ) A d i a g r a m m a t i c e x a m p l e o f t h e G G M M i s r e p r o d u c e d i n F i g u r e 3 ( M u t h n & M u t h n 2 0 0 1 p 2 1 0 ; f a c t o r l o a d i n g s a n d e r r o r t e r m s o m i t t e d f o r s i m p l i c i t y ) T h i s f i g u r e r e p r e s e n t s t h e r e l a t i o n s h i p s a m o n g t h e r e p e a t e d l y m e a s u r e d i n d i c a t o r v a r i a b l e ( yt) i n t e r c e p t a n d s l o p e g r o w t h f a c t o r s (0 a n d 1) l a t e n t c l a s s v a r i a b l e ( c ) t i m e i n v a r i a n t c o v a r i a t e ( w ) a n d c a t e g o r i c a l o u t c o m e v a r i a b l e ( u ) T h e m o d e l a l l o w s f o r w i t h i n a n d b e t w e e n c l a s s v a r i a b i l i t y w h i l e e x a m i n i n g u n o b s e r v e d h e t e r o g e n e i t y i n g r o w t h t r a j e c t o r i e s A d d i t i o n a l l y t h e m o d e l c a n e x a m i n e t i m e v a r i a n t a n d i n v a r i a n t c o v a r i a t e s ( e g t r e a t m e n t a n d i n t e r v e n t i o n e f f e c t s ) m e d i a t o r s m o d e r a t o r s a n d p r o x i m a l o r d i s t a l o u t c o m e s a l l u n d e r v a r i o u s l o n g i t u d i n a l s t r u c t u r e s ( e g l i n e a r q u a d r a t i c n o n e q u i d i s t a n t a u t o c o r r e l a t e d ) a n d d e s i g n s ( e g c o h o r t s e q u e n t i a l p l a n n e d m i s s i n g n e s s ) W h e n c a t e g o r i c a l o u t c o m e v a r i a b l e s a r e o m i t t e d t h e G G M M r e d u c e s t o t h e g r o w t h m i x t u r e m o d e l ( G M M ) a s r e p r o d u c e d i n F i g u r e 4 ( M u t h n & M u t h n 2 0 0 1 p 2 0 7 ) M o d e l S e l e c t i o n D e s p i t e i t s u t i l i t y s e v e r a l i s s u e s s t i l l r e m a i n t o b e e x a m i n e d i n t h e G G M M P r i m a r y a m o n g t h e s e i s t h e i s s u e o f m o d e l s e l e c t i o n M e t h o d s t o a s s e s s m o d e l f i t i n t r a d i t i o n a l l a t e n t v a r i a b l e m o d e l s t y p i c a l l y r e l y o n t h e a s y m p t o t i c p r o p e r t i e s o f a p a r t i c u l a r p a r a m e t r i c d i s t r i b u t i o n ( e g c h i s q u a r e ) c o m p a r i n g f i t t e d m o d e l s t o e i t h e r a f u l l y r e s t r i c t e d c o m p a r i s o n m o d e l ( i e a l l c o r r e l a t i o n s c o n s t r a i n e d t o z e r o ) o r a f u l l y

PAGE 16

7 u n r e s t r i c t e d m o d e l ( i e r e l y i n g o n t h e p o p u l a t i o n v a r i a n c e c o v a r i a n c e m a t r i x ) F r o m t h i s a v a r i e t y o f g o o d n e s s o f f i t i n d i c e s h a v e b e e n d e v e l o p e d t o p r o v i d e b e n c h m a r k s f o r r e l i a b l e m o d e l s e l e c t i o n i n c l u d i n g f o r e x a m p l e t h e G o o d n e s s o f F i t I n d e x ( G F I ) N o r m e d F i t I n d e x ( N F I ) T u c k e r L e w i s I n d e x ( T L I ) C o m p a r a t i v e F i t I n d e x ( C F I ) a n d R o o t M e a n S q u a r e E r r o r o f A p p r o x i m a t i o n ( R M S E A ) C o m p a r i s o n o f n e s t e d l a t e n t v a r i a b l e m o d e l s i s r o u t i n e l y c o n d u c t e d u s i n g t h e l i k e l i h o o d r a t i o t e s t ( L R T ) w h e r e a m o r e c o m p l e x m o d e l ( H1) i s t e s t e d f o r s i g n i f i c a n t i m p r o v e m e n t i n f i t c o m p a r e d t o a r e d u c e d m o d e l ( H0) T h e L R T i s d e s c r i b e d i n M u t h n a n d M u t h n ( 2 0 0 1 p 2 8 3 ) a s 2 n FM L() w h e r e d e n o t e s t h e m a x i m u m l i k e l i h o o d e s t i m a t e u n d e r H0. T h e f u n c t i o n FM L () i s e x p r e s s e d a s FM L () = l o g LH 0 / n + l o g LH 1 / n F r o m t h i s f u n c t i o n – 2 t i m e s t h e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n H0 a n d H1 ( a l s o r e f e r r e d t o a s t h e d e v i a n c e ) c a n b e t e s t e d u s i n g a c h i s q u a r e d i s t r i b u t i o n w i t h d e g r e e s o f f r e e d o m e q u a l t o t h e d i f f e r e n c e i n t h e n u m b e r o f f r e e l y e s t i m a t e d p a r a m e t e r s b e t w e e n m o d e l s H o w e v e r i n t h e c a s e o f t h e G G M M t h e d i s t r i b u t i o n a l p r o p e r t i e s o f l i k e l i h o o d f u n c t i o n s a s t h e y r e l a t e t o m o d e l f i t h a v e n o t y e t b e e n r i g o r o u s l y d e f i n e d U s e o f t h e L R T t o c o m p a r e g r o w t h m i x t u r e m o d e l s u n d e r t h e a s s u m p t i o n o f a t r u e n u l l h y p o t h e s i s o f a s i n g l e p o p u l a t i o n d i s t r i b u t i o n ( i e o n e l a t e n t t r a j e c t o r y c l a s s ) i s p r o b l e m a t i c g i v e n t h a t t h i s i n v o l v e s i n a d m i s s i b l e p a r a m e t e r v a l u e s o f z e r o c l a s s p r o b a b i l i t i e s ( M u t h n & M u t h n 2 0 0 1 p 2 9 2 ) T h a t i s t h e t r u e v a l u e o f t h e p a r a m e t e r v e c t o r u n d e r H0 [ l i e s ] o n t h e b o u n d a r y o f t h e p a r a m e t e r s p a c e … a n d t h e r e f o r e r e g u l a r i t y c o n d i t i o n s n e c e s s a r y f o r t h e a p p r o p r i a t e e s t i m a t i o n o f t h e l i k e l i h o o d f u n c t i o n a r e n o t s a t i s f i e d ( M c L a c h l a n &

PAGE 17

8 P e e l 2 0 0 1 p 1 8 5 ; a l s o s e e C l o g g 1 9 9 5 f o r t h e o r y u n d e r l y i n g t h e i n a p p r o p r i a t e n e s s o f t h e L R T i n m i x t u r e d i s t r i b u t i o n s ) A s t h e d i s t r i b u t i o n a l t h e o r y u n d e r l y i n g s t a t i s t i c a l c o m p a r i s o n o f m i x t u r e m o d e l s w i t h d i f f e r e n t n u m b e r s o f l a t e n t c l a s s e s h a s y e t t o b e d e f i n e d t r a d i t i o n a l f i t i n d i c e s s u c h a s t h e G F I N F I T L I C F I a n d R M S E A c a n n o t b e u s e d f o r m o d e l s e l e c t i o n A l t e r n a t i v e m e t h o d s t o d e t e r m i n e t h e n u m b e r o f l a t e n t c l a s s e s i n m i x t u r e d i s t r i b u t i o n s m o d e l s i n c l u d e e x a m i n a t i o n o f r e s i d u a l d i a g n o s t i c s ( L i n d s a y & R o e d e r 1 9 9 2 ; W a n g B r o w n C a r l i n & D a g n e 2 0 0 1 ) t h e m e t h o d o f m o m e n t s ( D a c u n h a C a s t e l l e & G a s s i a t 1 9 9 7 ; F u r m a n & L i n d s a y 1 9 9 4 ; H e c k m a n R o b b & W a l k e r 1 9 9 0 ) b o o t s t r a p p i n g t e c h n i q u e s ( M c L a c h l a n 1 9 8 7 ; M c L a c h l a n & P e e l 1 9 9 7 ) c r o s s v a l i d a t i o n ( Z u c c h i n i 2 0 0 0 ) a n d d i s c r e p a n c y r i s k m o d e l s e l e c t i o n ( G o l d e n 2 0 0 0 ) D e s p i t e t h e v a r i e t y o f m e t h o d s m o s t a p p l i e d r e s e a r c h h a s r e l i e d o n p e n a l i z e d i n f o r m a t i o n c r i t e r i a f o r l a t e n t c l a s s e n u m e r a t i o n w h i c h a d d s a p e n a l t y t o t h e e s t i m a t e d l o g l i k e l i h o o d c o r r e s p o n d i n g t o t h e n u m b e r o f e s t i m a t e d p a r a m e t e r s i n t h e m o d e l A l t h o u g h a w i d e v a r i e t y o f s u c h c r i t e r i a e x i s t t h e m o s t f r e q u e n t l y u s e d a r e t h e A k a i k e i n f o r m a t i o n c r i t e r i o n ( A I C ; A k a i k e 1 9 7 3 ) B a y e s i a n i n f o r m a t i o n c r i t e r i o n ( B I C ; S c h w a r z 1 9 7 8 ) a n d t h e s a m p l e s i z e a d j u s t e d B I C ( A B I C ; S c l o v e 1 9 8 7 ) A s a s i m p l i f i c a t i o n o f t h e K u l l b a c k L e i b l e r ( 1 9 5 1 ) d i s c r e p a n c y b e t w e e n a t r u e p o p u l a t i o n d i s t r i b u t i o n a n d i t s m o d e l e d a p p r o x i m a t i o n t h e A I C i s d e f i n e d a s A I C = 2 l o g L + 2 r w h e r e r i n d i c a t e s t h e n u m b e r o f f r e e p a r a m e t e r s i n t h e m o d e l T h e B I C i s s i m i l a r t o t h e A I C h o w e v e r i t o r i g i n a t e s f r o m a B a y e s i a n p e r s p e c t i v e a n d t h e o r e t i c a l l y p r o v i d e s m o r e

PAGE 18

9 a s y m p t o t i c a l l y c o n s i s t e n t e s t i m a t e s b y i n c o r p o r a t i n g t h e n a t u r a l l o g o f s a m p l e s i z e ( n ) i n t h e p e n a l t y : B I C = 2 l o g L + r l n n I n 1 9 8 7 S c l o v e c o n s i d e r e d a n o t h e r a d a p t a t i o n t o t h e p e n a l t y t e r m ( o r i g i n a l l y i n t r o d u c e d b y R i s s a n e n 1 9 7 8 ) t o f u r t h e r i m p r o v e t h e c o n s i s t e n c y o f t h e c r i t e r i o n i n f i n i t e s a m p l e s r e p l a c i n g n w i t h n = ( n + 2 ) / 2 4 T h i s i s r e f e r r e d t o a s t h e s a m p l e s i z e a d j u s t e d B I C ( A B I C ) S m a l l e r v a l u e s f o r t h e A I C B I C a n d A B I C i n d i c a t e b e t t e r f i t t i n g m o d e l s D e s p i t e t h e i r a p p l i c a b i l i t y t h e s e i n f o r m a t i o n c r i t e r i a a r e l i m i t e d b y t h e i r i n a b i l i t y t o p r o d u c e i n f e r e n t i a l p r o b a b i l i t y s t a t e m e n t s i n o t h e r w o r d s o f a n u m b e r t h a t q u a n t i f i e s t h e c o n f i d e n c e i n t h e r e s u l t s u c h a s a p v a l u e ( M c L a c h l a n & P e e l 2 0 0 1 p 1 8 4 ) A d d i t i o n a l l y t h e s e c r i t e r i a a l s o h a v e b e e n l i m i t e d b y t h e g e n e r a l l a c k o f k n o w l e d g e r e g a r d i n g t h e i r b e h a v i o r u n d e r v a r i o u s p a r a m e t e r i z a t i o n s ( e g s a m p l e s i z e ) S t a t i s t i c a l P o w e r C o n f i d e n c e i n t h e u s e o f t h e s e c r i t e r i a c a n b e g a i n e d t h r o u g h p o w e r a n a l y s i s ( C o h e n 1 9 7 7 ) G e n e r a l l y s t a t i s t i c a l p o w e r c a n b e t h o u g h t o f a s … t h e p r o b a b i l i t y o f p r o d u c i n g r e l i a b l e f i n d i n g s … i f a r e s e a r c h e r ’ s h y p o t h e s i s i s t r u e ( D e n n i s L e n n o x & F o s s 1 9 9 7 p 3 6 7 ) M o r e s p e c i f i c a l l y p o w e r c a n b e d e f i n e d a s t h e a b i l i t y t o c o r r e c t l y r e j e c t a f a l s e n u l l h y p o t h e s i s o r i n o t h e r w o r d s o n e m i n u s t h e p r o b a b i l i t y o f m a k i n g a T y p e I I e r r o r ( i e p o w e r = 1 b ) W i t h r e g a r d t o l a t e n t v a r i a b l e m o d e l s m e t h o d s t o e s t i m a t e s t a t i s t i c a l p o w e r h a v e r e l i e d o n b o t h t h e a s y m p t o t i c p r o p e r t i e s o f e x i s t i n g p a r a m e t r i c d i s t r i b u t i o n s ( s e e

PAGE 19

1 0 M a c C a l l u m B r o w n e & S u g a w a r a 1 9 9 6 ; M u t h n & C u r r a n 1 9 9 7 ; S a r i s & S a t o r r a 1 9 9 3 ; S a t o r r a & S a r i s 1 9 8 5 ) a n d M o n t e C a r l o s i m u l a t i o n ( s e e G e r b i n g & A n d e r s o n 1 9 9 2 ; I c h i k a w a & K o n i s h i 1 9 9 9 ; O l m o s & H u t c h i n s o n 1 9 9 8 ; X i t a o T h o m p s o n & W a n g 1 9 9 9 ; X i t a o & W a n g 1 9 9 8 ) I n t e r m s o f m o d e l s e l e c t i o n b o t h m e t h o d s r e l a t e t o s t a t i s t i c a l p o w e r a s t h e a b i l i t y t o r e j e c t a f a l s e n u l l h y p o t h e s i s o f a m i s s p e c i f i e d m o d e l i n f a v o r o f a t r u e a l t e r n a t i v e h y p o t h e s i s o f a c o r r e c t l y s p e c i f i e d m o d e l H o w e v e r i n t h e f o r m e r m e t h o d s t a t i s t i c a l p o w e r i s a s s e s s e d b y t h e d i f f e r e n c e b e t w e e n n e s t e d m o d e l s e x p r e s s e d a s c h i s q u a r e u n i t s o r s o m e o t h e r d i s c r e p a n c y f u n c t i o n s u c h a s t h e R M S E A T h i s d i f f e r e n c e c a n b e r e p r e s e n t e d a s a n o n c e n t r a l i t y p a r a m e t e r b a s e d o n t h e n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n I n t u r n p o w e r e s t i m a t e s t o r e j e c t t h e e r r o n e o u s n u l l h y p o t h e s i s c a n b e d e r i v e d f r o m t a b l e s o f t h i s d i s t r i b u t i o n ( e g H a y n a m G o v i n d a r a j u l u & L e o n e 1 9 7 3 ) A l t e r n a t i v e l y t h e M o n t e C a r l o s i m u l a t i o n a p p r o a c h t o e s t i m a t i n g s t a t i s t i c a l p o w e r p r o v i d e s e s t i m a t e s o f s t a t i s t i c a l p o w e r t h a t a r e d e r i v e d f r o m e m p i r i c a l l y d e r i v e d d i s t r i b u t i o n s b a s e d o n r e p e a t e d d r a w s ( i e r e p l i c a t i o n s ) o f s i m u l a t e d d a t a g e n e r a t e d f r o m p a r t i c u l a r e x p e r i m e n t a l c o n d i t i o n s o f i n t e r e s t ( M o o n e y 1 9 9 7 ) W i t h i n t h e c o n t e x t o f m o d e l s e l e c t i o n p o w e r e s t i m a t e s a r e b a s e d o n t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t i n d i c a t e a c c e p t a b l e f i t w i t h g r e a t e r n u m b e r s o f r e p l i c a t i o n s r e s u l t i n g i n s m a l l e r c o n f i d e n c e i n t e r v a l s a r o u n d p o i n t e s t i m a t e s W h e n p a r t i c u l a r p a r a m e t e r i z a t i o n s c a n n o t b e c o v e r e d b y e x i s t i n g a s y m p t o t i c t h e o r y o r w h e n e x i s t i n g t h e o r y h a s n o t y e t b e e n f u l l y d e v e l o p e d a s i n t h e c a s e o f m i x t u r e d i s t r i b u t i o n s M o n t e C a r l o s i m u l a t i o n c a n b e u s e d t o d e t e r m i n e t h e p e r f o r m a n c e o f m o d e l s e l e c t i o n c r i t e r i a

PAGE 20

1 1 S t a t e m e n t o f t h e P r o b l e m A s n o t e d e a r l i e r t h e G M M p r o v i d e s a m e t h o d t o i d e n t i f y l a t e n t t r a j e c t o r y c l a s s e s o f i n d i v i d u a l s n o t e x p l i c i t l y i d e n t i f i e d b y c o v a r i a t e s i n c l u d e d i n l o n g i t u d i n a l d e s i g n s A s u n e x p l a i n e d h e t e r o g e n e i t y i n d a t a i n c r e a s e s t h e p r o b a b i l i t y o f T y p e I I e r r o r s ( e g f a i l i n g t o d e t e c t a s t a t i s t i c a l l y s i g n i f i c a n t c o v a r i a t e e f f e c t i n s a m p l e d a t a ) t h e p o w e r t o a c c u r a t e l y i d e n t i f y t h e c o r r e c t n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s f i r s t m u s t b e e s t a b l i s h e d H o w e v e r t h e p e r f o r m a n c e o f e x i s t i n g m o d e l s e l e c t i o n c r i t e r i a t o c o r r e c t l y e n u m e r a t e l a t e n t t r a j e c t o r y c l a s s e s i n t h e G M M i s o n l y j u s t b e g i n n i n g t o b e e x a m i n e d F o r e x a m p l e M a s y n ( 2 0 0 1 ) a n d M a s y n a n d B r o w n ( 2 0 0 1 ) u t i l i z e d M o n t e C a r l o s i m u l a t i o n ( n u m b e r o f r e p l i c a t i o n s = 2 0 0 t o 5 0 0 ) t o a s s e s s t h e i m p a c t o f v a r i o u s l o n g i t u d i n a l m i x t u r e d i s t r i b u t i o n s a n d d e s i g n c o n d i t i o n s o n t h e p e r f o r m a n c e o f s e v e r a l m o d e l s e l e c t i o n c r i t e r i a A l t h o u g h t h e s e s t u d i e s e x a m i n e d a r e l a t i v e l y r e s t r i c t e d r a n g e o f e x p e r i m e n t a l c o n d i t i o n s ( e g s a m p l e s i z e r e p e a t e d m e a s u r e m e n t o c c a s i o n s d i f f e r e n c e s i n c l a s s t r a j e c t o r i e s ) r e s u l t s s u g g e s t e d t h a t t h e c o n d i t i o n s n e c e s s a r y t o i n s u r e a d e q u a t e s t a t i s t i c a l p o w e r c a n b e e x p e n s i v e i n t e r m s o f t h e a m o u n t o f o v e r a l l d a t a t h a t a r e n e e d e d A s l o n g i t u d i n a l s t u d i e s a r e c o s t l y a n d d i f f i c u l t t o i m p l e m e n t i t b e c o m e s p a r t i c u l a r l y i m p o r t a n t t o g a i n d e t a i l e d k n o w l e d g e o f t h e s p e c i f i c r e s e a r c h c o n d i t i o n s n e c e s s a r y t o d e v e l o p a p p r o p r i a t e a n d e f f i c i e n t s t u d y d e s i g n s P u r p o s e o f t h e S t u d y I n p r a c t i c e t h e p r o c e s s o f i d e n t i f y i n g m u l t i p l e l a t e n t t r a j e c t o r y c l a s s e s i s s e q u e n t i a l T h a t i s t h e a p p l i e d r e s e a r c h e r f i r s t a t t e m p t s t o r e j e c t t h e a s s u m p t i o n o f a s i n g l e p o p u l a t i o n d i s t r i b u t i o n u n d e r l y i n g t h e d a t a b y t e s t i n g a o n e c l a s s m o d e l a g a i n s t a n a l t e r n a t i v e t w o c l a s s m o d e l w i t h t h e t w o c l a s s m o d e l i m p l i c i t l y a s s u m i n g a m i x t u r e o f

PAGE 21

1 2 t w o l a t e n t p o p u l a t i o n d i s t r i b u t i o n s T h e p u r p o s e o f t h i s s t u d y t h e r e f o r e w a s t o e v a l u a t e t h e a b i l i t y o f t h e G M M t o r e c o v e r s p e c i f i c l a t e n t t r a j e c t o r y c l a s s e s f r o m s i m u l a t e d d a t a w i t h a k n o w n m i x t u r e o f t w o l a t e n t t r a j e c t o r y c l a s s e s T h i s a b i l i t y w a s e x p r e s s e d i n t e r m s o f s t a t i s t i c a l p o w e r o p e r a t i o n a l i z e d a s t h e p r o p o r t i o n o f t h e 5 0 0 r e p l i c a t i o n s i n e a c h e x p e r i m e n t a l c o n d i t i o n i n w h i c h t h e t w o c l a s s m o d e l w a s c o r r e c t l y i d e n t i f i e d a s h a v i n g b e t t e r f i t t h a n t h e c o m p e t i n g o n e c l a s s m o d e l A n a d d i t i o n a l p u r p o s e o f t h i s s t u d y w a s t o e x a m i n e t h e a c c u r a c y o f l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n i n t h e G M M w i t h a c c u r a c y d e f i n e d a s t h e p r o p o r t i o n o f t h e 5 0 0 r e p l i c a t i o n s i n e a c h e x p e r i m e n t a l c o n d i t i o n i n w h i c h t h e t w o c l a s s m o d e l w a s c o r r e c t l y i d e n t i f i e d a s h a v i n g t h e b e s t f i t c o m p a r e d t o b o t h o n e a n d t h r e e c l a s s m o d e l s A s n o s i n g l e c r i t e r i o n h a s b e e n c l e a r l y i d e n t i f i e d a s s u p e r i o r s e v e r a l m o d e l s e l e c t i o n c r i t e r i a ( i e A I C B I C A B I C a n d L R T ) w e r e u s e d A l t h o u g h m i n i m u m v a l u e s f o r t h e A I C B I C a n d A B I C a r e t y p i c a l l y u s e d i n p r a c t i c e t o i n d i c a t e b e s t f i t f o r t h e c u r r e n t s t u d y c r i t i c a l v a l u e s f o r t h e s e c r i t e r i a w e r e i d e n t i f i e d a t a n e f f e c t i v e 0 5 T y p e I e r r o r r a t e b a s e d o n e m p i r i c a l d i s t r i b u t i o n s r e s u l t i n g f r o m M o n t e C a r l o s i m u l a t i o n s o f t r u e o n e c l a s s p o p u l a t i o n d i s t r i b u t i o n v e r s u s f a l s e t w o c l a s s m o d e l s A d d i t i o n a l l y i t s h o u l d b e n o t e d t h a t d e t e r m i n a t i o n o f s t a t i s t i c a l p o w e r w a s c o n d u c t e d u n d e r a t r u e a l t e r n a t i v e h y p o t h e s i s o f t w o l a t e n t t r a j e c t o r y c l a s s e s a n d c o n s e q u e n t l y a v o i d e d v i o l a t i n g r e g u l a r i t y c o n d i t i o n s n e c e s s a r y f o r t h e a p p l i c a t i o n o f t h e L R T S i x d i s t i n c t e x p e r i m e n t a l c o n d i t i o n s r e l a t e d t o d i f f e r e n c e s i n m i x t u r e d i s t r i b u t i o n s i n t h e p o p u l a t i o n a n d l o n g i t u d i n a l d e s i g n c h a r a c t e r i s t i c s w e r e e x a m i n e d S p e c i f i c a l l y t h i s s t u d y p r o v i d e d e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y a s f u n c t i o n s o f : ( a ) s t a n d a r d i z e d d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s b e t w e e n l a t e n t t r a j e c t o r y

PAGE 22

1 3 c l a s s e s ( b ) p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e ( g r o w t h ) p a r a m e t e r s ( c ) c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( d ) s a m p l e s i z e ( e ) n u m b e r o f r e p e a t e d m e a s u r e s a n d ( f ) p r o p o r t i o n a l p l a n n e d m i s s i n g n e s s C o n d i t i o n s ( a ) ( b ) ( d ) a n d ( e ) w e r e t h e o r i z e d t o b e p o s i t i v e l y r e l a t e d t o s t a t i s t i c a l p o w e r a n d a c c u r a c y ; t h a t i s g r e a t e r b e t w e e n c l a s s s e p a r a t i o n i n i n t e r c e p t s a n d s l o p e s g r e a t e r p e r c e n t a g e s o f e x p l a i n e d v a r i a n c e i n c r e a s e d s a m p l e s i z e s a n d i n c r e a s e d n u m b e r s o f r e p e a t e d m e a s u r e s w e r e p r e d i c t e d t o r e s u l t i n i m p r o v e d d e t e c t i o n o f l a t e n t t r a j e c t o r y c l a s s e s A l t e r n a t i v e l y c o n d i t i o n s ( c ) a n d ( f ) w e r e t h e o r i z e d t o b e i n v e r s e l y r e l a t e d t o p o w e r a n d a c c u r a c y ; t h a t i s l a r g e r p o s i t i v e c o r r e l a t i o n s b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( w i t h i n c l a s s e s ) a n d g r e a t e r p e r c e n t a g e s o f m i s s i n g d a t a w e r e p r e d i c t e d t o r e s u l t i n p o o r e r d e t e c t i o n o f l a t e n t t r a j e c t o r y c l a s s e s C h a n g e s w i t h i n t h e s e e x p e r i m e n t a l c o n d i t i o n s i m p a c t e d p o w e r a n d a c c u r a c y t h r o u g h t h e l i k e l i h o o d f u n c t i o n s g e n e r a t e d b y t h e G M M i n p a r a m e t e r e s t i m a t i o n F o r e x a m p l e i n c r e a s e d s e p a r a t i o n i n i n t e r c e p t s a n d s l o p e s e x p r e s s e d a s e i t h e r l a r g e r b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r m e a n s o r a s l a r g e r n e g a t i v e w i t h i n c l a s s c o r r e l a t i o n s b e t w e e n g r o w t h p a r a m e t e r s s h o u l d r e s u l t i n a g r e a t e r l i k e l i h o o d f u n c t i o n f o r t h e t r u e t w o c l a s s m o d e l r e l a t i v e t o t h e e r r o n e o u s o n e a n d t h r e e c l a s s m o d e l s G r e a t e r v a l u e s f o r t h e t w o c l a s s l o g l i k e l i h o o d s h o u l d t r a n s l a t e i n t o s m a l l e r A I C B I C a n d A B I C v a l u e s a n d c o n s e q u e n t l y g r e a t e r e s t i m a t e s o f p o w e r a n d a c c u r a c y F o r t h e L R T i n c r e a s e d s e p a r a t i o n i n g r o w t h p a r a m e t e r s s i m i l a r l y s h o u l d r e s u l t i n g r e a t e r d i f f e r e n c e s i n l o g l i k e l i h o o d s b e t w e e n c o m p e t i n g m o d e l s w i t h t h e e n d r e s u l t a g a i n b e i n g g r e a t e r p o w e r a n d a c c u r a c y I n c r e a s i n g t h e p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s i s e q u i v a l e n t t o r e d u c i n g t h e d e g r e e o f m e a s u r e m e n t e r r o r i n t h e m o d e l w h i c h s i m i l a r l y

PAGE 23

1 4 s h o u l d r e s u l t i n a g r e a t e r i m p r o v e m e n t i n m o d e l f i t E x a m i n e d d e s i g n c o n d i t i o n s a r e t h o u g h t t o b e r e l a t e d t o t h e a m o u n t o f i n f o r m a t i o n t h a t i s a v a i l a b l e f o r p a r a m e t e r e s t i m a t i o n e i t h e r t h r o u g h i n c r e a s i n g t h e n u m b e r o f p a r t i c i p a n t s o r t i m e p o i n t s o r d e c r e a s i n g t h e o v e r a l l p e r c e n t a g e o f m i s s i n g d a t a — a l l r e s u l t i n g i n p a r a m e t e r e s t i m a t e s t h a t a r e c l o s e r t o t r u e p o p u l a t i o n v a l u e s a n d c o n s e q u e n t l y i m p r o v e d m o d e l f i t S i m p l y p u t t h e p o w e r a n d a c c u r a c y o f t h e G M M t o e n u m e r a t e l a t e n t t r a j e c t o r y c l a s s e s i s t h e o r i z e d t o b e p o s i t i v e l y r e l a t e d t o t h e a m o u n t o f i n f o r m a t i o n a v a i l a b l e f o r p a r a m e t e r e s t i m a t i o n a n d t h e p r e c i s i o n o f t h a t i n f o r m a t i o n T h e f i n a l g o a l o f t h i s s t u d y w a s t o p r o v i d e a p r o c e d u r e b y w h i c h r e s e a r c h e r s c a n p r o d u c e e s t i m a t e s o f p o w e r a n d a c c u r a c y f o r l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n f o r v a r i o u s p o p u l a t i o n s a n d d e s i g n s o u t s i d e t h e s c o p e o f t h e s t u d y S p e c i f i c a l l y t h e M o n t e C a r l o d e r i v e d e s t i m a t e s o f p o w e r a n d a c c u r a c y b a s e d o n t h e t w o c l a s s p o p u l a t i o n w e r e u s e d t o d e v e l o p a g e n e r a l f u n c t i o n a l r e l a t i o n s h i p t o a n o v e r a l l m e a s u r e o f t h e d e g r e e o f s e p a r a t i o n b e t w e e n t h e l a t e n t t r a j e c t o r y c l a s s e s T h i s m e a s u r e w a s d e f i n e d a s t h e a v e r a g e o f – 2 t i m e s t h e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n o n e a n d t w o c l a s s m o d e l s a c r o s s n r e p l i c a t i o n s m i n u s d e g r e e s o f f r e e d o m e q u a l t o t h e d i f f e r e n c e i n t h e n u m b e r o f f r e e l y e s t i m a t e d p a r a m e t e r s a n d w a s m o d e l e d a s a n a p p r o x i m a t i o n t o a n o n c e n t r a l c h i s q u a r e p a r a m e t e r ( r e p r e s e n t e d a s l2 i n t h i s s t u d y ) A s a t e s t o f t h i s r e l a t i o n s h i p e s t i m a t e s o f p o w e r a n d a c c u r a c y d e r i v e d f r o m t h i s g e n e r a l f u n c t i o n w e r e c o m p a r e d t o e m p i r i c a l l y g e n e r a t e d e s t i m a t e s o f p o w e r a n d a c c u r a c y r e s u l t i n g f r o m a c a s e s p e c i f i c M o n t e C a r l o s i m u l a t i o n w h i c h u s e d t h e p a r t i c u l a r p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s o f a m o t i v a t i n g e x a m p l e

PAGE 24

1 5 A M o t i v a t i n g E x a m p l e I n a d d i t i o n t o M o n t e C a r l o s i m u l a t i o n a c t u a l d a t a f r o m a n e v a l u a t i o n o f t h e C o m p r e h e n s i v e C o m m u n i t y M e n t a l H e a l t h S e r v i c e s f o r C h i l d r e n a n d T h e i r F a m i l i e s P r o g r a m ( c o n d u c t e d b y O R C M a c r o I n t e r n a t i o n a l ) w a s u s e d a s a m o t i v a t i n g e x a m p l e T h e p u r p o s e o f t h e e v a l u a t i o n w a s t o t e s t t h e e f f e c t i v e n e s s o f a s y s t e m i c i n t e r v e n t i o n c o n s i s t i n g o f a n i n t e g r a t e d s y s t e m o f c a r e ( S t r o u l & F r i e d m a n 1 9 8 6 ) a p p r o a c h t o t h e d e l i v e r y o f c h i l d r e n ’ s m e n t a l h e a l t h s e r v i c e s i n S t a r k C o u n t y O h i o v e r s u s a t r a d i t i o n a l s e r v i c e d e l i v e r y a p p r o a c h i n M a h o n i n g C o u n t y O h i o A s p a r t o f t h i s e v a l u a t i o n m e a s u r e s o f d e l i n q u e n t b e h a v i o r f r o m 4 4 2 c h i l d r e n a n d a d o l e s c e n t s w e r e o b t a i n e d u s i n g t h e D e l i n q u e n t B e h a v i o r s y n d r o m e s c a l e o f t h e C h i l d B e h a v i o r C h e c k l i s t / 4 1 8 ( A c h e n b a c h 1 9 9 1 ) a t f i v e e q u a l l y s p a c e d t i m e p o i n t s ( i e a t i n t a k e i n t o s e r v i c e a n d e v e r y s i x m o n t h s t h e r e a f t e r ) A l t h o u g h r e s u l t s o f a l a t e n t g r o w t h m o d e l o f t h e e n t i r e s a m p l e o f c h i l d r e n w e r e s o m e w h a t a m b i g u o u s ( i e n o c l e a r i n t e r v e n t i o n e f f e c t ) a n a p p l i c a t i o n o f t h e g e n e r a l g r o w t h m i x t u r e m o d e l i d e n t i f i e d f o u r d i s t i n c t l a t e n t t r a j e c t o r y c l a s s e s ( G r e e n b a u m & B r o w n 2 0 0 2 ) M o r e o v e r a s t a t i s t i c a l l y s i g n i f i c a n t ( p < 0 5 ) i n t e r v e n t i o n e f f e c t w a s f o u n d i n a c l a s s o f c h i l d r e n w h o s e a v e r a g e d e l i n q u e n c y t r a j e c t o r y d e c l i n e d f r o m a c l i n i c a l t o n o n c l i n i c a l l e v e l ; t h a t i s i n t h e s p e c i f i c s u b p o p u l a t i o n o f c h i l d r e n t h a t t h e i n t e r v e n t i o n w a s o r i g i n a l l y d e s i g n e d t o t a r g e t I n t h i s s t u d y d a t a f r o m t h e s y s t e m o f c a r e e v a l u a t i o n w e r e u s e d t o i l l u s t r a t e t h e p r o c e s s o f e s t i m a t i n g s t a t i s t i c a l p o w e r p o s t h o c a n d t o f i e l d t e s t t h e r e s u l t s o f t h e M o n t e C a r l o s i m u l a t i o n s

PAGE 25

1 6 R e s e a r c h Q u e s t i o n s G i v e n t h e c u r r e n t n e e d t o e x p a n d t h e k n o w l e d g e o f t h e G M M ’ s a b i l i t y t o a c c u r a t e l y e n u m e r a t e l a t e n t t r a j e c t o r y c l a s s e s t h i s s t u d y a d d r e s s e d t h e f o l l o w i n g r e s e a r c h q u e s t i o n s : 1 F o r a p a r t i c u l a r l o n g i t u d i n a l d e s i g n h o w d o s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( i e d s = 0 3 0 0 5 0 0 8 0 1 0 0 a n d 1 2 0 ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? 2 F o r a p a r t i c u l a r l o n g i t u d i n a l d e s i g n h o w d o e s t h e p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e p a r a m e t e r s ( i e 4 0 % 5 0 % 6 0 % 7 0 % a n d 8 0 % ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? 3 F o r a p a r t i c u l a r l o n g i t u d i n a l d e s i g n h o w d o e s t h e w i t h i n c l a s s c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( r s = 6 0 3 0 0 0 3 0 6 0 ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? 4 F o r a p a r t i c u l a r p o p u l a t i o n o f i n d i v i d u a l s h o w d o e s s a m p l e s i z e ( i e N s = 2 0 0 4 0 0 6 0 0 a n d 8 0 0 ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? 5 F o r a p a r t i c u l a r p o p u l a t i o n o f i n d i v i d u a l s h o w d o e s t h e n u m b e r o f r e p e a t e d m e a s u r e s ( i e 3 4 5 6 9 a n d 1 2 t i m e p o i n t s ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? 6 F o r a p a r t i c u l a r p o p u l a t i o n o f i n d i v i d u a l s h o w d o e s p l a n n e d m i s s i n g d a t a ( i e 2 5 % 5 0 % 7 5 % a n d 1 0 0 % o f c a s e s m i s s i n g e i t h e r ( a ) e v e r y o t h e r t i m e p o i n t o r ( b ) e v e r y s e c o n d a n d t h i r d t i m e p o i n t r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? 7 W h i c h m o d e l s e l e c t i o n c r i t e r i o n ( a m o n g t h e A I C B I C A B I C a n d L R T ) p o s s e s s e s t h e l a r g e s t e f f e c t i v e T y p e I e r r o r r a t e s a n d u n d e r w h i c h d e s i g n a n d p o p u l a t i o n c o n d i t i o n s a r e T y p e I e r r o r r a t e s t h e l a r g e s t ? 8 H o w d o s t a t i s t i c a l p o w e r a n d a c c u r a c y r e l a t e t o t h e o v e r a l l s e p a r a t i o n b e t w e e n o n e a n d t w o l a t e n t t r a j e c t o r y c l a s s m o d e l s a s m e a s u r e d b y a n o n c e n t r a l i t y p a r a m e t e r ( l2) ?

PAGE 26

1 7 A n s w e r s t o Q u e s t i o n s 1 t h r o u g h 3 p r o v i d e a b a s i s f o r r e s e a r c h e r s t o d e v e l o p d e s i g n s a p r i o r i t h a t r e l i a b l y i d e n t i f y l a t e n t t r a j e c t o r y c l a s s e s i n l o n g i t u d i n a l d a t a o r a s s e s s e x i s t i n g l o n g i t u d i n a l a n a l y s e s p o s t h o c f o r p o w e r o r a c c u r a c y A n s w e r s t o Q u e s t i o n s 4 t h r o u g h 6 r e l a t e t o l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n t o p o p u l a t i o n c o n d i t i o n s t h a t r e s e a r c h e r s m u s t u l t i m a t e l y c o n f r o n t i n c o n d u c t i n g l o n g i t u d i n a l s t u d i e s Q u e s t i o n 7 r e l a t e s t o t h e c h o i c e o f m o d e l s e l e c t i o n c r i t e r i a t o c o r r e c t l y e n u m e r a t e l a t e n t t r a j e c t o r y c l a s s e s i n c l u d i n g t h e a b i l i t y t o e s t i m a t e p o w e r a n d a c c u r a c y a t a c o m m o n T y p e I e r r o r r a t e F i n a l l y Q u e s t i o n 8 r e l a t e s t o t h e d e v e l o p m e n t o f a p r o c e d u r e b y w h i c h e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y c a n b e g e n e r a l i z e d a c r o s s m u l t i p l e e x p e r i m e n t a l c o n d i t i o n s a n d e x p e r i m e n t a l c o n d i t i o n s n o t e x a m i n e d i n t h e c u r r e n t s t u d y

PAGE 27

1 8 C h a p t e r T w o L i t e r a t u r e R e v i e w T h i s c h a p t e r p r o v i d e s b a c k g r o u n d o n t h e M o n t e C a r l o s i m u l a t i o n m e t h o d s u s e d i n t h i s s t u d y f o l l o w e d b y a d i s c u s s i o n o f l i t e r a t u r e t h a t u s e d M o n t e C a r l o s i m u l a t i o n i n c l a s s i f i c a t i o n o f g r o w t h t r a j e c t o r i e s o r e n u m e r a t i o n o f l a t e n t c l a s s e s T h e c h a p t e r c o n c l u d e s w i t h e x a m p l e s o f s e v e r a l s t u d i e s t h a t h a v e e x p e r i e n c e d d i s p a r a t e r e s u l t s u s i n g e s t a b l i s h e d m o d e l s e l e c t i o n c r i t e r i a i n a p p l i c a t i o n s o f t h e g r o w t h m i x t u r e m o d e l M o n t e C a r l o S i m u l a t i o n A s M o o n e y ( 1 9 9 7 ) p o i n t s o u t i n h i s m o n o g r a p h o n M o n t e C a r l o s i m u l a t i o n r e s e a r c h e r s o f t e n a r e f a c e d w i t h s i t u a t i o n s i n w h i c h t h e d i s t r i b u t i o n a l p r o p e r t i e s o f a p a r t i c u l a r s t a t i s t i c ( e g m o d e l s e l e c t i o n c r i t e r i o n ) h a v e y e t t o b e f u l l y d e v e l o p e d F o r e x a m p l e u s e o f t h e L R T i n d e t e r m i n i n g t h e n u m b e r o f l a t e n t c l a s s e s i n d a t a c o n t a i n i n g m i x t u r e d i s t r i b u t i o n s c o n t i n u e s t o b e p r o b l e m a t i c d u e t o t h e i n a b i l i t y o f e x i s t i n g a s y m p t o t i c t h e o r y t o m a i n t a i n t h e r e g u l a r i t y c o n d i t i o n s n e c e s s a r y f o r i t s a p p r o p r i a t e a p p l i c a t i o n ( M c L a c h l a n & P e e l 2 0 0 1 ) T h e a b s e n c e o f r i g o r o u s t h e o r y f o r t h e s e t y p e s o f d i s t r i b u t i o n s r e q u i r e s t h e u s e o f b r u t e f o r c e e m p i r i c a l o b s e r v a t i o n t o d i s c o v e r t h e i r p r o p e r t i e s a n d w i t h t h e a i d o f h i g h s p e e d c o m p u t e r p r o c e s s i n g M o n t e C a r l o s i m u l a t i o n p r o v i d e s a n e f f i c i e n t m e t h o d t o a c c o m p l i s h t h i s E s s e n t i a l l y M o n t e C a r l o s i m u l a t i o n r e l i e s o n r e p e a t e d r a n d o m s a m p l i n g o f d a t a d e r i v e d f r o m a p o p u l a t i o n w i t h a k n o w n p a r a m e t r i c d i s t r i b u t i o n ( i e a p s e u d o

PAGE 28

1 9 p o p u l a t i o n ) T h e o b s e r v e d f r e q u e n c y d i s t r i b u t i o n o f t h e s t a t i s t i c o f i n t e r e s t p r o v i d e s a b a s i s f o r e s t i m a t i n g t h e d e n s i t y f u n c t i o n o f t h a t s t a t i s t i c i n t h e p o p u l a t i o n w i t h t h e p r e c i s i o n o f s u c h e s t i m a t e s b e i n g d i r e c t l y r e l a t e d t o t h e n u m b e r o f d r a w s f r o m t h e p s e u d o p o p u l a t i o n T h e p r o c e d u r e f o r c o n d u c t i n g a M o n t e C a r l o s i m u l a t i o n s t u d y f i r s t r e q u i r e s t h a t t h e d i s t r i b u t i o n a l c h a r a c t e r i s t i c s o f t h e p s e u d o p o p u l a t i o n ( e g m e a n v a r i a n c e c o v a r i a n c e s t r u c t u r e s k e w n e s s k u r t o s i s ) b e s p e c i f i e d i n t e r m s o f a s t a t i s t i c a l ( i e c o m p u t e r ) a l g o r i t h m t h a t m o d e l s b o t h d e t e r m i n i s t i c ( e g m e a n g r o w t h t r a j e c t o r i e s ) a n d s t o c h a s t i c ( e g i n d i v i d u a l d e v i a t i o n f r o m m e a n g r o w t h t r a j e c t o r i e s ) c o m p o n e n t s S e c o n d t h e c o n d i t i o n s b y w h i c h t h e r a n d o m d a t a a r e d r a w n f r o m t h e p s e u d o p o p u l a t i o n ( e g s a m p l e s i z e n u m b e r o f r e p e a t e d m e a s u r e s m i s s i n g d a t a p a t t e r n s ) n e e d t o b e d e c i d e d a n d b u i l t i n t o t h e s a m p l i n g a l g o r i t h m F r o m t h i s t s a m p l e s a r e d r a w n w h e r e t i n d i c a t e s t h e n u m b e r o f t r i a l s o r r e p l i c a t i o n s T h e f r e q u e n c y d i s t r i b u t i o n o f t h e e x a m i n e d s t a t i s t i c a c r o s s t r e p l i c a t i o n s t h e n c a n b e m a p p e d o u t a n d c o n s e q u e n t l y d e c i s i o n r u l e s c a n b e i m p l e m e n t e d t o d e t e r m i n e t h e p e r f o r m a n c e o f t h e s t a t i s t i c u n d e r t h e s p e c i f i e d c o n d i t i o n s F i n a l l y t h e c h a r a c t e r i s t i c s o f t h e p s e u d o p o p u l a t i o n a n d r a n d o m s a m p l e s c a n b e m a n i p u l a t e d e x p e r i m e n t a l l y t o a s s e s s t h e b e h a v i o r o f t h e s t a t i s t i c a c r o s s v a r i o u s c o n d i t i o n s M o n t e C a r l o S i m u l a t i o n S t u d i e s M o n t e C a r l o s i m u l a t i o n c a n b e u s e d n o t o n l y t o c o n d u c t i n f e r e n c e w h e r e t h e o r y i s w e a k o r n o n e x i s t e n t b u t a l s o c a n b e u s e d t o ( a ) t e s t a v a r i e t y o f p l a u s i b l e h y p o t h e s e s ( b ) a s s e s s t h e i m p a c t o f v i o l a t i o n s t o d i s t r i b u t i o n a l a s s u m p t i o n s ( c ) a s s e s s t h e q u a l i t y o f i n f e r e n t i a l m e t h o d s a n d ( d ) c o m p a r e t h e p r o p e r t i e s o f v a r i o u s e s t i m a t o r s ( M o o n e y 1 9 9 7 ) E x a m p l e s o f r e c e n t r e s e a r c h i n s t r u c t u r a l e q u a t i o n m o d e l i n g t h a t h a v e e m p l o y e d

PAGE 29

2 0 M o n t e C a r l o s i m u l a t i o n t o w a r d t h e s e e n d s i n c l u d e : C u d e c k a n d H e n l y ( 1 9 9 1 ) ; C u r r a n W e s t a n d F i n c h ( 1 9 9 6 ) ; D u m e n c i a n d W i n d l e ( 2 0 0 1 ) ; H a u g h t o n O u d a n d J a n s e n ( 1 9 9 7 ) ; H u a n d B e n t l e r ( 1 9 9 8 ) ; I c h i k a w a a n d K o n i s h i ( 1 9 9 9 ) ; M u t h n a n d C u r r a n ( 1 9 9 7 ) ; O l m o s a n d H u t c h i n s o n ( 1 9 9 8 ) ; T a n g u m a ( 2 0 0 1 ) ; a n d X i t a o T h o m p s o n a n d W a n g ( 1 9 9 9 ) F o r e x a m p l e D u m e n c i a n d W i n d l e ( 2 0 0 1 ) u s e d M o n t e C a r l o s i m u l a t i o n t o e v a l u a t e a c l u s t e r a n a l y t i c m e t h o d ( i e W a r d ’ s m e t h o d o f s q u a r e d e r r o r c r i t e r i o n ) o f c l a s s i f y i n g i n d i v i d u a l l o n g i t u d i n a l g r o w t h t r a j e c t o r i e s T h e p s e u d o p o p u l a t i o n f o r t h i s s t u d y c o n s i s t e d o f v a r i o u s t r a j e c t o r y s h a p e s ( i e n o c h a n g e i n c r e a s i n g a n d d e c r e a s i n g l i n e a r a n d q u a d r a t i c g r o w t h f a c t o r s ) p r o p o r t i o n s o f e r r o r v a r i a n c e t o o b s e r v e d v a r i a n c e ( i e 2 0 a n d 5 0 ) a n d d i s t a n c e s b e t w e e n c l u s t e r s ( 1 t h r o u g h 4 s t a n d a r d d e v i a t i o n u n i t s b e t w e e n i n t e r c e p t f a c t o r s ) A d d i t i o n a l e x p e r i m e n t a l c o n d i t i o n s i n c l u d e d d i f f e r e n t m i x i n g p r o p o r t i o n s ( i e p r o p o r t i o n o f c a s e s a s s i g n e d t o e a c h c l a s s ; s = 2 5 a n d 5 0 ) a n d t y p e o f i n p u t m a t r i x ( e g s q u a r e d E u c l i d e a n d i s t a n c e M a h a l a n o b i s d i s t a n c e ) A l l s a m p l e s w e r e d e r i v e d f r o m a l a t e n t g r o w t h m o d e l ( L G M ) c o n s i s t i n g o f 2 0 0 0 c a s e s m e a s u r e d a c r o s s f o u r t i m e p o i n t s T h e a b i l i t y o f t h e c l u s t e r p r o c e d u r e w a s a s s e s s e d u s i n g t h e 9 0t h p e r c e n t i l e o f t h e K a p p a () d i s t r i b u t i o n ( = 8 6 4 ) a s a b e n c h m a r k f o r a d e q u a t e r e c o v e r y o f s i m u l a t e d g r o w t h t r a j e c t o r i e s R e s u l t s o f t h e s t u d y a v e r a g e d a c r o s s a l l c o n d i t i o n s r e v e a l e d t h a t o v e r a l l r e c o v e r y w a s r e l a t i v e l y p o o r ( m e d i a n = 2 5 ) r e q u i r i n g a d i f f e r e n c e o f f o u r s t a n d a r d d e v i a t i o n s u n i t s b e t w e e n i n t e r c e p t m e a n s t o a c h i e v e a n a v e r a g e = 5 0 M o r e o v e r r e c o v e r y o f g r o w t h t r a j e c t o r i e s w a s n e g l i g i b l y r e l a t e d t o m i x i n g p r o p o r t i o n s T h e s t u d y h o w e v e r d i d n o t e x a m i n e e n u m e r a t i o n o f l a t e n t c l a s s e s ( e g e x p l o r i n g e r r o n e o u s o n e o r t h r e e c l u s t e r s o l u t i o n s a s a l t e r n a t i v e s )

PAGE 30

2 1 E x a m p l e s o f s t u d i e s t h a t u s e d M o n t e C a r l o s i m u l a t i o n t o a s s e s s t h e n u m b e r o f l a t e n t c l a s s e s i n m i x t u r e d i s t r i b u t i o n s i n c l u d e : B i e r n a c k i C e l e u x a n d G o v a e r t ( 1 9 9 9 ) ; C h u a n g a n d M e n d e l l ( 1 9 9 7 ) ; E v e r i t t ( 1 9 8 1 1 9 8 8 ) ; G u t i e r r e z C a r r o l l W a n g L e e a n d T a y l o r ( 1 9 9 5 ) ; L i n a n d D a y t o n ( 1 9 9 7 ) ; L o M e n d e l l a n d R u b i n ( 2 0 0 1 ) ; M a s y n ( 2 0 0 1 ) ; M a s y n a n d B r o w n ( 2 0 0 1 ) ; M e n d e l l F i n c h a n d T h o d e ( 1 9 9 3 ) ; M e n d e l l T h o d e a n d F i n c h ( 1 9 9 1 ) ; R o e d e r a n d W a s s e r m a n ( 1 9 9 7 ) ; W o l f e ( 1 9 7 1 ) ; a n d Y a n g ( 1 9 9 9 ) M o s t o f t h e s e s t u d i e s c o n c e n t r a t e d o n t h e d i s t r i b u t i o n a l p r o p e r t i e s o f t h e L R T a s t h e c r i t e r i o n f o r a s s e s s i n g t h e n u m b e r o f l a t e n t c l a s s e s ( o r c o m p o n e n t s a s i t i s o f t e n r e f e r r e d t o i n t h e l i t e r a t u r e ) i n m i x t u r e d i s t r i b u t i o n s S t u d i e s t h a t a r e r e l e v a n t t o t h e c u r r e n t s t u d y a r e s u m m a r i z e d i n T a b l e 1 W o l f e ( 1 9 7 1 ) f o r e x a m p l e i n v e s t i g a t e d t h e u t i l i t y o f t h e L R T i n t h e l a t e n t c l a s s m o d e l t o r e j e c t a m i x t u r e o f k1 = 2 l a t e n t c l a s s e s f r o m a t r u e k0 = 1 p o p u l a t i o n d i s t r i b u t i o n u s i n g M o n t e C a r l o s i m u l a t i o n R e s u l t s f r o m h i s s t u d y s u g g e s t e d t h a t u n d e r t h e n u l l h y p o t h e s i s o f a s i n g l e p o p u l a t i o n d i s t r i b u t i o n t h e L R T m u l t i p l i e d b y a c o r r e c t i o n f a c t o r C w o u l d b e d i s t r i b u t e d a s 2 w i t h d e g r e e s o f f r e e d o m e q u a l t o t w i c e t h e d i f f e r e n c e i n t h e n u m b e r o f i n d i c a t o r v a r i a b l e s i n t h e m o d e l ( r ) w h e r e C = ( n – 1 – r – k1) / n a n d n i n d i c a t e s t h e s a m p l e s i z e ( s e e M c L a c h l a n & P e e l 2 0 0 1 p 1 8 9 ) E v e r i t t ( 1 9 8 1 ) e x t e n d e d t h i s b y c o n s i d e r i n g a b r o a d e r r a n g e o f s a m p l e s i z e s ( N s = 2 5 5 0 1 0 0 a n d 2 0 0 ) n u m b e r o f i n d i c a t o r v a r i a b l e s ( r s = 5 1 0 ) a n d r e p l i c a t i o n s ( 2 0 0 v s 5 0 0 ) a n d c o n c l u d e d t h a t W o l f e ’ s f i n d i n g w a s s u p p o r t e d o n l y i n c a s e s w h e r e s a m p l e s i z e w a s a t l e a s t 1 0 t i m e s t h e n u m b e r o f i n d i c a t o r v a r i a b l e s H e f u r t h e r c o n c l u d e d t h a t t h e p o w e r o f t h e L R T w a s l o w ; f o r e x a m p l e r e q u i r i n g a M a h a l a n o b i s d i s t a n c e o f 2 5 t o 3 0 b e t w e e n l a t e n t c l a s s e s

PAGE 31

2 2 ( i e w i t h N = 2 0 0 a n d m i x i n g p r o p o r t i o n s p s = 5 ) f o r a p p r o x i m a t e l y 8 0 % p o w e r I n 1 9 8 8 E v e r i t t c o n t i n u e d h i s M o n t e C a r l o i n v e s t i g a t i o n o f t h e L R T i n t h e l a t e n t c l a s s m o d e l b y c o m p a r i n g e m p i r i c a l l y d e r i v e d s i g n i f i c a n c e l e v e l s t o 5 % a n d 1 % n o m i n a l v a l u e s o f t h e c h i s q u a r e d i s t r i b u t i o n u n d e r t h e n u l l h y p o t h e s i s R e s u l t s r e a f f i r m e d t h e i n a d e q u a c y o f t h e L R T u n d e r t h i s d i s t r i b u t i o n t o r e j e c t t w o c l a s s m i x t u r e s f r o m a s i n g l e p o p u l a t i o n M e n d e l l e t a l ( 1 9 9 1 ) c o n t i n u e d t h i s l i n e o f i n v e s t i g a t i o n b y e x a m i n i n g a b r o a d e r r a n g e o f e x p e r i m e n t a l c o n d i t i o n s c o n s i s t i n g o f s i x d i f f e r e n t m i x i n g p r o p o r t i o n s ( p s = 5 t h r o u g h 9 5 ) f o u r s e t s o f s t a n d a r d i z e d d i f f e r e n c e s b e t w e e n m e a n s ( e f f e c t s s i z e s = 5 t h r o u g h 5 0 ) a n d t h r e e s a m p l e s i z e s ( N s = 2 5 5 0 1 0 0 ) D a t a g e n e r a t e d f o r t h i s s t u d y h o w e v e r w e r e b a s e d o n a m i x t u r e o f a t w o c l a s s d i s t r i b u t i o n a s o p p o s e d t o t h e o n e c l a s s p s u e d o p o p u l a t i o n s u s e d b y W o l f e ( 1 9 7 1 ) a n d E v e r i t t ( 1 9 8 1 1 9 8 8 ) C r i t i c a l v a l u e s f o r t h e c h i s q u a r e d i s t r i b u t i o n u n d e r t h e n u l l h y p o t h e s i s w e r e b a s e d o n d a t a f r o m a n e a r l i e r s t u d y ( T h o d e F i n c h & M e n d e l l 1 9 8 8 ) R e s u l t s s u p p o r t e d E v e r i t t ’ s e a r l i e r f i n d i n g s t h a t t h e s t a t i s t i c a l p o w e r o f t h e L R T w a s ( a ) s t r o n g l y r e l a t e d t o s t a n d a r d i z e d d i f f e r e n c e s i n m e a n s b e t w e e n c l a s s e s ( b ) n o t s t r o n g l y r e l a t e d t o t h e v a r i o u s m i x i n g p r o p o r t i o n s a n d ( c ) r e l a t i v e l y w e a k o v e r a l l ( e g r e q u i r i n g a n e f f e c t s i z e o f 3 0 a n d a s a m p l e s i z e o f 5 0 f o r 5 9 % p o w e r ) A d d i t i o n a l a n a l y s e s i n d i c a t e d t h a t a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n ( w i t h 2 d e g r e e s o f f r e e d o m ) m i g h t b e a n a t t r a c t i v e a l t e r n a t i v e t o t h e c e n t r a l c h i s q u a r e d i s t r i b u t i o n f o r i d e n t i f y i n g t h e c o r r e c t n u m b e r o f l a t e n t c l a s s e s I n t u r n M e n d e l l e t a l ( 1 9 9 3 ) c o m p a r e d s e v e r a l d i f f e r e n t m o d e l s e l e c t i o n c r i t e r i a ( s e e T a b l e 1 ) a c r o s s s i m i l a r e x p e r i m e n t a l c o n d i t i o n s a n d c o n c l u d e d t h a t a l t h o u g h o v e r a l l p o w e r w a s w e a k t h e L R T

PAGE 32

2 3 w a r r a n t e d u s e i n p r a c t i c a l a p p l i c a t i o n s ( o u t p e r f o r m i n g o t h e r c r i t e r i a f o r m i x i n g p r o p o r t i o n s b e t w e e n 6 5 a n d 8 0 ) A s p a r t o f t h e i r i n v e s t i g a t i o n o f t o m a t o r o o t i n i t i a t i o n G u t i e r r e z C a r r o l l W a n g L e e a n d T a y l o r ( 1 9 9 5 ) c o n d u c t e d a M o n t e C a r l o s i m u l a t i o n t o e x a m i n e t h e a b i l i t y o f t h e L R T t o r e j e c t m i x t u r e s i n a h i g h l y s k e w e d o n e c l a s s p o p u l a t i o n d i s t r i b u t i o n R e s u l t s o f t h e i r s t u d y i n d i c a t e d t h a t u n d e r t h e t r u e n u l l h y p o t h e s i s t h e L R T m i g h t b e d i s t r i b u t e d a s c h i s q u a r e w i t h b e t w e e n f o u r a n d s i x d e g r e e s o f f r e e d o m A d d i t i o n a l r e s u l t s s u p p o r t e d e a r l i e r f i n d i n g s t h a t t h e L R T e x h i b i t e d w e a k p o w e r F o r e x a m p l e t h e a u t h o r s s h o w e d t h a t a s a m p l e s i z e o f 3 5 0 c a s e s w a s r e q u i r e d f o r 5 0 % p o w e r ( a t p = 9 0 n u m b e r o f r e p l i c a t i o n s = 1 0 0 0 a n d a s t a n d a r d i z e d d i f f e r e n c e b e t w e e n m e a n s o f a p p r o x i m a t e l y 3 0 ) M o r e r e c e n t l y L o e t a l ( 2 0 0 1 ) d e r i v e d e s t i m a t e s o f s t a t i s t i c a l p o w e r f o r t h e L R T t o r e j e c t ( a ) a f a l s e o n e c l a s s d i s t r i b u t i o n f r o m a m i x t u r e o f a t r u e t w o c l a s s p s e u d o p o p u l a t i o n a n d ( b ) a f a l s e t w o c l a s s d i s t r i b u t i o n f r o m a m i x t u r e o f a t r u e t h r e e c l a s s p s e u d o p o p u l a t i o n E x p e r i m e n t a l c o n d i t i o n s f o r t h e o n e v e r s u s t w o c l a s s c o m p a r i s o n c o n s i s t e d o f t h r e e m i x i n g p r o p o r t i o n s ( p s = 5 7 a n d 9 ) t h r e e s a m p l e s i z e s ( N s = 5 0 1 0 0 a n d 2 0 0 ) a n d t h r e e s t a n d a r d i z e d d i f f e r e n c e s b e t w e e n m e a n s ( d s = 1 0 2 0 a n d 3 0 ) E x p e r i m e n t a l c o n d i t i o n s f o r t h e t w o v e r s u s t h r e e c l a s s c o m p a r i s o n c o n s i s t e d o f t w o s e t s o f m i x i n g p r o p o r t i o n s ( p1 = 3 p2 = 4 a n d p3 = 3 ; a n d p1 = 5 p2 = 4 a n d p3 = 1 ) t h r e e s a m p l e s i z e s ( N s = 5 0 1 0 0 a n d 2 0 0 ) a n d f o u r s t a n d a r d i z e d d i f f e r e n c e s b e t w e e n m e a n s ( d s = 1 0 2 0 3 0 a n d 4 0 ) O n e t h o u s a n d r e p l i c a t i o n s w e r e u s e d f o r b o t h c o m p a r i s o n s T h e a u t h o r s e x a m i n e d t h e p o w e r o f t h e L R T d i s t r i b u t e d a s y m p t o t i c a l l y a s t h e w e i g h t e d s u m o f p + q i n d e p e n d e n t c h i s q u a r e d i s t r i b u t i o n s w h e r e p = 3 k1 – 1 q = 3 k0 – 1 k0 = t h e n u m b e r o f c l a s s e s u n d e r t h e n u l l h y p o t h e s i s a n d k1 = t h e n u m b e r o f c l a s s e s

PAGE 33

2 4 u n d e r t h e a l t e r n a t i v e h y p o t h e s i s ( w i t h k1 > k0) I n o r d e r t o m i n i m i z e t h e d i s c r e p a n c y b e t w e e n e m p i r i c a l l y o b s e r v e d a n d n o m i n a l s i g n i f i c a n c e l e v e l s t h e a u t h o r s a l s o e x a m i n e d a n a d j u s t e d L R T : L R T = L R T / [ 1 + { ( p – q ) l n n }1] R e s u l t s s u p p o r t e d t h e e a r l i e r w o r k d o n e b y M e n d e l l e t a l ( 1 9 9 1 ) i n t h a t p o w e r w a s p r i m a r i l y i n f l u e n c e d b y t h e d i s t a n c e b e t w e e n l a t e n t c l a s s m e a n s a n d w a s n o t s t r o n g l y a s s o c i a t e d w i t h d i f f e r e n t m i x i n g p r o p o r t i o n s F o r e x a m p l e a l t e r i n g p f r o m 5 t o 9 i n t h e t w o c l a s s m o d e l w i t h N = 2 0 0 d = 2 0 a n d = 0 5 o n l y i n c r e a s e d p o w e r b y 1 5 % ( f r o m 3 7 9 t o 4 3 5 ) A d e q u a t e s t a t i s t i c a l p o w e r f o r b o t h L R T a n d L R T w a s o b t a i n e d o n l y w h e n t h e d i f f e r e n c e s b e t w e e n l a t e n t c l a s s e s ( d ) w a s v e r y l a r g e F o r e x a m p l e t o c o r r e c t l y r e j e c t a o n e c l a s s d i s t r i b u t i o n f r o m a t w o c l a s s p o p u l a t i o n d = 3 0 w a s n e e d e d f o r 9 1 0 % a n d 8 8 4 % p o w e r f o r t h e L R T a n d L R T r e s p e c t i v e l y ( i e a t p = 5 N = 1 0 0 a n d = 0 5 ) T o c o r r e c t l y r e j e c t a t w o c l a s s d i s t r i b u t i o n f r o m a t h r e e c l a s s p o p u l a t i o n a d i f f e r e n c e o f t h r e e s t a n d a r d d e v i a t i o n u n i t s b e t w e e n c l a s s e s w a s n e c e s s a r y t o y i e l d o n l y 6 5 3 % a n d 5 9 8 % p o w e r r e s p e c t i v e l y ( i e a t p1 = 3 p2 = 4 a n d p3 = 3 ; N = 1 0 0 a n d = 0 5 ) A d d i t i o n a l s t u d i e s u s i n g M o n t e C a r l o s i m u l a t i o n h a v e i n c l u d e d p e n a l i z e d i n f o r m a t i o n c r i t e r i a i n t h e i r i n v e s t i g a t i o n s F o r e x a m p l e L i n a n d D a y t o n ( 1 9 9 7 ) e x a m i n e d t h e p e r f o r m a n c e o f v a r i o u s m o d e l s e l e c t i o n c r i t e r i a ( A I C B I C a n d B o z d o g a n ’ s 1 9 8 7 C o n s i s t e n t A I C ) i n t h e l a t e n t c l a s s m o d e l ( L C M ) S p e c i f i c a l l y t h e a u t h o r s u s e d l a t e n t c l a s s m o d e l s c o n s i s t i n g o f f o u r d e p e n d e n t i n d i c a t o r v a r i a b l e s a n d e q u a l m i x i n g p r o p o r t i o n s a m o n g l a t e n t c l a s s e s E x p e r i m e n t a l c o n d i t i o n s i n c l u d e d s a m p l e s i z e ( N s = 2 4 0 4 8 0 9 6 0 a n d 1 9 2 0 c a s e s ) m o d e l t y p e ( i e i n d e p e n d e n c e P r o c t o r

PAGE 34

2 5 u n i f o r m i n t r u s i o n o m i s s i o n e r r o r G o o d m a n e x t e n d e d P r o c t o r m o d e l s a n d e x t e n d e d i n t r u s i o n o m i s s i o n e r r o r m o d e l s ) c o n d i t i o n a l r e s p o n s e p r o b a b i l i t i e s a n d e r r o r r a t e s M o n t e C a r l o s i m u l a t i o n w a s c o n d u c t e d u s i n g 5 0 0 r e p l i c a t i o n s a s s u m i n g ( e x c e p t f o r t h e i n d e p e n d e n c e m o d e l ) a t r u e a l t e r n a t i v e h y p o t h e s i s o f a t w o c l a s s m i x t u r e d i s t r i b u t i o n i n t h e p s e u d o p o p u l a t i o n A c c u r a c y w a s d e f i n e d a s t h e p e r c e n t a g e o f c o r r e c t s e l e c t i o n s o f t h e t r u e m o d e l w i t h i n a s e t o f r e p l i c a t i o n s ( L i n & D a y t o n 1 9 9 7 p 2 5 5 ) R e s u l t s o f t h e s t u d y i n d i c a t e d t h a t t h e a c c u r a c y o f t h e m o d e l s e l e c t i o n c r i t e r i a w a s r e l a t e d t o m o d e l t y p e a n d s a m p l e s i z e w i t h m o r e c o m p l e x m o d e l s a n d s m a l l e r s a m p l e s i z e s f a v o r i n g u s e o f t h e A I C o v e r t h e B I C a n d C A I C I n g e n e r a l t h e A I C i n d i c a t e d a p r e f e r e n c e t o o v e r p a r a m e t e r i z e m o d e l s w h e r e a s t h e B I C a n d C A I C f a v o r e d m o d e l s w i t h s m a l l e r n u m b e r s o f l a t e n t c l a s s e s A l t h o u g h n o s i n g l e c r i t e r i o n i n d i c a t e d o v e r a l l s u p e r i o r i t y i n t e r m s o f a p p l i c a b i l i t y t h e a u t h o r s s u g g e s t e d t h a t s a m p l e s i z e r e q u i r e m e n t s f o r t h e p r a c t i c a l u s e o f t h e B I C a n d C A I C m a y b e p r o h i b i t i v e t h u s f a v o r i n g t h e g e n e r a l u s e o f t h e A I C Y a n g ( 1 9 9 9 ) a l s o e x a m i n e d t h e p e r f o r m a n c e o f v a r i o u s m o d e l s e l e c t i o n c r i t e r i a t o c o r r e c t l y i d e n t i f y m i x t u r e s i n t h e L C M ; h o w e v e r h e f u r t h e r g e n e r a l i z e d L i n a n d D a y t o n ’ s ( 1 9 9 7 ) s t u d y b y e x a m i n i n g t h e a b i l i t y o f s e v e r a l a d d i t i o n a l c r i t e r i a i n c l u d i n g t h e L R T ( s e e T a b l e 1 ) Y a n g a l s o c o n s i d e r e d m u l t i p l e h y p o t h e s e s o f a t r u e o n e c l a s s m o d e l t e s t e d a g a i n s t f a l s e t w o t h r o u g h f o u r c l a s s m o d e l s a t r u e t w o c l a s s m o d e l t e s t e d a g a i n s t f a l s e o n e t h r e e a n d f o u r c l a s s m o d e l s a n d s o o n A g a i n M o n t e C a r l o s i m u l a t i o n u t i l i z i n g 5 0 0 r e p l i c a t i o n s w a s u s e d w i t h e q u a l m i x i n g p r o p o r t i o n s a m o n g a l l e x a m i n e d m o d e l s E x p e r i m e n t a l c o n d i t i o n s i n t h i s s t u d y c o n s i s t e d o f s a m p l e s i z e ( N s = 4 0 0 a n d 8 0 0 ) n u m b e r o f i n d i c a t o r v a r i a b l e s ( 7 v s 1 4 ) a n d c o n d i t i o n a l p r o b a b i l i t y s t r u c t u r e ( i e h o w d i s t i n c t t h e l a t e n t c l a s s e s w e r e f r o m e a c h o t h e r c l a s s i f i e d a s e a s y

PAGE 35

2 6 m o d e r a t e d i f f i c u l t a n d o r d e r e d ) A c c u r a c y r a t e s w e r e d e f i n e d a s t h e p e r c e n t a g e o f r e p l i c a t i o n s t h a t i d e n t i f i e d t h e c o r r e c t n u m b e r o f l a t e n t c l a s s e s a c r o s s a l l l a t e n t c l a s s m o d e l c o m p a r i s o n s R e s u l t s b y e x p e r i m e n t a l c o n d i t i o n i n d i c a t e d t h a t a c c u r a c y w a s r e l a t e d t o t h e s t r u c t u r e o f t h e c o n d i t i o n a l p r o b a b i l i t i e s a n d t h e n u m b e r o f i n d i c a t o r v a r i a b l e s w i t h i n a m o d e l M o r e c o m p l e x m o d e l s a n d m o d e l s w i t h f e w e r i n d i c a t o r v a r i a b l e s d e m o n s t r a t e d l o w e r a c c u r a c y r a t e s e x c e p t f o r t h e A I C w h i c h d i d n o t e x p e r i e n c e a c h a n g e i n a c c u r a c y b e t w e e n m o d e l s w i t h 7 o r 1 4 i n d i c a t o r v a r i a b l e s L a r g e r s a m p l e s i z e s h a d t h e e f f e c t o f i m p r o v i n g a c c u r a c y f o r m o s t o f t h e e x a m i n e d m o d e l s e l e c t i o n c r i t e r i a ( e s p e c i a l l y f o r t h e B I C a n d A B I C ) ; h o w e v e r f o r t h e A I C a n d L R T l a r g e r s a m p l e s i z e s w e r e f o u n d t o p r o d u c e l o w e r a c c u r a c y r a t e s R e s u l t s a v e r a g e d a c r o s s a l l e x p e r i m e n t a l c o n d i t i o n s i n d i c a t e d t h a t t h e D B I C a n d t h e A B I C e x h i b i t e d t h e b e s t a c c u r a c y w i t h t h e A B I C s e l e c t i n g t h e g r e a t e s t o v e r a l l p e r c e n t a g e o f t r u e l a t e n t c l a s s e s ( a p p r o x i m a t e l y 9 6 % ) T h e A I C a l s o p e r f o r m e d r e l a t i v e l y w e l l s e l e c t i n g t h e c o r r e c t n u m b e r o f l a t e n t c l a s s e s a p p r o x i m a t e l y 8 6 % o f t h e t i m e ; h o w e v e r t h i s m e a s u r e a g a i n s h o w e d a p r e d i s p o s i t i o n t o f a v o r m o d e l s w i t h l a r g e r n u m b e r s o f l a t e n t c l a s s e s O n t h e o t h e r h a n d t h e B I C a n d L R T p e r f o r m e d r e l a t i v e l y p o o r l y w i t h o v e r a l l a c c u r a c y r a t e s o f 7 5 % a n d 7 3 % r e s p e c t i v e l y a n d w e r e n o t r e c o m m e n d e d f o r u s e i n p r a c t i c a l r e s e a r c h a p p l i c a t i o n s I n t a n d e m M o n t e C a r l o s i m u l a t i o n s t u d i e s M a s y n a n d B r o w n ( 2 0 0 1 ) e x t e n d e d t h e l i t e r a t u r e f r o m l a t e n t c l a s s e n u m e r a t i o n i n t h e L C M t o l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n i n t h e g r o w t h m i x t u r e m o d e l ( G M M ) T h e f i r s t f o c u s o f t h i s j o i n t s t u d y w a s t o a n a l y z e t h e p e r f o r m a n c e o f p e n a l i z e d i n f o r m a t i o n c r i t e r i a ( i e t h e A I C B I C A B I C ) ; c l a s s i f i c a t i o n b a s e d i n f o r m a t i o n c r i t e r i a i n c l u d i n g t h e C l a s s i f i c a t i o n L i k e l i h o o d C r i t e r i o n

PAGE 36

2 7 ( C L C ; B i e r n a c k i & G o v a e r t 1 9 9 7 ) t h e N o r m a l i z e d E n t r o p y C r i t e r i o n ( N E C ; C e l e u x & S o r o m e n h o 1 9 9 6 ) a n d t h e I n t e g r a t e d C l a s s i f i c a t i o n L i k e l i h o o d ( I C L B I C ; B i e r n a c k i C e l e u x & G o v a e r t 1 9 9 8 ) ; a n d t h e L R T ( b a s e d o n b o t h c e n t r a l a n d n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n s ) a s t h e y r e l a t e d t o t h e a b i l i t y t o r e j e c t o v e r p a r a m e t e r i z e d m o d e l s ( i e e r r o n e o u s m u l t i p l e l a t e n t t r a j e c t o r y c l a s s e s ) G i v e n t h i s f o c u s t h i s p a r t o f t h e s t u d y w a s b a s e d o n a t r u e n u l l h y p o t h e s i s o f a s i n g l e l a t e n t t r a j e c t o r y c l a s s f o r t h e p s e u d o p o p u l a t i o n v e r s u s a f a l s e a l t e r n a t i v e h y p o t h e s i s o f t w o l a t e n t t r a j e c t o r y c l a s s e s E x p e r i m e n t a l c o n d i t i o n s w e r e s p e c i f i e d a s v a r i o u s s a m p l e s i z e s ( N s = 1 0 0 2 0 0 ) n u m b e r o f r e p e a t e d m e a s u r e s ( i e 3 a n d 5 t i m e p o i n t s ) p r o p o r t i o n o f e x p l a i n e d v a r i a n c e ( i e 1 0 4 0 a n d 8 0 ) i n t e r c e p t v a r i a n c e s ( s s = 2 5 1 0 a n d 2 0 ) s l o p e m e a n s ( m s = 0 1 0 5 a n d 1 0 ) a n d m i x i n g p r o p o r t i o n s ( i e i n t h e a l t e r n a t i v e t w o c l a s s m o d e l s ; p s = 1 0 2 0 a n d 5 0 ) P e r f o r m a n c e w a s d e f i n e d a s t h e p e r c e n t a g e o f 2 0 0 r e p l i c a t i o n s t h a t c o r r e c t l y i d e n t i f i e d t h e o n e l a t e n t t r a j e c t o r y c l a s s m o d e l a s h a v i n g t h e o p t i m a l f i t R e s u l t s i n d i c a t e d t h a t t h e L R T b a s e d o n a n e m p i r i c a l l y b a s e d n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n c o n s i s t e n t l y d e m o n s t r a t e d s u p e r i o r a b i l i t y t o i d e n t i f y t h e t r u e o n e c l a s s m o d e l o v e r t h e f a l s e t w o c l a s s m o d e l M o r e o v e r t h e I C L B I C a n d B I C d e m o n s t r a t e d m o d e r a t e p e r f o r m a n c e ( i n t h e r a n g e o f 4 0 % t o 6 0 % ) a c r o s s a l l e x p e r i m e n t a l c o n d i t i o n s T h e A I C B I C A B I C a n d L R T b a s e d o n a c e n t r a l c h i s q u a r e d i s t r i b u t i o n h o w e v e r s h o w e d p o o r p e r f o r m a n c e i n g u a r d i n g a g a i n s t o v e r p a r a m e t e r i z e d m o d e l s T h e s e c o n d p a r t o f t h e j o i n t s t u d y f o c u s e d e x c l u s i v e l y o n t h e a b i l i t y o f t h e B I C A I C A B I C a n d L R T t o c o r r e c t l y d e t e r m i n e t h e n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s i n a p s e u d o p o p u l a t i o n d e r i v e d f r o m a m i x t u r e o f t w o d i s t i n c t d i s t r i b u t i o n s T h e c o m p a r i s o n h e r e w a s b e t w e e n a t r u e a l t e r n a t i v e h y p o t h e s i s o f t w o l a t e n t t r a j e c t o r y c l a s s e s ( w i t h e q u a l

PAGE 37

2 8 m i x i n g p r o p o r t i o n s ) a n d f a l s e n u l l h y p o t h e s e s o f o n e o r t h r e e l a t e n t t r a j e c t o r y c l a s s e s ( i e c o m p a r i n g b o t h u n d e r a n d o v e r p a r a m e t e r i z e d m o d e l s ) E x p e r i m e n t a l c o n d i t i o n s i n c l u d e d v a r i o u s l a t e n t c l a s s t r a j e c t o r i e s e x p r e s s e d a s s t a n d a r d i z e d d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s b e t w e e n c l a s s e s ( d s = 0 5 0 8 a n d 1 0 ) p r o p o r t i o n o f v a r i a n c e e x p l a i n e d b y l e v e l 2 g r o w t h p a r a m e t e r s ( 4 0 6 0 a n d 8 0 ) s a m p l e s i z e ( N s = 4 0 0 6 0 0 a n d 8 0 0 ) a n d n u m b e r o f r e p e a t e d m e a s u r e s ( i e 3 6 a n d 9 t i m e p o i n t s ) H e r e p e r f o r m a n c e w a s d e f i n e d i n t e r m s o f s t a t i s t i c a l p o w e r w h i c h w a s o p e r a t i o n a l i z e d a s t h e p r o p o r t i o n o f 5 0 0 r e p l i c a t i o n s t h a t c o r r e c t l y r e j e c t e d t h e f a l s e n u l l h y p o t h e s e s R e s u l t s c o n t r a s t e d w i t h t h o s e f o u n d i n t h e f i r s t p a r t o f t h e s t u d y w i t h t h e A B I C a n d L R T s h o w i n g s u p e r i o r s t a t i s t i c a l p o w e r a n d t h e B I C d e m o n s t r a t i n g s i g n i f i c a n t l y l e s s p o w e r C o m p a r i s o n o f r e s u l t s f r o m b o t h p a r t s o f t h e i n v e s t i g a t i o n s u g g e s t e d t h a t t h e u t i l i t y o f m o d e l s e l e c t i o n c r i t e r i a w a s s t r o n g l y i n f l u e n c e d b y m o d e l o v e r o r u n d e r p a r a m e t e r i z a t i o n H o w e v e r t h e L R T s h o w e d g o o d a c c u r a c y o v e r a l l a n d t h e r e f o r e t h e a u t h o r s c o n c l u d e d t h a t t h e d i s t r i b u t i o n a l p r o p e r t i e s o f t h e L R T a s a m o d e l s e l e c t i o n c r i t e r i o n w a r r a n t e d f u r t h e r i n v e s t i g a t i o n M a s y n ( 2 0 0 1 ) e x p a n d e d t h e p r e v i o u s M o n t e C a r l o s i m u l a t i o n s t u d y b y c o n s i d e r i n g m u l t i p l e h y p o t h e s e s o f a ( a ) t r u e o n e c l a s s m o d e l t e s t e d a g a i n s t f a l s e t w o a n d t h r e e c l a s s m o d e l s ( b ) t r u e t w o c l a s s m o d e l t e s t e d a g a i n s t f a l s e o n e a n d t h r e e c l a s s m o d e l s a n d ( c ) t r u e t h r e e c l a s s m o d e l t e s t e d a g a i n s t f a l s e o n e a n d t w o c l a s s m o d e l s ( s i m i l a r t o Y a n g 1 9 9 9 ) a s w e l l a s i n c l u d i n g a b r o a d e r r a n g e o f l a t e n t c l a s s t r a j e c t o r i e s R e s u l t s f r o m t h i s s t u d y s u p p o r t e d t h e c o n c l u s i o n s o f t h e e a r l i e r M a s y n a n d B r o w n ( 2 0 0 1 ) s t u d y i n t h a t p e r f o r m a n c e o f m o d e l s e l e c t i o n c r i t e r i a d e p e n d e d o n w h e t h e r t h e t r u e m o d e l w a s c o m p a r e d t o a n o v e r p a r a m e t e r i z e d o r u n d e r p a r a m e t e r i z e d m o d e l S p e c i f i c a l l y t h e

PAGE 38

2 9 n o n c e n t r a l L R T a n d B I C w e r e s u p e r i o r w h e n o v e r p a r a m e t e r i z a t i o n w a s o f p r i n c i p a l c o n c e r n ( w i t h a v e r a g e a c c u r a c y r a t e s o f 9 9 % a n d 6 6 % r e s p e c t i v e l y ) ; t h e L R T b a s e d o n e i t h e r c e n t r a l o r n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n s f a v o r e d r e j e c t i o n o f u n d e r p a r a m e t e r i z e d m o d e l s ( w i t h a v e r a g e a c c u r a c y r a t e s o f 6 4 % a n d 6 5 % r e s p e c t i v e l y ) ; a n d a l l e x a m i n e d m o d e l s e l e c t i o n c r i t e r i a p e r f o r m e d c o m p a r a b l y w e l l w h e n t h e t r u e t w o c l a s s m o d e l w a s c o m p a r e d t o f a l s e o n e a n d t h r e e c l a s s m o d e l s ( w i t h a v e r a g e a c c u r a c y r a t e s r a n g i n g f r o m 7 9 % t o 8 2 % ) G i v e n t h e s u p e r i o r b e h a v i o r o f t h e L R T u n d e r v a r i o u s p a r a m e t e r i z a t i o n s M a s y n c o n c l u d e d t h a t i t s u s e a s a n i n f e r e n t i a l m e a s u r e o f g o o d n e s s o f f i t w a r r a n t e d f u r t h e r r e s e a r c h T h e a b o v e M o n t e C a r l o s t u d i e s o f l a t e n t c l a s s e n u m e r a t i o n a r e s u m m a r i z e d i n T a b l e 1 ( p r e s e n t e d i n c h r o n o l o g i c a l o r d e r ) D e s p i t e s o m e w h a t i n c o n s i s t e n t m e t h o d o l o g i e s a n d a m b i g u o u s f i n d i n g s t h e M o n t e C a r l o s t u d i e s d e s c r i b e d a b o v e s u g g e s t s o m e g e n e r a l p a t t e r n s F i r s t f i n d i n g s b y D u m e n c i a n d W i n d l e ( 2 0 0 1 ) L o e t a l ( 2 0 0 1 ) a n d M e n d e l l e t a l ( 1 9 9 1 ) s u g g e s t t h a t d i s t a n c e b e t w e e n l a t e n t c l a s s e s i s a p r i m a r y f a c t o r i n f l u e n c i n g t h e a b i l i t y t o c o r r e c t l y i d e n t i f y u n o b s e r v e d h e t e r o g e n e i t y ; h o w e v e r v a r i o u s p r o p o r t i o n s o f c a s e s i n m i x t u r e d i s t r i b u t i o n s a r e n o t s t r o n g l y r e l a t e d t o l a t e n t c l a s s i d e n t i f i c a t i o n W i t h r e g a r d t o e x a m i n e d m o d e l s e l e c t i o n c r i t e r i a L i n a n d D a y t o n ( 1 9 9 7 ) M a s y n a n d B r o w n ( 2 0 0 1 ) a n d Y a n g ( 1 9 9 9 ) f o u n d t h e p e r f o r m a n c e o f t h e B I C t o b e b e s t w h e n g u a r d i n g a g a i n s t o v e r p a r a m e t e r i z e d o r m o r e c o m p l e x m o d e l s T h a t i s t h e p e n a l t y ( r l n n ) t h a t t h e B I C i m p o s e s u p o n t h e e s t i m a t e d l o g l i k e l i h o o d t e n d s t o b e c o n s e r v a t i v e i n d i s c o u r a g i n g l a t e n t c l a s s e s t h a t a r e n o t t r u l y p r e s e n t i n t h e d a t a C o n v e r s e l y f i n d i n g s i n d i c a t e t h a t t h e A I C t y p i c a l l y p e r f o r m s b e s t i n m o d e l s t h a t c o n t a i n m u l t i p l e l a t e n t c l a s s e s a n d i n m o d e l s w i t h r e l a t i v e l y s m a l l e r s a m p l e s i z e s A d d i t i o n a l l y t h e s a m p l e s i z e

PAGE 39

3 0 a d j u s t m e n t t o t h e B I C a p p e a r s t o b e a n i m p r o v e m e n t s h o w i n g s u p e r i o r p e r f o r m a n c e o v e r t h e B I C i n M a s y n ( 2 0 0 1 ) M a s y n a n d B r o w n ( 2 0 0 1 ) a n d Y a n g ( 1 9 9 9 ) P e r h a p s t h e m o s t i m p o r t a n t c o n c l u s i o n g l e a n e d f r o m t h e s e s t u d i e s r e l a t e s t o t h e u t i l i t y o f t h e L R T a s a n i n f e r e n t i a l m e t h o d t o d e t e r m i n e t h e n u m b e r o f l a t e n t c l a s s e s i n m i x t u r e d i s t r i b u t i o n s W h e n c e n t r a l c h i s q u a r e d i s t r i b u t i o n s a r e c o n s i d e r e d m o d e l s e l e c t i o n f a v o r s r e j e c t i o n o f o v e r p a r a m e t e r i z e d m o d e l s H o w e v e r u t i l i z a t i o n o f a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n i m p r o v e s t h e a b i l i t y o f t h e L R T t o r e j e c t b o t h f a l s e o v e r a n d u n d e r p a r a m e t e r i z e d m o d e l s N o n e t h e l e s s r e s u l t s f r o m a l l s t u d i e s p o i n t t o t h e f a c t t h a t a c c u r a t e d e t e c t i o n o f l a t e n t c l a s s e s i n m i x t u r e d i s t r i b u t i o n s i s n o t e a s i l y o b t a i n e d a n d r e q u i r e s a h i g h d e g r e e o f i n f o r m a t i o n ( e g l a r g e n u m b e r o f o b s e r v a t i o n s l a r g e s e p a r a t i o n b e t w e e n c l a s s e s ) A p p l i c a t i o n s o f G r o w t h M i x t u r e M o d e l i n g A r e v i e w o f s e v e r a l a p p l i c a t i o n s o f g r o w t h m i x t u r e m o d e l i n g i l l u s t r a t e s t h e p o t e n t i a l o f t h e m e t h o d a s w e l l a s i n c o n s i s t e n c i e s i n d e t e r m i n i n g t h e o p t i m a l n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s b a s e d o n m o d e l s e l e c t i o n c r i t e r i a H o w e v e r g i v e n t h e r e c e n t i n t r o d u c t i o n o f t h e g r o w t h m i x t u r e m o d e l ( G M M ) t h e n u m b e r o f s t u d i e s t h a t h a v e u t i l i z e d t h e t e c h n i q u e i s r e l a t i v e l y s m a l l ( e g C o l d e r e t a l 2 0 0 1 ; C o l d e r C a m p b e l l R u e l R i c h a r d s o n & F l a y 2 0 0 2 ; D e d r i c k G r e e n b a u m & V a u g h n 2 0 0 1 ; G r e e n b a u m D e d r i c k & B r o w n 2 0 0 0 a 2 0 0 0 b ; G r e e n b a u m D e l B o c a D a r k e s & G o l d m a n 2 0 0 1 ; L i D u n c a n & H o p s 2 0 0 1 ; M u t h n K h o o F r a n c i s & B o s c a r d i n 2 0 0 0 ; M u t h n e t a l 2 0 0 2 ; O x f o r d e t a l 2 0 0 3 ; P e t r a s e t a l 2 0 0 1 ; T u c k e r O r l a n d o & E l l i c k s o n 2 0 0 3 ; a s u m m a r y o f t h e s e s t u d i e s i s p r e s e n t e d i n T a b l e 2 ) T h e f e w s t u d i e s t h a t d o e x i s t c o n s i s t e n t l y h a v e r e l i e d o n t h e B I C A I C A B I C a n d / o r L R T ( a l o n g w i t h c o n s i d e r a t i o n o f s u b s t a n t i v e t h e o r y a n d m o d e l p a r s i m o n y ) t o h e l p d e t e r m i n e t h e o p t i m a l n u m b e r o f l a t e n t t r a j e c t o r y

PAGE 40

3 1 c l a s s e s i n t h e i r s a m p l e d a t a R e s u l t s f r o m s e v e r a l o f t h e s e a p p l i e d s t u d i e s h a v e s h o w n t h a t e n u m e r a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s o f t e n d e p e n d s u p o n w h i c h m o d e l s e l e c t i o n c r i t e r i o n i s u s e d F o r e x a m p l e P e t r a s e t a l ( 2 0 0 1 ) u s e d G M M t o e x a m i n e t h e r e l a t i o n s h i p b e t w e e n s c h o o l r e m o v a l ( i e s u s p e n s i o n o r e x p u l s i o n ) a n d d e v e l o p m e n t a l t r a j e c t o r i e s o f a g g r e s s i v e b e h a v i o r i n a s a m p l e o f 2 0 0 b o y s c o m p r i s i n g t h e c o n t r o l c o n d i t i o n o f a l a r g e s c a l e s c h o o l b a s e d p r e v e n t i v e i n t e r v e n t i o n ( K e l l a m & R e e b o k 1 9 9 2 ) R e s u l t s f r o m t h e s t u d y i n d i c a t e d t h a t t h e o p t i m a l n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s ( i e b e s t f i t t i n g m o d e l ) f o r c l a s s r o o m a g g r e s s i o n d e p e n d e d o n t h e c r i t e r i o n u s e d — w i t h t h e B I C i n d i c a t i n g a t h r e e c l a s s s o l u t i o n a n d t h e A B I C A I C a n d L R T i n d i c a t i n g f o u r l a t e n t t r a j e c t o r y c l a s s e s i n t h e d a t a A d d i t i o n a l l y G r e e n b a u m D e l B o c a D a r k e s a n d G o l d m a n ( 2 0 0 1 ) e x a m i n e d u n o b s e r v e d h e t e r o g e n e i t y i n l o n g i t u d i n a l p a t t e r n s o f a l c o h o l u s e i n 2 2 9 c o l l e g e f r e s h m e n U s i n g t h e G G M M f r a m e w o r k t h e a u t h o r s m o d e l e d a l c o h o l c o n s u m p t i o n a s a l i n e a r f u n c t i o n o f t i m e ( f r o m s t a r t o f s c h o o l ) w i t h a n a d d i t i o n a l f a c t o r a c c o u n t i n g f o r p e a k c o n s u m p t i o n o c c u r r i n g d u r i n g h o l i d a y p e r i o d s T h e i r s t u d y a l s o s h o w e d c o n f l i c t i n g n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s w i t h t h e B I C i n d i c a t i n g a f o u r c l a s s m o d e l a n d t h e A I C a n d A B I C i n d i c a t i n g a f i v e c l a s s m o d e l L i D u n c a n a n d H o p s ( 2 0 0 1 ) a l s o u s e d G G M M t o m o d e l l o n g i t u d i n a l p a t t e r n s o f a l c o h o l u s e B a s e d o n a s a m p l e o f 1 7 9 m i d d l e a n d h i g h s c h o o l a d o l e s c e n t s t h e i r s t u d y e m p l o y e d a p i e c e w i s e m o d e l i n g a p p r o a c h c o m p a r i n g t r a j e c t o r i e s o f a l c o h o l u s e d u r i n g m i d d l e s c h o o l a n d h i g h s c h o o l y e a r s E n u m e r a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s r e l i e d o n t h e B I C A I C a n d A B I C a s t h e e m p i r i c a l c r i t e r i a f o r m o d e l s e l e c t i o n L a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n b a s e d o n B I C A I C a n d A B I C f o l l o w e d a p a t t e r n s i m i l a r t o t h e t w o a f o r e m e n t i o n e d s t u d i e s w i t h

PAGE 41

3 2 t h e B I C i n d i c a t i n g a n o p t i m a l f i t f o r t h e o n e c l a s s m o d e l a n d t h e A I C a n d A B I C s u p p o r t i n g a t w o c l a s s m o d e l ( r e s u l t s f o r t h r e e c l a s s m o d e l w e r e f o u n d t o b e u n s t a b l e ) A l t h o u g h t h e a u t h o r s d i d n o t u s e t h e L R T i n t h e i r d e t e r m i n a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s e x a m i n a t i o n o f l o g l i k e l i h o o d s f o r t h e o n e c l a s s a n d t w o c l a s s m o d e l s p r o v i d e d i n t h e s t u d y i n d i c a t e d t h a t t h e L R T a l s o w o u l d h a v e l e d t o t h e s e l e c t i o n o f t h e t w o c l a s s m o d e l a s h a v i n g a s i g n i f i c a n t l y ( p < 0 5 ) b e t t e r f i t t h a n t h e o n e c l a s s m o d e l T h e s e s t u d i e s s u g g e s t t h a t t h e d i f f e r e n t c r i t e r i a f o r l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n c a n p r o d u c e d i f f e r e n t r e s u l t s I n f a c t h a l f o f t h e e i g h t s t u d i e s r e v i e w e d i n T a b l e 2 h a v e m o d e l s e l e c t i o n c r i t e r i a p r o d u c i n g d i s c r e p a n t n u m b e r s o f c l a s s e s w i t h t h e B I C c o n s i s t e n t l y i d e n t i f y i n g o n e l e s s c l a s s t h a n t h e A I C a n d A B I C I t i s a l s o n o t e d t h a t d e s p i t e t h e m o d e s t s a m p l e s i z e s u s e d b y t h e s t u d i e s ( r a n g i n g f r o m 1 0 0 t o 4 4 2 p a r t i c i p a n t s ) m u l t i p l e l a t e n t t r a j e c t o r y c l a s s e s a r e n e v e r t h e l e s s p r e s e n t i n t h e d a t a A l t h o u g h t h e s e s t u d i e s d i d n o t p r e s e n t e n o u g h i n f o r m a t i o n t o a s s e s s t h e i r r e s p e c t i v e p o w e r a n d a c c u r a c y t o e n u m e r a t i o n l a t e n t t r a j e c t o r y c l a s s e s t h e y d o i l l u s t r a t e t h a t t h e c o n d i t i o n s n e c e s s a r y t o i d e n t i f y m i x t u r e d i s t r i b u t i o n s i n l o n g i t u d i n a l d a t a a r e p r a c t i c a b l e

PAGE 42

3 3 C h a p t e r T h r e e M e t h o d A s d e s c r i b e d i n C h a p t e r 1 t h i s s t u d y u s e d M o n t e C a r l o s i m u l a t i o n a s t h e m e t h o d t o d e r i v e e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y f o r e n u m e r a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s i n t h e g r o w t h m i x t u r e m o d e l ( G M M ) R e c e n t l y M o n t e C a r l o s i m u l a t i o n h a s b e e n a d v a n c e d a s a t e c h n i q u e t o e v a l u a t e v a r i o u s a s p e c t s o f s t r u c t u r a l e q u a t i o n m o d e l s F o r e x a m p l e P a x t o n C u r r a n B o l l e n K i r b y a n d C h e n ( 2 0 0 1 ) p r o v i d e d d e t a i l e d s t e p s t o h e l p g u i d e r e s e a r c h e r s u s i n g M o n t e C a r l o s i m u l a t i o n i n t h e i r a n a l y s i s o f s u c h m o d e l s T h e y s u g g e s t e d t h a t r e s e a r c h e r s c o n s i d e r t h e f o l l o w i n g s t e p s : 1 D e v e l o p r e s e a r c h q u e s t i o n s b a s e d o n t h e o r e t i c a l c o n s i d e r a t i o n s 2 C o r r e c t l y s p e c i f y t h e h y p o t h e s i z e d m o d e l 3 C h o o s e p o p u l a t i o n p a r a m e t e r s f o r t h e s i m u l a t e d d a t a 4 S e l e c t t h e c o n d i t i o n s o f t h e e x p e r i m e n t 5 C h o o s e s o f t w a r e f o r d a t a s i m u l a t i o n a n d a n a l y s i s 6 E x e c u t e t h e s i m u l a t i o n 7 T r o u b l e s h o o t p r o b l e m s a n d v e r i f y r e s u l t s 8 S u m m a r i z e a n d p r e s e n t t h e r e s u l t s T h e s e s t e p s p r o v i d e a u s e f u l g u i d e f o r t h e a n a l y s i s o f p o w e r a n d a c c u r a c y i n l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n a s w e l l W i t h t h e e x c e p t i o n o f S t e p 8 ( w h i c h i s d i s c u s s e d i n t h e n e x t c h a p t e r ) t h e s e s t e p s a l s o p r o v i d e t h e o r g a n i z a t i o n f o r t h i s c h a p t e r

PAGE 43

3 4 D e v e l o p m e n t o f R e s e a r c h Q u e s t i o n s A s t h e f i r s t s t e p i n t h e d e v e l o p m e n t o f a v a l i d a n d u s e f u l M o n t e C a r l o s i m u l a t i o n s t u d y t h e d e p t h a n d b r e a d t h o f r e s e a r c h q u e s t i o n s a r e o f f u n d a m e n t a l i m p o r t a n c e A s P a x t o n e t a l ( 2 0 0 1 ) p o i n t o u t … t h e g o a l i s t o c o n s t r u c t a n o p t i m a l m a t c h b e t w e e n t h e r e s e a r c h q u e s t i o n a n d t h e e x p e r i m e n t a l d e s i g n ( p 2 9 1 ) T h e r e s e a r c h q u e s t i o n s p r o p o s e d i n t h i s s t u d y ( l i s t e d i n C h a p t e r O n e ) w e r e d e r i v e d f r o m a p r a c t i c a l c o n s i d e r a t i o n o f r e s e a r c h e r s ’ n e e d t o k n o w h o w w e l l t h e G M M c a n c o r r e c t l y i d e n t i f y l a t e n t t r a j e c t o r y c l a s s e s S p e c i f i c a l l y t h i s s t u d y w a s m o t i v a t e d b y t h e p a u c i t y o f k n o w l e d g e o f t h e s t u d y d e s i g n a n d p o p u l a t i o n c h a r a c t e r i s t i c s t h a t a r e n e c e s s a r y t o i d e n t i f y e x i s t i n g m i x t u r e d i s t r i b u t i o n s i n l o n g i t u d i n a l d a t a A l t h o u g h a v a r i e t y o f e x p e r i m e n t a l c o n d i t i o n s c a n b e c o n s i d e r e d t o i m p a c t d e t e c t i o n o f l a t e n t t r a j e c t o r y c l a s s e s t h i s s t u d y e x a m i n e d s i x s p e c i f i c c o n d i t i o n s : t h r e e d e s i g n c o n d i t i o n s t h a t c a n b e m a n i p u l a t e d b y t h e r e s e a r c h e r ( i e s a m p l e s i z e n u m b e r o f r e p e a t e d m e a s u r e s a n d p l a n n e d m i s s i n g n e s s ) a n d t h r e e p o p u l a t i o n c o n d i t i o n s t h a t c a n b e e s t i m a t e d b y t h e r e s e a r c h e r ( i e b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e p a r a m e t e r s a n d w i t h i n c l a s s c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ) R e s e a r c h q u e s t i o n s d e v e l o p e d i n t h i s s t u d y t h e r e f o r e w e r e d e s i g n e d t o a d d r e s s t h e d e v i l s t h a t r e s i d e i n t h e d e t a i l s o f s t u d y d e s i g n a n d i m p l e m e n t a t i o n H o w e v e r r e s e a r c h q u e s t i o n s i n t h i s s t u d y a l s o w e r e d e s i g n e d t o a d d r e s s t h e b i g p i c t u r e a s w e l l I n h i s d i s c u s s i o n o f M o n t e C a r l o s i m u l a t i o n d e s i g n a n d a n a l y s i s S k r o n d a l ( 2 0 0 0 ) p o i n t e d o u t t h e n e e d t o e x p l i c a t e t h e r e l a t i o n s h i p b e t w e e n e x p e r i m e n t a l c o n d i t i o n s a n d p e r f o r m a n c e c r i t e r i a i n t e r m s o f a m e t a m o d e l I n t h i s s t u d y s t a t i s t i c a l

PAGE 44

3 5 p o w e r a n d a c c u r a c y w e r e t h e o r i z e d t o b e p o s i t i v e l y r e l a t e d t o c o n d i t i o n s t h a t i n c r e a s e d t h e G M M ’ s a b i l i t y t o d i s c e r n t h e t r u e n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s i n l o n g i t u d i n a l d a t a ( e g l a r g e r s a m p l e s i z e g r e a t e r n u m b e r o f r e p e a t e d m e a s u r e s m o r e e x p l a i n e d v a r i a n c e e t c ) T h e m e t a m o d e l f o r e x p e r i m e n t a l c o n d i t i o n s u s e d h e r e r e l a t e d a n o v e r a l l m e a s u r e o f s e p a r a t i o n o r d i s t i n c t i o n b e t w e e n c o m p e t i n g m o d e l s t o e m p i r i c a l l y d e r i v e d e s t i m a t e s o f p o w e r a n d a c c u r a c y T h i s m e a s u r e w a s o p e r a t i o n a l i z e d a s a n o n c e n t r a l i t y p a r a m e t e r (n2) b a s e d o n t h e d i s t r i b u t i o n s o f d i f f e r e n c e s i n l o g l i k e l i h o o d s b e t w e e n f a l s e o n e c l a s s a n d t r u e t w o c l a s s m o d e l s a n d w a s e x a m i n e d i n o r d e r t o p r o v i d e a m e a s u r e o f v a r i o u s c o m b i n a t i o n s o f e x p e r i m e n t a l c o n d i t i o n s n o t e a s i l y d i s p l a y e d i n t w o d i m e n s i o n a l r e p r e s e n t a t i o n s o f s t a t i s t i c a l p o w e r o r a c c u r a c y F u r t h e r m o r e t h i s m e a s u r e w a s i n c o r p o r a t e d t o p r o v i d e a m e a n s t o e s t i m a t e p o w e r a n d a c c u r a c y f o r e x p e r i m e n t a l c o n d i t i o n s n o t e x a m i n e d i n t h i s s t u d y T h e o r e t i c a l c o n s i d e r a t i o n a l s o w a s g i v e n t o t h e n a t u r e o f t h e h y p o t h e s i s i n q u e s t i o n F o l l o w i n g t h e e x a m p l e p r o v i d e d b y M c L a c h l a n a n d P e e l ( 2 0 0 1 p 1 8 5 ) t h e h y p o t h e s i s f o r t h e e x a m i n a t i o n o f s t a t i s t i c a l p o w e r w a s : H0: k = k0 ( w h e r e k0 = 1 l a t e n t t r a j e c t o r y c l a s s ) v e r s u s a t r u e a l t e r n a t i v e h y p o t h e s i s HA: k = k1 ( w h e r e k1 = 2 l a t e n t t r a j e c t o r y c l a s s e s ) A d d i t i o n a l l y a s e c o n d h y p o t h e s i s w a s s p e c i f i e d t o a d d r e s s m o d e l a c c u r a c y : H0: k = k0 ( w h e r e k0 = 1 o r 3 l a t e n t t r a j e c t o r y c l a s s e s ) v e r s u s a t r u e a l t e r n a t i v e h y p o t h e s i s HA: k = k1 ( w h e r e k1 = 2 l a t e n t t r a j e c t o r y c l a s s e s )

PAGE 45

3 6 T h e s e h y p o t h e s e s a d d r e s s e d b o t h t h e s t a t i s t i c a l p o w e r o f t h e G M M w h e r e t h e r e s e a r c h e r w i s h e s t o c o r r e c t l y r e j e c t m o d e l s t h a t d o n o t i d e n t i f y m u l t i p l e l a t e n t t r a j e c t o r y c l a s s e s a s w e l l a s p o t e n t i a l o v e r p a r a m e t e r i z a t i o n o f t h e G M M w h e r e t h e r e s e a r c h e r w i s h e s t o a v o i d s e l e c t i n g a m o d e l w i t h a g r e a t e r n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s t h a n t r u l y e x i s t i n t h e d a t a M o d e l S p e c i f i c a t i o n A s d e s c r i b e d i n C h a p t e r O n e t h e G M M c o m b i n e s e l e m e n t s o f t h e l a t e n t g r o w t h c u r v e m o d e l a n d t h e l a t e n t v a r i a b l e m i x t u r e m o d e l t o d e s c r i b e g r o w t h c u r v e t r a j e c t o r i e s f o r u n o b s e r v e d c l a s s e s o f i n d i v i d u a l s E s s e n t i a l l y t h e m o d e l c o n s i s t s o f l a t e n t g r o w t h f a c t o r s ( e g i n t e r c e p t [ h0] l i n e a r [ h1] o r q u a d r a t i c [ h2] t e r m s ) d e r i v e d f r o m a r e g r e s s i o n o f a r e p e a t e d l y m e a s u r e d i n d i c a t o r v a r i a b l e ( yi t) U n o b s e r v e d h e t e r o g e n e i t y i n i n d i v i d u a l g r o w t h t r a j e c t o r i e s i s m o d e l e d b y t h e a d d i t i o n o f m i x t u r e s i n t o t h e m o d e l c o r r e s p o n d i n g t o K l a t e n t c l a s s e s S p e c i f i c a t i o n o f t h e G M M e x a m i n e d i n t h i s s t u d y w a s g u i d e d b y t h e d e s i r e f o r r e s u l t s t o b e g e n e r a l i z a b l e t o a p p l i e d r e s e a r c h s t u d i e s A l t h o u g h t h e e x t e r n a l v a l i d i t y o f a M o n t e C a r l o s i m u l a t i o n s t u d y i s o f p r i n c i p a l c o n c e r n ( S k r o n d a l 2 0 0 0 ) s o m e s i m p l i f y i n g a s s u m p t i o n s n e e d e d t o b e m a d e i n o r d e r f o r t h e c u r r e n t s t u d y t o b e p r a c t i c a b l e F o r e x a m p l e t h e G M M s p e c i f i e d i n t h i s s t u d y m o d e l e d c h a n g e i n n o r m a l l y d i s t r i b u t e d i n d i c a t o r v a r i a b l e s a n d a s s u m e d t h a t i n d i v i d u a l t r a j e c t o r i e s w e r e l i n e a r ( i e d i d n o t i n c l u d e q u a d r a t i c o r h i g h e r o r d e r g r o w t h f a c t o r s ) A d d i t i o n a l l y t h e m o d e l a s s u m e d t h a t r e s i d u a l v a r i a n c e s a m o n g i n d i c a t o r v a r i a b l e s w e r e h o m o s c e d a s t i c a n d u n c o r r e l a t e d a n d t h a t r e s i d u a l v a r i a n c e s a n d c o v a r i a n c e s o f b o t h i n d i c a t o r v a r i a b l e s a n d g r o w t h f a c t o r s w e r e i n v a r i a n t a c r o s s l a t e n t t r a j e c t o r y c l a s s e s M o r e o v e r t h e G M M e x a m i n e d i n t h i s

PAGE 46

3 7 s t u d y d i d n o t i n c l u d e c o v a r i a t e s o r o u t c o m e v a r i a b l e s ( a n d c o n s e q u e n t l y w a s n o t a g e n e r a l g r o w t h m i x t u r e m o d e l ) n o r d i d i t i n c o r p o r a t e t r a i n i n g d a t a ( i e c a s e s w i t h k n o w n c l a s s m e m b e r s h i p ) E s t i m a t i o n o f s t a t i s t i c a l p o w e r a n d a c c u r a c y r e q u i r e d t h e s p e c i f i c a t i o n o f f i v e d i f f e r e n t t y p e s o f m o d e l s T h e s e m o d e l s a r e i t e m i z e d a s f o l l o w s : 1 A o n e c l a s s G M M e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 1T) 2 A t w o c l a s s G M M e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 2F) 3 A o n e c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 1F) 4 A t w o c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 2T) 5 A t h r e e c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 3F) F o r e x a m p l e i n o r d e r t o e s t i m a t e p o w e r a n d a c c u r a c y a t a n o m i n a l = 0 5 d e t e r m i n a t i o n o f e f f e c t i v e T y p e I e r r o r r a t e s f o r e a c h e x p e r i m e n t a l c o n d i t i o n r e q u i r e d c o m p a r i n g m o d e l s e l e c t i o n c r i t e r i a b e t w e e n K 1T v e r s u s K 2F m o d e l s ( f o r p o w e r ) a n d b e t w e e n K 2T v e r s u s K 3F m o d e l s ( f o r a c c u r a c y ) S i m i l a r l y e s t i m a t i o n o f s t a t i s t i c a l p o w e r t o d e t e c t a t w o c l a s s m o d e l o v e r a o n e c l a s s m o d e l r e q u i r e d t h e c o m p a r i s o n o f K 1F v e r s u s K 2T m o d e l s ; e s t i m a t i o n o f a c c u r a c y r e q u i r e d t h e c o m p a r i s o n o f K 2T w i t h b o t h K 1F a n d K 3F m o d e l s S e e A p p e n d i x A f o r M p l u s i n p u t s y n t a x u s e d t o e s t i m a t e t h e s e m o d e l s P o p u l a t i o n P a r a m e t e r s S i m u l a t e d d a t a w e r e c o n s t r u c t e d t o r e p r e s e n t s a m p l e s d r a w n f r o m 1 3 d i s t i n c t p s e u d o p o p u l a t i o n s c o n s i s t i n g o f a m i x t u r e o f t w o l a t e n t t r a j e c t o r y c l a s s e s ( i e w i t h s i g n i f i c a n t l y d i f f e r e n t b e t w e e n c l a s s i n t e r c e p t a n d l i n e a r s l o p e p a r a m e t e r s ) S p e c i f i c v a l u e s f o r g r o w t h p a r a m e t e r s t h e i r v a r i a n c e s a n d c o v a r i a n c e s u s e d i n c r e a t i n g t h e 1 3 p s e u d o p o p u l a t i o n s a r e p r e s e n t e d i n T a b l e 3 T h e p r o c e d u r e f o r g e n e r a t i n g t h e s i m u l a t e d

PAGE 47

3 8 d a t a w a s a s f o l l o w s : F i r s t a m a t r i x o f d a t a e l e m e n t s w a s c r e a t e d r e p r e s e n t i n g i n d i v i d u a l c a s e s b y r e p e a t e d m e a s u r e m e n t o c c a s i o n s f o r e a c h o f t h e t w o s p e c i f i e d l a t e n t t r a j e c t o r y c l a s s e s V a l u e s f o r t h e d e p e n d e n t i n d i c a t o r v a r i a b l e s w e r e c o n s t r u c t e d a s l i n e a r f u n c t i o n s o f a L e v e l 1 i n t e r c e p t l i n e a r s l o p e a n d r a n d o m e r r o r i, ~ N ( 0 2) w h e r e 2 r e p r e s e n t s t h e L e v e l 1 r e s i d u a l v a r i a n c e f o r e a c h u n i q u e p o p u l a t i o n d i s t r i b u t i o n S p e c i f i c v a l u e s f o r t h e L e v e l 1 i n t e r c e p t a n d l i n e a r s l o p e p a r a m e t e r s w e r e d e r i v e d f r o m t h e c l a s s s p e c i f i c L e v e l 2 i n t e r c e p t a n d l i n e a r g r o w t h p a r a m e t e r s p l u s t h e i r r e s p e c t i v e e r r o r t e r m s 0 i ~ N ( 0 0 2) a n d 1 i ~ N ( 0 1 2) S p e c i f i c v a l u e s f o r t h e L e v e l 1 a n d L e v e l 2 r e s i d u a l v a r i a n c e s u s e d t o c r e a t e t h e s i m u l a t e d d a t a w e r e b a s e d o n a r e v i e w o f s e v e r a l l o n g i t u d i n a l s t u d i e s t h a t p r o v i d e d i n f o r m a t i o n a b o u t t h e i r v a r i a n c e c o m p o n e n t s ( G r e e n b a u m e t a l 2 0 0 0 a 2 0 0 0 b ; G r e e n b a u m e t a l 2 0 0 1 ; G r e e n b a u m & B r o w n 2 0 0 2 ) A v e r a g i n g r e s u l t s f r o m t h e s e s t u d i e s a p p r o x i m a t e l y 5 % o f L e v e l 2 v a r i a n c e w a s a l l o c a t e d t o t h e l i n e a r s l o p e p a r a m e t e r ( i e 1 2 = 3 0 ) w i t h t h e r e m a i n i n g L e v e l 2 v a r i a n c e a l l o c a t e d t o v a r i a b i l i t y i n i n t e r c e p t s ( i e 0 2 = 5 7 0 ) V a l u e s f o r L e v e l 2 i n t e r c e p t a n d l i n e a r g r o w t h p a r a m e t e r s w e r e d e s i g n e d t o b e d i f f e r e n t f o r e a c h o f t h e t w o l a t e n t t r a j e c t o r y c l a s s e s w i t h v a l u e s f o r C l a s s 1 c h o s e n t o r e p r e s e n t a z e r o g r o w t h c l a s s o f i n d i v i d u a l s ( i e h1k 1 = 0 ) a n d v a l u e s f o r C l a s s 2 c h o s e n t o r e p r e s e n t a c l a s s o f i n d i v i d u a l s w i t h d e c r e a s i n g s c o r e s o v e r t i m e ( i e h1k 2 < 0 ) T o a v o i d n e g a t i v e s c o r e s f o r i n d i v i d u a l s f r o m C l a s s 2 i n t e r c e p t v a l u e s w e r e s e t t o 1 0 0 f o r C l a s s 1 ( i e h0k 1 = 1 0 0 ) A g r a p h i c a l e x a m p l e o f s i m u l a t e d d a t a g e n e r a t e d f r o m p o p u l a t i o n p a r a m e t e r s f o r P o p u l a t i o n Y i s p r e s e n t e d a s s p a g h e t t i p l o t s i n F i g u r e 5

PAGE 48

3 9 S e l e c t i o n o f E x p e r i m e n t a l C o n d i t i o n s S i x s p e c i f i c e x p e r i m e n t a l c o n d i t i o n s w e r e t e s t e d i n t h i s s t u d y : ( a ) s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( b ) p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e p a r a m e t e r s ( c ) c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( d ) s a m p l e s i z e ( e ) n u m b e r o f r e p e a t e d m e a s u r e s a n d ( f ) p l a n n e d m i s s i n g n e s s O v e r a l l t h e s e r e p r e s e n t e d 3 6 u n i q u e e x p e r i m e n t a l c o n d i t i o n s ( i e n o t a l l c o n d i t i o n s w e r e c r o s s c l a s s i f i e d ; s e e T a b l e 4 f o r a c o m p l e t e l i s t o f a l l e x p e r i m e n t a l c o n d i t i o n s a n d c o r r e s p o n d i n g p o p u l a t i o n / d e s i g n c o d e s ) T h e f i r s t t h r e e c o n d i t i o n s r e p r e s e n t e d c h a r a c t e r i s t i c s o f p o p u l a t i o n d i s t r i b u t i o n s a m o n g l a t e n t t r a j e c t o r y c l a s s e s ; w h e r e a s t h e f o u r t h f i f t h a n d s i x t h c o n d i t i o n s r e l a t e d t o c h a r a c t e r i s t i c s o f r e s e a r c h d e s i g n F i r s t b e t w e e n c l a s s d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s w e r e o p e r a t i o n a l i z e d a s t h e d i f f e r e n c e i n b o t h m e a n i n t e r c e p t a n d s l o p e v a l u e s b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s d i v i d e d b y e a c h p a r a m e t e r ’ s r e s p e c t i v e ( c l a s s i n v a r i a n t ) s t a n d a r d d e v i a t i o n T h e s e v a l u e s w e r e e x p r e s s e d a s s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s ( d ) o f 0 3 0 0 5 0 0 8 0 1 0 0 a n d 1 2 0 ( f o r P o p u l a t i o n s A t h r o u g h E r e s p e c t i v e l y ) S e c o n d t h e p e r c e n t a g e o f e x p l a i n e d v a r i a n c e w a s o p e r a t i o n a l i z e d a s t h e L e v e l 2 v a r i a n c e ( s u m o f t h e i n t e r c e p t a n d s l o p e v a r i a n c e s w h e n t h e t w o g r o w t h p a r a m e t e r s w e r e o r t h o g o n a l ) d i v i d e d b y t h e t o t a l v a r i a n c e ( i e s u m o f L e v e l 1 a n d L e v e l 2 v a r i a n c e s ) F i v e d i s t i n c t p e r c e n t a g e s ( i e 4 0 % 5 0 % 6 0 % 7 0 % a n d 8 0 % ) w e r e c r e a t e d b y a l t e r i n g t h e a m o u n t o f L e v e l 1 v a r i a b i l i t y f r o m a m a x i m u m (2 = 9 0 ) i n P o p u l a t i o n F t o a m i n i m u m (2 = 1 5 ) i n P o p u l a t i o n I ( s e e T a b l e 4 ) T h i r d t h e c o v a r i a n c e b e t w e e n L e v e l 2 i n t e r c e p t a n d s l o p e p a r a m e t e r s f o r e a c h p o p u l a t i o n d i s t r i b u t i o n w a s v a r i e d t o r e p r e s e n t b o t h p o s i t i v e ( r s = 3 0 a n d 6 0 s e e P o p u l a t i o n s A G a n d A H r e s p e c t i v e l y ) a n d n e g a t i v e ( r s = 3 0 a n d 6 0 s e e

PAGE 49

4 0 P o p u l a t i o n s A I a n d A J r e s p e c t i v e l y ) c o r r e l a t i o n s a s w e l l a s z e r o c o r r e l a t i o n s b e t w e e n t h e p a r a m e t e r s ( i e r = 0 0 f o r a l l o t h e r p o p u l a t i o n s ) F o u r t h s a m p l e s i z e s c o n s i s t e d o f N s = 2 0 0 4 0 0 6 0 0 8 0 0 a n d 1 0 0 0 p a r t i c i p a n t s e v e n l y d i v i d e d b e t w e e n t h e t w o c l a s s e s F i f t h t h e n u m b e r o f r e p e a t e d m e a s u r e s c o n s i s t e d o f 3 4 5 6 9 a n d 1 2 e v e n l y s p a c e d t i m e p o i n t s A n d f i n a l l y t h e r o l e o f p l a n n e d m i s s i n g n e s s i n l o n g i t u d i n a l d e s i g n s w a s e x a m i n e d I n e a c h o f t w o d i f f e r e n t d e s i g n s ( s h o w n i n T a b l e 5 ) r e p r e s e n t e d b y p l a n n e d m i s s i n g n e s s a t ( a ) e v e r y o t h e r t i m e p o i n t a n d ( b ) e v e r y 2n d a n d 3r d t i m e p o i n t t h e t o t a l a m o u n t o f m i s s i n g d a t a w a s v a r i e d i n i n c r e m e n t s o f 2 5 % f r o m 0 % ( i e n o m i s s i n g d a t a ) t o 1 0 0 % ( i e c o m p l e t e m i s s i n g d a t a f o r t h a t t i m e p o i n t ) E x a m i n a t i o n o f t h i s f i n a l c o n d i t i o n w a s i n c l u d e d t o p r o v i d e i n f o r m a t i o n o n t h e e f f i c i e n c y o f i n c o r p o r a t i n g p l a n n e d m i s s i n g n e s s i n l o n g i t u d i n a l d e s i g n s V a l u e s f o r s a m p l e s i z e s r e p e a t e d m e a s u r e s a n d p l a n n e d m i s s i n g n e s s w e r e s e l e c t e d t o r e p r e s e n t r e a s o n a b l e r a n g e s f r o m w h i c h l o n g i t u d i n a l s t u d i e s c o u l d b e d e s i g n e d B e c a u s e o f t h e i m p o r t a n c e o f s a m p l e s i z e c o n s i d e r a t i o n o n t h e d e v e l o p m e n t o f r e s e a r c h d e s i g n s t h i s e x p e r i m e n t a l c o n d i t i o n w a s e x a m i n e d f o r t h r e e d i f f e r e n t p s e u d o p o p u l a t i o n s c o n s i s t i n g o f b e t w e e n c l a s s d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s o f d s = 5 0 8 0 a n d 1 0 0 D i f f e r e n t v a l u e s f o r n u m b e r s o f r e p e a t e d m e a s u r e s a n d p l a n n e d m i s s i n g n e s s h o w e v e r w e r e e x a m i n e d f o r o n e p a r t i c u l a r p o p u l a t i o n d i s t r i b u t i o n c o n s i s t i n g o f a b e t w e e n c l a s s d i f f e r e n c e i n g r o w t h p a r a m e t e r s o f 1 0 s t a n d a r d d e v i a t i o n u n i t s a p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s o f 6 0 % a n d n o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e g r o w t h p a r a m e t e r s ( r = 0 0 ) T h e s e v a l u e s w e r e s e l e c t e d t o r e p r e s e n t a t y p i c a l d i s t r i b u t i o n f r o m w h i c h e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y f o r t h e v a r i o u s d e s i g n c h a r a c t e r i s t i c s c o u l d b e r e a d i l y g e n e r a l i z e d

PAGE 50

4 1 A l t h o u g h n o t a s p e c i f i c e x p e r i m e n t a l c o n d i t i o n t h i s s t u d y a l s o e x a m i n e d s t a t i s t i c a l p o w e r a n d a c c u r a c y a s t h e y r e l a t e d t o a n o m n i b u s m e a s u r e o f t h e d i s c r e p a n c y b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s T h i s m e a s u r e w a s o p e r a t i o n a l i z e d a s a n o n c e n t r a l i t y p a r a m e t e r ( l2) b a s e d o n a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n a n d w a s a p p r o x i m a t e d a s n2 = 2 ( l o g LK 1Fl o g LK 2T) n d fn = i n w h e r e l2 w a s d e f i n e d a s t h e a v e r a g e o f – 2 t i m e s t h e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n o n e a n d t w o c l a s s m o d e l s a c r o s s n r e p l i c a t i o n s m i n u s d e g r e e s o f f r e e d o m e q u a l t o t h e d i f f e r e n c e i n t h e n u m b e r o f f r e e l y e s t i m a t e d p a r a m e t e r s b e t w e e n t h e m o d e l s ( i e d e g r e e s o f f r e e d o m = 3 f o r a l l e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d i n t h e s t u d y ) L a r g e r v a l u e s f o r l2 c o r r e s p o n d t o g r e a t e r s e p a r a t i o n b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s a n d w e r e t h e o r i z e d t o b e a s s o c i a t e d w i t h g r e a t e r p o w e r a n d a c c u r a c y S o f t w a r e S i m u l a t e d d a t a f o r t h e s t u d y w e r e g e n e r a t e d u s i n g b o t h S A S I n t e r a c t i v e M a t r i x L a n g u a g e ( I M L ; S A S I n s t i t u t e I n c 1 9 8 8 ) a n d M p l u s v 2 1 ( M u t h n & M u t h n 2 0 0 1 ) M o n t e C a r l o s i m u l a t i o n i n M p l u s a l l o w s f o r t h e f l e x i b i l i t y t o d e f i n e p s e u d o p o p u l a t i o n s a n d e s t i m a t e c o r r e s p o n d i n g m o d e l s f r o m b o t h ( a ) d a t a g e n e r a t e d f r o m o t h e r s o f t w a r e p r o g r a m s a n d ( b ) d a t a g e n e r a t e d f r o m w i t h i n M p l u s i t s e l f ( s e e M a s y n & M u t h n 2 0 0 0 ; M u t h n 2 0 0 2 ; M u t h n & M u t h n 2 0 0 2 ; a n d M u t h n & A s p a r o u h o v 2 0 0 2 f o r d e t a i l e d p r o c e d u r e s r e g a r d i n g M o n t e C a r l o s i m u l a t i o n u s i n g M p l u s ) B o t h p r o c e d u r e s w e r e u s e d f o r t h i s s t u d y F o r e x a m p l e t h e d e t a i l e d s p e c i f i c a t i o n o f m i s s i n g d a t a p a t t e r n s u s e d i n e x a m i n i n g p l a n n e d m i s s i n g n e s s d e s i g n s w a s p e r f o r m e d u s i n g S A S I M L w i t h t h e

PAGE 51

4 2 e x t e r n a l l y g e n e r a t e d d a t a r e a d i n t o M p l u s f o r m o d e l e s t i m a t i o n ( s e e A p p e n d i x B f o r a n e x a m p l e o f S A S I M L s y n t a x u s e d t o g e n e r a t e s a m p l e d a t a f o r P o p u l a t i o n Y ) T h e p r o c e d u r e f o r e x e c u t i n g t h e G M M s a n d c o n c a t e n a t i n g t h e r e s u l t i n g o u t p u t f i l e s w a s f a c i l i t a t e d b y t h e u s e o f s e v e r a l D O S b a t c h f i l e s m a d e a v a i l a b l e t h r o u g h t h e M p l u s w e b s i t e ( w w w s t a t m o d e l c o m ) S e e A p p e n d i x C f o r e x a m p l e s o f D O S b a t c h f i l e s u s e d i n t h e a n a l y s i s o f s i m u l a t e d d a t a f r o m P o p u l a t i o n Z N o t e t h a t t h e s e f i l e s w e r e m o d i f i e d s o m e w h a t f r o m t h e i r o r i g i n a l s t r u c t u r e f o r s e q u e n t i a l a n a l y s i s o f t h e o n e t w o a n d t h r e e c l a s s m o d e l s t e s t e d i n t h i s s t u d y D a t a g e n e r a t i o n a n d m o d e l e s t i m a t i o n a l s o w e r e c o n d u c t e d c o m p l e t e l y w i t h i n M p l u s H e r e a t t r i b u t e s f o r t h e p s e u d o p o p u l a t i o n s ( e g n u m b e r o f m i x t u r e d i s t r i b u t i o n s ; m i x i n g p r o p o r t i o n s ; a n d g r o w t h p a r a m e t e r m e a n s v a r i a n c e s a n d c o v a r i a n c e s ) d e s i g n c h a r a c t e r i s t i c s ( e g n u m b e r o f r e p e a t e d m e a s u r e s s a m p l e s i z e m i s s i n g d a t a p a t t e r n s ) a n d n u m b e r o f r e p l i c a t i o n s a l l c a n b e s p e c i f i e d i n a s i n g l e i n p u t p r o g r a m ( s e e A p p e n d i x A f o r e x a m p l e s o f M p l u s i n p u t s y n t a x f o r a n a l y s i s o f m o d e l s b a s e d o n P o p u l a t i o n Y ) R e s u l t s f r o m t h i s p r o c e d u r e w e r e a u t o m a t i c a l l y c o n c a t e n a t e d i n o u t p u t f i l e s c o n t a i n i n g l o g l i k e l i h o o d s p a r a m e t e r e s t i m a t e s v a r i a n c e s c o v a r i a n c e s a n d c o n v e r g e n c e i n f o r m a t i o n P r o g r a m s y n t a x t o r e a d i n M p l u s o u t p u t f i l e s c o n s t r u c t m o d e l s e l e c t i o n c r i t e r i a a n d d e t e r m i n e a d j u s t e d p o w e r a n d a c c u r a c y w e r e w r i t t e n a n d a n a l y z e d i n S P S S f o r W i n d o w s v 1 0 0 ( S P S S I n c 2 0 0 0 ) ( S e e A p p e n d i x D f o r a n e x a m p l e o f S P S S s y n t a x u s e d f o r a n a l y s i s o f P o p u l a t i o n Y ) E x e c u t i o n o f S i m u l a t i o n R u n s A s P a x t o n e t a l ( 2 0 0 1 ) h a s s u g g e s t e d a s u c c e s s f u l M o n t e C a r l o s i m u l a t i o n s t u d y r e q u i r e s t h a t s e v e r a l d e c i s i o n s b e m a d e p r i o r t o t h e e x e c u t i o n o f t h e r u n s F i r s t a m o n g

PAGE 52

4 3 t h e s e i s d e t e r m i n a t i o n o f t h e n u m b e r o f r e p l i c a t i o n s I n t h i s s t u d y t h e n u m b e r o f r e p l i c a t i o n s f o r e a c h e x p e r i m e n t a l c o n d i t i o n w a s d e t e r m i n e d b y t h e d e s i r e d c o n f i d e n c e i n t e r v a l f o r e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y B a s e d o n t h e b i n o m i a l d i s t r i b u t i o n w h e r e p i n d i c a t e s t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t i d e n t i f i e s t h e c o r r e c t t w o c l a s s m o d e l a n d q i n d i c a t e s t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t i d e n t i f i e s t h e e r r o n e o u s o n e o r t h r e e c l a s s m o d e l s t h e v a r i a n c e o f p i s g i v e n b y V a r ( p ) = p q / n A l t e r n a t i v e l y t h e n u m b e r o f r e p l i c a t i o n s n i s g i v e n b y n = p q / V a r ( p ) T a b l e 6 s h o w s t h e n u m b e r o f r e p l i c a t i o n s r e q u i r e d f o r a 9 5 % c o n f i d e n c e i n t e r v a l a t p = 9 0 a n d p = 5 0 A s s h o w n i n t h e t a b l e 4 0 0 r e p l i c a t i o n s w e r e r e q u i r e d f o r 9 5 % c o n f i d e n c e l e v e l o f 0 5 a t p = 5 0 a n d 0 3 a t p = 9 0 F o r t h i s s t u d y 4 0 0 r e p l i c a t i o n s w o u l d y i e l d a n a c c e p t a b l e l e v e l o f p r e c i s i o n f o r e s t i m a t e s o f s t a t i s t i c a l p o w e r H o w e v e r t o a c c o u n t f o r m o d e l s t h a t f a i l e d t o r e a c h c o n v e r g e n c e a t o t a l o f 5 0 0 r e p l i c a t i o n s w e r e c o n d u c t e d f o r e a c h e x p e r i m e n t a l c o n d i t i o n O t h e r i m p o r t a n t i s s u e s r e g a r d i n g t h e e x e c u t i o n o f s i m u l a t i o n r u n s i n t h i s s t u d y r e l a t e t o t h e i d e n t i f i c a t i o n o f s t a r t i n g v a l u e s a n d m o d e l c o n v e r g e n c e A l l r e p l i c a t i o n s c o n d u c t e d i n t h i s s t u d y r e l i e d u p o n a s i n g l e s e t o f s t a r t i n g v a l u e s c o n s i s t i n g o f ( a ) s a m p l e m e a n s f o r i n t e r c e p t a n d s l o p e p a r a m e t e r s i n o n e c l a s s m o d e l s ( b ) 0 5 s t a n d a r d d e v i a t i o n u n i t s f r o m s a m p l e m e a n s i n t w o c l a s s m o d e l s a n d b o t h ( a ) a n d ( b ) f o r t h r e e c l a s s m o d e l s A d d i t i o n a l l y a n a r b i t r a r y m a x i m u m o f 5 0 0 0 i t e r a t i o n s w a s a l l o w e d f o r c o n v e r g e n c e o f t h e G M M s M o d e l s t h a t d i d n o t c o n v e r g e w i t h i n t h i s l i m i t w e r e c o n s i d e r e d f a i l u r e s a n d w e r e n o t e l i g i b l e f o r s e l e c t i n g t h e b e s t f i t t i n g m o d e l ( a l t h o u g h

PAGE 53

4 4 t h e y w e r e r e t a i n e d i n t h e d e n o m i n a t o r f o r c a l c u l a t i o n o f p o w e r a n d a c c u r a c y r a t e s ) B a s e d o n t h i s c r i t e r i o n a s m a l l p e r c e n t a g e ( 0 7 % ) o f r e p l i c a t i o n s d i d n o t c o n v e r g e ( c o n v e r g e n c e r a t e s f o r e a c h o f t h e f i v e t y p e s o f m o d e l s a r e s h o w n i n T a b l e 7 b y p o p u l a t i o n / d e s i g n ) A s m i x t u r e m o d e l s h a v e b e e n k n o w n t o s o m e t i m e s g e n e r a t e a l i k e l i h o o d f u n c t i o n w i t h s e v e r a l l o c a l m a x i m a ( M u t h n & M u t h n 2 0 0 1 p 2 9 2 ) i t w o u l d b e p r e f e r a b l e t o r e a n a l y z e a l l n o n c o n v e r g e n t m o d e l s w i t h a l t e r n a t e s t a r t i n g v a l u e s H o w e v e r g i v e n t h a t t h i s s t u d y r e q u i r e d 9 0 0 0 0 s e p a r a t e a n a l y s e s ( i e 3 6 e x p e r i m e n t a l c o n d i t i o n s X 5 m o d e l s X 5 0 0 r e p l i c a t i o n s ) t h i s a p p r o a c h w a s i m p r a c t i c a b l e A l t e r n a t i v e l y a r a n d o m s a m p l e o f 5 % o f n o n c o n v e r g e n t r e p l i c a t i o n s f o r t h e K 3F m o d e l w e r e i n s p e c t e d t o d e t e r m i n e i f u s i n g d i f f e r e n t ( i e m o r e d i s p a r a t e ) s t a r t i n g v a l u e s w o u l d r e s u l t i n d i f f e r e n t c o n v e r g e n c e r a t e s A l t e r i n g s t a r t i n g v a l u e s t o 1 0 s t a n d a r d d e v i a t i o n r e s u l t e d i n a l m o s t i d e n t i c a l r a t e s o f c o n v e r g e n c e M o r e o v e r t t e s t s o f l o g l i k e l i h o o d s v a l u e s r e v e a l e d n o s i g n i f i c a n t d i f f e r e n c e ( a l l p s > 0 5 ) b e t w e e n m e a n v a l u e s f o r r e p l i c a t i o n s t h a t c o n v e r g e d v e r s u s t h o s e t h a t d i d n o t c o n v e r g e ( l o g l i k e l i h o o d v a l u e s w e r e a v a i l a b l e f o r b o t h c o n d i t i o n s ) B a s e d o n t h i s t h e o r i g i n a l d e c i s i o n r u l e r e g a r d i n g n o n c o n v e r g e n t r e p l i c a t i o n s a s f a i l u r e s w a s r e t a i n e d V e r i f i c a t i o n T o i n s u r e t h e v a l i d i t y o f s t u d y r e s u l t s f r e q u e n c y d i s t r i b u t i o n s a n d b o x p l o t s o f e s t i m a t e d p a r a m e t e r s w e r e v i s u a l l y i n s p e c t e d f o r q u e s t i o n a b l e v a l u e s ( e g n e g a t i v e v a r i a n c e s e x t r e m e v a l u e s f o r l o g l i k e l i h o o d s ) A d d i t i o n a l l y r e s u l t s f r o m a r a n d o m s e l e c t i o n o f 2 % o f r e p l i c a t i o n s w i t h i n e a c h e x p e r i m e n t a l c o n d i t i o n w e r e v i s u a l l y d o u b l e c h e c k e d t o i n s u r e t h a t m o d e l s e l e c t i o n c r i t e r i a w e r e c o r r e c t l y m a t c h e d a c r o s s t h e f i v e m o d e l s

PAGE 54

4 5 C h a p t e r F o u r R e s u l t s R e s u l t s o f t h e M o n t e C a r l o s i m u l a t i o n s b e g i n w i t h a d e s c r i p t i o n o f t h e d e r i v a t i o n o f e f f e c t i v e T y p e I e r r o r r a t e s a n d t h e i r c o r r e s p o n d i n g c r i t i c a l v a l u e s u s e d i n e s t a b l i s h i n g a c o m m o n = 0 5 a c r o s s a l l e x a m i n e d m o d e l s e l e c t i o n c r i t e r i a I n t u r n r e s u l t s o f s i m u l a t i o n s f o r e a c h o f t h e s i x e x p e r i m e n t a l c o n d i t i o n s a r e r e p o r t e d i n d i v i d u a l l y T h i s i s f o l l o w e d b y a s u m m a r y o f e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y a c r o s s a l l 3 6 c o m b i n a t i o n s o f e x p e r i m e n t a l c o n d i t i o n s a s o p e r a t i o n a l i z e d b y a n o m n i b u s m e a s u r e o f t h e d e g r e e o f s e p a r a t i o n b e t w e e n m o d e l s (n2) F i n a l l y t h e c h a p t e r c o n c l u d e s w i t h r e s u l t s o f a m o t i v a t i n g e x a m p l e w h i c h f i e l d t e s t t h e d e r i v e d v a l u e s o f n2 g e n e r a t e d f r o m t h e M o n t e C a r l o s i m u l a t i o n s t o a c t u a l d a t a f r o m a n e v a l u a t i o n o f a l o n g i t u d i n a l s e r v i c e d e l i v e r y d e m o n s t r a t i o n p r o j e c t E f f e c t i v e T y p e I E r r o r R a t e s a n d C r i t i c a l V a l u e s E f f e c t i v e T y p e I e r r o r r a t e s f o r e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y w e r e d e r i v e d f r o m e m p i r i c a l d i s t r i b u t i o n s o f t h e d i f f e r e n c e s i n A I C B I C a n d A B I C v a l u e s c o m p a r i n g ( a ) o n e c l a s s m o d e l s e s t i m a t e d f r o m o n e c l a s s p s e u d o p o p u l a t i o n s ( K 1T) v e r s u s t w o c l a s s m o d e l s e s t i m a t e d f r o m o n e c l a s s p s e u d o p o p u l a t i o n s ( K 2F) a n d ( b ) t w o c l a s s m o d e l s e s t i m a t e d f r o m t w o c l a s s p s e u d o p o p u l a t i o n s ( K 2T) v e r s u s t h r e e c l a s s m o d e l s e s t i m a t e d f r o m t w o c l a s s p s e u d o p o p u l a t i o n s ( K 3F) T h e s e c o m p a r i s o n s a s s u m e d t h e t r a d i t i o n a l m i n i m a l v a l u e r u l e o f t h u m b f o r p e n a l i z e d m o d e l s e l e c t i o n c r i t e r i a t o

PAGE 55

4 6 a s s e s s o p t i m a l m o d e l f i t S p e c i f i c a l l y e f f e c t i v e T y p e I e r r o r r a t e s f o r e s t i m a t e s o f s t a t i s t i c a l p o w e r i n t w o a n d t h r e e c l a s s m o d e l s w e r e o p e r a t i o n a l i z e d a s t h e p r o p o r t i o n o f t h e 5 0 0 r e p l i c a t i o n s t h a t r e s u l t e d i n a p o s i t i v e v a l u e f o r K 1T K 2F a n d K 2T K 3F m o d e l c o m p a r i s o n s r e s p e c t i v e l y L a r g e r v a l u e s f o r t h e s e r a t e s i n d i c a t e d a g r e a t e r p r o b a b i l i t y o f f a l s e l y r e j e c t i n g t h e t r u e o n e a n d t w o c l a s s m o d e l s r e s p e c t i v e l y U s i n g d a t a f r o m P o p u l a t i o n K a s a n e x a m p l e 1 4 4 % o f r e p l i c a t i o n s r e s u l t e d i n a g r e a t e r A B I C v a l u e f o r t h e K 1T m o d e l t h a n t h e c o m p a r a b l e K 2F m o d e l — a T y p e I e r r o r r a t e a l m o s t t h r e e t i m e s g r e a t e r t h a n e x p e c t e d a t = 0 5 F i g u r e 6 p r o v i d e s a g r a p h i c a l r e p r e s e n t a t i o n o f t h i s e x a m p l e T h e h i s t o g r a m s h o w n i n t h i s f i g u r e r e p r e s e n t s t h e d i s t r i b u t i o n o f K 1T K 2F v a l u e s f o r t h e A B I C w i t h p o s i t i v e v a l u e s ( i e t o t h e r i g h t o f z e r o ) i n d i c a t i n g b e t t e r f i t f o r t h e e r r o n e o u s K 2F m o d e l I n c o n t r a s t t h e e f f e c t i v e T y p e I e r r o r r a t e f o r t h e B I C i n P o p u l a t i o n K w a s v e r y c o n s e r v a t i v e ( 0 0 2 f o r c o m p a r i s o n o f K 1T v s K 2F m o d e l s ) i n d i c a t i n g t h a t t h e B I C r a r e l y d e m o n s t r a t e d b e t t e r f i t f o r t h e f a l s e t w o c l a s s m o d e l E f f e c t i v e T y p e I e r r o r r a t e s f o r t h e L R T w e r e d e r i v e d f r o m 2 t i m e s t h e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n K 1T v e r s u s K 2F m o d e l s a n d K 2T v e r s u s K 3F m o d e l s r e s p e c t i v e l y T h e s e d i f f e r e n c e s w e r e e v a l u a t e d u s i n g a c h i s q u a r e d i s t r i b u t i o n w i t h d e g r e e s o f f r e e d o m e q u a l t o t h e d i f f e r e n c e i n t h e n u m b e r o f f r e e l y e s t i m a t e d p a r a m e t e r s b e t w e e n c o m p e t i n g m o d e l s w h i c h f o r a l l e x a m i n e d c o n d i t i o n s w a s 2 ( 3 N = 5 0 0 ) = 7 8 1 F o r P o p u l a t i o n K 7 % o f r e p l i c a t i o n s r e s u l t e d i n l o g l i k e l i h o o d v a l u e s g r e a t e r t h a n 7 8 1 f o r K 1T K 2F m o d e l c o m p a r i s o n s a v a l u e o n l y s l i g h t l y l a r g e r t h a n t h e t a r g e t T y p e I e r r o r r a t e o f 0 5 E f f e c t i v e T y p e I e r r o r r a t e s a v e r a g e d w i t h i n a n d a c r o s s e x p e r i m e n t a l c o n d i t i o n a n d q u a r t i l e s o f n2, a r e s h o w n i n T a b l e 8 ( f o r K 1T v s K 2F) a n d T a b l e 9 ( f o r K 2T v s K 3F)

PAGE 56

4 7 A l t h o u g h l i t t l e v a r i a t i o n w a s f o u n d a m o n g e x p e r i m e n t a l c o n d i t i o n s o r q u a r t i l e s o f n2, e f f e c t i v e T y p e I e r r o r r a t e s d i d v a r y s u b s t a n t i a l l y b y m o d e l s e l e c t i o n c r i t e r i o n O v e r a l l t h e A B I C d e m o n s t r a t e d e f f e c t i v e T y p e I e r r o r r a t e s c l o s e s t t o t h e d e s i r e d = 0 5 a v e r a g i n g 0 4 6 f o r K 1T v e r s u s K 2F a n d 0 6 2 f o r K 2T v e r s u s K 3F, a c r o s s a l l e x p e r i m e n t a l c o n d i t i o n s T h i s w a s f o l l o w e d b y t h e L R T w h i c h d e m o n s t r a t e d s l i g h t l y m o r e l i b e r a l e r r o r r a t e s o f 0 8 2 a n d 1 0 5 r e s p e c t i v e l y T h e A I C d e m o n s t r a t e d t h e m o s t l i b e r a l e r r o r r a t e s o f t h e f o u r c r i t e r i a ( 1 6 7 a n d 2 1 3 r e s p e c t i v e l y ) s u g g e s t i n g t h a t u s e o f t h e m i n i m a l v a l u e r u l e o f t h u m b f o r t h i s c r i t e r i o n w o u l d o v e r s e l e c t m o d e l s w i t h l a r g e r n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s A l t e r n a t i v e l y t h e B I C d e m o n s t r a t e d v e r y c o n s e r v a t i v e e r r o r r a t e s o v e r a l l ( 0 0 1 f o r b o t h m o d e l c o m p a r i s o n s ) s u g g e s t i n g t h a t t h e B I C w o u l d o v e r s e l e c t m o d e l s w i t h s m a l l e r n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s I n o r d e r t o f a i r l y c o m p a r e t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e m o d e l s e l e c t i o n c r i t e r i a a t a c o m m o n T y p e I e r r o r r a t e c r i t i c a l v a l u e s w e r e o b t a i n e d a t t h e 9 5t h p e r c e n t i l e o f t h e a b o v e d e s c r i b e d d i s t r i b u t i o n s c o r r e s p o n d i n g t o a n o m i n a l = 0 5 E m p i r i c a l l y d e r i v e d c r i t i c a l v a l u e s f o r e a c h e x p e r i m e n t a l c o n d i t i o n a r e s h o w n i n T a b l e 1 0 a n d d e n o t e t h e p o i n t i n a d i s t r i b u t i o n a t w h i c h 9 5 % o f t h e d i f f e r e n c e s b e t w e e n c o m p e t i n g m o d e l s f o r e a c h c r i t e r i o n i s s m a l l e r t h a n t h e i d e n t i f i e d c r i t i c a l v a l u e T h e s e v a l u e s c a n b e i n t e r p r e t e d a s t h e m i n i m u m d e g r e e o f s e p a r a t i o n b e t w e e n c o m p e t i n g m o d e l s t h a t w o u l d b e n e c e s s a r y t o c o r r e c t l y i d e n t i f y t h e m o r e c o m p l e x ( k0 + 1 ) m o d e l a t a n e f f e c t i v e T y p e I e r r o r r a t e o f 0 5 A g a i n u s i n g P o p u l a t i o n K a s a n e x a m p l e t h e 9 5 % c r i t i c a l v a l u e f o r t h e c o m p a r i s o n o f A B I C v a l u e s b e t w e e n K 1T v e r s u s K 2F m o d e l s i s 2 3 2 s u g g e s t i n g t h a t t h e A B I C v a l u e f o r a t w o l a t e n t t r a j e c t o r y c l a s s m o d e l b e a t l e a s t t h i s a m o u n t l e s s t h a n t h e A B I C v a l u e f o r a o n e c l a s s m o d e l t o d e m o n s t r a t e s i g n i f i c a n t l y b e t t e r f i t a t = 0 5 ( s e e

PAGE 57

4 8 F i g u r e 6 ) B y c o m p a r i s o n f o r t h e s a m e p o p u l a t i o n t h e v a l u e o f t h e B I C f o r t h e t w o l a t e n t t r a j e c t o r y c l a s s m o d e l c o u l d b e u p t o 7 1 8 g r e a t e r t h a n t h e c o r r e s p o n d i n g v a l u e f o r t h e o n e c l a s s m o d e l f o r t h e t w o c l a s s m o d e l t o d e m o n s t r a t e s i g n i f i c a n t l y b e t t e r f i t a t = 0 5 T h e s e c r i t i c a l v a l u e s w e r e u s e d t o d e r i v e e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y a t a c o m m o n T y p e I e r r o r r a t e ( = 0 5 ) T h e s e a r e r e f e r r e d t o a s a d j u s t e d p o w e r a n d a d j u s t e d a c c u r a c y r e s p e c t i v e l y F o r t h e A B I C A I C a n d L R T a d j u s t e d e s t i m a t e s o f p o w e r a n d a c c u r a c y b a s e d o n t h e e m p i r i c a l l y d e r i v e d c r i t i c a l v a l u e s a r e l o w e r t h a n t h e c o r r e s p o n d i n g r a t e s b a s e d o n t h e m i n i m a l v a l u e r u l e o f t h u m b F o r t h e B I C h o w e v e r a d j u s t e d p o w e r a n d a c c u r a c y r a t e s a r e h i g h e r t h a n e s t i m a t e s d e r i v e d b y t a k i n g t h e l o w e s t B I C v a l u e a c r o s s c o m p e t i n g m o d e l s N o t s u r p r i s i n g l y u s e o f t h e e m p i r i c a l l y d e r i v e d c r i t i c a l v a l u e s t o e s t i m a t e p o w e r a n d a c c u r a c y a t a c o m m o n 0 5 T y p e I e r r o r r a t e r e s u l t e d i n i d e n t i c a l p o w e r a n d a c c u r a c y e s t i m a t e s ( f o r a p a r t i c u l a r e x p e r i m e n t a l c o n d i t i o n ) a c r o s s a l l m o d e l s e l e c t i o n c r i t e r i a ; t h a t i s t h e f o u r c r i t e r i a a r e e s s e n t i a l l y e q u a t e d a n d t h e r e f o r e o n l y o n e c u r v e ( e a c h ) i s n e e d e d t o d e s c r i b e a d j u s t e d p o w e r a n d a c c u r a c y v i s v i s t h e v a r i o u s e x p e r i m e n t a l c o n d i t i o n s S t a n d a r d i z e d B e t w e e n C l a s s D i f f e r e n c e s i n G r o w t h P a r a m e t e r s E s t i m a t e s o f a d j u s t e d s t a t i s t i c a l p o w e r t o c o r r e c t l y i d e n t i f y t h e t r u e t w o c l a s s ( K 2T) m o d e l o v e r t h e f a l s e o n e c l a s s ( K 1F) m o d e l a r e s h o w n i n F i g u r e 7 f o r f i v e s e l e c t e d v a l u e s o f s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( d ) E s t i m a t e s s h o w n i n t h i s f i g u r e a s s u m e d a n o v e r a l l s a m p l e s i z e ( N ) o f 6 0 0 e q u a l l y s p a c e d a c r o s s s i x t i m e p o i n t s n o m i s s i n g d a t a z e r o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( r = 0 ) a n d 6 0 % o f t o t a l v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e g r o w t h p a r a m e t e r s T h e s e c o n d i t i o n s r e p r e s e n t P o p u l a t i o n s A t h r o u g h E f o r d s = 3 0 5 0

PAGE 58

4 9 8 0 1 0 0 a n d 1 2 0 r e s p e c t i v e l y ( s e e T a b l e 4 ) A s s h o w n i n F i g u r e 7 w h e n C l a s s 1 a n d C l a s s 2 i n t e r c e p t a n d s l o p e p a r a m e t e r s a r e 3 0 s t a n d a r d d e v i a t i o n u n i t s a p a r t ( d = 3 0 ) a d j u s t e d p o w e r i s v e r y l o w ( 0 5 2 ) H o w e v e r a d j u s t e d p o w e r i n c r e a s e s r a p i d l y w i t h l a r g e r d v a l u e s r e a c h i n g a n e s t i m a t e d 9 8 6 f o r d = 1 2 0 E s t i m a t e s o f a d j u s t e d a c c u r a c y c o r r e s p o n d e d v e r y c l o s e l y w i t h a d j u s t e d p o w e r e s t i m a t e s r a n g i n g f r o m 0 5 0 f o r d = 3 0 t o 9 2 2 f o r d = 1 2 0 E s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y f o r P o p u l a t i o n s A t h r o u g h E a r e p r e s e n t e d i n T a b l e 1 1 ( o r d e r e d b y n2) P e r c e n t a g e o f V a r i a n c e E x p l a i n e d b y G r o w t h P a r a m e t e r s F i g u r e 8 s h o w s e s t i m a t e s o f a d j u s t e d p o w e r b y t h e p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e p a r a m e t e r s E s t i m a t e s s h o w n i n t h i s f i g u r e a r e b a s e d o n a n o v e r a l l s a m p l e s i z e o f 6 0 0 s i x t i m e p o i n t s n o m i s s i n g d a t a z e r o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s a n d d s = 1 0 0 T h e s e c o n d i t i o n s c o n s i s t o f P o p u l a t i o n s F G D H a n d I f o r p e r c e n t a g e s = 4 0 % 5 0 % 6 0 % 7 0 % a n d 8 0 % r e s p e c t i v e l y ( s e e T a b l e 4 ) H e r e p o w e r w a s p o s i t i v e l y a n d l i n e a r l y r e l a t e d t o g r e a t e r p e r c e n t a g e s o f e x p l a i n e d v a r i a n c e d o u b l i n g i n m a g n i t u d e f r o m 4 0 % ( a d j u s t e d p o w e r = 4 7 6 ) t o 8 0 % ( a d j u s t e d p o w e r = 9 5 0 ) A g a i n e s t i m a t e s o f a d j u s t e d a c c u r a c y w e r e c l o s e t o e s t i m a t e s o f a d j u s t e d p o w e r a n d f o l l o w e d a s i m i l a r l i n e a r l y i n c r e a s i n g p a t t e r n E s t i m a t e s o f a d j u s t e d a c c u r a c y i n c r e a s e d f r o m 4 4 4 f o r 4 0 % e x p l a i n e d v a r i a n c e t o 8 9 0 f o r 8 0 % e x p l a i n e d v a r i a n c e E s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y f o r P o p u l a t i o n s F G D H a n d I a r e p r e s e n t e d i n T a b l e 1 1 C o r r e l a t i o n B e t w e e n I n t e r c e p t s a n d S l o p e s F i g u r e 9 d i s p l a y s t h e a d j u s t e d p o w e r c u r v e e s t i m a t e d a s a f u n c t i o n o f t h e c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e g r o w t h p a r a m e t e r s ( r ) E s t i m a t e s s h o w n h e r e a r e

PAGE 59

5 0 b a s e d o n N = 6 0 0 s i x t i m e p o i n t s n o m i s s i n g d a t a d = 1 0 a n d 6 0 % v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s T h e s e c o n d i t i o n s r e p r e s e n t P o p u l a t i o n s A F t h r o u g h A J f o r r s = 6 0 3 0 0 0 3 0 a n d 6 0 r e s p e c t i v e l y ( s e e T a b l e 4 ) R e s u l t s i n d i c a t e d t h a t a d j u s t e d p o w e r a n d a c c u r a c y w e r e i n v e r s e l y r e l a t e d t o g r e a t e r p o s i t i v e c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s w i t h a d i s p r o p o r t i o n a t e r e d u c t i o n i n p o w e r f o r m o r e n e g a t i v e c o r r e l a t i o n s ; f o r e x a m p l e f r o m a p o w e r e s t i m a t e o f 7 3 2 ( a t r = 6 0 ) t o 1 8 0 ( a t r = 3 0 ) E s t i m a t e s o f a d j u s t e d a c c u r a c y w e r e a p p r o x i m a t e l y 1 3 % s m a l l e r t h a n a d j u s t e d p o w e r e s t i m a t e s E s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y f o r P o p u l a t i o n s A F t h r o u g h A J a r e p r e s e n t e d i n T a b l e 1 1 S a m p l e S i z e E s t i m a t e s o f a d j u s t e d p o w e r a r e s h o w n i n F i g u r e 1 0 a s t h r e e s e p a r a t e c u r v e s f o r d s = 0 5 0 0 8 0 a n d 1 0 0 r e s p e c t i v e l y E a c h c u r v e s h o w s t h e i n c r e a s e i n a d j u s t e d p o w e r a s s a m p l e s i z e i n c r e a s e s i n m u l t i p l e s o f 2 0 0 f r o m N = 2 0 0 t o N = 1 0 0 0 E s t i m a t e s s h o w n h e r e a r e s i m i l a r l y b a s e d o n s i x t i m e p o i n t s n o m i s s i n g d a t a r s = 0 0 a n d 6 0 % v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s T h e s e c o n d i t i o n s r e p r e s e n t P o p u l a t i o n s B C D a n d J t h r o u g h T ( s e e T a b l e 4 ) T h e t h r e e c u r v e s d e p i c t e d i n t h e f i g u r e s h o w t h a t i n c r e a s i n g s a m p l e s i z e h a s a g r e a t e r e f f e c t o n a d j u s t e d p o w e r w h e n d = 1 0 0 ( f r o m p o w e r = 3 1 8 a t N = 2 0 0 t o 9 5 2 a t N = 1 0 0 0 ) a s o p p o s e d t o d = 8 0 ( w i t h p o w e r i n c r e a s i n g f r o m 1 2 0 t o 6 2 4 r e s p e c t i v e l y ) a n d d = 5 0 ( f r o m 0 6 0 t o 1 1 2 p o w e r r e s p e c t i v e l y ) A n c i l l a r y a n a l y s e s i n d i c a t e d t h a t i n c r e a s i n g s a m p l e s i z e h a d n o m a j o r e f f e c t o n p o w e r w h e n d = 0 3 0 E s t i m a t e s f o r a d j u s t e d a c c u r a c y f o r t h e v a r i o u s s a m p l e s i z e s w e r e a p p r o x i m a t e l y 6 % t o 7 % l e s s t h a n e s t i m a t e s o f a d j u s t e d p o w e r ( s e e T a b l e 1 1 )

PAGE 60

5 1 N u m b e r o f R e p e a t e d M e a s u r e s E s t i m a t e s o f a d j u s t e d p o w e r f o r 3 4 5 6 9 a n d 1 2 t i m e p o i n t s a r e s h o w n i n F i g u r e 1 1 T h e s e e s t i m a t e s a r e b a s e d o n N = 6 0 0 r = 0 0 d = 1 0 0 6 0 % o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s a n d n o m i s s i n g d a t a T h e s e c o n d i t i o n s r e p r e s e n t ( i n o r d e r ) P o p u l a t i o n s U V W D X a n d Y ( s e e T a b l e 4 ) A s u b s t a n t i a l i n c r e a s e i n a d j u s t e d p o w e r o c c u r r e d w h e n t h e n u m b e r o f r e p e a t e d m e a s u r e s w a s i n c r e a s e d f r o m 3 t i m e p o i n t s t o 6 t i m e p o i n t s ( f r o m 0 8 4 t o 8 2 4 r e s p e c t i v e l y ) T h e i n c r e a s e i n a d j u s t e d p o w e r f r o m 6 t o 1 2 t i m e p o i n t s h o w e v e r w a s d i s p r o p o r t i o n a t e l y s m a l l e r ( f r o m 8 2 4 t o 9 5 4 r e s p e c t i v e l y ) A g a i n e s t i m a t e s o f a d j u s t e d a c c u r a c y c o r r e s p o n d e d v e r y c l o s e l y w i t h a d j u s t e d p o w e r e s t i m a t e s r a n g i n g f r o m 0 7 4 a t 3 t i m e p o i n t s t o 8 7 8 a t 1 2 t i m e p o i n t s E s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y f o r t h e a b o v e p o p u l a t i o n s a r e p r e s e n t e d i n T a b l e 1 1 P l a n n e d M i s s i n g n e s s F i g u r e 1 2 s h o w s t h e d e c r e m e n t i n a d j u s t e d p o w e r f o r t w o d i f f e r e n t p a t t e r n s o f d a t a m i s s i n g b y d e s i g n T h e f i r s t d e s i g n i n c o r p o r a t e d p l a n n e d m i s s i n g n e s s a t e v e r y o t h e r t i m e p o i n t a n d t h e s e c o n d d e s i g n i n c o r p o r a t e d p l a n n e d m i s s i n g n e s s a t e v e r y s e c o n d a n d t h i r d t i m e p o i n t ( s e e T a b l e 5 ) F o r e a c h r e s p e c t i v e d e s i g n t h e p e r c e n t a g e o f p l a n n e d m i s s i n g n e s s i n s e l e c t e d t i m e p o i n t s w a s i n c r e a s e d b y i n c r e m e n t s o f 2 5 % f r o m n o m i s s i n g d a t a ( c o r r e s p o n d i n g t o a 1 2 t i m e p o i n t r e p e a t e d m e a s u r e s d e s i g n ) t o 1 0 0 % m i s s i n g d a t a ( c o r r e s p o n d i n g t o s i x t i m e p o i n t s f o r D e s i g n 1 a n d f o u r t i m e p o i n t s f o r D e s i g n 2 ) P o p u l a t i o n s f o r t h e s e e x p e r i m e n t a l c o n d i t i o n s w e r e b a s e d o n N = 6 0 0 r = 0 0 d = 1 0 0 6 0 % o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s a n d 1 2 t i m e p o i n t s T h e s e c o n d i t i o n s r e p r e s e n t P o p u l a t i o n s Y Z A A A B a n d D f o r D e s i g n 1 a n d P o p u l a t i o n s Y A C A D

PAGE 61

5 2 A E a n d V f o r D e s i g n 2 F o r D e s i g n 1 t h e d r o p i n a d j u s t e d p o w e r w a s o n l y s l i g h t d e c r e a s i n g f r o m 9 5 4 a t n o m i s s i n g d a t a t o 8 2 4 w h e n 1 0 0 % o f t h e c a s e s w e r e m i s s i n g d a t a a t e v e r y o t h e r t i m e p o i n t H o w e v e r f o r D e s i g n # 2 t h e d r o p i n p o w e r w a s m o r e s u b s t a n t i a l d e c r e a s i n g f r o m 9 5 4 a t 0 % m i s s i n g d a t a t o 3 3 4 w h e n 1 0 0 % o f t h e c a s e s w e r e m i s s i n g d a t a a t e v e r y s e c o n d a n d t h i r d t i m e p o i n t E s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y f o r t h e a b o v e p o p u l a t i o n s a r e p r e s e n t e d i n T a b l e 1 1 D e g r e e o f S e p a r a t i o n B e t w e e n K 1F a n d K 2T M o d e l s (2) T o g e n e r a l i z e a c r o s s c o m b i n a t i o n s o f e x p e r i m e n t a l c o n d i t i o n s n o t e x a m i n e d i n t h i s s t u d y e s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y w e r e r e l a t e d t o a n o m n i b u s m e a s u r e o f t h e d e g r e e o f s e p a r a t i o n b e t w e e n a f a l s e o n e c l a s s ( K 1F) a n d t r u e t w o c l a s s ( K 2T) m o d e l s ( d e n o t e d a s n2) A g a i n n2 i s d e f i n e d a s n2 = 2 ( l o g LK 1Fl o g LK 2T) n d fn = i n t h a t i s a s t h e a v e r a g e o f – 2 t i m e s t h e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n t h e c o m p e t i n g m o d e l s a c r o s s n r e p l i c a t i o n s m i n u s t h e d i f f e r e n c e i n t h e n u m b e r o f f r e e l y e s t i m a t e d p a r a m e t e r s b e t w e e n t h e m o d e l s ( i e d f = 3 f o r a l l m o d e l c o m p a r i s o n s ) E s t i m a t e d v a l u e s o f l2 f o r t h e 3 6 e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d i n t h i s s t u d y a r e p r e s e n t e d i n T a b l e 1 1 w h e r e l a r g e r v a l u e s o f l2 r e p r e s e n t g r e a t e r o v e r a l l s e p a r a t i o n b e t w e e n t h e t w o m o d e l s R e g r e s s i n g t h e d e r i v e d e s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y o n l2 p r o v i d e d a b a s i s b y w h i c h p o w e r a n d a c c u r a c y c o u l d b e e x t r a p o l a t e d f o r a l l v a l u e s o f l2. R e s u l t s f r o m t h e s e r e g r e s s i o n s i n d i c a t e d t h a t a d j u s t e d p o w e r a n d a c c u r a c y w e r e a c c u r a t e l y

PAGE 62

5 3 e s t i m a t e d b y r e g r e s s i o n e q u a t i o n s i n c l u d i n g l i n e a r a n d q u a d r a t i c t e r m s S p e c i f i c a l l y a d j u s t e d p o w e r w a s b e s t m o d e l e d a s a d j u s t e d p o w e r = 0 5 1 + 0 9 8 ( l2) 0 0 2 ( l2)2 r e s u l t i n g i n a n R2 = 9 9 a n d a m o d e l s t a n d a r d e r r o r = 0 4 2 S i m i l a r l y a d j u s t e d a c c u r a c y w a s b e s t m o d e l e d a s a d j u s t e d a c c u r a c y = 0 6 2 + 0 9 2 ( l2) 0 0 2 ( l2)2 w i t h a c o r r e s p o n d i n g R2 = 9 8 a n d m o d e l s t a n d a r d e r r o r = 0 4 8 T h e s e r e l a t i o n s h i p s a r e s h o w n g r a p h i c a l l y a s a d j u s t e d p o w e r a n d a c c u r a c y c u r v e s b y l2 ( s e e F i g u r e 1 3 ) A s s h o w n i n t h e f i g u r e a l2 v a l u e o f 1 2 3 5 i s n e e d e d t o a c h i e v e a d j u s t e d p o w e r o f 8 0 ( f o r d e t e c t i o n o f K 2T r e l a t i v e t o K 1F) F o r a n a d j u s t e d a c c u r a c y o f 8 0 l2 = 1 4 5 4 i s r e q u i r e d ( f o r t h e s a m e m o d e l c o m p a r i s o n ) M o t i v a t i n g E x a m p l e A m o t i v a t i n g e x a m p l e o f p o w e r e s t i m a t i o n f o r l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n i n t h e g r o w t h m i x t u r e m o d e l i s p r o v i d e d t o i l l u s t r a t e t h e p r o c e d u r e D a t a u s e d i n t h i s e x a m p l e w e r e p r o v i d e d b y t h e C o m p r e h e n s i v e C o m m u n i t y M e n t a l H e a l t h S e r v i c e s f o r C h i l d r e n a n d T h e i r F a m i l i e s P r o g r a m ( O R C M a c r o I n t e r n a t i o n a l 1 9 9 5 ) a l o n g i t u d i n a l s y s t e m o f c a r e d e m o n s t r a t i o n p r o j e c t t h a t e v a l u a t e d a n i n t e g r a t e d s y s t e m s a p p r o a c h f o r t h e p r o v i s i o n o f c h i l d r e n ’ s m e n t a l h e a l t h s e r v i c e s A s p a r t o f t h e e v a l u a t i o n a s e r i e s o f g r o w t h m i x t u r e m o d e l s w e r e e s t i m a t e d t o t e s t f o r b e t w e e n g r o u p d i f f e r e n c e s ( i e i n t e r v e n t i o n v e r s u s c o m p a r i s o n s i t e s ) i n t r a j e c t o r i e s o f d e l i n q u e n t b e h a v i o r T h e s a m p l e f o r t h e e v a l u a t i o n c o n s i s t e d o f 4 4 2 c h i l d r e n m e a s u r e d a t i n t a k e i n t o s e r v i c e a n d e v e r y s i x m o n t h s t h e r e a f t e r f o r a t w o y e a r p e r i o d M e a s u r e s o f d e l i n q u e n t b e h a v i o r c o n s i s t e d o f C h i l d B e h a v i o r C h e c k l i s t / 4 1 8 d e l i n q u e n c y s y n d r o m e T s c o r e s ( A c h e n b a c h 1 9 9 1 )

PAGE 63

5 4 A p p r o x i m a t e l y 1 0 % o f t h e s a m p l e w a s m i s s i n g d a t a a t t h e s e c o n d m e a s u r e m e n t o c c a s i o n 1 1 % a t T i m e 3 1 9 % a t T i m e 4 a n d 3 5 % a t T i m e 5 A s n o t e d e a r l i e r r e s u l t s b a s e d o n t h e e n t i r e s a m p l e i n d i c a t e d t h a t a f o u r c l a s s g r o w t h m i x t u r e m o d e l e x h i b i t e d o p t i m a l f i t t o t h e d a t a ( G r e e n b a u m & B r o w n 2 0 0 2 ) H o w e v e r f o r s i m p l i c i t y t h e m o t i v a t i n g e x a m p l e i s r e s t r i c t e d t o a n a n a l y s i s o f l i n e a r t r a j e c t o r i e s o n l y a n d d o e s n o t i n c o r p o r a t e r e s u l t s w i t h q u a d r a t i c g r o w t h t r a j e c t o r i e s n o r a d j u s t m e n t f o r p r o p e n s i t y s c o r e s b o t h o f w h i c h w e r e i n c l u d e d i n t h e o r i g i n a l e v a l u a t i o n M o d e l s e l e c t i o n i n f o r m a t i o n f o r f i t t e d o n e t w o a n d t h r e e c l a s s l i n e a r g r o w t h m i x t u r e m o d e l s b a s e d o n d a t a f r o m t h e e v a l u a t i o n a r e s h o w n i n t h e t o p h a l f o f T a b l e 1 2 A l t h o u g h t h e B I C i n d i c a t e d a p r e f e r e n c e f o r t h e o n e c l a s s m o d e l o v e r t h e t w o c l a s s m o d e l v a l u e s f o r t h e A I C A B I C a n d L R T i d e n t i f i e d t h e t w o c l a s s m o d e l a s h a v i n g b e t t e r f i t t o t h e d a t a t h a n a o n e c l a s s m o d e l F u r t h e r m o r e a l l m o d e l s e l e c t i o n c r i t e r i a i d e n t i f i e d t h e t h r e e c l a s s m o d e l a s h a v i n g b e s t o v e r a l l f i t c o m p a r e d t o b o t h o n e a n d t w o c l a s s m o d e l s ( a f o u r c l a s s l i n e a r m o d e l d i d n o t c o n v e r g e t o a s t a b l e s o l u t i o n ) L a t e n t t r a j e c t o r y c l a s s e s f o r t h e t h r e e c l a s s m o d e l c o n s i s t e d o f ( a ) l o w d e c l i n i n g ( b ) h i g h d e c l i n i n g a n d ( c ) h i g h i n c r e a s i n g g r o u p s c o m p r i s i n g a p p r o x i m a t e l y 4 4 % 5 1 % a n d 5 % o f p a r t i c i p a n t s r e s p e c t i v e l y E s t i m a t e s o f s t a t i s t i c a l p o w e r t o r e j e c t t h e o n e c l a s s m o d e l i n f a v o r o f a t w o c l a s s m o d e l a n d t h e t w o c l a s s m o d e l i n f a v o r o f a t h r e e c l a s s m o d e l w e r e b a s e d o n 5 0 0 r e p l i c a t i o n s o f s i m u l a t e d d a t a u s i n g p a r a m e t e r e s t i m a t e s m i x i n g p r o p o r t i o n s a n d a m i s s i n g d a t a p a t t e r n o b t a i n e d f r o m t h e a n a l y s i s o f t h e e v a l u a t i o n d a t a ( s e e T a b l e 1 3 f o r p a r a m e t e r e s t i m a t e s f o r o n e t w o a n d t h r e e c l a s s g r o w t h m i x t u r e m o d e l s ) S t a r t i n g v a l u e s f o r g r o w t h p a r a m e t e r s i n t h e M o n t e C a r l o s i m u l a t i o n m o d e l s w e r e b a s e d o n m e a n

PAGE 64

5 5 v a l u e s f r o m t h e o n e c l a s s ( i e l a t e n t g r o w t h ) m o d e l a n d d e v i a t i o n s o f 0 5 s t a n d a r d d e v i a t i o n u n i t s f o r t h e t w o c l a s s m o d e l a n d 1 0 s t a n d a r d d e v i a t i o n u n i t s f o r t h e t h r e e c l a s s m o d e l V a r i a n c e s a n d c o v a r i a n c e s f o r e s t i m a t e d p a r a m e t e r s w e r e c o n s t r a i n e d t o b e e q u a l a c r o s s c l a s s e s f o r b o t h t w o a n d t h r e e c l a s s m o d e l s A l l M o n t e C a r l o s i m u l a t i o n a n a l y s e s w e r e p e r f o r m e d u s i n g M p l u s M o n t e C a r l o s i m u l a t i o n p r o c e d u r e s ( M a s y n & M u t h n 2 0 0 0 ; M u t h n 2 0 0 2 ; M u t h n & A s p a r o u h o v 2 0 0 2 ; M u t h n & M u t h n 2 0 0 2 ) S e e A p p e n d i x E f o r M p l u s i n p u t p r o g r a m s u s e d f o r t h e m o t i v a t i n g e x a m p l e V a l u e s f o r t h e A I C B I C A B I C a n d l o g l i k e l i h o o d s a v e r a g e d a c r o s s 5 0 0 r e p l i c a t i o n s o f s i m u l a t e d t r u e o n e t w o a n d t h r e e c l a s s m o d e l s a r e s h o w n i n t h e b o t t o m h a l f o f T a b l e 1 2 M e a n v a l u e s f o r t h e p e n a l i z e d i n f o r m a t i o n c r i t e r i a a n d l o g l i k e l i h o o d s d e r i v e d f r o m M o n t e C a r l o s i m u l a t i o n c o r r e s p o n d e d v e r y c l o s e l y t o v a l u e s g e n e r a t e d f r o m t h e a n a l y s i s o f t h e o r i g i n a l e v a l u a t i o n d a t a w h i c h i s t o b e e x p e c t e d g i v e n t h a t t h e p a r a m e t e r s f o r t h e p s e u d o p o p u l a t i o n s i n t h e M o n t e C a r l o s i m u l a t i o n s w e r e d e r i v e d d i r e c t l y f r o m t h e a n a l y s i s o f t h e o r i g i n a l e v a l u a t i o n d a t a M i n i m a l v a l u e s f o r a l l m o d e l s e l e c t i o n c r i t e r i a s i m i l a r l y i d e n t i f i e d a t h r e e c l a s s l i n e a r g r o w t h m i x t u r e m o d e l a s h a v i n g o p t i m a l f i t S t a t i s t i c a l p o w e r t o d e t e c t a t r u e t w o c l a s s m o d e l ( K 2T, d e f i n e d a s e s t i m a t i o n o f a t w o c l a s s m o d e l d r a w n f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ) w a s e s t i m a t e d a t a n e f f e c t i v e T y p e I e r r o r r a t e o f 0 5 T o a c c o m p l i s h t h i s c r i t i c a l v a l u e s f o r e a c h m o d e l s e l e c t i o n c r i t e r i o n w e r e d e r i v e d f r o m e m p i r i c a l d i s t r i b u t i o n s o f d i f f e r e n c e s b e t w e e n f a l s e t w o c l a s s m o d e l s ( K 2F, i e a o n e c l a s s p s e u d o p o p u l a t i o n f o r e s t i m a t i o n o f a t w o c l a s s m o d e l ) a n d t r u e o n e c l a s s m o d e l s ( K 1T, i e a o n e c l a s s p s e u d o p o p u l a t i o n f o r e s t i m a t i o n o f a o n e c l a s s m o d e l ) F o r e x a m p l e t h e d i s t r i b u t i o n o f t h e d i f f e r e n c e i n

PAGE 65

5 6 B I C v a l u e s b e t w e e n s i m u l a t e d K 2F a n d K 1T m o d e l s r e s u l t e d i n a v a l u e o f 8 7 6 f o r t h e 9 5t h p e r c e n t i l e s u g g e s t i n g t h a t t h e B I C f o r a t w o c l a s s m o d e l c o u l d b e u p t o 8 7 6 p o i n t s g r e a t e r t h a n t h e B I C f o r t h e c o r r e s p o n d i n g o n e c l a s s m o d e l a n d s t i l l d e m o n s t r a t e s i g n i f i c a n t l y b e t t e r f i t a t = 0 5 S t a t i s t i c a l p o w e r f o r a t r u e t h r e e c l a s s m o d e l ( K 3T, i e e s t i m a t i o n o f a t h r e e c l a s s m o d e l d r a w n f r o m a t h r e e c l a s s p s e u d o p o p u l a t i o n ) a l s o w a s e s t i m a t e d a t a n e f f e c t i v e T y p e I e r r o r r a t e o f 0 5 w i t h c r i t i c a l v a l u e s s i m i l a r l y o b t a i n e d a s t h e r e s u l t o f c o m p a r i s o n s i n t h e e m p i r i c a l d i s t r i b u t i o n s o f m o d e l s e l e c t i o n c r i t e r i a b e t w e e n K 3F ( i e t w o c l a s s p s e u d o p o p u l a t i o n f o r e s t i m a t i o n o f a t h r e e c l a s s m o d e l ) a n d K 2T m o d e l s S t a t i s t i c a l p o w e r f o r t h e t r u e t w o c l a s s m o d e l w a s d e f i n e d a s t h e p r o p o r t i o n o f 5 0 0 r e p l i c a t i o n s t h a t c o n t a i n e d a s i g n i f i c a n t l y b e t t e r f i t f o r t h e K 2T m o d e l r e l a t i v e t o t h e K 1F m o d e l ( i e a t w o c l a s s p s e u d o p o p u l a t i o n f o r e s t i m a t i o n o f a o n e c l a s s m o d e l ) r e l y i n g o n t h e e m p i r i c a l l y d e r i v e d c r i t i c a l v a l u e s t o a c h i e v e a n e f f e c t i v e T y p e I e r r o r r a t e o f 0 5 L i k e w i s e s t a t i s t i c a l p o w e r f o r t h e t r u e t h r e e c l a s s m o d e l w a s d e f i n e d a s t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t s i g n i f i c a n t l y i d e n t i f i e d t h e K 3T m o d e l a s h a v i n g b e t t e r f i t t o t h e d a t a t h a n a c o m p e t i n g m o d e l t h a t e s t i m a t e d t w o l a t e n t t r a j e c t o r y c l a s s e s f r o m a t h r e e c l a s s p s e u d o p o p u l a t i o n ( d e n o t e d a s K 2F F) ( F o u r r e p l i c a t i o n s f o r t h e K 3T m o d e l r e s u l t e d i n u n s t a b l e p a r a m e t e r e s t i m a t e s a n d c o n s e q u e n t l y w e r e r e j e c t e d i n f a v o r o f t h e c o m p e t i n g K 2F F m o d e l ) C o m p a r i s o n o f m o d e l s e l e c t i o n c r i t e r i a f o r K 1F a n d K 2T m o d e l s i n d i c a t e d t h a t 8 9 4 % o f r e p l i c a t i o n s i d e n t i f i e d t h e K 2T m o d e l a s h a v i n g s i g n i f i c a n t l y b e t t e r f i t t h a n t h e K 1F m o d e l F o r t h e c o m p a r i s o n o f K 2F F a n d K 3T m o d e l s 9 1 4 % o f r e p l i c a t i o n s i d e n t i f i e d t h e K 3T m o d e l a s h a v i n g s i g n i f i c a n t l y b e t t e r f i t t h a n t h e K 2F F m o d e l T h e r e f o r e b a s e d o n d a t a p a t t e r e d a f t e r t h e d e m o n s t r a t i o n p r o j e c t e v a l u a t i o n t h e

PAGE 66

5 7 M o n t e C a r l o s i m u l a t i o n s r e s u l t e d i n e s t i m a t e s o f 8 9 4 p o w e r t o d e t e c t a t r u e t w o c l a s s l i n e a r g r o w t h m i x t u r e m o d e l o v e r a o n e c l a s s m o d e l a n d 9 1 4 p o w e r t o d e t e c t a t r u e t h r e e c l a s s m o d e l o v e r a t w o c l a s s m o d e l T h e s e e s t i m a t e s w e r e r e l a t e d b a c k t o t h e f u n c t i o n a l r e l a t i o n s h i p b e t w e e n n2 a n d e s t i m a t e s o f s t a t i s t i c a l p o w e r d e r i v e d a c r o s s t h e 3 6 e x p e r i m e n t a l c o n d i t i o n s d e s c r i b e d e a r l i e r V a l u e s o f n2 c o r r e s p o n d i n g t o t h e e s t i m a t e s o f p o w e r f r o m t h e s i m u l a t i o n o f e v a l u a t i o n d a t a w e r e 1 8 8 8 a n d 3 4 4 9 r e s p e c t i v e l y I n s e r t i n g t h e s e v a l u e s i n t o t h e e q u a t i o n d e s c r i b e d e a r l i e r r e s u l t e d i n p r e d i c t e d p o w e r e s t i m a t e s o f 9 5 7 ( 9 5 % c o n f i d e n c e i n t e r v a l = 8 7 4 t o 1 0 0 ) a n d 1 0 0 ( 9 5 % c o n f i d e n c e i n t e r v a l = 9 1 7 t o 1 0 0 ) r e s p e c t i v e l y

PAGE 67

5 8 C h a p t e r F i v e D i s c u s s i o n T h i s s t u d y w a s g u i d e d b y a d e s i r e t o p r o v i d e a b a s i s f o r a p p l i e d r e s e a r c h e r s t o m a k e d e s i g n d e c i s i o n s t o a c h i e v e a d e s i r e d l e v e l o f p o w e r a n d a c c u r a c y f o r d e t e r m i n i n g t h e o p t i m a l n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s H o w e v e r t o a c c o m p l i s h t h i s r e q u i r e s s e v e r a l s t e p s c o i n c i d i n g w i t h t h e m u l t i p l e o b j e c t i v e s o f t h i s s t u d y I n t h i s c h a p t e r t h e d i s c u s s i o n o f f i n d i n g s f r o m t h i s s t u d y b e g i n s w i t h a d e s c r i p t i o n o f t h e g e n e r a l p r o c e d u r e f o r c o n d u c t i n g t h e M o n t e C a r l o s i m u l a t i o n s f o r l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n T h i s s t e p b y s t e p p r o c e s s i s d e s c r i b e d i n o r d e r t o f a c i l i t a t e p o w e r a n d a c c u r a c y e s t i m a t i o n f o r r e s e a r c h e r s w h o w o u l d l i k e t o p r o d u c e e s t i m a t e s f o r a n e x i s t i n g o r p r o p o s e d s t u d y o f t h e i r o w n o r w h o w o u l d l i k e t o e x t e n d r e s e a r c h r e l a t e d t o l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n i n t o n e w a r e a s ( e g o t h e r e x p e r i m e n t a l c o n d i t i o n s n o t e x a m i n e d i n t h i s s t u d y ) T h e d i s c u s s i o n t h e n c o n t i n u e s w i t h a d e s c r i p t i o n o f t h e s p e c i f i c r e s u l t s o f t h e s t u d y a s t h e y r e l a t e t o t h e i n i t i a l r e s e a r c h q u e s t i o n s p o s e d i n C h a p t e r O n e S u s b s e q u e n t l y a s e x a m p l e s o f h o w t h e p r o c e d u r e f o r p o w e r e s t i m a t i o n i s i n t e g r a t e d w i t h t h e r e s u l t s d e r i v e d f r o m t h e M o n t e C a r l o s i m u l a t i o n s t w o h y p o t h e t i c a l a p p l i c a t i o n s a r e p r e s e n t e d I n t u r n t h i s l e a d s t o a d i s c u s s i o n o f f i n d i n g s f r o m t h e m o t i v a t i n g e x a m p l e u s i n g r e a l d a t a f r o m t h e e v a l u a t i o n o f a l o n g i t u d i n a l d e m o n s t r a t i o n p r o j e c t T h i s i s f o l l o w e d b y a d e s c r i p t i o n o f l i m i t a t i o n s t o t h e c u r r e n t s t u d y w h i c h n a t u r a l l y f l o w s i n t o p o s s i b l e

PAGE 68

5 9 d i r e c t i o n s f o r f u t u r e r e s e a r c h F i n a l l y t h e c h a p t e r c o n c l u d e s w i t h s e v e r a l g e n e r a l c o n c l u s i o n s g l e a n e d f r o m t h e s t u d y S u m m a r y o f M o n t e C a r l o S i m u l a t i o n P r o c e d u r e T h e p r o c e d u r e u s e d i n t h i s s t u d y i n v o l v e d M o n t e C a r l o s i m u l a t i o n o f d a t a w h i c h a r e b a s e d o n a p a r t i c u l a r s e t o f d e s i g n a n d p o p u l a t i o n c h a r a c t e r i s t i c s a n d p e n a l i z e d i n f o r m a t i o n c r i t e r i a ( i e t h e A I C B I C a n d A B I C ) o r l o g l i k e l i h o o d v a l u e s ( i e t h e L R T ) t o d e v e l o p t h e d e c i s i o n r u l e s f o r e n u m e r a t i n g l a t e n t t r a j e c t o r y c l a s s e s A l t h o u g h t h e p r o c e d u r e i s r e l a t i v e l y s t r a i g h t f o r w a r d a n u m b e r o f d e t a i l e d d e c i s i o n s n e e d t o b e m a d e T h e s t e p s a r e s e a r c h e r h a s t o g o t h r o u g h t o e s t i m a t e s t a t i s t i c a l p o w e r o r a c c u r a c y u s i n g M o n t e C a r l o s i m u l a t i o n a r e d o c u m e n t e d a s f o l l o w s F i r s t u s i n g i n f o r m a t i o n f r o m p r e v i o u s s t u d i e s o r i n t h e a b s e n c e o f s u c h s t u d i e s d e v e l o p i n g v a l u e s b a s e d o n t h e o r y t h e r e s e a r c h e r n e e d s t o s p e c i f y t h e c h a r a c t e r i s t i c s o f t h e p s e u d o p o p u l a t i o n f r o m w h i c h s i m u l a t e d s a m p l e d a t a w i l l b e d r a w n T h e s e s h o u l d i n c l u d e b u t n o t b e l i m i t e d t o : ( a ) d i s t r i b u t i o n o f t h e d e p e n d e n t i n d i c a t o r v a r i a b l e ( yi t) ( b ) t h e h y p o t h e s i z e d n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s i n t h e p o p u l a t i o n ( c ) d e g r e e o f s e p a r a t i o n b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s ( d ) f u n c t i o n a l f o r m o f t r a j e c t o r y c l a s s e s ( e g l i n e a r q u a d r a t i c e t c ) ( e ) p r o p o r t i o n o f c a s e s i n e a c h l a t e n t t r a j e c t o r y c l a s s ( i e m i x i n g p r o p o r t i o n ) ( f ) c o v a r i a t i o n a m o n g g r o w t h p a r a m e t e r s a n d ( g ) v a r i a b i l i t y w i t h i n a n d b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s ( e g d e c o m p o s i t i o n o f v a r i a n c e c o m p o n e n t s a m o n g g r o w t h p a r a m e t e r s i n v a r i a n c e o r n o n i n v a r i a n c e a m o n g c l a s s e s ) S e c o n d t h e r e s e a r c h e r s h o u l d s i m i l a r l y i d e n t i f y t h e c h a r a c t e r i s t i c s o f t h e p a r t i c u l a r l o n g i t u d i n a l d e s i g n o f i n t e r e s t i n c l u d i n g f o r e x a m p l e ( a ) t h e r e l e v a n t s a m p l e s i z e ( b ) n u m b e r a n d s p a c i n g o f r e p e a t e d m e a s u r e s a n d ( c ) d e g r e e a n d p a t t e r n o f m i s s i n g d a t a V a l u e s f o r t h e s e

PAGE 69

6 0 p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s a r e s p e c i f i e d i n c o m p u t e r i n p u t p r o g r a m s a s s h o w n i n A p p e n d i x A T h i r d c o n s i d e r a t i o n s h o u l d b e g i v e n t o t h e m e c h a n i c s o f c o n d u c t i n g t h e M o n t e C a r l o s i m u l a t i o n r u n s F o r e x a m p l e t h e r e s e a r c h e r n e e d s t o d e c i d e o n t h e a c c e p t a b l e d e g r e e o f p r e c i s i o n o f r e s u l t a n t e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y T h i s t r a n s l a t e s i n t o d e t e r m i n i n g t h e n u m b e r o f r e p l i c a t i o n s f o r s i m u l a t e d d a t a a n d t h e m a x i m u m a l l o w a b l e n u m b e r o f i t e r a t i o n s i n t h e e s t i m a t i o n p r o c e s s I n t h i s s t u d y 5 0 0 r e p l i c a t i o n s w e r e d e t e r m i n e d t o b e s u f f i c i e n t f o r 9 5 % c o n f i d e n c e i n t e r v a l s o f n o g r e a t e r t h a n 0 4 5 a r o u n d e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y A t t e n t i o n a l s o n e e d s t o b e g i v e n i n s p e c i f y i n g t h e c o r r e c t r a n d o m n u m b e r s e e d s i n g e n e r a t i n g d a t a f o r c o m p a r i s o n s o f d i f f e r e n t m o d e l s w i t h i n a c o m m o n d a t a s e t F o u r t h t h e r e s e a r c h h y p o t h e s i s o r h y p o t h e s e s m u s t b e m a d e e x p l i c i t a n d a l s o s h o u l d b e a c c u r a t e l y r e p r e s e n t e d i n t h e c o r r e s p o n d i n g c o m p u t e r i n p u t p r o g r a m s F o r e x a m p l e i f t h e g o a l o f t h e M o n t e C a r l o s i m u l a t i o n i s t o a s c e r t a i n e s t i m a t e s o f p o w e r t o d e t e c t a m i x t u r e o f t w o l a t e n t t r a j e c t o r y c l a s s e s a s o p p o s e d t o a s i n g l e u n d e r l y i n g d i s t r i b u t i o n i n t h e p o p u l a t i o n t h e n u l l h y p o t h e s i s r e p r e s e n t s t h e k0 = 1 s i t u a t i o n a n d t h e a l t e r n a t i v e h y p o t h e s i s r e p r e s e n t s t h e k1 = 2 s i t u a t i o n T h i s t r a n s l a t e s i n t o a c o m p a r i s o n o f c o m p e t i n g h y p o t h e s e s : t h e f i r s t ( n u l l ) h y p o t h e s i s c o n s i s t s o f e s t i m a t i n g o f a f a l s e o n e c l a s s m o d e l f r o m a t r u e t w o c l a s s p s e u d o p o p u l a t i o n ; t h e s e c o n d ( a l t e r n a t i v e ) h y p o t h e s i s c o n s i s t s o f e s t i m a t i n g a t r u e t w o c l a s s m o d e l f r o m t h e t r u e t w o c l a s s p s e u d o p o p u l a t i o n ( s e e A p p e n d i x A f o r a n e x a m p l e o f M p l u s i n p u t s y n t a x f o r t h i s c o m p a r i s o n ) I f t h e r e s e a r c h e r a d d i t i o n a l l y w i s h e s t o r u l e o u t t h e p o s s i b i l i t y o f a t h r e e c l a s s s o l u t i o n ( i e t o d e t e r m i n e t h e a c c u r a c y o f t h e t w o c l a s s m o d e l ) t h e n u l l h y p o t h e s i s b e c o m e s k0 = 1 o r 3 a n d t h e a l t e r n a t i v e h y p o t h e s i s i s m o d i f i e d t o i n c l u d e a

PAGE 70

6 1 f a l s e t h r e e c l a s s m o d e l e s t i m a t e d f r o m t h e t r u e t w o c l a s s p o p u l a t i o n ( a g a i n s e e A p p e n d i x A f o r a n e x a m p l e ) F i f t h t h e r e s e a r c h e r n e e d s t o d e c i d e o n t h e c r i t e r i a f o r s e l e c t i n g t h e o p t i m a l m o d e l I m p l i c i t i n t h e d e c i s i o n r u l e s t h e r e s e a r c h e r c h o o s e s i n m o d e l s e l e c t i o n i s d e t e r m i n a t i o n o f t h e T y p e I e r r o r r a t e I f t h e t r a d i t i o n a l m i n i m a l v a l u e a c r o s s c o m p e t i n g m o d e l s r u l e o f t h u m b i s u s e d w i t h t h e A I C B I C o r A B I C t h e n t h e r e s e a r c h e r n e e d s t o b e c o g n i z a n t o f e f f e c t i v e T y p e I e r r o r r a t e s a s s o c i a t e d w i t h e a c h c r i t e r i o n R e s u l t s o f t h i s s t u d y s u p p o r t t h e u s e o f t h e A B I C w h i c h c o n s i s t e n t l y d e m o n s t r a t e d T y p e I e r r o r r a t e s c l o s e s t t o t h e c o n v e n t i o n a l = 0 5 ( s e e r e s p o n s e t o r e s e a r c h Q u e s t i o n # 7 b e l o w ) A l t e r n a t i v e l y a s w a s d o n e i n t h i s s t u d y t h e r e s e a r c h e r m a y c h o o s e t o u s e e m p i r i c a l l y d e r i v e d c r i t i c a l v a l u e s f o r t h e A I C B I C A B I C o r L R T i n c h o o s i n g t h e o p t i m a l m o d e l H e r e a n a d d i t i o n a l m o d e l c o m p a r i s o n i s r e q u i r e d c o n s i s t i n g o f a t r u e o n e c l a s s m o d e l e s t i m a t e d f r o m a t r u e o n e c l a s s p s e u d o p o p u l a t i o n ( t h e n u l l h y p o t h e s i s ) v e r s u s a f a l s e t w o c l a s s m o d e l e s t i m a t e d f r o m a t r u e o n e c l a s s p s e u d o p o p u l a t i o n ( t h e a l t e r n a t i v e h y p o t h e s i s ) T h e d i f f e r e n c e i n m o d e l s e l e c t i o n c r i t e r i o n v a l u e s a t t h e 9 5t h p e r c e n t i l e o f t h e d i s t r i b u t i o n i d e n t i f i e s t h e c r i t i c a l v a l u e t h a t s h o u l d b e u s e d t o c o m p a r e v a l u e s o f t h e m o d e l s e l e c t i o n c r i t e r i o n i n e s t i m a t i n g p o w e r ( a t a n o m i n a l = 0 5 ) I n t h i s w a y d i f f e r e n c e s i n T y p e I e r r o r r a t e s a r e e q u a t e d b y t h e d i f f e r e n t c r i t i c a l v a l u e s a n d t h e d e c i s i o n o f w h i c h m o d e l s e l e c t i o n c r i t e r i o n t o u s e i s n o t i m p o r t a n t — a l l c r i t e r i a w i l l r e s u l t i n i d e n t i c a l e s t i m a t e s o f p o w e r a n d a c c u r a c y F i n a l l y r e s u l t s f r o m t h e v a r i o u s m o d e l c o m p a r i s o n s a r e l i n k e d b y r e p l i c a t i o n n u m b e r a n d t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t ( c o r r e c t l y ) r e j e c t t h e n u l l h y p o t h e s i s i s f o u n d u s i n g t h e d e c i s i o n r u l e s j u s t d e s c r i b e d A n e x a m p l e o f c o m p u t e r p r o g r a m m i n g t h a t

PAGE 71

6 2 a c c o m p l i s h e s t h i s c a n b e s e e n i n A p p e n d i x D T h i s p r o c e d u r e c a n b e r e p e a t e d w i t h v a r y i n g v a l u e s o f d e s i g n o r p o p u l a t i o n c h a r a c t e r i s t i c s t o d e t e r m i n e t h e s p e c i f i c s e t o f c h a r a c t e r i s t i c s n e c e s s a r y f o r a p a r t i c u l a r l e v e l o f p o w e r o r a c c u r a c y S u m m a r y o f F i n d i n g s f o r t h e R e s e a r c h Q u e s t i o n s T h e g o a l o f t h i s s t u d y w a s t o p r o d u c e e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y f o r s i x s p e c i f i c e x p e r i m e n t a l c o n d i t i o n s c h o s e n t o r e p r e s e n t d e s i g n a n d p o p u l a t i o n c h a r a c t e r i s t i c s c o m m o n l y f o u n d i n r e s e a r c h a p p l i c a t i o n s I n o r d e r t o d e r i v e t h e s e e s t i m a t e s f o u r m o d e l s e l e c t i o n c r i t e r i a ( i e t h e A I C B I C A B I C a n d L R T ) w e r e e x a m i n e d t o d e t e r m i n e t h e i r r e s p e c t i v e a b i l i t i e s t o i d e n t i f y t h e c o r r e c t n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s T h i s e x a m i n a t i o n w a s c o n d u c t e d b y c o m p a r i n g e f f e c t i v e T y p e I e r r o r r a t e s t o a n o m i n a l = 0 5 A n a d d i t i o n a l g o a l o f t h e s t u d y w a s t o d e v e l o p a m e a n s b y w h i c h e s t i m a t e s o f p o w e r a n d a c c u r a c y c o u l d b e g e n e r a l i z e d a c r o s s m u l t i p l e e x p e r i m e n t a l c o n d i t i o n s a n d t o c o n d i t i o n s o u t s i d e t h e s c o p e o f t h i s s t u d y F i n d i n g s f r o m t h i s s t u d y w i t h r e s p e c t t o t h e s p e c i f i c r e s e a r c h q u e s t i o n s p o s e d e a r l i e r a r e s u m m a r i z e d b e l o w 1 F o r a p a r t i c u l a r l o n g i t u d i n a l d e s i g n h o w d o s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( i e d s = 0 3 0 0 5 0 0 8 0 1 0 0 a n d 1 2 0 ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? R e s u l t s f r o m v a r y i n g t h e s t a n d a r d i z e d d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s w e r e c o n s i s t e n t w i t h p r e v i o u s r e s e a r c h t h a t a l s o e x a m i n e d t h i s c o n d i t i o n ( L o e t a l 2 0 0 1 ; M e n d e l l e t a l 1 9 9 1 1 9 9 3 ) T h a t i s i n c r e a s e d v a l u e s o f d r e s u l t s i n p o s i t i v e i n c r e a s e s w i t h T y p e I e r r o r r a t e a d j u s t e d e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y R e s u l t s f r o m t h i s s t u d y i n d i c a t e t h a t a c r o s s

PAGE 72

6 3 t h e e x a m i n e d r a n g e o f v a l u e s t h e r e l a t i o n s h i p i s a p p r o x i m a t e l y l i n e a r w i t h a d j u s t e d p o w e r i n c r e a s i n g b y 1 1 f o r e v e r y 0 1 0 i n c r e a s e i n d ( s e e F i g u r e 7 ) H o w e v e r f o r t h e p a r t i c u l a r c o m b i n a t i o n o f e x p e r i m e n t a l c o n d i t i o n s u s e d i n t h i s a n a l y s i s ( i e N = 6 0 0 s i x e q u a l l y s p a c e d t i m e p o i n t s n o m i s s i n g d a t a z e r o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s a n d 6 0 % o f t o t a l v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e g r o w t h p a r a m e t e r s ) g r o w t h p a r a m e t e r s b e t w e e n c l a s s e s h a v e t o b e a t l e a s t o n e s t a n d a r d d e v i a t i o n a p a r t t o a c h i e v e 8 0 p o w e r T h e r e f o r e r e s e a r c h e r s s h o u l d c o n s i d e r m o r e f a v o r a b l e d e s i g n c o n d i t i o n s t h a t w o u l d a i d i n t h e d e t e c t i o n o f l a t e n t t r a j e c t o r y c l a s s e s ( e g a s a m p l e s i z e g r e a t e r t h a n N = 6 0 0 o r m o r e t h a n s i x t i m e p o i n t s ) w h e n c l a s s e s a r e h y p o t h e s i z e d t o b e l e s s t h a n d = 1 0 2 F o r a p a r t i c u l a r l o n g i t u d i n a l d e s i g n h o w d o e s t h e p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e p a r a m e t e r s ( i e 4 0 % 5 0 % 6 0 % 7 0 % a n d 8 0 % ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? A s n o t e d b e f o r e i n c r e a s i n g t h e p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e p a r a m e t e r s i s e q u i v a l e n t t o r e d u c i n g e r r o r v a r i a n c e w h i c h r e s u l t s i n p o s i t i v e l i n e a r i n c r e a s e s i n a d j u s t e d p o w e r a n d a c c u r a c y ( S e e F i g u r e 8 ) S i m i l a r t o s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s i n c r e a s i n g t h e p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s b y 1 0 % ( o v e r t h e r a n g e o f v a l u e s e x a m i n e d h e r e ) r e s u l t e d i n a c o r r e s p o n d i n g 1 2 i n c r e a s e i n a d j u s t e d p o w e r U n d e r t h e p a r t i c u l a r c o m b i n a t i o n o f e x p e r i m e n t a l c o n d i t i o n s u s e d h e r e ( i e N = 6 0 0 s i x e q u a l l y s p a c e d t i m e p o i n t s n o m i s s i n g d a t a z e r o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s a n d d = 1 0 ) a d j u s t e d p o w e r r e a c h e s 8 0 w h e n t h e p e r c e n t a g e o f e x p l a i n e d v a r i a n c e i s 6 0 %

PAGE 73

6 4 C o n s e q u e n t l y p e r c e n t a g e s s m a l l e r t h a n t h i s r e q u i r e l a r g e r v a l u e s f o r o t h e r d e s i g n c o n d i t i o n s t o m a i n t a i n a d e q u a t e p o w e r 3 F o r a p a r t i c u l a r l o n g i t u d i n a l d e s i g n h o w d o e s t h e w i t h i n c l a s s c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ( r s = 6 0 3 0 0 0 3 0 6 0 ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? T h e e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d i n t h i s s t u d y a s s u m e d t h a t i n t e r c e p t a n d s l o p e g r o w t h p a r a m e t e r s w e r e o r t h o g o n a l t h a t i s t h a t t h e i r c o r r e l a t i o n w i t h e a c h o t h e r w a s z e r o ( r = 0 0 ) R e l a x i n g t h i s a s s u m p t i o n r e s u l t e d i n o n l y m i n o r c h a n g e s i n a d j u s t e d p o w e r a n d a c c u r a c y w h e n t h e c o r r e l a t i o n b e t w e e n g r o w t h p a r a m e t e r s w a s b e t w e e n 3 0 a n d + 6 0 ( s e e F i g u r e 9 ) F o r e x a m p l e a d j u s t e d p o w e r i n c r e a s e d f r o m 0 4 6 a t r = 6 0 t o 1 8 0 a t r = 3 0 ( I t s h o u l d b e n o t e d t h a t e s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y f o r t h i s e x p e r i m e n t a l c o n d i t i o n w e r e d e r i v e d f r o m m o d e l s r e q u i r i n g a n a d d i t i o n a l d e g r e e o f f r e e d o m [ d f = 1 4 ] c o m p a r e d t o m o d e l s f o r o t h e r e x p e r i m e n t a l c o n d i t i o n s w h i c h f i x e d t h e c o v a r i a n c e b e t w e e n i n t e r c e p t s a n d s l o p e s a t z e r o [ d f = 1 3 ] T h e r e f o r e e s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y f o r t h i s e x p e r i m e n t a l c o n d i t i o n a r e n o t d i r e c t l y c o m p a r a b l e t o e s t i m a t e s o f p o w e r a n d a c c u r a c y d e r i v e d f o r t h e o t h e r e x p e r i m e n t a l c o n d i t i o n s ) H o w e v e r c h a n g i n g t h e c o r r e l a t i o n f r o m 3 0 t o 6 0 h a d a r e l a t i v e l y l a r g e i m p a c t o n c o r r e s p o n d i n g e s t i m a t e s o f p o w e r a n d a c c u r a c y i n c r e a s i n g f r o m 1 8 0 t o 7 3 2 r e s p e c t i v e l y T h i s a s y m m e t r i c i n c r e a s e r e s u l t s f r o m i m p r o v e d d i s t i n c t i o n b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s w h e n c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s a r e s t r o n g l y n e g a t i v e G i v e n t h e p a r t i c u l a r p o p u l a t i o n p a r a m e t e r s f o r C l a s s 1 ( i e h0k 1 = 1 0 0 a n d h1k 2 = 0 ) a n d C l a s s 2 ( i e h0k 2 = 9 2 4 5 a n d h1k 2 = 1 7 3 ) i n t h e t r u e t w o c l a s s ( K 2T) m o d e l l a r g e r n e g a t i v e w i t h i n c l a s s c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s i n d i c a t e t h a t a s

PAGE 74

6 5 i n d i v i d u a l i n t e r c e p t v a l u e s i n c r e a s e t h e i r c o r r e s p o n d i n g s l o p e v a l u e s d e c r e a s e ( a n d v i s a v e r s a ) T h e n e t r e s u l t i s g r e a t e r s e p a r a t i o n b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s B y c o n t r a s t l a r g e r p o s i t i v e w i t h i n c l a s s c o r r e l a t i o n s s u g g e s t t h a t a s i n d i v i d u a l i n t e r c e p t v a l u e s i n c r e a s e ( d e c r e a s e ) t h e i r c o r r e s p o n d i n g s l o p e v a l u e s a l s o i n c r e a s e ( d e c r e a s e ) m a k i n g l a t e n t t r a j e c t o r y c l a s s i d e n t i f i c a t i o n m o r e d i f f i c u l t T h e s e r e l a t i o n s h i p s a r e s h o w n g r a p h i c a l l y i n F i g u r e 1 4 w h e r e v a r i a b i l i t y i n i n d i v i d u a l g r o w t h t r a j e c t o r i e s f o r C l a s s 2 a r i s i n g f r o m t h e n e g a t i v e c o r r e l a t i o n b e t w e e n t h e g r o w t h p a r a m e t e r s ( s h o w n i n t h e t o p p a n e l ) l e a d s t o a g r e a t e r o v e r a l l d i s t i n c t i o n f r o m C l a s s 1 ( h e r e h e l d c o n s t a n t f o r i l l u s t r a t i o n ) t h a n t h e v a r i a b i l i t y t h a t a r i s e s f r o m t h e p o s i t i v e c o r r e l a t i o n b e t w e e n C l a s s 2 g r o w t h p a r a m e t e r s ( s h o w n i n t h e b o t t o m p a n e l ) I t s h o u l d b e n o t e d t h a t t h e r e l a t i o n s h i p s d e p i c t e d i n F i g u r e 1 4 a r e s p e c i f i c t o t h e f o r m a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s u s e d i n t h i s s t u d y T h a t i s o t h e r r e l a t i o n s h i p s b e t w e e n g r o w t h p a r a m e t e r s c o u l d p r o d u c e d i f f e r e n t r e s u l t s H o w e v e r t h e i m p l i c a t i o n o f t h i s f i n d i n g i s t h a t a p p l i e d r e s e a r c h e r s s h o u l d c o n s i d e r t h e d e g r e e a n d d i r e c t i o n o f c o v a r i a t i o n b e t w e e n g r o w t h p a r a m e t e r s a s w e l l a s t h e i r m e a n v a l u e s a n d u n i q u e v a r i a n c e s i n t h e i r e s t i m a t i o n o f p o w e r a n d a c c u r a c y f o r l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n T h i s c o n s i d e r a t i o n i s t e m p e r e d b y t h a t f a c t t h a t t h e c o r r e l a t i o n b e t w e e n g r o w t h p a r a m e t e r s h a s t o b e s t r o n g t o h a v e s u b s t a n t i a l i m p a c t 4 F o r a p a r t i c u l a r p o p u l a t i o n o f i n d i v i d u a l s h o w d o e s s a m p l e s i z e ( i e N s = 2 0 0 4 0 0 6 0 0 a n d 8 0 0 ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? S a m p l e s i z e i s t h e c h a r a c t e r i s t i c m o s t o f t e n a s s o c i a t e d w i t h s t a t i s t i c a l p o w e r a n d t y p i c a l l y t h e p r i m a r y c o n s i d e r a t i o n t h a t r e s e a r c h e r s f a c e i n c r e a t i n g r e s e a r c h d e s i g n s G i v e n t h i s s a m p l e s i z e w a s a n a l y z e d w i t h r e s p e c t w i t h t h r e e d i f f e r e n t b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s n a m e l y d s = 0 5 0 8 a n d 1 0 W h e n d = 0 5 i n c r e a s i n g

PAGE 75

6 6 s a m p l e s i z e f r o m 4 0 0 t o 1 0 0 0 p a r t i c i p a n t s h a d n o d i s c e r n a b l e e f f e c t o n a d j u s t e d p o w e r o r a c c u r a c y ( a s s u m i n g s i x r e p e a t e d m e a s u r e s 6 0 % o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s n o m i s s i n g d a t a a n d z e r o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s ; s e e F i g u r e 1 0 ) F o r t h i s c a s e h o w e v e r i t s h o u l d b e n o t e d t h a t a s s a m p l e s i z e i n c r e a s e s b o t h p o w e r a n d a c c u r a c y a r e t h e o r i z e d t o e v e n t u a l l y i n c r e a s e t o t h e i r u l t i m a t e a s y m p t o t i c l i m i t W h e n d = 0 8 t h e r e s u l t w a s a l i n e a r p o s i t i v e r e l a t i o n s h i p b e t w e e n s a m p l e s i z e a n d p o w e r / a c c u r a c y w i t h p o w e r i n c r e a s i n g b y a p p r o x i m a t e l y 1 2 f o r e v e r y a d d i t i o n a l 2 0 0 p a r t i c i p a n t s F u r t h e r m o r e w h e n d = 1 0 t h e c o r r e s p o n d i n g i n c r e a s e s i n p o w e r a n d a c c u r a c y w e r e n o n l i n e a r i n c r e a s i n g b y a p p r o x i m a t e l y 2 5 f o r e v e r y a d d i t i o n a l 2 0 0 p a r t i c i p a n t s f r o m N s = 2 0 0 t o 6 0 0 a n d b y o n l y 0 6 f o r e v e r y a d d i t i o n a l 2 0 0 p a r t i c i p a n t s f r o m N s = 6 0 0 t o 1 0 0 0 T h e s e r e s u l t s s u g g e s t t h a t e x a m i n a t i o n o f t h e r e l a t i o n s h i p b e t w e e n a g i v e n e x p e r i m e n t a l c o n d i t i o n a n d p o w e r / a c c u r a c y a s a m e r e t w o d i m e n s i o n a l p h e n o m e n o n i s i n s u f f i c i e n t a n d r e q u i r e s c o n s i d e r a t i o n o f t h e i n t e r a c t i o n a m o n g a l l v a r i a b l e s a f f e c t i n g p o w e r a n d a c c u r a c y 5 F o r a p a r t i c u l a r p o p u l a t i o n o f i n d i v i d u a l s h o w d o e s t h e n u m b e r o f r e p e a t e d m e a s u r e s ( i e 3 4 5 6 9 a n d 1 2 t i m e p o i n t s ) r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? A n o t h e r d e s i g n c o n d i t i o n t h a t r e s e a r c h e r s o f t e n h a v e t o c o n t e n d w i t h i s t h e n u m b e r o f r e p e a t e d m e a s u r e s R e s u l t s f o r t h i s e x p e r i m e n t a l c o n d i t i o n i n d i c a t e t h a t a s u b s t a n t i a l g a i n i n p o w e r c a n b e o b t a i n e d b y i n c r e a s i n g t h e n u m b e r o f t i m e p o i n t s F o r e x a m p l e f o r t h e p a r t i c u l a r c o m b i n a t i o n o f e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d h e r e ( i e N = 6 0 0 6 0 % o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s n o m i s s i n g d a t a z e r o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s a n d d = 1 0 ) d o u b l i n g t h e n u m b e r o f

PAGE 76

6 7 t i m e p o i n t s f r o m 3 t o 6 r e s u l t e d i n a l m o s t a t e n f o l d i n c r e a s e i n a d j u s t e d p o w e r ( i e f r o m 0 8 4 t o 8 2 4 ) A l t h o u g h u n d e r a d i f f e r e n t s e t o f c o n d i t i o n s ( e g s m a l l e r v a l u e o f d o r s m a l l e r s a m p l e s i z e s ) t h e i n c r e a s e i n a d j u s t e d p o w e r a n d a c c u r a c y m a y n o t b e a s p r e c i p i t o u s i n c r e a s i n g t h e n u m b e r o f t i m e p o i n t s ( i n t h e l o w e r r a n g e o f p o s s i b l e t i m e p o i n t s ) e f f e c t i v e l y r e s u l t s i n i m p r o v e d d e t e c t i o n o f l a t e n t t r a j e c t o r y c l a s s e s a n d c o n s e q u e n t l y i m p r o v e d p o w e r a n d a c c u r a c y A g a i n t h e i m p l i c a t i o n f o r a p p l i e d r e s e a r c h e r s i s t h a t l e s s s t r i n g e n t d e s i g n a n d p o p u l a t i o n c o n d i t i o n s ( e g s a m p l e s i z e s l e s s t h a n N = 6 0 0 o r s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s l e s s t h a n 1 0 ) a r e n e c e s s a r y t o o b t a i n a d e q u a t e p o w e r ( 8 0 ) w h e n t h e n u m b e r o f r e p e a t e d m e a s u r e s i s g r e a t e r t h a n s i x 6 F o r a p a r t i c u l a r p o p u l a t i o n o f i n d i v i d u a l s h o w d o e s p l a n n e d m i s s i n g d a t a ( i e 2 5 % 5 0 % 7 5 % a n d 1 0 0 % o f c a s e s m i s s i n g e i t h e r ( a ) e v e r y o t h e r t i m e p o i n t o r ( b ) e v e r y s e c o n d a n d t h i r d t i m e p o i n t r e l a t e t o t h e s t a t i s t i c a l p o w e r a n d a c c u r a c y o f t h e G M M t o c o r r e c t l y e n u m e r a t e a t w o c l a s s l a t e n t t r a j e c t o r y s o l u t i o n ? I n c o r p o r a t i o n o f p l a n n e d m i s s i n g n e s s i n t o l o n g i t u d i n a l r e s e a r c h d e s i g n s h a s b e e n s h o w n t o b e a n e f f i c i e n t w a y o f e x a m i n i n g a p a r t i c u l a r o u t c o m e o v e r t i m e ( G r a h a m T a y l o r & C u m s i l l e 2 0 0 1 ) T w o s u c h p l a n n e d m i s s i n g n e s s d e s i g n s w e r e e x a m i n e d i n t h i s s t u d y I n t h e f i r s t d e s i g n m i s s i n g d a t a w e r e i n c o r p o r a t e d a t e v e r y o t h e r t i m e p o i n t ; i n t h e s e c o n d d e s i g n m i s s i n g d a t a w e r e i n c o r p o r a t e d a t e v e r y 2n d a n d 3r d t i m e p o i n t ( s e e T a b l e 5 ) I n b o t h d e s i g n s t h e t o t a l a m o u n t o f m i s s i n g d a t a w a s v a r i e d i n i n c r e m e n t s o f 2 5 % f r o m 0 % ( i e n o m i s s i n g d a t a ) t o 1 0 0 % ( c o m p l e t e m i s s i n g d a t a f o r t h a t t i m e p o i n t ) P l a n n e d m i s s i n g n e s s w a s e x a m i n e d a s s u m i n g N = 6 0 0 p a r t i c i p a n t s 6 0 % o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s z e r o c o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e p a r a m e t e r s d = 1 0 a n d 1 2 r e p e a t e d m e a s u r e s I n g e n e r a l i n c o r p o r a t i o n o f p l a n n e d m i s s i n g n e s s i n

PAGE 77

6 8 t h e d a t a r e s u l t e d i n o n l y s m a l l l o s s e s i n a d j u s t e d p o w e r a n d a c c u r a c y F o r t h e f i r s t d e s i g n i n c r e a s i n g t h e a m o u n t o f m i s s i n g d a t a f r o m 0 % t o 7 5 % r e s u l t e d i n n o s i g n i f i c a n t d i f f e r e n c e i n e s t i m a t e s o f a d j u s t e d p o w e r ( 9 5 4 a n d 9 3 4 r e s p e c t i v e l y ) W h e n 1 0 0 % o f c a s e s w e r e m i s s i n g d a t a f o r e v e r y o t h e r t i m e p o i n t ( e q u i v a l e n t t o a s i x r e p e a t e d m e a s u r e d e s i g n w i t h n o m i s s i n g d a t a ) a d j u s t e d p o w e r w a s s t i l l a d e q u a t e ( 8 2 4 ) T h i s r e p r e s e n t s a 1 4 % l o s s o f p o w e r f o r a 5 0 % s a v i n g o f r e s o u r c e s F o r t h e s e c o n d d e s i g n t h e c o r r e s p o n d i n g l o s s e s i n a d j u s t e d p o w e r a n d a c c u r a c y w e r e g r e a t e r ; h o w e v e r t h e e s t i m a t e s w e r e s t i l l a d e q u a t e w h e n 7 5 % o f c a s e s w e r e m i s s i n g d a t a f o r e v e r y 2n d a n d 3r d t i m e p o i n t ( 8 6 1 a n d 8 0 2 f o r p o w e r a n d a c c u r a c y r e s p e c t i v e l y ) T h i s r e p r e s e n t s o n l y a 1 0 % l o s s i n p o w e r f o r a 5 0 % s a v i n g o f r e s o u r c e s H o w e v e r w h e n t h e a m o u n t o f m i s s i n g n e s s w a s i n c r e a s e d t o 1 0 0 % ( i e e q u i v a l e n t t o a f o u r r e p e a t e d m e a s u r e d e s i g n ) t h e r e s u l t i n g d e c r e m e n t i n p o w e r w a s s u b s t a n t i a l ( i e a d j u s t e d p o w e r = 3 3 4 ) T h e s e f i n d i n g s s u g g e s t t h a t u n d e r t h e a s s u m p t i o n s a n d s p e c i f i c p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s u s e d i n t h i s s t u d y l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n i s r o b u s t t o p l a n n e d m i s s i n g d a t a w h e n t h e o v e r a l l n u m b e r o f r e p e a t e d m e a s u r e s i s a t l e a s t s i x T h i s i m p l i e s t h a t r e s e a r c h e r s w h o i n c o r p o r a t e p l a n n e d m i s s i n g n e s s i n t h e i r l o n g i t u d i n a l d e s i g n s c a n i d e n t i f y a g i v e n n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s w i t h c o n s i d e r a b l y l e s s r e s o u r c e s ( e g l e s s r e p e a t e d m e a s u r e m e n t o c c a s i o n s d u r i n g t h e s a m e t i m e p e r i o d ) o r p o t e n t i a l l y c a n i d e n t i f y a g r e a t e r n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s f o r t h e s a m e a m o u n t o f r e s o u r c e s C o n s e q u e n t l y t h e u s e o f p l a n n e d m i s s i n g n e s s i n l o n g i t u d i n a l d e s i g n s f o r G M M s i s s t r o n g l y r e c o m m e n d e d 7 W h i c h m o d e l s e l e c t i o n c r i t e r i o n ( a m o n g t h e A I C B I C A B I C a n d L R T ) p o s s e s s e s t h e l a r g e s t e f f e c t i v e T y p e I e r r o r r a t e s a n d u n d e r w h i c h d e s i g n a n d p o p u l a t i o n c o n d i t i o n s a r e T y p e I e r r o r r a t e s t h e l a r g e s t ?

PAGE 78

6 9 I n o r d e r t o b e c o m p a r a b l e a c r o s s t h e f o u r e x a m i n e d m o d e l s e l e c t i o n c r i t e r i a e s t i m a t e s o f s t a t i s t i c a l p o w e r a n d a c c u r a c y w e r e d e r i v e d u s i n g a c o m m o n ( i e n o m i n a l ) 0 5 T y p e I e r r o r r a t e T o a c c o m p l i s h t h i s e f f e c t i v e T y p e I e r r o r r a t e s f o r e a c h c r i t e r i o n f i r s t w e r e o b t a i n e d v i a M o n t e C a r l o s i m u l a t i o n a n d w e r e d e f i n e d a s t h e p r o p o r t i o n o f 5 0 0 r e p l i c a t i o n s t h a t i n c o r r e c t l y r e j e c t e d ( a ) a t r u e n u l l h y p o t h e s i s o f a o n e c l a s s m o d e l e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 1T) i n f a v o r o f a f a l s e a l t e r n a t i v e h y p o t h e s i s o f a t w o c l a s s l a t e n t t r a j e c t o r y m o d e l e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 2F) a n d ( b ) a t r u e n u l l h y p o t h e s i s o f a t w o c l a s s m o d e l e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 2T) i n f a v o r o f a n a l t e r n a t i v e f a l s e h y p o t h e s i s o f a t h r e e c l a s s l a t e n t t r a j e c t o r y m o d e l e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 3F) A d d i t i o n a l l y c o m p a r i s o n s o f l o g l i k e l i h o o d v a l u e s f o r e a c h o f t h e s e m o d e l c o m p a r i s o n s w e r e u s e d t o i d e n t i f y 9 5 % c r i t i c a l v a l u e s u s e d i n o b t a i n i n g t h e n o m i n a l 0 5 T y p e I e r r o r r a t e s E f f e c t i v e T y p e I e r r o r r a t e s f o r t h e K 1T v e r s u s K 2F m o d e l c o m p a r i s o n a r e p r e s e n t e d i n T a b l e 8 b y e x p e r i m e n t a l c o n d i t i o n a n d q u a r t i l e s o f n2. E f f e c t i v e T y p e I e r r o r r a t e s f o r t h e K 2T v e r s u s K 3F m o d e l c o m p a r i s o n s i m i l a r l y a r e p r e s e n t e d i n T a b l e 9 F o r b o t h s e t s o f c o m p a r i s o n s t h e B I C w a s s h o w n t o b e e x t r e m e l y c o n s e r v a t i v e w i t h o b s e r v e d T y p e I e r r o r r a t e s o f a p p r o x i m a t e l y 0 0 1 ; t h a t i s u n d e r r e p e a t e d s a m p l e s f r o m t h e s a m e p o p u l a t i o n t h e B I C w o u l d s e l e c t t h e e r r o n e o u s K 2F o r K 3F m o d e l o n l y o n e t i m e i n a t h o u s a n d H o w e v e r t h e p r i c e t h a t i s p a i d f o r s u c h v e r a c i t y i s c o r r e s p o n d i n g l y l o w e r e s t i m a t e s o f n o m i n a l p o w e r a n d a c c u r a c y F o r e x a m p l e f o r P o p u l a t i o n Y ( d e s c r i b e d i n

PAGE 79

7 0 T a b l e 4 ) a d j u s t e d p o w e r ( i e a t a n o m i n a l 0 5 T y p e I e r r o r r a t e ) w a s 9 5 4 T h e c o r r e s p o n d i n g e s t i m a t e o f p o w e r a t a n e f f e c t i v e 0 0 1 T y p e I e r r o r r a t e w a s 6 7 0 I n c o n t r a s t t h e A I C w a s o b s e r v e d t o h a v e v e r y l i b e r a l e f f e c t i v e T y p e I e r r o r r a t e s r a n g i n g f r o m 1 4 7 f o r K 1T v e r s u s K 2F ( a v e r a g e d a c r o s s d i f f e r e n t s a m p l e s i z e s ) t o 2 4 4 f o r K 2T v e r s u s K 3F ( a v e r a g e d a c r o s s v a r i o u s c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s ) C o n s i s t e n t w i t h p r e v i o u s r e s e a r c h ( L i n & D a y t o n 1 9 9 7 ; M a s y n & B r o w n 2 0 0 1 ; Y a n g 1 9 9 9 ) t h e s e f i n d i n g s i n d i c a t e a t e n d e n c y f o r t h e A I C t o f a v o r m o d e l s w i t h l a r g e r n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s T h i s t e n d e n c y i s d e m o n s t r a t e d b y a c o m p a r i s o n b e t w e e n p o w e r e s t i m a t e d a t e f f e c t i v e a n d n o m i n a l T y p e I e r r o r r a t e s w h i c h s h o w e d t h a t e f f e c t i v e p o w e r f o r t h e A I C w a s o n a v e r a g e 1 4 % g r e a t e r t h a n p o w e r a d j u s t e d a t t h e n o m i n a l = 0 5 A l t h o u g h i n c r e a s e d p o w e r i s g e n e r a l l y d e s i r a b l e f o r t h e A I C p o w e r i s o b t a i n e d a t t h e p r i c e o f o v e r l y r e j e c t i n g m o r e p a r s i m o n i o u s m o d e l s E f f e c t i v e T y p e I e r r o r r a t e s f o r t h e L R T w e r e o n l y s l i g h t l y l a r g e r t h a n t h e n o m i n a l = 0 5 F o r e x a m p l e e f f e c t i v e T y p e I e r r o r r a t e s f o r t h e L R T r a n g e d f r o m 0 7 0 f o r K 1T v e r s u s K 2F ( a v e r a g e d a c r o s s d i f f e r e n t s a m p l e s i z e s a t d = 0 8 0 ) t o 1 4 1 f o r K 2T v e r s u s K 3F ( a v e r a g e d a c r o s s v a r i o u s c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s ) T h i s f i n d i n g h o l d s p r o m i s e f o r t h e r e c e n t l y d e v e l o p e d a d j u s t e d L R T ( L o e t a l 2 0 0 1 ) w h i c h h a s j u s t b e g u n t o b e e x a m i n e d v i a M o n t e C a r l o s i m u l a t i o n ( M a s y n & M u t h n 2 0 0 2 ) T h e A B I C c o n s i s t e n t l y d e m o n s t r a t e d o b s e r v e d T y p e I e r r o r r a t e s t h a t w e r e c l o s e s t t o t h e n o m i n a l = 0 5 F o r e x a m p l e a c r o s s a l l e x p e r i m e n t a l c o n d i t i o n s t h e a v e r a g e e f f e c t i v e T y p e I e r r o r r a t e s f o r t h e A B I C w e r e 0 4 6 f o r K 1T v e r s u s K 2F a n d 0 6 2 f o r K 2T v e r s u s K 3F. E f f e c t i v e T y p e I e r r o r r a t e s f o r t h e A B I C r a n g e d f r o m 0 3 2 f o r K 1T v e r s u s K 2F ( a v e r a g e d a c r o s s d i f f e r e n t s a m p l e s i z e s a t d = 0 8 0 ) t o 0 7 7 f o r K 2T v e r s u s K 3F

PAGE 80

7 1 ( a v e r a g e d a c r o s s d i f f e r e n t s a m p l e s i z e s a t d = 1 0 ) C o n s e q u e n t l y a m o n g t h e f o u r m o d e l s e l e c t i o n c r i t e r i a e x a m i n e d i n t h i s s t u d y t h e A B I C i s r e c o m m e n d e d a s t h e m o d e l s e l e c t i o n c r i t e r i o n t h a t p r o v i d e s t h e b e s t b a l a n c e b e t w e e n n o m i n a l T y p e I a n d T y p e I I e r r o r s i n e n u m e r a t i n g l a t e n t t r a j e c t o r y c l a s s e s 8 H o w d o s t a t i s t i c a l p o w e r a n d a c c u r a c y r e l a t e t o t h e o v e r a l l s e p a r a t i o n b e t w e e n o n e a n d t w o l a t e n t t r a j e c t o r y c l a s s m o d e l s a s m e a s u r e d b y l2? A m e a s u r e o f t h e o v e r a l l s e p a r a t i o n b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s ( l2) w a s o p e r a t i o n a l i z e d a s – 2 t i m e s t h e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n t h e c o m p e t i n g K 1F a n d K 2T m o d e l s a v e r a g e d a c r o s s t h e 5 0 0 r e p l i c a t i o n s m i n u s d f = 3 R e s u l t i n g e s t i m a t e s o f p o w e r a n d a c c u r a c y ( s e p a r a t e l y ) w e r e r e g r e s s e d o n l2 t o y i e l d f u n c t i o n s b y w h i c h p o w e r a n d a c c u r a c y r e s p e c t i v e l y c a n b e e s t i m a t e d f o r a l l v a l u e s o f l2. T h a t i s t h e f u n c t i o n a l r e l a t i o n s h i p b e t w e e n p o w e r a n d a c c u r a c y a n d l2 d e r i v e d i n t h i s s t u d y p r o v i d e s a m e a n s t o d e t e r m i n e h o w f a r a p a r t l a t e n t t r a j e c t o r y c l a s s e s h a v e t o b e i n o r d e r f o r r e s e a r c h e r s t o a c c u r a t e l y a n d r e l i a b l y d e t e c t t h e m T h u s l2 a c t s a s a l a t e n t t r a j e c t o r y c l a s s a n a l o g t o o t h e r m e a s u r e s o f m u l t i v a r i a t e s e p a r a t i o n o r d i s t i n c t i o n b e t w e e n g r o u p c e n t r o i d s ( e g M a h a l a n o b i s d i s t a n c e o r K u l l b a c k L e i b l e r d i s c r e p a n c y f u n c t i o n s ) M o r e s p e c i f i c a l l y l2 a c t s a s a n a p p r o x i m a t i o n t o a n o n c e n t r a l i t y p a r a m e t e r b a s e d o n a c h i s q u a r e d i s t r i b u t i o n i n l i n e w i t h p o w e r e s t i m a t i o n f o r t r a d i t i o n a l l a t e n t v a r i a b l e m o d e l s ( M a c C a l l u m B r o w n e & S u g a w a r a 1 9 9 6 ; S a r i s & S a t o r r a 1 9 9 3 ; S a t o r r a & S a r i s 1 9 8 5 ) I n p r a c t i c a l t e r m s a n y c h a n g e i n d e s i g n o r p o p u l a t i o n c h a r a c t e r i s t i c s t h a t i n c r e a s e s t h e a b i l i t y t o d i s c e r n l a t e n t t r a j e c t o r y c l a s s e s i s r e f l e c t e d i n a g r e a t e r d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n t r u e a n d f a l s e m o d e l s r e s u l t i n g i n l a r g e r v a l u e s o f l2, a n d c o n s e q u e n t l y g r e a t e r p o w e r a n d a c c u r a c y

PAGE 81

7 2 T h e d e r i v e d f u n c t i o n a l r e l a t i o n s h i p s b e t w e e n e s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y a n d l2 a r e d e s c r i b e d b y p o s i t i v e m o n o t o n i c f u n c t i o n s w i t h s i g n i f i c a n t n e g a t i v e q u a d r a t i c t e r m s r e p r e s e n t i n g d i m i n i s h i n g r e t u r n s t o p o w e r a n d a c c u r a c y a s v a l u e s o f l2 i n c r e a s e ( s e e T a b l e 1 1 a n d F i g u r e 1 3 ) A c r o s s a l l 3 6 e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d i n t h i s s t u d y m e a n l2 = 9 5 4 ( S D = 7 1 4 r a n g e = 0 7 5 t o 2 2 3 8 ) B o t h f u n c t i o n s d e m o n s t r a t e d a h i g h d e g r e e o f f i t t o t h e d a t a ( R2s = 9 8 a n d 9 9 f o r a d j u s t e d p o w e r a n d a c c u r a c y r e s p e c t i v e l y ) r e s u l t i n g i n r e l a t i v e l y s m a l l c o n f i d e n c e i n t e r v a l s f o r p r e d i c t e d v a l u e s A l t e r n a t i v e l y t h e e m p i r i c a l l y d e r i v e d e s t i m a t e s o f s t a t i s t i c a l p o w e r c a n b e c o m p a r e d t o p o w e r e s t i m a t e s d e r i v e d f r o m a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n ( a s s h o w n i n T a b l e 1 1 ) A l t h o u g h p o w e r e s t i m a t e s f r o m t h e M o n t e C a r l o s i m u l a t i o n s a r e s o m e w h a t s m a l l e r t h a n t h e i r a s y m p t o t i c a l l y c o r r e c t c o u n t e r p a r t s t h e y p r o v i d e a g o o d a p p r o x i m a t i o n t o t h e d i s t r i b u t i o n a n d c o n s e q u e n t l y d e m o n s t r a t e t h e p o t e n t i a l o f t h e n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n a s a m e t h o d f o r d e t e r m i n i n g p o w e r f o r l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n T h a t i s r e s e a r c h e r s c a n u s e e s t i m a t e s o f l2 a s a n a l t e r a t i v e t o m o r e e x t e n s i v e M o n t e C a r l o s i m u l a t i o n s o r t h e a f o r e m e n t i o n e d m a t h e m a t i c a l f u n c t i o n s g e n e r a t e d f r o m t h e s i m u l a t i o n s c o n d u c t e d i n t h i s s t u d y F o r e x a m p l e f o r a l2 = 1 0 9 1 = 0 5 a n d d f = 3 p o w e r b a s e d o n a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n i s 8 0 ( d e r i v e d f r o m e i t h e r t a b l e s o f t h e d i s t r i b u t i o n [ e g H a y n a m G o v i n d a r a j u l u & L e o n e 1 9 7 3 ] o r c o m p u t e r s o f t w a r e [ e g N C S S s t a t i s t i c a l s o f t w a r e ] ) B y c o m p a r i s o n f o r t h e s a m e l2, a n d d f a d j u s t e d p o w e r b a s e d o n t h e M o n t e C a r l o s i m u l a t i o n s f r o m t h i s s t u d y i s e s t i m a t e d a t 7 7 T h e s e r e l a t i o n s h i p s a r e i l l u s t r a t e d i n e x a m p l e s o f t w o h y p o t h e t i c a l r e s e a r c h a p p l i c a t i o n s a n d i n t h e a n a l y s i s o f r e a l d a t a f r o m t h e m o t i v a t i n g e x a m p l e

PAGE 82

7 3 A p p l i c a t i o n o f R e s u l t s S c e n a r i o # 1 A s s u m e t h a t a r e s e a r c h e r h a s c o n d u c t e d a G M M o f r e a d i n g a c h i e v e m e n t t r a j e c t o r i e s f r o m a n n u a l a s s e s s m e n t o f 1 2 5 s t u d e n t s d u r i n g 1s t t h r o u g h 4t h g r a d e s F u r t h e r a s s u m e t h a t r e s u l t s o f t h e a n a l y s i s b a s e d o n p e n a l i z e d i n f o r m a t i o n c r i t e r i a s u p p o r t a t w o l a t e n t t r a j e c t o r y c l a s s m o d e l w i t h C l a s s 1 r e p r e s e n t i n g s t u d e n t s w h o s e g r a d e e q u i v a l e n c y s c o r e s r e m a i n r e l a t i v e l y c o n s t a n t o v e r t i m e ( i e a n o c h a n g e c l a s s ) a n d C l a s s 2 r e p r e s e n t i n g s t u d e n t s w h o s e s c o r e s d e c r e a s e o v e r t i m e ( i e a s i g n i f i c a n t n e g a t i v e l i n e a r s l o p e c l a s s ) F r o m t h e o r y t h e r e s e a r c h e r h y p o t h e s i z e s t h a t t h e r e m a y b e a n a d d i t i o n a l t h i r d c l a s s o f s t u d e n t s t h o s e w h o s e r e a d i n g a c h i e v e m e n t s c o r e s i n c r e a s e o v e r t i m e ; h o w e v e r t h i s c l a s s w o u l d r e p r e s e n t a s m a l l e r p r o p o r t i o n o f t h e t o t a l n u m b e r o f s t u d e n t s a n d g i v e n t h e r e l a t i v e l y s m a l l s a m p l e s i z e u s e d i n t h e a n a l y s i s t h e r e m a y n o t h a v e b e e n s u f f i c i e n t p o w e r t o d e t e c t t h i s c l a s s T h e r e s e a r c h e r d e c i d e s t o c o n d u c t a p o w e r a n a l y s i s u s i n g M o n t e C a r l o s i m u l a t i o n t o d e t e r m i n e i f t h i s w a s i n f a c t t h e c a s e F i r s t t h e r e s e a r c h e r s p e c i f i e s t h e n u l l h y p o t h e s i s a s a f a l s e t w o c l a s s s o l u t i o n d e r i v e d f r o m a t r u e t h r e e c l a s s p s e u d o p o p u l a t i o n a n d t r a n s l a t e s h y p o t h e s i z e d v a l u e s f o r p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s i n t o t h e a p p r o p r i a t e c o m p u t e r i n p u t s t a t e m e n t s F o r e x a m p l e t h e r e s e a r c h e r m a y a s s u m e t h e f o l l o w i n g : t h a t t h e u n d e r l y i n g p o p u l a t i o n d i s t r i b u t i o n s f o r t h e o u t c o m e r e a d i n g a c h i e v e m e n t s c o r e s i s m u l t i v a r i a t e n o r m a l ; m i x i n g p r o p o r t i o n s o f 6 0 % f o r C l a s s 1 3 0 % f o r C l a s s 2 a n d 1 0 % f o r t h e h y p o t h e s i z e d C l a s s 3 ( i e s t u d e n t s w i t h i n c r e a s i n g s c o r e s ) ; t h a t 5 0 % o f t h e t o t a l v a r i a n c e c o n s i s t s o f v a r i a t i o n i n t h e L e v e l 2 g r o w t h p a r a m e t e r s ; t h a t i n t e r c e p t a n d s l o p e g r o w t h p a r a m e t e r s a r e c o r r e l a t e d a t 1 0 ; t h a t b e t w e e n c l a s s i n t e r c e p t s a n d s l o p e s a r e 1 0 s t a n d a r d d e v i a t i o n u n i t

PAGE 83

7 4 a p a r t ; n o m i s s i n g d a t a ; a n d d e s i g n c h a r a c t e r i s t i c s c o n s i s t i n g o f 1 2 5 s t u d e n t s a n d f o u r e q u a l l y s p a c e d r e p e a t e d m e a s u r e m e n t o c c a s i o n s N e x t t h e r e s e a r c h e r s p e c i f i e s t h e a l t e r n a t i v e h y p o t h e s i s a s a t r u e t h r e e c l a s s s o l u t i o n d e r i v e d f r o m t h e s a m e t r u e t h r e e c l a s s p s e u d o p o p u l a t i o n a s f o r t h e n u l l h y p o t h e s i s ( a c c o m p l i s h e d b y t h e u s e o f a c o m m o n r a n d o m n u m b e r s e e d i n g e n e r a t i n g t h e s i m u l a t e d s a m p l e d a t a ) T h e s a m e p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s a r e s i m i l a r l y i n c o r p o r a t e d i n t o t h e c o r r e s p o n d i n g c o m p u t e r i n p u t s t a t e m e n t s F u r t h e r m o r e t h e r e s e a r c h e r d e c i d e s t h a t 5 0 0 r e p l i c a t i o n s w i l l p r o v i d e a s u f f i c i e n t c o n f i d e n c e i n t e r v a l f o r e s t i m a t e d p o w e r A t t h i s p o i n t t h e r e s e a r c h e r h a s s e v e r a l o p t i o n s F i r s t h e / s h e c a n l i n k r e s u l t a n t o u t p u t f i l e s b y r e p l i c a t i o n s e l e c t t h e o p t i m a l m o d e l v i a a n a p r i o r i d e c i s i o n r u l e a n d c a l c u l a t e a b r u t e f o r c e e s t i m a t e o f p o w e r a s t h e p r o p o r t i o n o f r e p l i c a t i o n s t h a t c o r r e c t l y i d e n t i f y t h e t r u e a l t e r n a t i v e h y p o t h e s i s P o w e r e s t i m a t e s c o n s t r u c t e d i n t h i s w a y b e n e f i t f r o m n o t h a v i n g t o r e l y o n a p a r t i c u l a r d i s t r i b u t i o n r e p r e s e n t i n g t h e d i s c r e p a n c y b e t w e e n c o m p e t i n g m o d e l s h o w e v e r t h e y m a y b e s e n s i t i v e t o f l u c t u a t i o n s i n t h e p r o c e s s o f g e n e r a t i n g t h e r a n d o m s a m p l e s A l t e r n a t i v e l y t h e r e s e a r c h e r c a n e s t i m a t e p o w e r b y c o m p a r i n g v a l u e s o f n2 c a l c u l a t e d a s 2 t i m e s t h e a v e r a g e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n m o d e l s r e p r e s e n t i n g n u l l a n d a l t e r n a t i v e h y p o t h e s e s ( m i n u s d f ) V a l u e s o f n2 b a s e d o n a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n p r o v i d e a n a s y m p t o t i c u p p e r b o u n d o n e s t i m a t e s o f p o w e r V a l u e s o f n2 b a s e d t h e m a t h e m a t i c a l f u n c t i o n g e n e r a t e d f r o m t h e M o n t e C a r l o s i m u l a t i o n s u s e d i n t h i s s t u d y p r o v i d e a l o w e r b o u n d o n p o w e r e s t i m a t e s g i v e n t h e r e s t r i c t i o n s i m p o s e d b y f i n i t e p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s F o r t h e a b o v e s c e n a r i o a s s u m e t h a t l o g l i k e l i h o o d v a l u e s o f 1 7 8 7 9 1 a n d 1 7 8 5 6 5 a r e g e n e r a t e d f r o m m o d e l s r e p r e s e n t i n g t h e n u l l a n d a l t e r n a t i v e h y p o t h e s e s r e s p e c t i v e l y C o n s e q u e n t l y

PAGE 84

7 5 a v a l u e o f 1 5 2 i s c a l c u l a t e d f o r n2. R e l a t i n g t h i s v a l u e t o t h e m a t h e m a t i c a l f u n c t i o n s g e n e r a t e d i n t h i s s t u d y y i e l d s a n e s t i m a t e d p o w e r o f 0 8 0 B y c o m p a r i s o n f r o m t h e n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n w i t h a T y p e I e r r o r r a t e o f 0 5 a n d d f = 3 p o w e r i s e s t i m a t e d t o b e 1 5 5 T h e r e s e a r c h e r c o n c l u d e s t h e r e f o r e t h a t t h e f a i l u r e t o d e t e c t t h e h y p o t h e s i z e d t h i r d c l a s s o f s t u d e n t s m a y b e d u e t o i n s u f f i c i e n t p o w e r S c e n a r i o # 2 B a s e d o n i n f o r m a t i o n f r o m S c e n a r i o # 1 a s s u m e t h a t t h e r e s e a r c h e r n o w p l a n s a n e w s t u d y w i t h t h e g o a l o f i d e n t i f y i n g a l a t e n t t r a j e c t o r y c l a s s o f s t u d e n t s w i t h i n c r e a s i n g r e a d i n g a c h i e v e m e n t s c o r e s ( i e C l a s s 3 ) A l t h o u g h t h e r e s e a r c h e r s t i l l i s l i m i t e d t o f o u r a n n u a l r e p e a t e d m e a s u r e s a s w e l l a s t h e o t h e r p o p u l a t i o n a n d d e s i g n c o n s t r a i n t s m e n t i o n e d a b o v e h e / s h e c a n i n c r e a s e t h e s a m p l e s i z e T h e r e f o r e a n e w p o w e r a n a l y s i s i s c o n d u c t e d t o d e t e r m i n e h o w m a n y p a r t i c i p a n t s n e e d t o b e s a m p l e d t o a c h i e v e p o w e r o f 8 0 O n e a l t e r n a t i v e i s t o c o n d u c t a d d i t i o n a l M o n t e C a r l o s i m u l a t i o n s w i t h t h e r e s e a r c h e r i n c r e m e n t a l l y i n c r e a s i n g s a m p l e s i z e u n t i l t h e d e s i r e d l e v e l o f p o w e r i s o b t a i n e d H o w e v e r a l e s s l a b o r i n t e n s i v e p r o c e d u r e i s t o r e l y o n e i t h e r t h e f u n c t i o n a l r e l a t i o n s h i p b e t w e e n a d j u s t e d p o w e r a n d n2 d e r i v e d f r o m t h i s s t u d y o r a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n F o r e x a m p l e f r o m t h e M o n t e C a r l o b a s e d m a t h e m a t i c a l f u n c t i o n a d j u s t e d p o w e r o f 8 0 c o r r e s p o n d s t o a n2 v a l u e o f 1 2 3 5 F r o m t h e n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n w i t h a T y p e I e r r o r r a t e o f 0 5 a n d d f = 3 p o w e r o f 8 0 c o r r e s p o n d s t o a n2 v a l u e o f 1 0 9 1 A s t h e r e l a t i o n s h i p b e t w e e n s a m p l e s i z e ( N ) a n d n2 i s l i n e a r t h e v a l u e o f N /n2 ( i e 1 2 5 / 1 5 2 = 8 2 2 4 i n t h i s s c e n a r i o ) c a n b e m u l t i p l i e d b y v a l u e s o f n2 ( 1 2 3 5 a n d 1 0 9 1 r e s p e c t i v e l y ) t h a t c o r r e s p o n d t o t h e d e s i r e d l e v e l o f p o w e r ( 8 0 ) t o p r o v i d e e s t i m a t e s o f t h e r e q u i r e d s a m p l e s i z e ( N s = 1 0 1 6 a n d 8 9 7 r e s p e c t i v e l y ) T h e r e f o r e g i v e n t h e p a r t i c u l a r p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s a s s u m e d i n t h i s s c e n a r i o t h e

PAGE 85

7 6 r e s e a r c h e r w i l l h a v e t o s a m p l e b e t w e e n 8 9 7 a n d 1 0 1 6 s t u d e n t s t o h a v e s u f f i c i e n t p o w e r t o e n u m e r a t e a t h i r d l a t e n t t r a j e c t o r y c l a s s T h e d i f f e r e n c e b e t w e e n t h e s e t w o e s t i m a t e s r e f l e c t s t h e d i f f e r e n c e b e t w e e n a b e s t c a s e s c e n a r i o o f e s t i m a t e d n2 f o l l o w i n g p e r f e c t l y t h e t h e o r i z e d n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n v e r s u s t h e l e s s t h a n p e r f e c t l i m i t a t i o n s o f i t s f i n i t e s a m p l i n g d i s t r i b u t i o n F i n d i n g s f r o m t h e M o t i v a t i n g E x a m p l e T h i s s t u d y i n c l u d e d a m o t i v a t i n g e x a m p l e t h a t r e l i e d o n a s p e c i f i c s e t o f d e s i g n a n d p o p u l a t i o n c h a r a c t e r i s t i c s f r o m a n e v a l u a t i o n o f a s y s t e m o f c a r e d e m o n s t r a t i o n p r o j e c t t o i l l u s t r a t e t h e p r o c e s s o f e s t i m a t i n g p o w e r u s i n g M o n t e C a r l o s i m u l a t i o n I n t u r n t h e s e e s t i m a t e s w e r e c o m p a r e d t o e s t i m a t e s o f p o w e r p r e d i c t e d f r o m ( a ) t h e f u n c t i o n a l r e l a t i o n s h i p b e t w e e n n2 a n d p o w e r d e r i v e d f r o m t h e 3 6 e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d e a r l i e r a n d ( b ) a n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n A l t h o u g h t h e f u n c t i o n a l r e l a t i o n s h i p i s b a s e d o n a c o m p a r i s o n o f a t r u e t w o c l a s s m o d e l c o m p a r e d t o a f a l s e o n e c l a s s m o d e l t h i s r e l a t i o n s h i p i s e x t e n d e d t o a l s o t e s t t h e p o w e r t o d e t e c t a t r u e t h r e e c l a s s m o d e l o v e r a f a l s e t w o c l a s s m o d e l M o n t e C a r l o s i m u l a t i o n o f d a t a p a t t e r n e d a f t e r t h e d e m o n s t r a t i o n p r o j e c t e v a l u a t i o n r e s u l t e d i n a h i g h d e g r e e o f p o w e r t o d e t e c t t w o a n d t h r e e c l a s s l a t e n t t r a j e c t o r y m o d e l s ( i e a d j u s t e d p o w e r = 8 9 4 a n d 9 1 4 r e s p e c t i v e l y ) C o m p a r i s o n o f t r u e m o d e l s w i t h t h e i r r e s p e c t i v e f a l s e m o d e l s r e s u l t e d i n n2 v a l u e s o f 1 8 8 8 a n d 3 4 4 9 r e s p e c t i v e l y I n s e r t i n g t h e s e v a l u e s i n t o t h e f u n c t i o n a l r e l a t i o n s h i p p r o d u c e d p r e d i c t e d p o w e r e s t i m a t e s o f 9 5 7 a n d 1 0 0 r e s p e c t i v e l y T h e s e e s t i m a t e s w e r e s o m e w h a t h i g h e r t h a n e s t i m a t e s p r o d u c e d f r o m b r u t e f o r c e M o n t e C a r l o s i m u l a t i o n h o w e v e r t h e p r e d i c t e d e s t i m a t e f o r t h e t w o c l a s s m o d e l w a s w i t h i n t h e 9 5 % c o n f i d e n c e b a n d f o r t h e

PAGE 86

7 7 f u n c t i o n ( i e 8 7 4 t o 1 0 0 f o r n2 = 1 8 8 8 ) T h e p r e d i c t e d e s t i m a t e f o r t h e t h r e e c l a s s m o d e l h o w e v e r w a s j u s t o u t s i d e i t s r e s p e c t i v e 9 5 % c o n f i d e n c e b a n d ( i e 9 1 7 t o 1 0 0 f o r n2 = 3 4 4 9 ) B y c o m p a r i s i o n b a s e d o n t h e n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n w i t h a T y p e I e r r o r r a t e o f 0 5 a n d d f = 3 p o w e r w a s e s t i m a t e d t o b e 9 6 7 f o r t h e t w o c l a s s m o d e l a n d 1 0 0 f o r t h e t h r e e c l a s s m o d e l T h e s e r e s u l t s i m p l y a s u c c e s s f u l t e s t o f t h e f u n c t i o n a l r e l a t i o n s h i p b e t w e e n n2 a n d p o w e r f o r t h e t w o c l a s s c a s e a n d a m a r g i n a l l y s u c c e s s f u l t e s t f o r t h e t h r e e c l a s s c a s e T h i s i s n o t s u r p r i s i n g g i v e n t h a t t h e f u n c t i o n w a s d e r i v e d f r o m e x a m i n a t i o n o f t r u e t w o c l a s s m o d e l s t o f a l s e o n e c l a s s m o d e l s C o n s e q u e n t l y t h e s e r e s u l t s i m p l y t h a t t h e g e n e r a l i z a b i l i t y o f t h i s f u n c t i o n m a y b e i n q u e s t i o n f o r p r e d i c t i o n s o f t r u e t h r e e c l a s s m o d e l s o v e r f a l s e t w o c l a s s m o d e l s T h i s l a t t e r c o m p a r i s o n a s w e l l a s f o r c o m p a r i s o n s o f h i g h e r n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s w i t h t h e i r k0 1 c o u n t e r p a r t s m a y r e q u i r e d e r i v a t i o n o f a d d i t i o n a l c o m p a r i s o n s p e c i f i c f u n c t i o n a l r e l a t i o n s h i p s L i m i t a t i o n s a n d D i r e c t i o n s f o r F u t u r e R e s e a r c h T h e e x p e r i m e n t a l c o n d i t i o n s u s e d i n t h i s s t u d y w e r e c h o s e n t o r e p r e s e n t v a r i a b l e s t h a t a n a p p l i e d r e s e a r c h e r w o u l d h a v e t o a d d r e s s i n e s t i m a t i n g p o w e r a n d a c c u r a c y a m o n g G M M s w i t h v a r y i n g n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s N o n e t h e l e s s l i m i t a t i o n s t o t h i s s t u d y s t i l l e x i s t F i r s t t h e s t u d y d i d n o t e x a m i n e g r o w t h t r a j e c t o r i e s a n d v a r i a n c e c o v a r i a n c e s t r u c t u r e s n o t e x p l i c i t l y c o v e r e d b y t h e t w o c l a s s p o p u l a t i o n d i s t r i b u t i o n s u s e d i n t h i s s t u d y F o r e x a m p l e t r a j e c t o r i e s t h a t c r o s s o v e r i n t i m e q u a d r a t i c c u b i c o r o t h e r n o n l i n e a r t r a j e c t o r i e s t r a j e c t o r i e s d e r i v e d f r o m n o n n o r m a l d i s t r i b u t i o n s a n d n o n i n v a r i a n t r e s i d u a l v a r i a n c e s w i t h i n a n d b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s w e r e n o t

PAGE 87

7 8 e x a m i n e d E s t i m a t i o n o f p o w e r a n d a c c u r a c y f o r t h e s e t y p e s o f m o d e l s i s l e f t a s a n o p e n q u e s t i o n t o b e e x a m i n e d i n f u t u r e r e s e a r c h S e c o n d t h e c u r r e n t s t u d y d i d n o t e x a m i n e t h e r o l e o f u n e q u a l m i x i n g p r o p o r t i o n s o n s t a t i s t i c a l p o w e r o r a c c u r a c y T h a t i s a l l e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d i n t h i s s t u d y a s s u m e d a 5 0 5 0 s p l i t o f c a s e s b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s A l t h o u g h p r e v i o u s r e s e a r c h ( L o e t a l 2 0 0 1 ; M a s y n 2 0 0 1 ; M e n d e l l e t a l 1 9 9 1 1 9 9 3 ) h a s s h o w n l i t t l e r e l a t i o n s h i p b e t w e e n v a r i o u s c o m b i n a t i o n s o f m i x i n g p r o p o r t i o n s a n d t h e a b i l i t y t o i d e n t i f y l a t e n t c l a s s e s o n l y t h e M a s y n s t u d y e x a m i n e d d i f f e r e n t m i x i n g p r o p o r t i o n s i n t h e c o n t e x t o f t h e G M M a n d t h a t s t u d y w a s c o n d u c t e d w i t h i n a r e s t r i c t e d s e t o f e x p e r i m e n t a l c o n d i t i o n s M o r e o v e r p r a c t i c a l a p p l i c a t i o n s o f t h e G M M s e l d o m i f e v e r r e s u l t i n e v e n l y d i v i d e d m i x i n g p r o p o r t i o n s ; t h u s t h e r o l e v a r y i n g m i x i n g p r o p o r t i o n s i n t h e G M M r e m a i n s a s a n o t h e r a v e n u e f o r f u t u r e r e s e a r c h T h i r d t h e r e l a t i o n s h i p b e t w e e n m o d e l c o v a r i a t e s a n d e s t i m a t e s o f s t a t i s t i c a l p o w e r w a s n o t e x p l o r e d i n t h i s s t u d y A l t h o u g h o t h e r s t u d i e s h a v e s h o w n c o v a r i a t e s t o b e r e l a t e d t o b o t h p o w e r ( A l l i s o n e t a l 1 9 9 7 ; J o 2 0 0 2 ) a n d d e s i g n e f f i c i e n c y ( R a u d e n b u s h 1 9 7 7 ) t h e r e l a t i o n s h i p b e t w e e n m o d e l c o v a r i a t e s a n d l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n a l s o r e m a i n s a s a n a r e a t o b e e x p l o r e d F o u r t h a s m a x i m u m l i k e l i h o o d s o l u t i o n s g e n e r a t e d b y t h e G M M m a y b e s e n s i t i v e t o d i f f e r e n t s t a r t i n g v a l u e s t h i s s t u d y a l s o w a s l i m i t e d b y l a c k o f v a r i a t i o n i n s t a r t i n g v a l u e s u s e d f o r e a c h o f t h e t e s t e d m o d e l s T o a d d r e s s t h i s a r a n d o m s a m p l e o f n o n c o n v e r g e n t r e p l i c a t i o n s f o r t h e t h r e e c l a s s m o d e l w a s r e a n a l y z e d w i t h a s e c o n d m o r e d i s p a r a t e s e t o f s t a r t i n g v a l u e s R e s u l t s i n d i c a t e d t h a t t h e r e w a s n o g r e a t e r l i k e l i h o o d o f m o d e l c o n v e r g e n c e w i t h t h e s e c o n d s e t o f s t a r t i n g v a l u e s t h a n w i t h t h e f i r s t s e t o f s t a r t i n g

PAGE 88

7 9 v a l u e s T h i s t e s t h o w e v e r d i d n o t t a k e i n t o c o n s i d e r a t i o n t h a t t h e a p p l i e d r e s e a r c h e r t y p i c a l l y h a s m o r e i n f o r m a t i o n a n d f l e x i b i l i t y i n c h o o s i n g s t a r t i n g v a l u e s t h a n t h e u n i f o r m s e t s o f v a l u e s u s e d i n t h i s s t u d y F i f t h t h i s s t u d y d i d n o t e x a m i n e c o m b i n a t i o n s o f a l l v a l u e s a m o n g t h e s i x s e l e c t e d e x p e r i m e n t a l c o n d i t i o n s ; t o d o s o w o u l d h a v e c o n s t i t u t e d 2 2 5 0 0 u n i q u e c o m b i n a t i o n s o f e x p e r i m e n t a l c o n d i t i o n s r e q u i r i n g a n i m p r a c t i c a b l e a n d i n e f f i c i e n t a l l o c a t i o n o f r e s o u r c e s H o w e v e r t h i s s t u d y d i d e x a m i n e t h e i n t e r a c t i o n b e t w e e n l e v e l s o f b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s a n d s a m p l e s i z e a s t h e y r e l a t e d t o e s t i m a t e s o f p o w e r a n d a c c u r a c y ( s h o w n i n F i g u r e 1 0 ) T h i s l i m i t a t i o n a l s o w a s a d d r e s s e d b y e x p l i c a t i n g t h e r e l a t i o n s h i p b e t w e e n t h e s e p a r a t i o n a n d d i s t i n c t i o n b e t w e e n l a t e n t t r a j e c t o r y c l a s s e s ( i e n2) a n d c o r r e s p o n d i n g e s t i m a t e s o f p o w e r a n d a c c u r a c y f r o m w h i c h n e w e s t i m a t e s c a n b e d e r i v e d f o r p a r t i c u l a r c o m b i n a t i o n s o f e x p e r i m e n t a l c o n d i t i o n s n o t e x p l i c i t l y e x a m i n e d i n t h i s s t u d y S i x t h t h e r o l e o f n e s t i n g o r c l u s t e r i n g o f i n d i v i d u a l s i n t o g r o u p s w h i c h c o m m o n l y e x i s t s i n d e v e l o p m e n t a l a n d i n t e r v e n t i o n s t u d i e s ( e g s a m p l i n g p a r t i c i p a n t s f r o m c l a s s r o o m s c h o o l s o r c o m m u n i t i e s ) w a s n o t e x a m i n e d i n t h i s s t u d y A l t h o u g h i t i s p o s s i b l e t h a t t h e s e L e v e l 3 e f f e c t s c o u l d p o t e n t i a l l y i m p a c t l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n t h r o u g h t h e p a r t i t i o n i n g t h e a m o u n t o f t o t a l v a r i a t i o n i n t o w i t h i n a n d b e t w e e n g r o u p c o m p o n e n t s c u r r e n t m e t h o d s t o c o n d u c t g r o w t h m i x t u r e m o d e l i n g w i t h i n a h i e r a r c h i c a l / m u l t i l e v e l f r a m e w o r k a r e n o t a v a i l a b l e F i n a l l y t h e p r o c e d u r e u s e d i n t h i s s t u d y f o r g e n e r a t i n g p o w e r a n d a c c u r a c y e s t i m a t e s r e l i e d o n e f f e c t i v e T y p e I e r r o r r a t e s ( = 0 5 ) g e n e r a t e d v i a b r u t e f o r c e M o n t e C a r l o s i m u l a t i o n I n p r a c t i c e k n o w l e d g e o f T y p e I e r r o r r a t e s d e r i v e d f r o m a m o r e

PAGE 89

8 0 r i g o r o u s t h e o r e t i c a l p e r s p e c t i v e w o u l d s e r v e t o g r e a t l y e x p e d i t e t h e p r o c e s s o f e s t i m a t i n g p o w e r a n d a c c u r a c y F o r e x a m p l e s t r o n g d i s t r i b u t i o n a l t h e o r y f o r t h e L R T i n n o n n e s t e d m o d e l s s u c h a s t h a t d e v e l o p e d b y V u o n g ( 1 9 8 9 ) a n d i n c o r p o r a t e d i n t h e a d j u s t e d L o M e n d e l l a n d R u b i n L R T ( L M R L R T 2 0 0 1 ) h a s b e e n e m p l o y e d t o d e v e l o p n e w t e s t s o f f i t f o r m o d e l s b a s e d o n m i x t u r e d i s t r i b u t i o n s F u r t h e r m o r e t h e L M R L R T h a s b e e n i m p l e m e n t e d i n r e c e n t v e r s i o n s o f s t a t i s t i c a l s o f t w a r e ( i e M p l u s v 2 1 ; M u t h n & M u t h n 2 0 0 1 ) a n d h a s b e e n s h o w n t o b e a n e f f e c t i v e a l t e r n a t i v e t o e x i s t i n g m o d e l s e l e c t i o n c r i t e r i a ( M a s y n & M u t h n 2 0 0 2 ) C o n c l u s i o n s S e v e r a l g e n e r a l c o n c l u s i o n s a r e g l e a n e d f r o m t h i s s t u d y F i r s t r e s u l t s o f t h e M o n t e C a r l o s i m u l a t i o n s t o d e t e r m i n e e f f e c t i v e T y p e I e r r o r r a t e s d e m o n s t r a t e t h a t e n u m e r a t i o n o f l a t e n t t r a j e c t o r y c l a s s e s i s s t r o n g l y i n f l u e n c e d b y t h e c h o i c e o f m o d e l s e l e c t i o n c r i t e r i a C o n s i s t e n t w i t h t h e r e c o m m e n d a t i o n s o f Y a n g ( 1 9 9 9 ) t h e u s e o f t h e A B I C i s a d v o c a t e d o v e r t h e o t h e r t h r e e c r i t e r i a e x a m i n e d i n t h i s s t u d y A d d i t i o n a l l y i t i s n o t e d t h a t t h e L R T h o l d s p r o m i s e a s a p a r a m e t r i c a l t e r n a t i v e t o p e n a l i z e d i n f o r m a t i o n c r i t e r i a M o r e o v e r u s e o f t h e B I C a n d A I C g i v e n t h e i r r e s p e c t i v e c o n s e r v a t i v e a n d l i b e r a l T y p e I e r r o r r a t e s c a n b e u s e d t o e s t a b l i s h l o w e r a n d u p p e r b o u n d s o n t h e n u m b e r o f l a t e n t t r a j e c t o r y c l a s s e s i n l o n g i t u d i n a l d a t a S e c o n d r e s u l t s o f t h e M o n t e C a r l o s i m u l a t i o n s f o r e a c h e x p e r i m e n t a l c o n d i t i o n i n d i c a t e t h a t a s h y p o t h e s i z e d t h e a b i l i t y t o c o r r e c t l y e n u m e r a t e l a t e n t t r a j e c t o r y c l a s s e s i s p o s i t i v e l y r e l a t e d t o g r e a t e r ( a ) d i f f e r e n c e s i n i n t e r c e p t a n d s l o p e p a r a m e t e r s b e t w e e n c l a s s e s ( b ) p e r c e n t a g e s o f v a r i a n c e e x p l a i n e d b y i n t e r c e p t a n d s l o p e p a r a m e t e r s ( c ) s a m p l e s i z e s a n d ( d ) n u m b e r s o f r e p e a t e d m e a s u r e s A m o n g t h e s e f o u r c o n d i t i o n s

PAGE 90

8 1 i n c r e a s i n g t h e n u m b e r o f r e p e a t e d m e a s u r e s a p p e a r s t o g i v e t h e g r e a t e s t i n c r e a s e i n a d j u s t e d p o w e r a n d a c c u r a c y H o w e v e r r e s u l t s f r o m t h e a n a l y s i s o f s a m p l e s i z e i n d i c a t e t h a t s t a t i s t i c a l p o w e r a n d a c c u r a c y n e e d t o b e e s t i m a t e d i n t h e c o n t e x t o f m u l t i p l e c o n d i t i o n s C o n s e q u e n t l y s a m p l e s i z e r u l e s o f t h u m b f o r t h e G G M M s u c h a s 1 0 0 c a s e s p e r l a t e n t t r a j e c t o r y c l a s s ( L a w r e n c e & W a g s t a f f 2 0 0 3 ) m a y b e m i s l e a d i n g f o r l a t e n t t r a j e c t o r y c l a s s e n u m e r a t i o n T h i r d r e s u l t s o f t h e M o n t e C a r l o s i m u l a t i o n s a c r o s s t h e 3 6 c o m b i n a t i o n s o f e x p e r i m e n t a l c o n d i t i o n s e x a m i n e d i n t h i s s t u d y s u g g e s t t h a t t h e c o n d i t i o n s n e c e s s a r y f o r a d e q u a t e p o w e r a n d a c c u r a c y ( a d j u s t e d a t a n o m i n a l = 0 5 ) a r e r e l a t i v e l y e x p e n s i v e i n t e r m s o f t h e d a t a r e q u i r e m e n t s n e c e s s a r y t o r e l i a b l y e n u m e r a t e l a t e n t t r a j e c t o r y c l a s s e s F o r e x a m p l e t o a c h i e v e a n a d j u s t e d p o w e r o f 8 0 r e q u i r e s a s a m p l e s i z e o f 6 0 0 p a r t i c i p a n t s s i x r e p e a t e d m e a s u r e s 6 0 % o f v a r i a t i o n a t t r i b u t e d t o i n t e r c e p t a n d s l o p e g r o w t h p a r a m e t e r s a b e t w e e n c l a s s d i f f e r e n c e o f 1 0 s t a n d a r d d e v i a t i o n f o r g r o w t h p a r a m e t e r s a n d n o m i s s i n g d a t a L e s s i n f o r m a t i o n o n a n y o n e o f t h e s e c o n d i t i o n s w o u l d r e q u i r e m o r e i n f o r m a t i o n f r o m o t h e r c o n d i t i o n s i n o r d e r t o m a i n t a i n a d e q u a t e p o w e r a n d a c c u r a c y N o n e t h e l e s s f r o m a r e v i e w o f r e s e a r c h a p p l i c a t i o n s o f t h e G M M i t a l s o i s n o t e d t h a t r e s e a r c h e r s h a v e b e e n s u c c e s s f u l i n f i n d i n g m i x t u r e d i s t r i b u t i o n s i n l o n g i t u d i n a l d a t a T h i s s u c c e s s m a y b e d u e i n p a r t t o t h e p a r t i t i o n i n g o f v a r i a b i l i t y i n g r o w t h p a r a m e t e r s t h a t a r i s e s a s l a t e n t t r a j e c t o r y c l a s s e s a r e i d e n t i f i e d C o n s e q u e n t l y r e l a t i v e l y l a r g e ( i e > 1 0 ) s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s s h o u l d n o t b e s u r p r i s i n g i n s u c h r e s e a r c h a p p l i c a t i o n s F i n a l l y a n d m o s t i m p o r t a n t l y e x a m i n a t i o n o f n2 d e r i v e d f r o m t h e d i f f e r e n c e i n l o g l i k e l i h o o d s b e t w e e n t h e f a l s e o n e c l a s s a n d t r u e t w o c l a s s m o d e l s d e m o n s t r a t e s

PAGE 91

8 2 t h e u t i l i t y o f r e l a t i n g p o w e r a n d a c c u r a c y t o a m e a s u r e o f t h e d e g r e e o f b e t w e e n c l a s s s e p a r a t i o n ( e g a s a c h i s q u a r e b a s e d n o n c e n t r a l i t y p a r a m e t e r ) T h i s c o n c l u s i o n h a s i m p l i c a t i o n s f o r r e s e a r c h e r s w i s h i n g t o d e r i v e e s t i m a t e s o f s t a t i s t i c a l p o w e r o r a c c u r a c y i n t h a t t h e p r o c e s s o f o b t a i n i n g s u c h e s t i m a t e s c a n b e g r e a t l y s i m p l i f i e d ; s u m m a r y l o g l i k e l i h o o d v a l u e s c a n b e c o m p a r e d w i t h o u t t h e n e c e s s i t y o f l i n k i n g i n f o r m a t i o n c r i t e r i a a c r o s s c o m p e t i n g m o d e l s ( i e m o d e l s w i t h d i f f e r i n g n u m b e r s o f l a t e n t t r a j e c t o r y c l a s s e s ) a n d i d e n t i f y i n g t h e o p t i m a l m o d e l f o r e a c h r e p l i c a t i o n W h e n a p p l i e d t o a m o t i v a t i n g e x a m p l e u s i n g r e a l d e s i g n a n d p o p u l a t i o n c h a r a c t e r i s t i c s n2 p r o v e d s u c c e s s f u l i n p r e d i c t i n g a c t u a l l e v e l s o f p o w e r t o d e t e c t a t w o c l a s s m i x t u r e d i s t r i b u t i o n o v e r a o n e c l a s s d i s t r i b u t i o n H o w e v e r t h e g e n e r a l i z a b i l i t y o f t h i s m e a s u r e d i d n o t f u l l y e x t e n d t o t h e a b i l i t y t o d e t e c t a t h r e e c l a s s m i x t u r e d i s t r i b u t i o n o v e r a t w o c l a s s d i s t r i b u t i o n T h e r e f o r e i t i s p r e f e r a b l e t h a t e s t i m a t e s o f n2 b e d e v e l o p e d f r o m t h e s p e c i f i c m o d e l c o m p a r i s o n s f o r w h i c h e s t i m a t e s o f p o w e r a n d a c c u r a c y a r e i n t e n d e d t o b e p r e d i c t i v e

PAGE 92

8 3 R e f e r e n c e s A c h e n b a c h T M ( 1 9 9 1 ) M a n u a l f o r t h e C h i l d B e h a v i o r C h e c k l i s t / 4 1 8 a n d 1 9 9 1 P r o f i l e B u r l i n g t o n V T : U n i v e r s i t y o f V e r m o n t D e p a r t m e n t o f P s y c h i a t r y A k a i k e H ( 1 9 7 3 ) S t a t i s t i c a l p r e d i c t o r i d e n t i f i c a t i o n A n n a l s o f t h e I n s t i t u t e S t a t i s t i c a l M a t h e m a t i c s 2 2 2 0 3 2 1 7 A l l i s o n D B A l l i s o n R L F a i t h M S P a u l t r e F & P i S u n y e r F X ( 1 9 9 7 ) P o w e r a n d m o n e y : D e s i g n i n g s t a t i s t i c a l l y p o w e r f u l s t u d i e s w h i l e m i n i m i z i n g f i n a n c i a l c o s t s P s y c h o l o g i c a l M e t h o d s 2 2 0 3 3 B i e r n a c k i C & G o v a e r t G ( 1 9 9 7 ) U s i n g t h e c l a s s i f i c a t i o n l i k e l i h o o d t o c h o o s e t h e n u m b e r o f c l u s t e r s C o m p u t i n g S c i e n c e a n d S t a t i s t i c s 2 9 4 5 1 4 5 7 B i e r n a c k i C C e l e u x G & G o v a e r t G ( 1 9 9 8 ) A s s e s s i n g a m i x t u r e m o d e l f o r c l u s t e r i n g s w i t h t h e i n t e g r a t e d c l a s s i f i c a t i o n l i k e l i h o o d T e c h n i c a l R e p o r t N o 3 5 2 1 R h n e A l p e s : I N R I A B i e r n a c k i C C e l e u x G & G o v a e r t G ( 1 9 9 9 ) A n i m p r o v e m e n t o f t h e N E C c r i t e r i o n f o r a s s e s s i n g t h e n u m b e r o f c l u s t e r s i n a m i x t u r e m o d e l P a t t e r n R e c o g n i t i o n L e t t e r s 2 0 2 6 7 2 7 2 B o z d o g a n H ( 1 9 8 7 ) M o d e l s e l e c t i o n a n d A k a i k e ’ s i n f o r m a t i o n c r i t e r i o n ( A I C ) : T h e g e n e r a l t h e o r y a n d i t s a n a l y t i c a l e x t e n s i o n s P s y c h o m e t r i k a 5 2 3 4 5 3 7 0 C e l e u x G & S o r o m e n h o G ( 1 9 9 6 ) A n e n t r o p y c r i t e r i o n f o r a s s e s s i n g t h e n u m b e r o f c l u s t e r s i n a m i x t u r e m o d e l C l a s s i f i c a t i o n J o u r n a l 1 3 1 9 5 2 1 2 C h u a n g R & M e n d e l l N R ( 1 9 9 7 ) T h e a p p r o x i m a t e n u l l d i s t r i b u t i o n o f t h e l i k e l i h o o d r a t i o t e s t f o r a m i x t u r e o f t w o b i v a r i a t e n o r m a l d i s t r i b u t i o n s w i t h e q u a l c o v a r i a n c e C o m m u n i c a t i o n s i n S t a t i s t i c s — S i m u l a t i o n a n d C o m p u t a t i o n 2 6 6 3 1 6 4 8 C l o g g C C ( 1 9 9 5 ) L a t e n t c l a s s m o d e l s I n G A r m i n g e r C C C l o g g & M E S o b e l ( E d s ) H a n d b o o k o f s t a t i s t i c a l m o d e l i n g f o r t h e s o c i a l a n d b e h a v i o r a l s c i e n c e s ( p p 3 1 1 3 5 9 ) N e w Y o r k : P l e n u m P r e s s C o h e n J ( 1 9 7 7 ) S t a t i s t i c a l p o w e r a n a l y s i s f o r t h e b e h a v i o r a l s c i e n c e s ( R e v e d ) N e w Y o r k : A c a d e m i c P r e s s

PAGE 93

8 4 C o l d e r C R B a l a n d a K M a y h e w K P P e n t z M M e h t a P C a m p b e l l R T S t a n t o n W R & F l a y B R ( 2 0 0 1 ) I d e n t i f y i n g t r a j e c t o r i e s o f a d o l e s c e n t s m o k i n g : A n a p p l i c a t i o n o f l a t e n t g r o w t h m i x t u r e m o d e l i n g H e a l t h P s y c h o l o g y 2 0 p 1 2 7 1 3 5 C o l d e r C R C a m p b e l l R T R u e l E R i c h a r d s o n J L & F l a y B R ( 2 0 0 2 ) A f i n i t e m i x t u r e m o d e l o f g r o w t h t r a j e c t o r i e s o f a d o l e s c e n t a l c o h o l u s e : P r e d i c t o r s a n d c o n s e q u e n c e s J o u r n a l o f C o n s u l t i n g a n d C l i n i c a l P s y c h o l o g y 7 0 9 7 6 9 8 5 C u d e c k R & H e n l y S J ( 1 9 9 1 ) M o d e l s e l e c t i o n i n c o v a r i a n c e s t r u c t u r e a n a l y s i s a n d t h e p r o b l e m o f s a m p l e s i z e : A c l a r i f i c a t i o n P s y c h o l o g i c a l B u l l e t i n 1 0 9 5 1 2 5 1 9 C u r r a n P J W e s t S G & F i n c h J ( 1 9 9 6 ) T h e r o b u s t n e s s o f t e s t s t a t i s t i c s t o n o n n o r m a l i t y a n d s p e c i f i c a t i o n e r r o r i n c o n f i r m a t o r y f a c t o r a n a l y s i s P s y c h o l o g i c a l M e t h o d s 1 1 6 2 9 D a c u n h a C a s t e l l e D & G a s s i a t E ( 1 9 9 7 ) T h e e s t i m a t i o n o f t h e o r d e r o f a m i x t u r e m o d e l B e r n o u l l i 3 2 7 9 2 9 9 D e d r i c k R F G r e e n b a u m P E V a u g h n D A ( A p r i l 2 0 0 1 ) L o n g i t u d i n a l a n a l y s i s o f r e a d i n g a c h i e v e m e n t t r a j e c t o r i e s o f l o w a c h i e v i n g s e c o n d g r a d e r s : G e n e r a l g r o w t h m i x t u r e m o d e l i n g P r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n S e a t t l e W A D e n n i s M L L e n n o x R D & F o s s M A ( 1 9 9 7 ) P r a c t i c a l p o w e r a n a l y s i s f o r s u b s t a n c e a b u s e h e a l t h s e r v i c e s r e s e a r c h I n K J B r y a n t M W i n d l e & S G W e s t ( E d s ) T h e s c i e n c e o f p r e v e n t i o n W a s h i n g t o n D C : A m e r i c a n P s y c h o l o g i c a l A s s o c i a t i o n D u m e n c i L & W i n d l e M ( 2 0 0 1 ) C l u s t e r a n a l y s i s a s a m e t h o d o f r e c o v e r i n g t y p e s o f i n t r a i n d i v i d u a l g r o w t h t r a j e c t o r i e s : A M o n t e C a r l o s t u d y M u l t i v a r i a t e B e h a v i o r a l R e s e a r c h 3 6 5 0 1 5 2 2 D u n c a n T E D u n c a n S C S t r y c k e r L A L i F & A l p e r t A ( 1 9 9 9 ) A n i n t r o d u c t i o n t o l a t e n t v a r i a b l e g r o w t h c u r v e m o d e l i n g M a h w a h N J : L a w r e n c e E r l b a u m A s s o c i a t e s I n c E v e r i t t B S ( 1 9 8 1 ) A M o n t e C a r l o i n v e s t i g a t i o n o f t h e l i k e l i h o o d r a t i o t e s t f o r t h e n u m b e r o f c o m p o n e n t s i n a m i x t u r e o f n o r m a l d i s t r i b u t i o n s M u l t i v a r i a t e B e h a v i o r a l R e s e a r c h 1 6 1 7 1 1 8 0 E v e r i t t B S ( 1 9 8 8 ) A M o n t e C a r l o i n v e s t i g a t i o n o f t h e l i k e l i h o o d r a t i o t e s t f o r t h e n u m b e r o f c l a s s e s i n l a t e n t c l a s s a n a l y s i s M u l t i v a r i a t e B e h a v i o r a l R e s e a r c h 2 3 5 3 1 5 3 8

PAGE 94

8 5 E v e r i t t B S & H a n d D J ( 1 9 8 1 ) F i n i t e m i x t u r e d i s t r i b u t i o n s L o n d o n : C h a p m a n & H a l l F u r m a n W D & L i n d s a y B G ( 1 9 9 4 ) T e s t i n g f o r t h e n u m b e r o f c o m p o n e n t s i n a m i x t u r e o f n o r m a l d i s t r i b u t i o n s u s i n g m o m e n t e s t i m a t o r s C o m p u t a t i o n a l S t a t i s t i c s a n d D a t a A n a l y s i s 1 7 4 7 3 4 9 2 G e r b i n g D W & A n d e r s o n J C ( 1 9 9 2 ) M o n t e C a r l o e v a l u a t i o n s o f g o o d n e s s o f f i t i n d i c e s f o r s t r u c t u r a l e q u a t i o n m o d e l s S o c i o l o g i c a l M e t h o d s a n d R e s e a r c h 2 1 1 3 2 1 6 0 G o l d e n R M ( 2 0 0 0 ) S t a t i s t i c a l t e s t s f o r c o m p a r i n g p o s s i b l y m i s s p e c i f i e d a n d n o n n e s t e d m o d e l s J o u r n a l o f M a t h e m a t i c a l P s y c h o l o g y 4 4 1 5 3 1 7 0 G o l d s t e i n H ( 1 9 9 5 ) H i e r a r c h i c a l d a t a m o d e l i n g i n t h e s o c i a l s c i e n c e s J o u r n a l o f E d u c a t i o n a l a n d B e h a v i o r a l S t a t i s t i c s 2 0 2 0 1 2 2 4 G r a h a m J W T a y l o r B J C u m s i l l e P E ( 2 0 0 1 ) P l a n n e d m i s s i n g d a t a d e s i g n s i n a n a l y s i s o f c h a n g e I n L M C o l l i n s & A G S a y e r ( E d s ) N e w m e t h o d s f o r t h e a n a l y s i s o f c h a n g e : D e c a d e o f b e h a v i o r ( p p 3 3 5 3 5 3 ) W a s h i n g t o n D C : A m e r i c a n P s y c h o l o g i c a l A s s o c i a t i o n G r e e n b a u m P E & B r o w n E C ( M a y 2 0 0 2 ) G r o w t h m i x t u r e m o d e l i n g a n d p r o p e n s i t y a n a l y s i s : E v a l u a t i n g a n i n t e g r a t e d s e r v i c e s p r o g r a m f o r c h i l d r e n w i t h s e r i o u s e m o t i o n a l d i s o r d e r s P r e s e n t e d a t t h e 1 0t h A n n u a l M e e t i n g o f t h e S o c i e t y f o r P r e v e n t i o n R e s e a r c h S e a t t l e W A G r e e n b a u m P E D e d r i c k R F & B r o w n E C ( A p r i l 2 0 0 0 a ) G r o u p d i f f e r e n c e s i n d e v e l o p m e n t a l t r a j e c t o r i e s o f e x t e r n a l i z i n g b e h a v i o r s f o r c h i l d r e n w i t h e m o t i o n a l d i s t u r b a n c e : G r o w t h m i x t u r e m o d e l i n g P r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n N e w O r l e a n s L A G r e e n b a u m P E D e d r i c k R F & B r o w n E C ( A u g u s t 2 0 0 0 b ) G r o w t h m i x t u r e m o d e l i n g o f d e l i n q u e n t b e h a v i o r d e v e l o p m e n t a l t r a j e c t o r i e s P r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e A m e r i c a n P s y c h o l o g i c a l A s s o c i a t i o n W a s h i n g t o n D C G r e e n b a u m P E D e l B o c a F K D a r k e s J a n d G o l d m a n M S ( 2 0 0 1 ) U n p u b l i s h e d m a n u s c r i p t U n i v e r s i t y o f S o u t h F l o r i d a G u t i e r r e z R G C a r r o l l R J W a n g N L e e G H & T a y l o r B H ( 1 9 9 5 ) A n a l y s i s o f t o m a t o r o o t i n i t i a t i o n u s i n g a n o r m a l m i x t u r e d i s t r i b u t i o n B i o m e t r i c s 5 1 1 4 6 1 1 4 6 8 J o B ( 2 0 0 2 ) S t a t i s t i c a l p o w e r i n r a n d o m i z e d i n t e r v e n t i o n s t u d i e s w i t h n o n c o m p l i a n c e P s y c h o l o g i c a l M e t h o d s 7 1 7 8 1 9 3

PAGE 95

8 6 H a u g h t o n D M A O u d J H L & J a n s e n R A R G ( 1 9 9 7 ) I n f o r m a t i o n a n d o t h e r c r i t e r i a i n s t r u c t u r a l e q u a t i o n m o d e l s e l e c t i o n J o u r n a l o f S t a t i s t i c a l C o m p u t a t i o n a n d S i m u l a t i o n 2 6 1 4 7 7 1 5 1 6 H a y n a m G E G o v i n d a r a j u l u Z & L e o n e F C ( 1 9 7 3 ) T a b l e s o f t h e c u m u l a t i v e n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o n I n H L H a r t e r a n d D B O w e n ( E d s ) S e l e c t e d t a b l e s i n m a t h e m a t i c a l s t a t i s t i c s ( V o l 1 p p 1 7 8 ) P r o v i d e n c e R I : M a t h e m a t i c a l S t a t i s t i c a l S o c i e t y H e c k m a n J J R o b b R & W a l k e r J R ( 1 9 9 0 ) T e s t i n g t h e m i x t u r e o f e x p o n e n t i a l s h y p o t h e s i s a n d e s t i m a t i n g t h e m i x i n g d i s t r i b u t i o n b y t h e m e t h o d o f m o m e n t s J o u r n a l o f t h e A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n 8 5 5 8 2 5 8 9 H u L & B e n t l e r P M ( 1 9 9 8 ) F i t i n d i c e s i n c o v a r i a n c e s t r u c t u r e m o d e l i n g : S e n s i t i v i t y t o u n d e r p a r a m e t e r i z e d m o d e l m i s s p e c i f i c a t i o n P s y c h o l o g i c a l M e t h o d s 3 4 2 4 4 5 3 I c h i k a w a M & K o n i s h i S ( 1 9 9 9 ) M o d e l e v a l u a t i o n a n d i n f o r m a t i o n c r i t e r i a i n c o v a r i a n c e s t r u c t u r e a n a l y s i s B r i t i s h J o u r n a l o f M a t h e m a t i c a l & S t a t i s t i c a l P s y c h o l o g y 5 2 2 8 5 3 0 2 K e l l a m S G & R e b o k G W ( 1 9 9 2 ) B u i l d i n g d e v e l o p m e n t a l a n d e t i o l o g i c a l t h e o r y t h r o u g h e p i d e m i o l o g i c a l l y b a s e d p r e v e n t i v e i n t e r v e n t i o n t r i a l s I n J M c C o r d & R E T r e m b l a y ( E d s ) P r e v e n t i n g a n t i s o c i a l b e h a v i o r : I n t e r v e n t i o n s f r o m b i r t h t h r o u g h a d o l e s c e n c e ( p p 1 6 2 1 9 5 ) N e w Y o r k : G u i l f o r d P r e s s K u l l b a c k S & L e i b l e r R A ( 1 9 5 1 ) O n i n f o r m a t i o n a n d s u f f i c i e n c y A n n a l s o f M a t h e m a t i c a l S t a t i s t i c s 2 2 7 9 8 6 L a w r e n c e F R & W a g s t a f f D A ( A p r i l 2 0 0 3 ) S a m p l e s i z e r e q u i r e m e n t s f o r G e n e r a l G r o w t h M i x t u r e M o d e l s P r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n C h i c a g o I L L i F D u n c a n T E H o p s H ( 2 0 0 1 ) E x a m i n i n g d e v e l o p m e n t a l t r a j e c t o r i e s i n a d o l e s c e n t a l c o h o l u s e u s i n g p i e c e w i s e g r o w t h m i x t u r e m o d e l i n g a n a l y s i s J o u r n a l o f S t u d i e s o n A l c o h o l 6 2 1 9 9 2 1 0 L i n T H & D a y t o n C M ( 1 9 9 7 ) M o d e l s e l e c t i o n i n f o r m a t i o n c r i t e r i a f o r n o n n e s t e d l a t e n t c l a s s m o d e l s J o u r n a l o f E d u c a t i o n a l a n d B e h a v i o r a l S t a t i s t i c s 2 2 2 4 9 2 6 4 L i n d s a y B G & R o e d e r K ( 1 9 9 2 ) R e s i d u a l d i a g n o s t i c s f o r m i x t u r e m o d e l s J o u r n a l o f t h e A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n 8 7 7 8 5 7 9 4

PAGE 96

8 7 L o Y M e n d e l l N R a n d R u b i n D B ( 2 0 0 1 ) T e s t i n g t h e n u m b e r o f c o m p o n e n t s i n a n o r m a l m i x t u r e B i o m e t r i c s 8 8 7 6 7 7 7 8 M a c C a l l u m R C B r o w n e M W & S u g a w a r a H M ( 1 9 9 6 ) P o w e r a n a l y s i s a n d d e t e r m i n a t i o n o f s a m p l e s i z e f o r c o v a r i a n c e s t r u c t u r e m o d e l i n g P s y c h o l o g i c a l M e t h o d s 2 1 3 0 1 4 9 L o e h l i n J C ( 1 9 9 8 ) L a t e n t v a r i a b l e m o d e l s ( 3r d e d ) M a h w a h N J : L a w r e n c e E r l b a u m A s s o c i a t e s M a c C a l l u m R C B r o w n e M W & S u g a w a r a H M ( 1 9 9 6 ) P o w e r a n a l y s i s a n d d e t e r m i n a t i o n o f s a m p l e s i z e f o r c o v a r i a n c e s t r u c t u r e m o d e l i n g P s y c h o l o g i c a l M e t h o d s 1 1 3 0 1 4 9 M a s y n K ( S e p t e m b e r 2 0 0 1 ) F u r t h e r s i m u l a t i o n s t u d i e s o f l a t e n t c l a s s e n u m e r a t i o n i n t h e G G M M f r a m e w o r k P r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e P r e v e n t i o n S c i e n c e M e t h o d o l o g y G r o u p U n i v e r s i t y o f C a l i f o r n i a L o s A n g e l e s M a s y n K & B r o w n E C ( A p r i l 2 0 0 1 ) L a t e n t c l a s s e n u m e r a t i o n i n g e n e r a l g r o w t h m i x t u r e m o d e l i n g P r e s e n t e d a t t h e a n n u a l m e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n S e a t t l e W A M a s y n K & M u t h n B ( N o v e m b e r 2 0 0 0 ) S i m u l a t i o n p r o c e d u r e s i n M p l u s P r e s e n t e d a t t h e w e e k l y t e l e c o n f e r e n c e m e e t i n g o f t h e P r e v e n t i o n S c i e n c e M e t h o d o l o g y G r o u p M a s y n K & M u t h n B ( A p r i l 2 0 0 2 ) A n e x a m i n a t i o n o f t h e L o M e n d e l a n d R u b i n l i k e l i h o o d r a t i o t e s t u s i n g M o n t e C a r l o s i m u l a t i o n i n M p l u s P r e s e n t e d t o t h e A n n u a l M e e t i n g o f t h e A m e r i c a n E d u c a t i o n a l R e s e a r c h A s s o c i a t i o n S e a t t l e W A M c L a c h l a n G J ( 1 9 8 7 ) O n b o o t s t r a p p i n g t h e l i k e l i h o o d r a t i o t e s t s t a t i s t i c f o r t h e n u m b e r o f c o m p o n e n t s i n a n o r m a l m i x t u r e A p p l i e d S t a t i s t i c s 3 6 3 1 8 3 2 4 M c L a c h l a n G J & B a s f o r d K E ( 1 9 8 8 ) M i x t u r e m o d e l s : I n f e r e n c e a n d a p p l i c a t i o n s t o c l u s t e r i n g N e w Y o r k : M a r c e l D e k k e r M c L a c h l a n G J & P e e l D ( 1 9 9 7 ) O n a r e s a m p l i n g a p p r o a c h t o c h o o s i n g t h e n u m b e r o f c o m p o n e n t s i n n o r m a l m i x t u r e m o d e l s I n L B i l l a r d a n d N I F i s h e r ( E d s ) C o m p u t i n g s c i e n c e a n d s t a t i s t i c s V o l 2 8 ( p p 2 6 0 2 6 6 ) F a i r f a x S t a t i o n V A : I n t e r f a c e F o u n d a t i o n o f N o r t h A m e r i c a M c L a c h l a n G J & P e e l D ( 2 0 0 1 ) F i n i t e m i x t u r e m o d e l s N e w Y o r k : J o h n W i l e y & S o n s I n c

PAGE 97

8 8 M e n d e l l N R F i n c h S J & T h o d e H C ( 1 9 9 3 ) W h e r e i s t h e l i k e l i h o o d r a t i o t e s t p o w e r f u l f o r d e t e c t i n g t w o c o m p o n e n t n o r m a l m i x t u r e s ? B i o m e t r i c s 4 9 9 0 7 9 1 5 M e n d e l l N R T h o d e H C & F i n c h S J ( 1 9 9 1 ) T h e l i k e l i h o o d r a t i o t e s t f o r t h e n o r m a l m i x t u r e p r o b l e m : P o w e r a n d s a m p l e s i z e a n a l y s i s B i o m e t r i c s 4 7 1 1 4 3 1 1 4 8 M o o n e y C Z ( 1 9 9 7 ) M o n t e C a r l o s i m u l a t i o n I o w a C i t y I A : S a g e U n i v e r s i t y P r e s s M u t h n B O ( 2 0 0 1 a ) L a t e n t v a r i a b l e m i x t u r e m o d e l i n g I n G A M a r c o u l i d e s & R E S c h u m a c k e r ( E d s ) N e w d e v e l o p m e n t s a n d t e c h n i q u e s i n s t r u c t u r a l e q u a t i o n m o d e l i n g ( p p 1 2 2 ) M a h w a h N J : L a w r e n c e E r l b a u m A s s o c i a t e s M u t h n B O ( 2 0 0 1 b ) S e c o n d g e n e r a t i o n s t r u c t u r a l e q u a t i o n m o d e l i n g w i t h a c o m b i n a t i o n o f c a t e g o r i c a l a n d c o n t i n u o u s l a t e n t v a r i a b l e s : N e w o p p o r t u n i t i e s f o r l a t e n t c l a s s / l a t e n t g r o w t h m o d e l i n g I n L M C o l l i n s & A S a y e r ( E d s ) N e w m e t h o d s f o r t h e a n a l y s i s o f c h a n g e ( p p 2 9 1 3 2 2 ) W a s h i n g t o n D C : A m e r i c a n P s y c h o l o g i c a l A s s o c i a t i o n M u t h n B O ( 2 0 0 2 ) U s i n g M p l u s M o n t e C a r l o s i m u l a t i o n s i n p r a c t i c e : A n o t e o n a s s e s s i n g e s t i m a t i o n q u a l i t y a n d p o w e r i n l a t e n t v a r i a b l e m o d e l s M p l u s W e b N o t e s N u m b e r 1 [ O n l i n e ] A v a i l a b l e : w w w s t a t m o d e l c o m M u t h n B O & A s p a r o u h o v T ( 2 0 0 2 ) U s i n g M p l u s M o n t e C a r l o s i m u l a t i o n s i n p r a c t i c e : A n o t e o n n o n n o r m a l m i s s i n g d a t a i n l a t e n t v a r i a b l e m o d e l s M p l u s W e b N o t e s N u m b e r 2 [ O n l i n e ] A v a i l a b l e : w w w s t a t m o d e l c o m M u t h n B O B r o w n C H M a s y n K J o B K h o o S Y a n g C W a n g C K e l l a m S G C a r l i n J B & L i a o J ( 2 0 0 2 ) G e n e r a l g r o w t h m i x t u r e m o d e l i n g f o r r a n d o m i z e d p r e v e n t i v e i n t e r v e n t i o n s B i o s t a t i s t i c s 9 4 5 6 6 7 8 M u t h n B O & C u r r a n P J ( 1 9 9 7 ) G e n e r a l l o n g i t u d i n a l m o d e l i n g o f i n d i v i d u a l d i f f e r e n c e s i n e x p e r i m e n t a l d e s i g n s : A l a t e n t v a r i a b l e f r a m e w o r k f o r a n a l y s i s a n d p o w e r e s t i m a t i o n P s y c h o l o g i c a l M e t h o d s 2 3 7 1 4 0 2 M u t h n B O a n d K h o o S ( 1 9 9 8 ) L o n g i t u d i n a l s t u d i e s o f a c h i e v e m e n t g r o w t h u s i n g l a t e n t v a r i a b l e m o d e l i n g L e a r n i n g a n d I n d i v i d u a l D i f f e r e n c e s 1 0 7 3 1 0 1 M u t h n B O K h o o S T F r a n c i s D & K i m B o s c a r d i n C ( 2 0 0 0 ) A n a l y s i s o f r e a d i n g s k i l l s d e v e l o p m e n t f r o m K i n d e r g a r t e n t h r o u g h f i r s t g r a d e : A n a p p l i c a t i o n o f g r o w t h m i x t u r e m o d e l i n g t o s e q u e n t i a l p r o c e s s e s I n S R R e i s e & N D u a n ( E d s ) M u l t i l e v e l m o d e l i n g : M e t h o d o l o g i c a l a d v a n c e s i s s u e s a n d a p p l i c a t i o n s M a h a w N J : L a w r e n c e E r l b a u m A s s o c i a t e s

PAGE 98

8 9 M u t h n B O & M u t h n L K ( 2 0 0 0 ) I n t e g r a t i n g p e r s o n c e n t e r e d a n d v a r i a b l e c e n t e r e d a n a l y s i s : G r o w t h m i x t u r e m o d e l i n g w i t h l a t e n t t r a j e c t o r y c l a s s e s A l c o h o l i s m : C l i n i c a l a n d E x p e r i m e n t a l R e s e a r c h 2 4 8 8 2 8 9 1 M u t h n L K & M u t h n B O ( 2 0 0 1 ) M p l u s U s e r s ’ G u i d e ( S e c o n d e d i t i o n ) [ C o m p u t e r s o f t w a r e ] L o s A n g e l e s C A : M u t h n & M u t h n M u t h n L K & M u t h n B O ( 2 0 0 2 ) H o w t o u s e a M o n t e C a r l o s t u d y t o d e c i d e o n s a m p l e s i z e a n d d e t e r m i n e p o w e r S t r u c t u r a l E q u a t i o n M o d e l i n g 9 5 9 9 6 2 0 M u t h n B O & S h e d d e n K ( 1 9 9 9 ) F i n i t e m i x t u r e m o d e l i n g w i t h m i x t u r e o u t c o m e s u s i n g t h e E M a l g o r i t h m B i o m e t r i c s 5 5 4 6 3 4 6 9 N C S S S t a t i s t i c a l S o f t w a r e ( 1 9 9 5 ) [ s h a r e w a r e : w w w n c s s c o m ] K a y s v i l l e U t a h N a g i n D S ( 1 9 9 9 ) A n a l y z i n g d e v e l o p m e n t a l t r a j e c t o r i e s : A s e m i p a r a m e t r i c g r o u p b a s e d a p p r o a c h P s y c h o l o g i c a l M e t h o d s 2 1 3 9 1 5 7 O R C M a c r o I n t e r n a t i o n a l ( 1 9 9 5 ) C o m p r e h e n s i v e C o m m u n i t y M e n t a l H e a l t h S e r v i c e s f o r C h i l d r e n a n d T h e i r F a m i l i e s P r o g r a m ( W H o l d e n P r i n c i p a l I n v e s t i g a t o r ) A t l a n t a G A O l m o s A & H u t c h i n s o n S R ( 1 9 9 8 ) B e h a v i o r o f d e s c r i p t i v e f i t i n d e x e s i n c o n f i r m a t o r y f a c t o r a n a l y s i s u s i n g o r d e r e d c a t e g o r i c a l d a t a S t r u c t u r a l E q u a t i o n M o d e l i n g 5 3 4 4 3 6 4 O x f o r d M L G i l c h r i s t L D M o r r i s o n D M G i l l m o r e M R L o h r M J & L e w i s S M ( 2 0 0 3 ) A l c o h o l u s e a m o n g a d o l e s c e n t m o t h e r s : H e t e r o g e n e i t y i n g r o w t h c u r v e s p r e d i c t o r s a n d o u t c o m e s o f a l c o h o l u s e o v e r t i m e P r e v e n t i o n S c i e n c e 4 1 5 2 6 P a x t o n P C u r r a n P J B o l l e n K A K i r b y J & C h e n F ( 2 0 0 1 ) M o n t e C a r l o e x p e r i m e n t s : D e s i g n a n d i m p l e m e n t a t i o n S t r u c t u r a l E q u a t i o n M o d e l i n g 8 2 8 7 3 1 2 P e t r a s H F u r r H o l d e n C D C l a r k M D B r o w n C H I a l o n g o N & K e l l a m S ( M a y 2 0 0 1 ) A g g r e s s i v e / d i s r u p t i v e b e h a v i o r i n s c h o o l c h i l d r e n a n d s c h o o l r e m o v a l : A n a p p l i c a t i o n o f g r o w t h m i x t u r e m o d e l i n g P r e s e n t e d a t t h e 9t h a n n u a l m e e t i n g o f t h e S o c i e t y f o r P r e v e n t i o n R e s e a r c h W a s h i n g t o n D C R a u d e n b u s h S W ( 1 9 7 7 ) S t a t i s t i c a l a n a l y s i s a n d o p t i m a l d e s i g n f o r c l u s t e r r a n d o m i z e d t r i a l s P s y c h o l o g i c a l M e t h o d s 2 1 7 3 1 8 5 R a u d e n b u s h S W & B r y k A S ( 2 0 0 2 ) H i e r a r c h i c a l l i n e a r m o d e l s : A p p l i c a t i o n s a n d d a t a a n a l y s i s m e t h o d s T h o u s a n d O a k s C A : S a g e P u b l i c a t i o n s I n c R i s s a n e n J ( 1 9 7 8 ) M o d e l i n g b y s h o r t e s t d a t a d e s c r i p t i o n A u t o m a t i c a 1 4 4 6 5 4 7 1

PAGE 99

9 0 R o e d e r K & W a s s e r m a n L ( 1 9 9 7 ) P r a c t i c a l d e n s i t y e s t i m a t i o n u s i n g m i x t u r e s o f n o r m a l s J o u r n a l o f t h e A m e r i c a n S t a t i s t i c a l A s s o c i a t i o n 9 2 8 9 4 9 0 2 S A S I n s t i t u t e I n c ( 1 9 8 8 ) S A S / I M L U s e r ’ s G u i d e R e l e a s e 6 0 3 E d i t i o n C a r y N C : S A S I n s t i t u t e I n c S P S S I n c ( 2 0 0 0 ) S P S S f o r W i n d o w s 1 0 0 [ C o m p u t e r s o f t w a r e ] C h i c a g o I L : S P S S I n c S a r i s W E & S a t o r r a A ( 1 9 9 3 ) P o w e r e v a l u a t i o n s i n s t r u c t u r a l e q u a t i o n m o d e l s I n K A B o l l e n & J S L o n g ( E d s ) T e s t i n g s t r u c t u r a l e q u a t i o n m o d e l s ( p p 1 8 1 2 0 4 ) N e w b u r y P a r k C A : S a g e S a t o r r a A & S a r i s W ( 1 9 8 5 ) P o w e r o f t h e l i k e l i h o o d r a t i o t e s t i n c o v a r i a n c e s t r u c t u r e a n a l y s i s P s y c h o m e t r i k a 5 1 8 3 9 0 S c h w a r z G ( 1 9 7 8 ) E s t i m a t i n g t h e d i m e n s i o n o f a m o d e l T h e A n n a l s o f S t a t i s t i c s 6 4 6 1 4 6 4 S c l o v e L S ( 1 9 8 7 ) A p p l i c a t i o n o f m o d e l s e l e c t i o n c r i t e r i a t o s o m e p r o b l e m s i n m u l t i v a r i a t e a n a l y s i s P s y c h o m e t r i k a 5 2 3 3 3 3 4 3 S k r o n d a l A ( 2 0 0 0 ) D e s i g n a n d a n a l y s i s o f M o n t e C a r l o e x p e r i m e n t s : A t t a c k i n g t h e c o n v e n t i o n a l w i s d o m M u l t i v a r i a t e B e h a v i o r a l R e s e a r c h 3 5 1 3 7 1 6 7 S t r o u l B A & F r i e d m a n R M ( 1 9 8 6 ) A s y s t e m o f c a r e f o r c h i l d r e n a n d y o u t h w i t h s e v e r e e m o t i o n a l d i s t u r b a n c e s ( R e v i s e d e d i t i o n ) W a s h i n g t o n D C : G e o r g e t o w n U n i v e r s i t y C h i l d D e v e l o p m e n t C e n t e r C A S S P T e c h n i c a l A s s i s t a n c e C e n t e r T a n g u m a J ( 2 0 0 1 ) E f f e c t s o f s a m p l e s i z e o n t h e p o w e r o f s e l e c t e d f i t i n d i c e s : A g r a p h i c a l a p p r o a c h E d u c a t i o n a l a n d P s y c h o l o g i c a l M e a s u r e m e n t 6 1 7 5 9 7 7 6 T h o d e H C F i n c h S J & M e n d e l l N R ( 1 9 8 8 ) S i m u l a t e d p e r c e n t a g e p o i n t s f o r t h e n u l l d i s t r i b u t i o n o f t h e l i k e l i h o o d r a t i o f o r a m i x t u r e o f t w o n o r m a l s B i o m e t r i c s 4 4 1 1 9 5 1 2 0 1 T i t t e r i n g t o n D M S n i t h A F M & M a k o v U E ( 1 9 8 5 ) S t a t i s t i c a l a n a l y s i s o f f i n i t e m i x t u r e d i s t r i b u t i o n s C h i c h e s t e r U K : J o h n W i l e y & S o n s T u c k e r J S O r l a n d o M & E l l i c k s o n P L ( 2 0 0 3 ) P a t t e r n s a n d c o r r e l a t e s o f b i n g e d r i n k i n g t r a j e c t o r i e s f r o m e a r l y a d o l e s c e n c e t o y o u n g a d u l t h o o d H e a l t h P s y c h o l o g y 2 2 7 9 8 7 V u o n g Q H ( 1 9 8 9 ) L i k e l i h o o d r a t i o t e s t s f o r m o d e l s e l e c t i o n a n d n o n n e s t e d h y p o t h e s e s E c o n o m e t r i c a 5 7 3 0 7 3 3 3

PAGE 100

9 1 W a n g C P B r o w n C H C a r l i n J & D a g n e G ( 2 0 0 1 ) M o d e l d i a g n o s t i c s f o r g e n e r a l g r o w t h m i x t u r e m o d e l s : A n e x a m i n a t i o n o f d i f f e r e n t i a l t r a j e c t o r i e s o f a g g r e s s i v e b e h a v i o r i n c h i l d r e n U n p u b l i s h e d m a n u s c r i p t W i l l e t t J B & S a y e r A G ( 1 9 9 4 ) U s i n g c o v a r i a n c e s t r u c t u r e a n a l y s i s t o d e t e c t c o r r e l a t e s a n d p r e d i c t o r s o f i n d i v i d u a l c h a n g e o v e r t i m e P s y c h o l o g i c a l B u l l e t i n 1 1 6 3 6 3 3 8 1 W o l f e J H ( 1 9 7 1 ) A M o n t e C a r l o s t u d y o f s a m p l i n g d i s t r i b u t i o n o f t h e l i k e l i h o o d r a t i o f o r m i x t u r e s o f m u l t i n o r m a l d i s t r i b u t i o n s T e c h n i c a l B u l l e t i n S T B 7 2 2 S a n D i e g o : U S N a v a l P e r s o n n e l a n d T r a i n i n g R e s e a r c h L a b o r a t o r y X i t a o F T h o m p s o n B & W a n g L ( 1 9 9 9 ) E f f e c t s o f s a m p l e s i z e e s t i m a t i o n m e t h o d s a n d m o d e l s p e c i f i c a t i o n o n s t r u c t u r a l e q u a t i o n m o d e l i n g f i t i n d e x e s S t r u c t u r a l E q u a t i o n M o d e l i n g 6 5 6 8 3 X i t a o F & W a n g L ( 1 9 9 8 ) E f f e c t s o f p o t e n t i a l c o n f o u n d i n g f a c t o r s o n f i t i n d i c e s a n d p a r a m e t e r e s t i m a t e s f o r t r u e a n d m i s s p e c i f i e d S E M m o d e l s E d u c a t i o n a l & P s y c h o l o g i c a l M e a s u r e m e n t 5 8 7 0 1 7 3 5 Y a n g C C ( 1 9 9 9 ) F i n i t e M i x t u r e M o d e l S e l e c t i o n w i t h P s y c h o m e t r i c A p p l i c a t i o n s ( D o c t o r a l d i s s e r t a t i o n U n i v e r s i t y o f C a l i f o r n i a L o s A n g e l e s 1 9 9 9 ) D i s s e r t a t i o n A b s t r a c t s I n t e r n a t i o n a l 5 9 ( 9 A ) 3 4 2 1 Z u c c h i n i W ( 2 0 0 0 ) A n i n t r o d u c t i o n t o m o d e l s e l e c t i o n J o u r n a l o f M a t h e m a t i c a l P s y c h o l o g y 4 4 4 1 6 1

PAGE 101

9 2 A p p e n d i c e s

PAGE 102

9 3 A p p e n d i x A M p l u s I n p u t S y n t a x f o r A n a l y s i s o f G r o w t h M i x t u r e M o d e l f o r P o p u l a t i o n Y O n e c l a s s G M M e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 1T) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M f o r c o n d i t i o n h b a s p e c i f i e s a t r u e o n e c l a s s m o d e l t e s t e d a g a i n s t a t r u e o n e c l a s s p s e u d o p o p u l a t i o n M O N T E C A R L O : N A M E S A R E s c o r e 0 s c o r e 1 1 ; N O B S E R V A T I O N S = 6 0 0 ; N R E P S = 5 0 0 ; S E E D = 8 7 8 0 9 4 3 5 ; N C L A S S E S = 1 ; G C L A S S E S = 1 ; S A V E = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a R E P K X D A T ; R E S U L T S = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a O U T K X D A T ; A N A L Y S I S : T Y P E = M I X T U R E ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t 5 7 s l o p e 3 ; i n t e r c p t w i t h s l o p e @ 0 ; s c o r e 0 4 0 s c o r e 1 4 0 s c o r e 2 4 0 s c o r e 3 4 0 s c o r e 4 4 0 s c o r e 5 4 0 s c o r e 6 4 0 s c o r e 7 4 0 s c o r e 8 4 0 s c o r e 9 4 0 s c o r e 1 0 4 0 s c o r e 1 1 4 0 ; % c # 1 % [ i n t e r c p t 9 6 2 2 5 s l o p e 0 8 6 5 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t w i t h s l o p e @ 0 ; % c # 1 % [ i n t e r c p t 9 6 2 2 5 s l o p e 0 8 6 5 ] ; O U T P U T : T E C H 9 ;

PAGE 103

9 4 A p p e n d i x A ( C o n t i n u e d ) O n e c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 1F) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M f o r c o n d i t i o n h b a s p e c i f i e s a f a l s e o n e c l a s s m o d e l t e s t e d a g a i n s t a t r u e t w o c l a s s p s e u d o p o p u l a t i o n M O N T E C A R L O : N A M E S A R E s c o r e 0 s c o r e 1 1 ; N O B S E R V A T I O N S = 6 0 0 ; N R E P S = 5 0 0 ; S E E D = 8 7 8 0 9 4 3 5 ; N C L A S S E S = 1 ; G C L A S S E S = 2 ; S A V E = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a R E P K 1 D A T ; R E S U L T S = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a O U T K 1 D A T ; A N A L Y S I S : T Y P E = M I X T U R E ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t 5 7 s l o p e 3 ; i n t e r c p t w i t h s l o p e @ 0 ; s c o r e 0 4 0 s c o r e 1 4 0 s c o r e 2 4 0 s c o r e 3 4 0 s c o r e 4 4 0 s c o r e 5 4 0 s c o r e 6 4 0 s c o r e 7 4 0 s c o r e 8 4 0 s c o r e 9 4 0 s c o r e 1 0 4 0 s c o r e 1 1 4 0 ; % c # 1 % [ i n t e r c p t 1 0 0 s l o p e 0 0 0 ] ; % c # 2 % [ i n t e r c p t 9 2 4 5 s l o p e 1 7 3 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t w i t h s l o p e @ 0 ; % c # 1 % [ i n t e r c p t 9 6 2 2 5 s l o p e 0 8 6 5 ] ; O U T P U T : T E C H 9 ;

PAGE 104

9 5 A p p e n d i x A ( C o n t i n u e d ) T w o c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 2T) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M f o r c o n d i t i o n h b a s p e c i f i e s a t r u e t w o c l a s s m o d e l t e s t e d a g a i n s t a t r u e t w o c l a s s p s e u d o p o p u l a t i o n M O N T E C A R L O : N A M E S A R E s c o r e 0 s c o r e 1 1 ; N O B S E R V A T I O N S = 6 0 0 ; N R E P S = 5 0 0 ; S E E D = 8 7 8 0 9 4 3 5 ; N C L A S S E S = 2 ; G C L A S S E S = 2 ; S A V E = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a R E P K 2 D A T ; R E S U L T S = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a O U T K 2 D A T ; A N A L Y S I S : T Y P E = M I X T U R E ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t 5 7 s l o p e 3 ; i n t e r c p t w i t h s l o p e @ 0 ; s c o r e 0 4 0 s c o r e 1 4 0 s c o r e 2 4 0 s c o r e 3 4 0 s c o r e 4 4 0 s c o r e 5 4 0 s c o r e 6 4 0 s c o r e 7 4 0 s c o r e 8 4 0 s c o r e 9 4 0 s c o r e 1 0 4 0 s c o r e 1 1 4 0 ; % c # 1 % [ i n t e r c p t 1 0 0 s l o p e 0 0 0 ] ; % c # 2 % [ i n t e r c p t 9 2 4 5 s l o p e 1 7 3 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t w i t h s l o p e @ 0 ; % c # 1 % [ i n t e r c p t 1 0 0 s l o p e 0 0 0 ] ; % c # 2 % [ i n t e r c p t 9 2 4 5 s l o p e 1 7 3 ] ; O U T P U T : T E C H 9 ;

PAGE 105

9 6 A p p e n d i x A ( C o n t i n u e d ) T w o c l a s s G M M e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 2F) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M f o r c o n d i t i o n h b a s p e c i f i e s a f a l s e t w o c l a s s m o d e l t e s t e d a g a i n s t a t r u e o n e c l a s s p s e u d o p o p u l a t i o n M O N T E C A R L O : N A M E S A R E s c o r e 0 s c o r e 1 1 ; N O B S E R V A T I O N S = 6 0 0 ; N R E P S = 5 0 0 ; S E E D = 8 7 8 0 9 4 3 5 ; N C L A S S E S = 2 ; G C L A S S E S = 1 ; S A V E = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a R E P K 0 D A T ; R E S U L T S = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a O U T K 0 D A T ; A N A L Y S I S : T Y P E = M I X T U R E ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t 5 7 s l o p e 3 ; i n t e r c p t w i t h s l o p e @ 0 ; s c o r e 0 4 0 s c o r e 1 4 0 s c o r e 2 4 0 s c o r e 3 4 0 s c o r e 4 4 0 s c o r e 5 4 0 s c o r e 6 4 0 s c o r e 7 4 0 s c o r e 8 4 0 s c o r e 9 4 0 s c o r e 1 0 4 0 s c o r e 1 1 4 0 ; % c # 1 % [ i n t e r c p t 9 6 2 2 5 s l o p e 0 8 6 5 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t w i t h s l o p e @ 0 ; % c # 1 % [ i n t e r c p t 1 0 0 s l o p e 0 0 0 ] ; % c # 2 % [ i n t e r c p t 9 2 4 5 s l o p e 1 7 3 ] ; O U T P U T : T E C H 9 ;

PAGE 106

9 7 A p p e n d i x A ( C o n t i n u e d ) T h r e e c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 3F) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M f o r c o n d i t i o n h b a s p e c i f i e s a f a l s e t h r e e c l a s s m o d e l t e s t e d a g a i n s t a t r u e t w o c l a s s p s e u d o p o p u l a t i o n M O N T E C A R L O : N A M E S A R E s c o r e 0 s c o r e 1 1 ; N O B S E R V A T I O N S = 6 0 0 ; N R E P S = 5 0 0 ; S E E D = 8 7 8 0 9 4 3 5 ; N C L A S S E S = 3 ; G C L A S S E S = 2 ; S A V E = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a R E P K 3 D A T ; R E S U L T S = c : \ m p l u s 3 \ h b a 3 p g m s \ h b a O U T K 3 D A T ; A N A L Y S I S : T Y P E = M I X T U R E ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t 5 7 s l o p e 3 ; i n t e r c p t w i t h s l o p e @ 0 ; s c o r e 0 4 0 s c o r e 1 4 0 s c o r e 2 4 0 s c o r e 3 4 0 s c o r e 4 4 0 s c o r e 5 4 0 s c o r e 6 4 0 s c o r e 7 4 0 s c o r e 8 4 0 s c o r e 9 4 0 s c o r e 1 0 4 0 s c o r e 1 1 4 0 ; % c # 1 % [ i n t e r c p t 1 0 0 s l o p e 0 0 0 ] ; % c # 2 % [ i n t e r c p t 9 2 4 5 s l o p e 1 7 3 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y s c o r e 0 s c o r e 1 1 @ 1 ; s l o p e B Y s c o r e 0 @ 0 s c o r e 1 @ 1 s c o r e 2 @ 2 s c o r e 3 @ 3 s c o r e 4 @ 4 s c o r e 5 @ 5 s c o r e 6 @ 6 s c o r e 7 @ 7 s c o r e 8 @ 8 s c o r e 9 @ 9 s c o r e 1 0 @ 1 0 s c o r e 1 1 @ 1 1 ; [ s c o r e 0 s c o r e 1 1 @ 0 ] ; i n t e r c p t w i t h s l o p e @ 0 ; % c # 1 % [ i n t e r c p t 9 2 4 5 s l o p e 1 7 3 ] ; % c # 2 % [ i n t e r c p t 9 6 2 2 5 s l o p e 0 8 6 5 ] ; % c # 3 % [ i n t e r c p t 1 0 0 0 0 s l o p e 0 0 0 ] ; O U T P U T : T E C H 9 ;

PAGE 107

9 8 A p p e n d i x B S A S P r o g r a m U s e d t o C r e a t e S i m u l a t e d D a t a f o r P o p u l a t i o n Y * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * ; S A S p r o g r a m t o g e n e r a t e a s i m m u l a t e d d a t a s e t ; C o n d i t i o n # 2 4 X ( 2 c l a s s e s ) ; c l a s s 1 : n s = 3 0 0 n t = 1 2 i n t r c p t = 1 0 0 0 s l o p e = 0 0 0 ; c l a s s 2 : n s = 3 0 0 n t = 1 2 i n t r c p t = 9 2 4 5 s l o p e = 1 7 3 ; * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * ; p r o c i m l ; c r e a t e m 1 v a r { p e r s o n t i m e s c o r e w a v e } ; d o p e r = 1 t o 6 0 0 ; i f p e r < = 3 0 0 t h e n d o ; t i m e = { 0 1 2 3 4 5 6 7 8 9 1 0 1 1 } ; l e n g t h = n r o w ( t i m e ) ; p e r s o n = r e p e a t ( p e r l e n g t h ) ; x = r o u n d ( 1 0 0 0 0 0 0 r a n u n i ( 0 ) ) ; r e s i d = a r m a s i m ( 0 0 0 6 3 2 l e n g t h x ) ; i n t r c e p t = r e p e a t ( ( n o r m a l ( 0 ) 7 5 5 ) + 1 0 0 0 l e n g t h ) ; s l o p e = ( n o r m a l ( 0 ) 1 7 3 ) 0 0 0 ; s c o r e = i n t r c e p t + s l o p e t i m e + r e s i d ; e n d ; e l s e d o ; t i m e = { 0 1 2 3 4 5 6 7 8 9 1 0 1 1 } ; l e n g t h = n r o w ( t i m e ) ; p e r s o n = r e p e a t ( p e r l e n g t h ) ; x = r o u n d ( 1 0 0 0 0 0 0 r a n u n i ( 0 ) ) ; r e s i d = a r m a s i m ( 0 0 0 6 3 2 l e n g t h x ) ; i n t r c e p t = r e p e a t ( ( n o r m a l ( 0 ) 7 5 5 ) + 9 2 4 5 l e n g t h ) ; s l o p e = ( n o r m a l ( 0 ) 1 7 3 ) + 1 7 3 ; s c o r e = i n t r c e p t + s l o p e t i m e + r e s i d ; e n d ; a p p e n d ; e n d ; c l o s e m 1 ; q u i t ; d a t a d 1 ; s e t w o r k m 1 ; s c o r e 1 1 = s c o r e ; s c o r e 1 0 = l a g ( s c o r e ) ; s c o r e 9 = l a g 2 ( s c o r e ) ; s c o r e 8 = l a g 3 ( s c o r e ) ; s c o r e 7 = l a g 4 ( s c o r e ) ; s c o r e 6 = l a g 5 ( s c o r e ) ; s c o r e 5 = l a g 6 ( s c o r e ) ; s c o r e 4 = l a g 7 ( s c o r e ) ; s c o r e 3 = l a g 8 ( s c o r e ) ; s c o r e 2 = l a g 9 ( s c o r e ) ; s c o r e 1 = l a g 1 0 ( s c o r e ) ; s c o r e 0 = l a g 1 1 ( s c o r e ) ;

PAGE 108

9 9 A p p e n d i x B ( C o n t i n u e d ) i f p e r s o n < = 3 0 0 t h e n c l a s s = 1 ; i f p e r s o n > 3 0 0 t h e n c l a s s = 2 ; p r o c p r i n t d a t a = d 1 ; v a r t i m e p e r s o n c l a s s s c o r e s c o r e 0 s c o r e 1 s c o r e 2 s c o r e 3 s c o r e 4 s c o r e 5 s c o r e 6 s c o r e 7 s c o r e 8 s c o r e 9 s c o r e 1 0 s c o r e 1 1 ; r u n ; d a t a f 1 ; s e t d 1 ; i f t i m e = 1 1 ; f i l e c : \ m p l u s 2 \ h b a 2 p g m s \ d a t a \ c 2 4 s 5 0 0 d a t ; p u t p e r s o n 3 0 ' s c o r e 0 8 4 s c o r e 1 8 4 s c o r e 2 8 4 s c o r e 3 8 4 s c o r e 4 8 4 s c o r e 5 8 4 s c o r e 6 8 4 s c o r e 7 8 4 s c o r e 8 8 4 s c o r e 9 8 4 s c o r e 1 0 8 4 s c o r e 1 1 8 4 ; p r o c p r i n t d a t a = f 1 ; v a r t i m e p e r s o n c l a s s s c o r e s c o r e 0 s c o r e 1 s c o r e 2 s c o r e 3 s c o r e 4 s c o r e 5 s c o r e 6 s c o r e 7 s c o r e 8 s c o r e 9 s c o r e 1 0 s c o r e 1 1 ; p r o c m e a n s d a t a = f 1 ; b y c l a s s ; v a r s c o r e 0 s c o r e 1 s c o r e 2 s c o r e 3 s c o r e 4 s c o r e 5 s c o r e 6 s c o r e 7 s c o r e 8 s c o r e 9 s c o r e 1 0 s c o r e 1 1 ; r u n ;

PAGE 109

1 0 0 A p p e n d i x C D O S B a t c h F i l e s U s e d i n t h e A n a l y s i s o f S i m u l a t e d D a t a O n e c l a s s M o d e l ( R u n k 1 b a t ) @ e c h o o f f r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m R U N C L A S S 1 M O D E L S r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * s e t W O R K I N G D I R = C : \ M P L U S 2 \ H B A 2 P G M S s e t D A T A D I R = C : \ M P L U S 2 \ H B A 2 P G M S \ D A T A s e t F I L E S = d a t s e t R E S U L T S D I R = C : \ M P L U S 2 \ H B A 2 P G M S s e t E X E F I L E = C : \ M P L U S 2 \ M P D E V M C s e t C O M M O N D A T A = C 2 4 S X D A T s e t I N P U T F I L E = H B A X X X K 1 P G M s e t C O M M O N D M P = H B A X X X K 1 D A T s e t A L L D M P = H B A A L L K 1 D A T s e t T M P F I L E = n c a l l t m p s e t L O G F I L E = N O C O N V K 1 t x t s e t R U N O N E = r u n o n e b a t T w o c l a s s M o d e l ( R u n k 2 b a t ) @ e c h o o f f r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m R U N C l a s s 2 M o d e l s r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * s e t W O R K I N G D I R = C : \ M P L U S 2 \ H B A 2 P G M S s e t D A T A D I R = C : \ M P L U S 2 \ H B A 2 P G M S \ D A T A s e t F I L E S = d a t

PAGE 110

1 0 1 A p p e n d i x C ( C o n t i n u e d ) s e t R E S U L T S D I R = C : \ M P L U S 2 \ H B A 2 P G M S s e t E X E F I L E = C : \ M P L U S 2 \ M P D E V M C s e t C O M M O N D A T A = C 2 4 S X D A T s e t I N P U T F I L E = H B A X X X K 2 P G M s e t C O M M O N D M P = H B A X X X K 2 D A T s e t A L L D M P = H B A A L L K 2 D A T s e t T M P F I L E = n c a l l t m p s e t L O G F I L E = N O C O N V K 2 t x t s e t R U N O N E = r u n o n e b a t T h r e e c l a s s M o d e l ( R u n k 3 b a t ) @ e c h o o f f r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m R U N C l a s s 3 M o d e l s r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * s e t W O R K I N G D I R = C : \ M P L U S 2 \ H B A 2 P G M S s e t D A T A D I R = C : \ M P L U S 2 \ H B A 2 P G M S \ D A T A s e t F I L E S = d a t s e t R E S U L T S D I R = C : \ M P L U S 2 \ H B A 2 P G M S s e t E X E F I L E = C : \ M P L U S 2 \ M P D E V M C s e t C O M M O N D A T A = C 2 4 S X D A T s e t I N P U T F I L E = H B A X X X K 3 P G M s e t C O M M O N D M P = H B A X X X K 3 D A T s e t A L L D M P = H B A A L L K 3 D A T s e t T M P F I L E = n c a l l t m p s e t L O G F I L E = N O C O N V K 3 t x t

PAGE 111

1 0 2 A p p e n d i x C ( C o n t i n u e d ) s e t R U N O N E = r u n o n e b a t R u n a l l b a t @ e c h o o f f r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m R U N A L L B A T r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m P u r p o s e : T h i s i s t h e t o p l e v e l f i l e f o r t h e R U N A L L u t i l i t y T y p e r e m R U N A L L a t t h e p r o m p t r e m W r i t t e n b y : T h u y N g u y e n r e m M u t h e n & M u t h e n r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m * D O N O T C H A N G E A N Y T H I N G B E L O W T H I S L I N E I F Y O U A R E N O T S U R E W H Y r e m * C U S T O M I Z E D C O N F I G U R A T I O N S S H O U L D B E S E T I N R U N S T A R T B A T r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * c a l l r u n K 1 b a t c d % D A T A D I R % f o r % % a i n ( % F I L E S % ) d o c a l l % W O R K I N G D I R % \ % R U N O N E % % % a c d % W O R K I N G D I R % c a l l r u n e n d b a t c a l l r u n K 2 b a t c d % D A T A D I R % f o r % % a i n ( % F I L E S % ) d o c a l l % W O R K I N G D I R % \ % R U N O N E % % % a c d % W O R K I N G D I R % c a l l r u n e n d b a t c a l l r u n K 3 b a t c d % D A T A D I R % f o r % % a i n ( % F I L E S % ) d o c a l l % W O R K I N G D I R % \ % R U N O N E % % % a c d % W O R K I N G D I R % c a l l r u n e n d b a t

PAGE 112

1 0 3 A p p e n d i x C ( C o n t i n u e d ) R u n e n d b a t @ e c h o o f f r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m R U N E N D B A T r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * r e m P u r p o s e : T h e p u r p o s e o f t h i s f i l e i s t o u n s e t e n v i r o n m e n t r e m v a r i a b l e s t h a t w e r e s e t i n R U N S T A R T b a t N o t h i n g s h o u l d r e m b e c h a n g e d i n t h i s f i l e C h e c k R U N S T A R T b a t r e m C a l l e d : T h i s i s c a l l e d b y R U N A L L b a t r e m W r i t t e n b y : T h u y N g u y e n r e m M u t h e n & M u t h e n r e m * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * s e t D A T A D I R = s e t W O R K I N G D I R = s e t R U N O N E = s e t F I L E S = s e t E X E F I L E = s e t C O M M O N D A T A = s e t I N P U T F I L E = s e t C O M M O N D M P = s e t A L L D M P = s e t T M P F I L E = s e t L O G F I L E =

PAGE 113

1 0 4 A p p e n d i x D S P S S S y n t a x U s e d t o E x a m i n e M o d e l S e l e c t i o n C r i t e r i a f o r P o p u l a t i o n Y * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * R E A D I N G I N M p l u s O U T P U T F I L E S F O R C O N D I T I O N H B A ( o r P o p u l a t i o n Y ) * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * T R U E O N E C L A S S M O D E L * * * * * * * * * * * * * * * * * D A T A L I S T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K X D A T F R E E / R E P L N U M K X C O N D K X L L R V A R 0 R V A R 1 R V A R 2 R V A R 3 R V A R 4 R V A R 5 R V A R 6 R V A R 7 R V A R 8 R V A R 9 R V A R 1 0 R V A R 1 1 K X B 0 K X B 1 K X V A R B 0 K X V A R B 1 F O R M A T S K X L L ( F 1 0 3 ) L I S T V A R = R E P L N U M K X C O N D K X L L K X B 0 K X B 1 F R E Q V A R = K X L L / H I S T O G R A M C O M P U T E K X C L A S S = 1 C O M P U T E F R E E P A R M = 1 6 C O M P U T E S A M P S I Z E = 6 0 0 C O M P U T E S A M P S I Z 2 = ( S A M P S I Z E + 2 ) / 2 4 C O M P U T E L N S A M P = L N ( S A M P S I Z E ) C O M P U T E L N S A M P 2 = L N ( S A M P S I Z 2 ) C O M P U T E K X A I C = ( 2 K X L L ) + ( 2 F R E E P A R M ) C O M P U T E K X B I C = ( 2 K X L L ) + ( F R E E P A R M L N S A M P ) C O M P U T E K X A B I C = ( 2 K X L L ) + ( F R E E P A R M L N S A M P 2 ) L I S T V A R = R E P L N U M K X C O N D K X L L K X A I C K X B I C K X A B I C S A V E O U T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K X S A V / K E E P R E P L N U M K X C O N D K X L L K X A I C K X B I C K X A B I C K X C L A S S E X E C U T E * * * * * * * * * * * * * * * * * F A L S E T W O C L A S S M O D E L * * * * * * * * * * * * * * * * * D A T A L I S T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 0 D A T F R E E / R E P L N U M K 0 C O N D K 0 L L R V A R 0 R V A R 1 R V A R 2 R V A R 3 R V A R 4 R V A R 5 R V A R 6 R V A R 7 R V A R 8 R V A R 9 R V A R 1 0 R V A R 1 1 K A B 0 K A B 1 K 0 V A R B 0 K 0 V A R B 1 K B B 0 K B B 1 K 0 M E A N F O R M A T S K 0 L L ( F 1 0 3 ) L I S T V A R = R E P L N U M K 0 C O N D K 0 L L K A B 0 K A B 1 K B B 0 K B B 1 K 0 M E A N F R E Q V A R = K 0 L L / H I S T O G R A M C O M P U T E K 0 C L A S S = 2 C O M P U T E F R E E P A R M = 1 9

PAGE 114

1 0 5 A p p e n d i x D ( C o n t i n u e d ) C O M P U T E S A M P S I Z E = 6 0 0 C O M P U T E S A M P S I Z 2 = ( S A M P S I Z E + 2 ) / 2 4 C O M P U T E L N S A M P = L N ( S A M P S I Z E ) C O M P U T E L N S A M P 2 = L N ( S A M P S I Z 2 ) C O M P U T E K 0 A I C = ( 2 K 0 L L ) + ( 2 F R E E P A R M ) C O M P U T E K 0 B I C = ( 2 K 0 L L ) + ( F R E E P A R M L N S A M P ) C O M P U T E K 0 A B I C = ( 2 K 0 L L ) + ( F R E E P A R M L N S A M P 2 ) L I S T V A R = R E P L N U M K 0 C O N D K 0 L L K 0 A I C K 0 B I C K 0 A B I C S A V E O U T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 0 S A V / K E E P R E P L N U M K 0 C O N D K 0 L L K 0 A I C K 0 B I C K 0 A B I C K 0 C L A S S E X E C U T E * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * E S T I M A T I N G T Y P E I E R R O R R A T E F O R F A L S E T W O C L A S S M O D E L * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * M A T C H F I L E S F I L E = C : \ M P L U S 3 \ h b a 3 P G M S \ h b a O U T K 0 S A V / F I L E = C : \ M P L U S 3 \ h b a 3 P G M S \ h b a O U T K X S A V / B Y R E P L N U M E X E C U T E F O R M A T S R E P L N U M ( F 3 0 ) K 0 C O N D K X C O N D ( F 1 0 ) S E L E C T I F ( K 0 C O N D G E 0 A N D K X C O N D E Q 0 ) L I S T V A R = R E P L N U M K 0 A B I C K X A B I C C O M P U T E A B I C D I F = K X A B I C K 0 A B I C F R E Q V A R = A B I C D I F / H I S T O G R A M S O R T C A S E S B Y A B I C D I F L I S T V A R = R E P L N U M A B I C D I F K X A B I C K 0 A B I C C O M P U T E B I C D I F = K X B I C K 0 B I C F R E Q V A R = B I C D I F / H I S T O G R A M C O M P U T E A I C D I F = K X A I C K 0 A I C F R E Q V A R = A I C D I F / H I S T O G R A M C O M P U T E P O S K X L L = 2 K X L L C O M P U T E P O S K 0 L L = 2 K 0 L L C O M P U T E L R T D I F = P O S K X L L P O S K 0 L L F R E Q V A R = L R T D I F / H I S T O G R A M S O R T C A S E S B Y L R T D I F L I S T V A R = R E P L N U M L R T D I F P O S K X L L P O S K 0 L L

PAGE 115

1 0 6 A p p e n d i x D ( C o n t i n u e d ) * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * E S T I M A T I N G T Y P E I E R R O R R A T E F O R F A L S E T H R E E C L A S S M O D E L * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * M A T C H F I L E S F I L E = C : \ M P L U S 3 \ h b a 3 P G M S \ h b a O U T K 2 S A V / F I L E = C : \ M P L U S 3 \ h b a 3 P G M S \ h b a O U T K 3 S A V / B Y R E P L N U M E X E C U T E F O R M A T S R E P L N U M ( F 3 0 ) K 2 C O N D K 3 C O N D ( F 1 0 ) S E L E C T I F ( K 2 C O N D G E 0 A N D K 3 C O N D E Q 0 ) L I S T V A R = R E P L N U M K 2 A B I C K 3 A B I C C O M P U T E A B I C D I F = K 2 A B I C K 3 A B I C F R E Q V A R = A B I C D I F / H I S T O G R A M S O R T C A S E S B Y A B I C D I F L I S T V A R = R E P L N U M A B I C D I F K 2 A B I C K 3 A B I C C O M P U T E B I C D I F = K 2 B I C K 3 B I C F R E Q V A R = B I C D I F / H I S T O G R A M C O M P U T E A I C D I F = K 2 A I C K 3 A I C F R E Q V A R = A I C D I F / H I S T O G R A M C O M P U T E P O S K 2 L L = 2 K 2 L L C O M P U T E P O S K 3 L L = 2 K 3 L L C O M P U T E L R T D I F = P O S K 2 L L P O S K 3 L L F R E Q V A R = L R T D I F / H I S T O G R A M S O R T C A S E S B Y L R T D I F L I S T V A R = R E P L N U M L R T D I F P O S K 2 L L P O S K 3 L L * * * * * * * * * * * * * * * * * * * * * * * * * * F I R S T F O R T H E F A L S E O N E C L A S S M O D E L S * * * * * * * * * * * * * * * * * * * * * * * * * * D A T A L I S T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 1 D A T F R E E / R E P L N U M K 1 C O N D K 1 L L R V A R 0 R V A R 1 R V A R 2 R V A R 3 R V A R 4 R V A R 5 R V A R 6 R V A R 7 R V A R 8 R V A R 9 R V A R 1 0 R V A R 1 1 K 1 B 0 K 1 B 1 K 1 V A R B 0 K 1 V A R B 1 F O R M A T S K 1 L L ( F 1 0 3 ) C O M P U T E K 1 C L A S S = 1 C O M P U T E F R E E P A R M = 1 6 C O M P U T E S A M P S I Z E = 6 0 0 C O M P U T E S A M P S I Z 2 = ( S A M P S I Z E + 2 ) / 2 4 C O M P U T E L N S A M P = L N ( S A M P S I Z E ) C O M P U T E L N S A M P 2 = L N ( S A M P S I Z 2 ) C O M P U T E K 1 A I C = ( 2 K 1 L L ) + ( 2 F R E E P A R M ) C O M P U T E K 1 B I C = ( 2 K 1 L L ) + ( F R E E P A R M L N S A M P ) C O M P U T E K 1 A B I C = ( 2 K 1 L L ) + ( F R E E P A R M L N S A M P 2 )

PAGE 116

1 0 7 A p p e n d i x D ( C o n t i n u e d ) L I S T V A R = R E P L N U M K 1 C O N D K 1 L L K 1 A I C K 1 B I C K 1 A B I C S A V E O U T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 1 S A V / K E E P R E P L N U M K 1 C O N D K 1 L L K 1 A I C K 1 B I C K 1 A B I C K 1 C L A S S E X E C U T E * * * * * * * * * * * * * * * * * * * * * * * * * * S E C O N D F O R T H E T R U E T W O C L A S S M O D E L S * * * * * * * * * * * * * * * * * * * * * * * * * * D A T A L I S T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 2 D A T F R E E / R E P L N U M K 2 C O N D K 2 L L R V A R 0 R V A R 1 R V A R 2 R V A R 3 R V A R 4 R V A R 5 R V A R 6 R V A R 7 R V A R 8 R V A R 9 R V A R 1 0 R V A R 1 1 K 1 B 0 K 1 B 1 K 1 V A R B 0 K 1 V A R B 1 K 2 B 0 K 2 B 1 K 1 M E A N F O R M A T S K 2 L L ( F 1 0 3 ) C O M P U T E K 2 C L A S S = 2 C O M P U T E F R E E P A R M = 1 9 C O M P U T E S A M P S I Z E = 6 0 0 C O M P U T E S A M P S I Z 2 = ( S A M P S I Z E + 2 ) / 2 4 C O M P U T E L N S A M P = L N ( S A M P S I Z E ) C O M P U T E L N S A M P 2 = L N ( S A M P S I Z 2 ) C O M P U T E K 2 A I C = ( 2 K 2 L L ) + ( 2 F R E E P A R M ) C O M P U T E K 2 B I C = ( 2 K 2 L L ) + ( F R E E P A R M L N S A M P ) C O M P U T E K 2 A B I C = ( 2 K 2 L L ) + ( F R E E P A R M L N S A M P 2 ) L I S T V A R = R E P L N U M K 2 C O N D K 2 L L K 2 A I C K 2 B I C K 2 A B I C S A V E O U T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 2 S A V / K E E P R E P L N U M K 2 C O N D K 2 L L K 2 A I C K 2 B I C K 2 A B I C K 2 C L A S S E X E C U T E * * * * * * * * * * * * * * * * * * * * * * * * * * * T H I R D F O R T H E F A L S E T H R E E C L A S S M O D E L S * * * * * * * * * * * * * * * * * * * * * * * * * * * D A T A L I S T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 3 D A T F R E E / R E P L N U M K 3 C O N D K 3 L L R V A R 0 R V A R 1 R V A R 2 R V A R 3 R V A R 4 R V A R 5 R V A R 6 R V A R 7 R V A R 8 R V A R 9 R V A R 1 0 R V A R 1 1 K 1 B 0 K 1 B 1 K 1 V A R B 0 K 1 V A R B 1 K 2 B 0 K 2 B 1 K 3 B 0 K 3 B 1 K 1 M E A N K 2 M E A N F O R M A T S K 3 L L ( F 1 0 3 ) C O M P U T E K 3 C L A S S = 3 C O M P U T E F R E E P A R M = 2 2 C O M P U T E S A M P S I Z E = 6 0 0 C O M P U T E S A M P S I Z 2 = ( S A M P S I Z E + 2 ) / 2 4 C O M P U T E L N S A M P = L N ( S A M P S I Z E )

PAGE 117

1 0 8 A p p e n d i x D ( C o n t i n u e d ) C O M P U T E L N S A M P 2 = L N ( S A M P S I Z 2 ) C O M P U T E K 3 A I C = ( 2 K 3 L L ) + ( 2 F R E E P A R M ) C O M P U T E K 3 B I C = ( 2 K 3 L L ) + ( F R E E P A R M L N S A M P ) C O M P U T E K 3 A B I C = ( 2 K 3 L L ) + ( F R E E P A R M L N S A M P 2 ) L I S T V A R = R E P L N U M K 3 C O N D K 3 L L K 3 A I C K 3 B I C K 3 A B I C F R E Q V A R = K 3 C O N D S A V E O U T F I L E = C : \ M P L U S 3 \ h b a 3 p g m s \ h b a o u t K 3 S A V / K E E P R E P L N U M K 3 C O N D K 3 L L K 3 A I C K 3 B I C K 3 A B I C K 3 C L A S S E X E C U T E * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * P U T T I N G T H E M A L L T O G E T H E R * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * M A T C H F I L E S F I L E = C : \ M P L U S 3 \ h b a 3 P G M S \ h b a O U T K 1 S A V / F I L E = C : \ M P L U S 3 \ h b a 3 P G M S \ h b a O U T K 2 S A V / F I L E = C : \ M P L U S 3 \ h b a 3 P G M S \ h b a O U T K 3 S A V / B Y R E P L N U M E X E C U T E F O R M A T S R E P L N U M ( F 3 0 ) K 1 C O N D K 2 C O N D K 3 C O N D ( F 1 0 ) * * * * * * * * * * * * * * * * * * * * P O W E R a n d A C C U R A C Y O F T H E A B I C * * * * * * * * * * * * * * * * * * * I F ( K 1 C O N D G T 0 ) K 1 A B I C = 9 9 9 9 9 9 9 9 I F ( K 2 C O N D G T 0 ) K 2 A B I C = 9 9 9 9 9 9 9 9 I F ( K 3 C O N D G T 0 ) K 3 A B I C = 9 9 9 9 9 9 9 9 C O M P U T E M I N A B I C 3 = M I N ( K 1 A B I C K 2 A B I C K 3 A B I C ) C O M P U T E A B I C A C C = 0 I F ( M I N A B I C 3 E Q K 1 A B I C ) A B I C A C C = 1 I F ( M I N A B I C 3 E Q K 3 A B I C ) A B I C A C C = 3 I F ( M I N A B I C 3 E Q K 2 A B I C ) A B I C A C C = 2 V A R L A B A B I C A C C U N A D J U S T E D A C C U R A C Y R A T E F R E Q V A R = A B I C A C C C O M P U T E M I N A B I C 2 = M I N ( K 1 A B I C K 2 A B I C ) C O M P U T E A B I C P W R = 0 I F ( M I N A B I C 2 E Q K 1 A B I C ) A B I C P W R = 1 I F ( M I N A B I C 2 E Q K 3 A B I C ) A B I C P W R = 3 I F ( M I N A B I C 2 E Q K 2 A B I C ) A B I C P W R = 2 V A R L A B A B I C P W R U N A D J U S T E D P O W E R R A T E F R E Q V A R = A B I C P W R R E C O D E K 1 A B I C K 2 A B I C K 3 A B I C ( 9 9 9 9 9 9 9 9 = S Y S M I S ) C O M P U T E A B I C A C X = 0

PAGE 118

1 0 9 A p p e n d i x D ( C o n t i n u e d ) I F ( K 1 A B I C K 2 A B I C G E 8 5 ) A N D ( K 2 A B I C K 3 A B I C L T 8 5 ) A B I C A C X = 2 V A R L A B A B I C A C X T Y P E I A D J U S T E D A C C U R A C Y R A T E F R E Q V A R = A B I C A C X C O M P U T E A B I C P W X = 0 I F ( K 1 A B I C K 2 A B I C G E 8 5 ) A B I C P W X = 2 V A R L A B A B I C P W X T Y P E I A D J U S T E D P O W E R R A T E F R E Q V A R = A B I C P W X * * * * * * * * * * * * * * * * * * * * P O W E R a n d A C C U R A C Y O F T H E B I C * * * * * * * * * * * * * * * * * * * I F ( K 1 C O N D G T 0 ) K 1 B I C = 9 9 9 9 9 9 9 9 I F ( K 2 C O N D G T 0 ) K 2 B I C = 9 9 9 9 9 9 9 9 I F ( K 3 C O N D G T 0 ) K 3 B I C = 9 9 9 9 9 9 9 9 C O M P U T E M I N B I C 3 = M I N ( K 1 B I C K 2 B I C K 3 B I C ) C O M P U T E B I C A C C = 0 I F ( M I N B I C 3 E Q K 1 B I C ) B I C A C C = 1 I F ( M I N B I C 3 E Q K 3 B I C ) B I C A C C = 3 I F ( M I N B I C 3 E Q K 2 B I C ) B I C A C C = 2 V A R L A B B I C A C C U N A D J U S T E D A C C U R A C Y R A T E F R E Q V A R = B I C A C C C O M P U T E M I N B I C 2 = M I N ( K 1 B I C K 2 B I C ) C O M P U T E B I C P W R = 0 I F ( M I N B I C 2 E Q K 1 B I C ) B I C P W R = 1 I F ( M I N B I C 2 E Q K 3 B I C ) B I C P W R = 3 I F ( M I N B I C 2 E Q K 2 B I C ) B I C P W R = 2 V A R L A B B I C P W R U N A D J U S T E D P O W E R R A T E F R E Q V A R = B I C P W R R E C O D E K 1 B I C K 2 B I C K 3 B I C ( 9 9 9 9 9 9 9 9 = S Y S M I S ) C O M P U T E B I C A C X = 0 I F ( K 1 B I C K 2 B I C G E 1 0 3 7 ) A N D ( K 2 B I C K 3 B I C L T 1 0 3 7 ) B I C A C X = 2 V A R L A B B I C A C X T Y P E I A D J U S T E D A C C U R A C Y R A T E F R E Q V A R = B I C A C X C O M P U T E B I C P W X = 0 I F ( K 1 B I C K 2 B I C G E 1 0 3 7 ) B I C P W X = 2 V A R L A B B I C P W X T Y P E I A D J U S T E D P O W E R R A T E F R E Q V A R = B I C P W X * * * * * * * * * * * * * * * * * * * * P O W E R a n d A C C U R A C Y O F T H E A I C * * * * * * * * * * * * * * * * * * * I F ( K 1 C O N D G T 0 ) K 1 A I C = 9 9 9 9 9 9 9 9 I F ( K 2 C O N D G T 0 ) K 2 A I C = 9 9 9 9 9 9 9 9 I F ( K 3 C O N D G T 0 ) K 3 A I C = 9 9 9 9 9 9 9 9 C O M P U T E M I N A I C 3 = M I N ( K 1 A I C K 2 A I C K 3 A I C )

PAGE 119

1 1 0 A p p e n d i x D ( C o n t i n u e d ) C O M P U T E A I C A C C = 0 I F ( M I N A I C 3 E Q K 1 A I C ) A I C A C C = 1 I F ( M I N A I C 3 E Q K 3 A I C ) A I C A C C = 3 I F ( M I N A I C 3 E Q K 2 A I C ) A I C A C C = 2 V A R L A B A I C A C C U N A D J U S T E D A C C U R A C Y R A T E F R E Q V A R = A I C A C C C O M P U T E M I N A I C 2 = M I N ( K 1 A I C K 2 A I C ) C O M P U T E A I C P W R = 0 I F ( M I N A I C 2 E Q K 1 A I C ) A I C P W R = 1 I F ( M I N A I C 2 E Q K 3 A I C ) A I C P W R = 3 I F ( M I N A I C 2 E Q K 2 A I C ) A I C P W R = 2 V A R L A B A I C P W R U N A D J U S T E D P O W E R R A T E F R E Q V A R = A I C P W R R E C O D E K 1 A I C K 2 A I C K 3 A I C ( 9 9 9 9 9 9 9 9 = S Y S M I S ) C O M P U T E A I C A C X = 0 I F ( K 1 A I C K 2 A I C G E 2 8 3 ) A N D ( K 2 A I C K 3 A I C L T 2 8 3 ) A I C A C X = 2 V A R L A B A I C A C X T Y P E I A D J U S T E D A C C U R A C Y R A T E F R E Q V A R = A I C A C X C O M P U T E A I C P W X = 0 I F ( K 1 A I C K 2 A I C G E 2 8 3 ) A I C P W X = 2 V A R L A B A I C P W X T Y P E I A D J U S T E D P O W E R R A T E F R E Q V A R = A I C P W X * * * * * * * * * * * * * * * * * * * * * * * * * * P O W E R A N D A C C U R A C Y O F T H E l o g l i k e l i h o o d * * * * * * * * * * * * * * * * * * * * * * * * * * I F ( K 1 C O N D G T 0 ) K 1 L L = 9 9 9 9 9 9 9 9 I F ( K 2 C O N D G T 0 ) K 2 L L = 9 9 9 9 9 9 9 9 I F ( K 3 C O N D G T 0 ) K 3 L L = 9 9 9 9 9 9 9 9 R E C O D E K 1 L L K 2 L L K 3 L L ( 9 9 9 9 9 9 9 9 = S Y S M I S ) D E S C V A R = K 1 L L K 2 L L K 3 L L C O M P U T E P O S K 1 L L = 2 K 1 L L C O M P U T E P O S K 2 L L = 2 K 2 L L C O M P U T E P O S K 3 L L = 2 K 3 L L C O M P U T E D I F 1 2 = ( P O S K 1 L L P O S K 2 L L ) C O M P U T E D I F 2 3 = ( P O S K 2 L L P O S K 3 L L ) F O R M A T S D I F 1 2 D I F 2 3 ( F 1 2 5 ) C O M P U T E S I G 1 2 = 0 C O M P U T E S I G 2 3 = 0 I F ( D I F 1 2 G T 7 8 1 ) S I G 1 2 = 1 I F ( D I F 2 3 L T 7 8 1 ) S I G 2 3 = 1 V A L L A B S I G 1 2 S I G 2 3 0 N O S I G D I F 1 S I G D I F C O M P U T E L L P W R = 0

PAGE 120

1 1 1 A p p e n d i x D ( C o n t i n u e d ) I F ( S I G 1 2 = 1 ) L L P W R = 2 V A R L A B L L P W R P O W E R R A T E U S I N G C H I S Q U A R E D I S T F R E Q V A R = L L P W R C O M P U T E L L A C C = 0 I F ( S I G 1 2 = 1 A N D S I G 2 3 = 1 ) L L A C C = 2 V A R L A B L L A C C A C C U R A C Y R A T E U S I N G C H I S Q U A R E D I S T F R E Q V A R = L L A C C C O M P U T E S I G 1 2 X = 0 C O M P U T E S I G 2 3 X = 0 I F ( D I F 1 2 G T 8 8 2 ) S I G 1 2 X = 1 I F ( D I F 2 3 L T 8 8 2 ) S I G 2 3 X = 1 V A L L A B S I G 1 2 X S I G 2 3 X 0 N O S I G D I F 1 S I G D I F C O M P U T E L L P W X = 0 I F ( S I G 1 2 X = 1 ) L L P W X = 2 V A R L A B L L P W X P O W E R R A T E U S I N G E M P I R I C A L D I S T F R E Q V A R = L L P W X C O M P U T E L L A C X = 0 I F ( S I G 1 2 X = 1 A N D S I G 2 3 X = 1 ) L L A C X = 2 V A R L A B L L A C X A C C U R A C Y R A T E U S I N G E M P I R I C A L D I S T F R E Q V A R = L L A C X C O M P U T E n c h i s q r = 2 ( K 1 L L K 2 L L ) 3 d e s c v a r = n c h i s q r * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * *

PAGE 121

1 1 2 A p p e n d i x E M p l u s I n p u t P r o g r a m s U s e d i n M o n t e C a r l o S i m u l a t i o n o f E v a l u a t i o n D a t a f o r M o t i v a t i n g E x a m p l e O n e c l a s s G M M e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 1T) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M t h a t s i m u l a t e s c o n d i t i o n s s p e c i f i e d b y M A C R O o n e c l a s s s o l u t i o n ( t e s t e d a g a i n s t a t r u e o n e c l a s s m o d e l ) M O N T E C A R L O : N A M E S A R E d e l 1 d e l 5 ; N O B S E R V A T I O N S = 4 4 2 ; N R E P S = 5 0 0 ; S E E D = 3 7 6 5 6 8 5 0 7 ; N C L A S S E S = 1 ; G C L A S S E S = 1 ; P A T M I S S = d e l 1 ( 0 0 ) d e l 2 ( 1 0 ) d e l 3 ( 1 1 ) d e l 4 ( 1 9 ) d e l 5 ( 3 5 ) ; P A T P R O B S = 1 0 ; S A V E = c : \ m p l u s 3 \ M A C R O \ R E P K 1 T D A T ; R E S U L T S = c : \ m p l u s 3 \ M A C R O \ O U T K 1 T D A T ; A N A L Y S I S : T Y P E = M I X T U R E M I S S I N G ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t 7 0 7 5 1 s l o p e 2 4 6 3 ; i n t e r c p t w i t h s l o p e @ 4 4 1 4 ; d e l 1 3 4 6 2 9 d e l 2 3 3 9 3 7 d e l 3 3 4 2 7 4 d e l 4 3 0 3 0 7 d e l 5 3 4 7 2 2 ; % c # 1 % [ i n t e r c p t 6 7 8 5 1 s l o p e 1 2 8 6 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t w i t h s l o p e ; % c # 1 % [ i n t e r c p t 6 7 8 5 1 s l o p e 1 2 8 6 ] ; O U T P U T : T E C H 1 T E C H 9 ;

PAGE 122

1 1 3 A p p e n d i x E ( C o n t i n u e d ) O n e c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 1F) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M t h a t s i m u l a t e s c o n d i t i o n s s p e c i f i e d b y M A C R O t w o c l a s s s o l u t i o n ( t e s t e d a g a i n s t a f a l s e o n e c l a s s m o d e l ) M O N T E C A R L O : N A M E S A R E d e l 1 d e l 5 ; N O B S E R V A T I O N S = 4 4 2 ; N R E P S = 5 0 0 ; S E E D = 3 7 6 5 6 8 5 0 7 ; N C L A S S E S = 1 ; G C L A S S E S = 2 ; P A T M I S S = d e l 1 ( 0 0 ) d e l 2 ( 1 0 ) d e l 3 ( 1 1 ) d e l 4 ( 1 9 ) d e l 5 ( 3 5 ) ; P A T P R O B S = 1 0 ; S A V E = c : \ m p l u s 3 \ M A C R O \ R E P K 1 F D A T ; R E S U L T S = c : \ m p l u s 3 \ M A C R O \ O U T K 1 F D A T ; A N A L Y S I S : T Y P E = M I X T U R E M I S S I N G ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t 3 3 7 6 2 s l o p e 2 5 4 7 ; i n t e r c p t w i t h s l o p e @ 5 5 1 8 ; d e l 1 3 2 9 6 8 d e l 2 3 4 5 8 7 d e l 3 3 5 0 5 5 d e l 4 3 1 2 2 7 d e l 5 3 2 4 4 7 ; % c # 1 % [ i n t e r c p t 6 1 4 5 6 s l o p e 1 4 3 6 ] ; % c # 2 % [ i n t e r c p t 7 3 7 3 7 s l o p e 1 1 7 4 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t w i t h s l o p e ; % c # 1 % [ i n t e r c p t 6 7 8 5 1 s l o p e 1 2 8 6 ] ; O U T P U T : T E C H 9 ;

PAGE 123

1 1 4 A p p e n d i x E ( C o n t i n u e d ) T w o c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 2T) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M t h a t s i m u l a t e s c o n d i t i o n s s p e c i f i e d b y M A C R O t w o c l a s s s o l u t i o n ( t e s t e d a g a i n s t a t r u e t w o c l a s s m o d e l ) M O N T E C A R L O : N A M E S A R E d e l 1 d e l 5 ; N O B S E R V A T I O N S = 4 4 2 ; N R E P S = 5 0 0 ; S E E D = 3 7 6 5 6 8 5 0 7 ; N C L A S S E S = 2 ; G C L A S S E S = 2 ; P A T M I S S = d e l 1 ( 0 0 ) d e l 2 ( 1 0 ) d e l 3 ( 1 1 ) d e l 4 ( 1 9 ) d e l 5 ( 3 5 ) ; P A T P R O B S = 1 0 ; S A V E = c : \ m p l u s 3 \ M A C R O \ R E P K 2 T D A T ; R E S U L T S = c : \ m p l u s 3 \ M A C R O \ O U T K 2 T D A T ; A N A L Y S I S : T Y P E = M I X T U R E M I S S I N G ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t 3 3 7 6 2 s l o p e 2 5 4 7 ; i n t e r c p t w i t h s l o p e @ 5 5 1 8 ; d e l 1 3 2 9 6 8 d e l 2 3 4 5 8 7 d e l 3 3 5 0 5 5 d e l 4 3 1 2 2 7 d e l 5 3 2 4 4 7 ; [ c # 1 @ 0 0 9 0 ] ; % c # 1 % [ i n t e r c p t 6 1 4 5 6 s l o p e 1 4 3 6 ] ; % c # 2 % [ i n t e r c p t 7 3 7 3 7 s l o p e 1 1 7 4 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t w i t h s l o p e ; % c # 1 % [ i n t e r c p t 6 3 6 4 5 s l o p e 2 0 7 1 ] ; % c # 2 % [ i n t e r c p t 7 2 0 5 7 s l o p e 0 5 0 1 ] ; O U T P U T : T E C H 9 ;

PAGE 124

1 1 5 A p p e n d i x E ( C o n t i n u e d ) T w o c l a s s G M M e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n ( K 2F) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M t h a t s i m u l a t e s c o n d i t i o n s s p e c i f i e d b y M A C R O o n e c l a s s s o l u t i o n ( t e s t e d a g a i n s t a f a l s e t w o c l a s s m o d e l ) M O N T E C A R L O : N A M E S A R E d e l 1 d e l 5 ; N O B S E R V A T I O N S = 4 4 2 ; N R E P S = 5 0 0 ; S E E D = 3 7 6 5 6 8 5 0 7 ; N C L A S S E S = 2 ; G C L A S S E S = 1 ; P A T M I S S = d e l 1 ( 0 0 ) d e l 2 ( 1 0 ) d e l 3 ( 1 1 ) d e l 4 ( 1 9 ) d e l 5 ( 3 5 ) ; P A T P R O B S = 1 0 ; S A V E = c : \ m p l u s 3 \ M A C R O \ R E P K 2 F D A T ; R E S U L T S = c : \ m p l u s 3 \ M A C R O \ O U T K 2 F D A T ; A N A L Y S I S : T Y P E = M I X T U R E M I S S I N G ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t 7 0 7 5 1 s l o p e 2 4 6 3 ; i n t e r c p t w i t h s l o p e @ 4 4 1 4 ; d e l 1 3 4 6 2 9 d e l 2 3 3 9 3 7 d e l 3 3 4 2 7 4 d e l 4 3 0 3 0 7 d e l 5 3 4 7 2 2 ; % c # 1 % [ i n t e r c p t 6 7 8 5 1 s l o p e 1 2 8 6 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t w i t h s l o p e ; % c # 1 % [ i n t e r c p t 6 3 6 4 5 s l o p e 2 0 7 1 ] ; % c # 2 % [ i n t e r c p t 7 2 0 5 7 s l o p e 0 5 0 1 ] ; O U T P U T : T E C H 1 T E C H 9 ;

PAGE 125

1 1 6 A p p e n d i x E ( C o n t i n u e d ) T w o c l a s s G M M e s t i m a t e d f r o m a t h r e e c l a s s p s e u d o p o p u l a t i o n ( K 2F F) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M t h a t s i m u l a t e s c o n d i t i o n s s p e c i f i e d b y M A C R O T H R E E c l a s s s o l u t i o n ( t e s t e d a g a i n s t a T R U E t h r e e c l a s s m o d e l ) M O N T E C A R L O : N A M E S A R E d e l 1 d e l 5 ; N O B S E R V A T I O N S = 4 4 2 ; N R E P S = 5 0 0 ; S E E D = 3 7 6 5 6 8 5 0 7 ; N C L A S S E S = 2 ; G C L A S S E S = 3 ; P A T M I S S = d e l 1 ( 0 0 ) d e l 2 ( 1 0 ) d e l 3 ( 1 1 ) d e l 4 ( 1 9 ) d e l 5 ( 3 5 ) ; P A T P R O B S = 1 0 ; S A V E = c : \ m p l u s 3 \ M A C R O \ R E P K 3 F F D A T ; R E S U L T S = c : \ m p l u s 3 \ M A C R O \ O U T K 3 F F D A T ; A N A L Y S I S : T Y P E = M I X T U R E M I S S I N G ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t 3 9 7 4 4 s l o p e 1 4 3 3 ; i n t e r c p t w i t h s l o p e @ 7 2 2 6 ; d e l 1 3 4 1 4 4 d e l 2 3 4 2 0 0 d e l 3 3 5 8 8 4 d e l 4 3 1 4 7 6 d e l 5 2 9 9 4 6 ; [ c # 1 @ 2 1 3 8 ] ; [ c # 2 @ 2 2 5 9 ] ; % c # 1 % [ i n t e r c p t 6 1 6 1 4 s l o p e 1 8 1 7 ] ; % c # 2 % [ i n t e r c p t 7 2 8 7 5 s l o p e 1 2 6 0 ] ; % c # 3 % [ i n t e r c p t 7 2 7 9 4 s l o p e 2 9 7 3 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t w i t h s l o p e ; % c # 1 % [ i n t e r c p t 6 3 6 4 5 s l o p e 2 0 7 1 ] ; % c # 2 % [ i n t e r c p t 7 2 0 5 7 s l o p e 0 5 0 1 ] ; O U T P U T : T E C H 9 ;

PAGE 126

1 1 7 A p p e n d i x E ( C o n t i n u e d ) T h r e e c l a s s G M M e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n ( K 3F) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M t h a t s i m u l a t e s c o n d i t i o n s s p e c i f i e d b y M A C R O t w o c l a s s s o l u t i o n ( t e s t e d a g a i n s t a f a l s e t h r e e c l a s s m o d e l ) M O N T E C A R L O : N A M E S A R E d e l 1 d e l 5 ; N O B S E R V A T I O N S = 4 4 2 ; N R E P S = 5 0 0 ; S E E D = 3 7 6 5 6 8 5 0 7 ; N C L A S S E S = 3 ; G C L A S S E S = 2 ; P A T M I S S = d e l 1 ( 0 0 ) d e l 2 ( 1 0 ) d e l 3 ( 1 1 ) d e l 4 ( 1 9 ) d e l 5 ( 3 5 ) ; P A T P R O B S = 1 0 ; S A V E = c : \ m p l u s 3 \ M A C R O \ R E P K 3 F D A T ; R E S U L T S = c : \ m p l u s 3 \ M A C R O \ O U T K 3 F D A T ; A N A L Y S I S : T Y P E = M I X T U R E M I S S I N G ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t 3 3 7 6 2 s l o p e 2 5 4 7 ; i n t e r c p t w i t h s l o p e @ 5 5 1 8 ; d e l 1 3 2 9 6 8 d e l 2 3 4 5 8 7 d e l 3 3 5 0 5 5 d e l 4 3 1 2 2 7 d e l 5 3 2 4 4 7 ; [ c # 1 @ 0 0 9 0 ] ; % c # 1 % [ i n t e r c p t 6 1 4 5 6 s l o p e 1 4 3 6 ] ; % c # 2 % [ i n t e r c p t 7 3 7 3 7 s l o p e 1 1 7 4 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t w i t h s l o p e ; % c # 1 % [ i n t e r c p t 6 3 6 4 5 s l o p e 2 0 7 1 ] ; % c # 2 % [ i n t e r c p t 6 7 8 5 1 s l o p e 1 2 8 6 ] ; % c # 3 % [ i n t e r c p t 7 2 0 5 7 s l o p e 0 5 0 1 ] ; O U T P U T : T E C H 9 ;

PAGE 127

1 1 8 A p p e n d i x E ( C o n t i n u e d ) T h r e e c l a s s G M M e s t i m a t e d f r o m a t h r e e c l a s s p s e u d o p o p u l a t i o n ( K 3T) T I T L E : M o n t e C a r l o s i m u l a t i o n o f G M M t h a t s i m u l a t e s c o n d i t i o n s s p e c i f i e d b y M A C R O T H R E E c l a s s s o l u t i o n ( t e s t e d a g a i n s t a T R U E t h r e e c l a s s m o d e l ) M O N T E C A R L O : N A M E S A R E d e l 1 d e l 5 ; N O B S E R V A T I O N S = 4 4 2 ; N R E P S = 5 0 0 ; S E E D = 3 7 6 5 6 8 5 0 7 ; N C L A S S E S = 3 ; G C L A S S E S = 3 ; P A T M I S S = d e l 1 ( 0 0 ) d e l 2 ( 1 0 ) d e l 3 ( 1 1 ) d e l 4 ( 1 9 ) d e l 5 ( 3 5 ) ; P A T P R O B S = 1 0 ; S A V E = c : \ m p l u s 3 \ M A C R O \ R E P K 3 T D A T ; R E S U L T S = c : \ m p l u s 3 \ M A C R O \ O U T K 3 T D A T ; A N A L Y S I S : T Y P E = M I X T U R E M I S S I N G ; M I T E R A T I O N S = 5 0 0 0 ; M O D E L M O N T E C A R L O : % O V E R A L L % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t 3 9 7 4 4 s l o p e 1 4 3 3 ; i n t e r c p t w i t h s l o p e @ 7 2 2 6 ; d e l 1 3 4 1 4 4 d e l 2 3 4 2 0 0 d e l 3 3 5 8 8 4 d e l 4 3 1 4 7 6 d e l 5 2 9 9 4 6 ; [ c # 1 @ 2 1 3 8 ] ; [ c # 2 @ 2 2 5 9 ] ; % c # 1 % [ i n t e r c p t 6 1 6 1 4 s l o p e 1 8 1 7 ] ; % c # 2 % [ i n t e r c p t 7 2 8 7 5 s l o p e 1 2 6 0 ] ; % c # 3 % [ i n t e r c p t 7 2 7 9 4 s l o p e 2 9 7 3 ] ; M O D E L : % o v e r a l l % i n t e r c p t B Y d e l 1 d e l 5 @ 1 ; s l o p e B Y d e l 1 @ 0 d e l 2 @ 1 d e l 3 @ 2 d e l 4 @ 3 d e l 5 @ 4 ; [ d e l 1 d e l 5 @ 0 ] ; i n t e r c p t w i t h s l o p e ; % c # 1 % [ i n t e r c p t 6 3 6 4 5 s l o p e 2 0 7 1 ] ; % c # 2 % [ i n t e r c p t 6 7 8 5 1 s l o p e 1 2 8 6 ] ; % c # 3 % [ i n t e r c p t 7 2 0 5 7 s l o p e 0 5 0 1 ] ; O U T P U T : T E C H 9 ;

PAGE 128

1 1 9 T a b l e s

PAGE 129

1 2 0 T a b l e 1 M o n t e C a r l o s i m u l a t i o n s t u d i e s o f l a t e n t c l a s s e n u m e r a t i o n ( i n c h r o n o l o g i c a l o r d e r ) S t u d y T y p e o f M o d e l H y p o t h e s e s T e s t e d M o d e l s e l e c t i o n c r i t e r i a W o l f e ( 1 9 7 1 ) L a t e n t c l a s s m o d e l T r u e H0: k0 = 1 F a l s e HA: k1 = k0 > 1 L R T E v e r i t t ( 1 9 8 1 1 9 8 8 ) L a t e n t c l a s s m o d e l T r u e H0: k0 = 1 F a l s e HA: k1 = 2 L R T M e n d e l l T h o d e a n d F i n c h ( 1 9 9 1 ) L a t e n t c l a s s m o d e l F a l s e H0: k0 = 1 T r u e HA: k1 = 2 L R T M e n d e l l F i n c h a n d T h o d e ( 1 9 9 3 ) L a t e n t c l a s s m o d e l F a l s e H0: k0 = 1 T r u e HA: k1 = 2 E n g e l m a n H a r t i g a n t e s t G r u b b t e s t D i x o n ’ s t e s t A n d e r s o n D a r l i n g t e s t C r a v e r V o n M i s e s t e s t W i l k S h a p i r o t e s t s k e w n e s s t e s t k u r t o t s i s t e s t r a n g e t e s t G e a r y t e s t F i l l i b e n ’ s p r o b a b i l i t y p l o t c o r r e c t i o n t e s t D ’ A g o s t i n o t e s t L R T G u t i e r r e z W a n g L e e a n d T a y l o r ( 1 9 9 5 ) L a t e n t c l a s s m o d e l T r u e H0: k0 = 1 F a l s e HA: k1 = 2 L R T L i n a n d D a y t o n ( 1 9 9 7 ) L a t e n t c l a s s m o d e l F a l s e H0: k0 = 1 T r u e HA: k1 = 2 B I C A I C C A I C L R T Y a n g ( 1 9 9 9 ) L a t e n t c l a s s m o d e l T r u e H0: k0 = 1 F a l s e HA: k1 = 2 3 4 F a l s e H0: k0 = 1 3 4 T r u e HA: k1 = 2 F a l s e H0: k0 = 1 2 4 T r u e HA: k1 = 3 F a l s e H0: k0 = 1 2 3 T r u e HA: k1 = 4 B I C A I C L R T A B I C D B I C H Q I C H T A I C M a s y n a n d B r o w n ( 2 0 0 1 ) G r o w t h m i x t u r e m o d e l T r u e H0: k0 = 1 F a l s e HA: k1 = 2 F a l s e H0: k0 = 1 3 T r u e HA: k1 = 2 B I C A I C A B I C L R T C L C N E C I C L B I C C o n t i n u e d o n t h e n e x t p a g e ( s e e N o t e o n n e x t p a g e )

PAGE 130

1 2 1 T a b l e 1 M o n t e C a r l o s i m u l a t i o n s t u d i e s o f l a t e n t c l a s s e n u m e r a t i o n ( c o n t i n u e d ) S t u d y T y p e o f M o d e l H y p o t h e s e s T e s t e d E x a m i n e d m o d e l s e l e c t i o n c r i t e r i a M a s y n ( 2 0 0 1 ) G r o w t h m i x t u r e m o d e l T r u e H0: k0 = 1 F a l s e HA: k1 = 2 3 F a l s e H0: k0 = 1 3 T r u e HA: k1 = 2 F a l s e H0: k0 = 1 2 T r u e HA: k1 = 3 B I C A I C A B I C L R T C L C N E C I C L B I C L o M e n d e l l a n d R u b i n ( 2 0 0 1 ) L a t e n t c l a s s m o d e l F a l s e H0: k0 = 1 T r u e HA: k1 = 2 F a l s e H0: k0 = 2 T r u e HA: k1 = 3 L R T N o t e B I C = B a y e s i a n I n f o r m a t i o n C r i t e r i o n A I C = A k a i k e I n f o r m a t i o n C r i t e r i o n A B I C = S a m p l e s i z e a d j u s t e d B I C L R T = L i k e l i h o o d R a t i o T e s t C A I C = B o z d o g a n ’ s C o n s i s t n e t A I C D B I C = D r a p e r ’ s m o d i f i e d B I C H Q I C = H a n n a n a n d Q u i n n ’ s I n f o r m a t i o n C r i t e r i o n H T A I C = H u r v i c h a n d T s a i ’ s A I C C L C = C l a s s i f i c a t i o n L i k e l i h o o d C r i t e r i o n N E C = N o r m a l i z e d E n t r o p y C r i t e r i o n I C L B I C = I n t e g r a t e d C l a s s i f i c a t i o n L i k e l i h o o d B I C

PAGE 131

1 2 2 T a b l e 2 A p p l i c a t i o n s o f g r o w t h m i x t u r e m o d e l i n g ( o r d e r e d a l p h a b e t i c a l l y ) S t u d y O u t c o m e S a m p l e F i n d i n g C o l d e r e t a l ( 2 0 0 1 ) C i g a r e t t e s m o k i n g N = 3 2 3 a d o l e s c e n t s B I C i d e n t i f i e d f i v e l a t e n t t r a j e c t o r y c l a s s e s C o l d e r C a m p b e l l R u e l R i c h a r d s o n & F l a y ( 2 0 0 2 ) A l c o h o l u s e N = 1 9 1 8 a d o l e s c e n t s B I C i d e n t i f i e d f o u r c l a s s m o d e l f o r a l c o h o l q u a n t i t y t h r e e c l a s s m o d e l f o r a l c o h o l f r e q u e n c y a n d 5 c l a s s m o d e l f o r a l c o h o l q u a n t i t y f r e q u e n c y m e a s u r e D e d r i c k G r e e n b a u m & V a u g h n ( 2 0 0 1 ) R e a d i n g a c h i e v e m e n t N = 1 0 0 s e c o n d g r a d e s t u d e n t s B I C i d e n t i f i e d t w o l a t e n t t r a j e c t o r y c l a s s e s G r e e n b a u m D e d r i c k & B r o w n ( 2 0 0 2 ) D e l i n q u e n t b e h a v i o r N = 4 4 2 c h i l d r e n B I C a n d A B I C i d e n t i f i e d f o u r c l a s s m o d e l ; A I C i d e n t i f i e d f i v e c l a s s m o d e l G r e e n b a u m D e l B o c a D a r k e s & G o l d m a n ( 2 0 0 1 ) A l c o h o l u s e N = 2 2 9 c o l l e g e f r e s h m e n B I C i n d i c a t e d f o u r c l a s s m o d e l ; A I C a n d A B I C i n d i c a t e d f i v e c l a s s m o d e l L i D u n c a n & H o p s ( 2 0 0 1 ) A l c o h o l u s e N = 1 7 9 m i d d l e a n d h i g h s c h o o l s t u d e n t s B I C i n d i c a t e d o n e c l a s s m o d e l ; A I C A B I C a n d L R T i n d i c a t e d t w o c l a s s m o d e l M u t h n e t a l ( 2 0 0 2 ) A g g r e s s i v e b e h a v i o r N = 1 9 9 f i r s t a n d s e c o n d g r a d e b o y s B I C i n d i c a t e d p r e f e r e n c e f o r 4 c l a s s m o d e l M u t h n K h o o F r a n c i s & B o s c a r d i n ( 2 0 0 0 ) R e a d i n g s k i l l s N = 4 0 9 K i n d e r g a r t e n a g e c h i l d r e n L R T i d e n t i f i e d f o u r l a t e n t t r a j e c t o r y c l a s s e s O x f o r d G i l c h r i s t M o r r i s o n G i l l m o r e L o h r & L e w i s ( 2 0 0 3 ) A l c o h o l u s e N = 2 1 5 a d o l e s c e n t f e m a l e s B I C i d e n t i f i e d t w o c l a s s m o d e l f o r a l c o h o l q u a n t i t y f o u r c l a s s m o d e l f o r a l c o h o l f r e q u e n c y P e t r a s e t a l ( 2 0 0 1 ) S c h o o l r e m o v a l N = 2 0 0 b o y s B I C i n d i c a t e d t h r e e c l a s s m o d e l ; A I C a n d A B I C i n d i c a t e d f o u r c l a s s m o d e l T u c k e r O r l a n d o & E l l i c k s o n ( 2 0 0 3 ) B i n g e d r i n k i n g N = 5 6 9 4 a d o l e s c e n t s B I C i d e n t i f i e d s i x c l a s s m o d e l N o t e B I C = B a y e s i a n I n f o r m a t i o n C r i t e r i o n A I C = A k a i k e I n f o r m a t i o n C r i t e r i o n A B I C = S a m p l e s i z e a d j u s t e d B I C L R T = L i k e l i h o o d R a t i o T e s t

PAGE 132

1 2 3 T a b l e 3 G r o w t h p a r a m e t e r v a l u e s v a r i a n c e s a n d c o v a r i a n c e s f o r s i m u l a t e d d a t a C l a s s 1 C l a s s 2 P o p u l a t i o n / D e s i g n I n t e r c e p t ( V a r i a n c e ) S l o p e ( V a r i a n c e ) I n t e r c e p t ( V a r i a n c e ) S l o p e ( V a r i a n c e ) I w i t h S c o v a r i a n c ea L e v e l 1 v a r i a n c e A 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 7 7 4 ( 5 7 0 0 ) 0 5 2 ( 3 0 0 ) 0 0 0 4 0 0 B L O R 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 6 2 3 ( 5 7 0 0 ) 0 8 7 ( 3 0 0 ) 0 0 0 4 0 0 C J M P S 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 3 9 6 ( 5 7 0 0 ) 1 3 8 ( 3 0 0 ) 0 0 0 4 0 0 D K N Q T U V W X Y Z A A A B A C A D A E A F 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 0 0 0 4 0 0 E 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 0 9 4 ( 5 7 0 0 ) 2 0 8 ( 3 0 0 ) 0 0 0 4 0 0 F 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 0 0 0 9 0 0 G 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 0 0 0 6 0 0 H 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 0 0 0 2 6 0 I 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 0 0 0 1 5 0 A G 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 3 9 2 4 0 0 A H 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 7 8 4 4 0 0 A I 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 3 9 2 4 0 0 A J 1 0 0 0 0 ( 5 7 0 ) 0 0 0 ( 3 0 0 ) 9 2 4 5 ( 5 7 0 0 ) 1 7 3 ( 3 0 0 ) 7 8 4 4 0 0 N o t e L e t t e r s i n P o p u l a t i o n / D e s i g n c o l u m n r e p r e s e n t t h e 3 6 u n i q u e c o m b i n a t i o n s o f p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s ( s e e T a b l e 4 f o r e x p e r i m e n t a l c o n d i t i o n s ) I = i n t e r c e p t S = s l o p e aC o v a r i a n c e s b e t w e e n i n t e r c e p t s a n d s l o p e s w e r e c l a s s i n v a r i a n t f o r a l l e x p e r i m e n t a l c o n d i t i o n s

PAGE 133

1 2 4 T a b l e 4 P o p u l a t i o n / d e s i g n s a n d e x p e r i m e n t a l c o n d i t i o n s E x p e r i m e n t a l c o n d i t i o n P o p u l a t i o n / D e s i g n S t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e i n g r o w t h p a r a m e t e r s P e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s C o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e S a m p l e s i z e N u m b e r o f r e p e a t e d m e a s u r e s M i s s i n g d a t a p a t t e r n A 3 0a 6 0 @ 0 0 6 0 0 6 n o n e B 5 0a 6 0 @ 0 0 6 0 0c 6 n o n e C 8 0a 6 0 @ 0 0 6 0 0b 6 n o n e D 1 0 0a 6 0a @ 0 0 6 0 0a 6a n o n ea E 1 2 0a 6 0 @ 0 0 6 0 0 6 n o n e F 1 0 0 4 0a @ 0 0 6 0 0 6 n o n e G 1 0 0 5 0a @ 0 0 6 0 0 6 n o n e H 1 0 0 7 0a @ 0 0 6 0 0 6 n o n e I 1 0 0 8 0a @ 0 0 6 0 0 6 n o n e J 8 0 6 0 @ 0 0 2 0 0b 6 n o n e K 1 0 0 6 0 @ 0 0 2 0 0a 6 n o n e L 5 0 6 0 @ 0 0 4 0 0c 6 n o n e M 8 0 6 0 @ 0 0 4 0 0b 6 n o n e N 1 0 0 6 0 @ 0 0 4 0 0a 6 n o n e O 5 0 6 0 @ 0 0 8 0 0c 6 n o n e P 8 0 6 0 @ 0 0 8 0 0b 6 n o n e Q 1 0 0 6 0 @ 0 0 8 0 0a 6 n o n e R 5 0 6 0 @ 0 0 1 0 0 0c 6 n o n e S 8 0 6 0 @ 0 0 1 0 0 0b 6 n o n e T 1 0 0 6 0 @ 0 0 1 0 0 0a 6 n o n e U 1 0 0 6 0 @ 0 0 6 0 0 3a n o n e C o n t i n u e d o n t h e n e x t p a g e ( s e e N o t e o n n e x t p a g e )

PAGE 134

1 2 5 T a b l e 4 P o p u l a t i o n / d e s i g n s a n d e x p e r i m e n t a l c o n d i t i o n s ( c o n t i n u e d ) E x p e r i m e n t a l c o n d i t i o n P o p u l a t i o n / D e s i g n S t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e i n g r o w t h p a r a m e t e r s P e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s C o r r e l a t i o n b e t w e e n i n t e r c e p t a n d s l o p e S a m p l e s i z e N u m b e r o f r e p e a t e d m e a s u r e s M i s s i n g d a t a p a t t e r n V 1 0 0 6 0 @ 0 0 6 0 0 4a n o n eb W 1 0 0 6 0 @ 0 0 6 0 0 5a n o n e X 1 0 0 6 0 @ 0 0 6 0 0 9a n o n e Y 1 0 0 6 0 @ 0 0 6 0 0 1 2a n o n ea b Z 1 0 0 6 0 @ 0 0 6 0 0 1 2 e v e r y o t h e r t i m e p o i n t m i s s i n g 2 5 %a A A 1 0 0 6 0 @ 0 0 6 0 0 1 2 e v e r y o t h e r t i m e p o i n t m i s s i n g 5 0 %a A B 1 0 0 6 0 @ 0 0 6 0 0 1 2 e v e r y o t h e r t i m e p o i n t m i s s i n g 7 5 %a A C 1 0 0 6 0 @ 0 0 6 0 0 1 2 e v e r y 2n d a n d 3r d t i m e p o i n t m i s s i n g 2 5 %b A D 1 0 0 6 0 @ 0 0 6 0 0 1 2 e v e r y 2n d a n d 3r d t i m e p o i n t m i s s i n g 5 0 %b A E 1 0 0 6 0 @ 0 0 6 0 0 1 2 e v e r y 2n d a n d 3r d t i m e p o i n t m i s s i n g 7 5 %b A F 1 0 0 6 0 0 0a 6 0 0 6 n o n e A G 1 0 0 6 0 3 0a 6 0 0 6 n o n e A H 1 0 0 6 0 6 0a 6 0 0 6 n o n e A I 1 0 0 6 0 3 0a 6 0 0 6 n o n e A J 1 0 0 6 0 6 0a 6 0 0 6 n o n e N o t e L e t t e r s i n P o p u l a t i o n / D e s i g n c o l u m n r e p r e s e n t t h e 3 6 u n i q u e c o m b i n a t i o n s o f p o p u l a t i o n a n d d e s i g n c h a r a c t e r i s t i c s ( s e e T a b l e 3 f o r p o p u l a t i o n c h a r a c t e r i s t i c s ) C e l l s w i t h i n c o l u m n s w i t h s a m e s u p e r s c r i p t e d l e t t e r s i n d i c a t e p o p u l a t i o n / d e s i g n s u s e d f o r c o m p a r i s o n o f t h a t e x p e r i m e n t a l c o n d i t i o n h o l d i n g o t h e r c o n d i t i o n s c o n s t a n t @ = c o r r e l a t i o n f i x e d a t v a l u e i n d a t a g e n e r a t i o n m o d e l a n d n o t e s t i m a t e d i n e s t i m a t i o n m o d e l = c o r r e l a t i o n f i x e d a t v a l u e i n d a t a g e n e r a t i o n m o d e l a n d f r e e l y e s t i m a t e d i n e s t i m a t i o n m o d e l

PAGE 135

1 2 6 T a b l e 5 P l a n n e d m i s s i n g n e s s d e s i g n s T i m e M i s s i n g n e s s P a t t e r n 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 N o m i s s i n g d a t a X X X X X X X X X X X X D e s i g n 1 X X X X X X D e s i g n 2 X X X X N o t e D e s i g n 1 i n d i c a t e s p l a n n e d m i s s i n g n e s s a t e v e r y o t h e r t i m e p o i n t D e s i g n 2 i n d i c a t e s p l a n n e d m i s s i n g n e s s f o r e v e r y 2n d a n d 3r d t i m e p o i n t X = N o m i s s i n g d a t a f o r t h a t t i m e p o i n t

PAGE 136

1 2 7 T a b l e 6 9 5 % C o n f i d e n c e i n t e r v a l s f o r p = 5 0 a n d 9 0 N u m b e r o f R e p l i c a t i o n s p 5 0 9 0 1 0 0 ` 1 0 0 ` 0 6 0 2 0 0 ` 0 7 1 ` 0 4 2 3 0 0 ` 0 5 8 ` 0 3 5 4 0 0 ` 0 5 0 ` 0 3 0 5 0 0 ` 0 4 5 ` 0 2 7 N o t e p = e s t i m a t e d l e v e l o f p o w e r

PAGE 137

1 2 8 T a b l e 7 C o n v e r g e n c e r a t e s b y m o d e l a n d e x p e r i m e n t a l c o n d i t i o n M o d e l P o p u l a t i o n / D e s i g n K 1T K 1F K 2T K 2F K 3F A 1 0 0 1 0 0 1 0 0 9 9 4 9 9 0 B 1 0 0 1 0 0 9 9 8 9 9 2 9 8 2 C 1 0 0 1 0 0 9 9 6 9 9 8 9 8 8 D 1 0 0 1 0 0 9 9 4 9 9 8 9 8 2 E 1 0 0 1 0 0 9 9 6 9 9 8 9 8 4 F 1 0 0 1 0 0 9 9 6 9 9 2 9 7 4 G 1 0 0 1 0 0 1 0 0 9 9 8 9 8 0 H 1 0 0 1 0 0 1 0 0 9 9 4 9 8 8 I 1 0 0 1 0 0 1 0 0 1 0 0 9 8 8 J 1 0 0 1 0 0 1 0 0 1 0 0 9 9 4 K 1 0 0 1 0 0 1 0 0 9 9 8 9 8 4 L 1 0 0 1 0 0 1 0 0 9 9 6 9 8 4 M 1 0 0 1 0 0 9 9 8 9 9 4 9 8 8 N 1 0 0 1 0 0 9 9 8 9 9 8 9 9 2 O 1 0 0 1 0 0 9 9 9 9 9 6 9 8 9 P 1 0 0 1 0 0 1 0 0 9 9 8 9 8 6 Q 1 0 0 1 0 0 1 0 0 9 9 4 9 9 0 R 1 0 0 1 0 0 9 9 2 9 9 8 9 9 2 S 1 0 0 1 0 0 1 0 0 9 9 8 9 8 2 T 1 0 0 1 0 0 1 0 0 9 9 6 9 8 6 U 1 0 0 1 0 0 1 0 0 9 9 8 9 8 6 V 1 0 0 1 0 0 9 9 8 9 9 4 9 8 2 W 1 0 0 1 0 0 1 0 0 1 0 0 9 9 0 X 1 0 0 1 0 0 1 0 0 9 9 2 9 9 2 Y 1 0 0 1 0 0 1 0 0 1 0 0 9 7 2 Z 1 0 0 1 0 0 9 9 8 9 7 4 9 1 2 C o n t i n u e d o n t h e n e x t p a g e ( s e e N o t e o n n e x t p a g e )

PAGE 138

1 2 9 T a b l e 7 C o n v e r g e n c e r a t e s b y m o d e l a n d e x p e r i m e n t a l c o n d i t i o n ( c o n t i n u e d ) M o d e l P o p u l a t i o n / D e s i g n K 1T K 1F K 2T K 2F K 3F A A 1 0 0 1 0 0 9 8 4 9 8 0 9 4 4 A B 1 0 0 1 0 0 1 0 0 9 6 8 9 2 8 A C 1 0 0 1 0 0 1 0 0 9 8 0 9 4 0 A D 1 0 0 1 0 0 1 0 0 9 8 4 9 4 4 A E 1 0 0 1 0 0 1 0 0 9 7 4 9 3 8 A F 1 0 0 1 0 0 9 9 6 9 9 6 9 7 6 A G 1 0 0 1 0 0 9 7 6 9 7 4 8 9 2 A H 1 0 0 1 0 0 9 9 8 9 9 0 9 8 4 A I 1 0 0 1 0 0 1 0 0 9 9 4 9 9 0 A J 1 0 0 1 0 0 1 0 0 9 8 2 9 8 6 M e a n 1 0 0 1 0 0 9 9 8 9 9 2 9 7 4 R a n g e 1 0 0 t o 1 0 0 1 0 0 t o 1 0 0 9 7 6 t o 1 0 0 9 6 8 t o 9 9 6 8 9 2 t o 9 9 0 N o t e V a l u e s i n d i c a t e p e r c e n t a g e o f 5 0 0 r e p l i c a t i o n s t h a t c o n v e r g e d w i t h i n 5 0 0 0 i t e r a t i o n s K 1T = O n e c l a s s m o d e l e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n K 1F = O n e c l a s s m o d e l e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n K 2T = T w o c l a s s m o d e l e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n K 2F = T w o c l a s s m o d e l e s t i m a t e d f r o m a o n e c l a s s p s e u d o p o p u l a t i o n K 3F = T h r e e c l a s s m o d e l e s t i m a t e d f r o m a t w o c l a s s p s e u d o p o p u l a t i o n S e e T a b l e s 3 a n d 4 f o r a d e s c r i p t i o n o f P o p u l a t i o n / D e s i g n c o d e s

PAGE 139

1 3 0 T a b l e 8 E f f e c t i v e T y p e I e r r o r r a t e s f o r K 1T v e r s u s K 2F m o d e l s ( a v e r a g e d w i t h i n e x p e r i m e n t a l c o n d i t i o n a n d q u a r t i l e s o f 2) M o d e l s e l e c t i o n c r i t e r i o n E x p e r i m e n t a l c o n d i t i o n / n2 A I C B I C A B I C L R T S a m p l e s i z e ( d = 5 0 ) 1 6 0 < 0 0 1 0 3 2 0 7 6 S a m p l e s i z e ( d = 8 0 ) 1 6 8 0 0 1 0 5 6 0 7 0 S a m p l e s i z e ( d = 1 0 ) 1 4 7 0 0 1 0 4 9 0 7 2 N u m b e r o f r e p e a t e d m e a s u r e s 1 6 8 < 0 0 1 0 3 8 0 8 1 B e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s 1 6 2 < 0 0 1 0 3 2 0 7 1 P e r c e n t a g e o f v a r i a n c e e x p l a i n e d 1 7 2 0 0 2 0 3 7 0 8 6 C o r r e l a t i o n b e t w e e n g r o w t h p a r a m e t e r s 2 1 2 < 0 0 1 0 5 2 1 0 0 n2 < 2 6 0 1 7 7 0 0 1 0 5 4 0 8 3 2 6 1 < n2 < 8 0 0 1 6 7 0 0 1 0 5 8 0 7 9 8 0 1 < n2 < 1 7 0 0 1 6 8 < 0 0 1 0 3 2 0 8 1 1 7 0 1 < n2 1 5 2 < 0 0 1 0 3 5 0 8 6 O v e r a l l 1 6 7 0 0 1 0 4 6 0 8 2 N o t e n2 = n o n c e n t r a l i t y p a r a m e t e r b a s e d o n c h i s q u a r e d i s t r i b u t i o n w i t h d f = 3 A I C = A k a i k e I n f o r m a t i o n C r i t e r i o n B I C = B a y e s i a n I n f o r m a t i o n C r i t e r i o n A B I C = S a m p l e s i z e a d j u s t e d B I C L R T = L i k e l i h o o d R a t i o T e s t d = s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e i n g r o w t h p a r a m e t e r s

PAGE 140

1 3 1 T a b l e 9 E f f e c t i v e T y p e I e r r o r r a t e s f o r K 2T v e r s u s K 3F m o d e l s ( a v e r a g e d w i t h i n e x p e r i m e n t a l c o n d i t i o n a n d q u a r t i l e s o f 2) M o d e l s e l e c t i o n c r i t e r i o n E x p e r i m e n t a l c o n d i t i o n / n2 A I C B I C A B I C L R T S a m p l e s i z e ( d = 5 0 ) 1 9 9 0 0 1 0 4 7 1 0 4 S a m p l e s i z e ( d = 8 0 ) 2 1 7 0 0 0 0 7 8 1 0 2 S a m p l e s i z e ( d = 1 0 ) 2 2 0 0 0 0 0 7 7 1 0 6 N u m b e r o f r e p e a t e d m e a s u r e s 2 0 8 0 0 1 0 4 9 0 9 9 B e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s 2 0 3 0 0 0 0 5 0 1 0 0 P e r c e n t a g e o f v a r i a n c e e x p l a i n e d 2 3 4 0 0 0 0 6 5 1 1 3 C o r r e l a t i o n b e t w e e n g r o w t h p a r a m e t e r s 2 4 4 0 0 0 0 6 4 1 4 1 n2 < 2 6 0 2 0 0 0 0 1 0 6 8 1 0 1 2 6 1 < n2 < 8 0 0 2 1 4 0 0 0 0 8 0 1 0 4 8 0 1 < n2 < 1 7 0 0 2 2 6 0 0 0 0 5 2 1 0 7 1 7 0 1 < n2 2 1 0 0 0 0 0 4 5 1 1 0 O v e r a l l 2 1 3 0 0 1 0 6 2 1 0 5 N o t e n2 = n o n c e n t r a l i t y p a r a m e t e r b a s e d o n c h i s q u a r e d i s t r i b u t i o n w i t h d f = 3 A I C = A k a i k e I n f o r m a t i o n C r i t e r i o n B I C = B a y e s i a n I n f o r m a t i o n C r i t e r i o n A B I C = S a m p l e s i z e a d j u s t e d B I C L R T = L i k e l i h o o d R a t i o T e s t d = s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e i n g r o w t h p a r a m e t e r s

PAGE 141

1 3 2 T a b l e 1 0 9 5 % c r i t i c a l v a l u e s f o r d e r i v a t i o n o f T y p e I e r r o r r a t e s o b t a i n e d f r o m e m p i r i c a l d i s t r i b u t i o n s M o d e l s e l e c t i o n c r i t e r i o n K 1T v e r s u s K 2F K 2T v e r s u s K 3F P o p u l a t i o n / D e s i g n A I C B I C A B I C L R T A I C B I C A B I C L R T A 3 1 5 1 0 0 4 0 5 2 9 1 5 2 6 1 1 0 5 8 1 0 6 8 6 1 B 2 2 7 1 0 9 2 1 3 9 8 2 7 3 6 4 9 5 5 0 0 3 9 6 4 C 2 2 2 1 0 9 5 1 4 5 8 2 2 3 3 6 9 9 8 0 3 0 9 3 6 D 2 3 1 1 0 8 8 1 3 6 8 3 1 4 1 8 9 0 1 0 5 1 1 0 1 8 E 3 0 1 1 0 1 8 0 6 6 9 0 1 3 6 1 9 5 8 0 0 6 9 6 1 F 2 6 2 1 0 5 7 1 0 4 8 6 2 4 4 8 8 7 2 0 8 1 1 0 4 8 G 3 9 6 9 2 3 0 3 0 9 9 6 4 1 3 9 0 6 0 0 5 1 0 1 3 H 3 3 4 9 8 5 0 3 3 9 3 4 3 7 5 9 4 1 0 1 1 9 7 7 I 2 7 2 1 0 4 7 0 9 5 8 7 2 4 4 0 8 7 9 0 8 0 1 0 4 1 J 3 9 4 5 9 5 3 5 4 9 9 4 4 4 3 5 4 7 4 0 4 1 0 4 3 K 2 7 1 7 1 8 2 3 2 8 7 1 3 5 0 6 4 0 3 1 0 9 5 0 L 2 8 6 9 1 1 0 4 1 8 8 6 3 6 3 8 3 4 1 1 8 9 6 3 M 3 2 7 8 7 1 0 8 2 9 2 7 3 2 0 8 7 8 0 7 4 9 2 0 N 2 5 6 9 4 2 0 1 0 8 5 6 3 6 9 8 2 8 1 2 4 9 6 9 O 3 2 1 1 0 8 4 1 3 1 9 2 1 2 8 5 1 1 2 0 1 6 9 8 8 5 P 3 5 5 1 0 5 0 0 9 8 9 5 5 3 6 0 1 0 4 6 0 9 3 9 6 0 Q 1 9 9 1 2 0 6 2 5 4 7 9 9 2 9 1 1 1 1 5 1 6 2 8 9 1 R 3 0 7 1 1 6 6 2 1 3 9 0 7 3 5 6 1 1 1 7 1 6 4 9 5 6 S 2 4 5 1 2 2 8 2 7 5 8 4 5 3 7 1 1 1 0 1 1 4 8 9 7 1 T 3 1 1 1 1 6 2 2 0 9 9 1 1 3 8 2 1 0 9 1 1 3 8 9 8 2 U 3 6 4 9 5 5 0 0 0 9 6 4 2 9 4 1 0 2 5 0 7 3 8 9 4 V s a m e a s Y W s a m e a s Y X 2 9 8 1 0 2 1 0 6 8 8 9 8 3 2 3 9 9 6 0 4 3 9 2 3 Y 2 8 3 1 0 3 7 0 8 5 8 8 2 2 8 3 1 0 3 7 0 8 5 8 8 2 Z s a m e a s Y A A s a m e a s Y A B s a m e a s Y A C s a m e a s Y A D s a m e a s Y A E s a m e a s Y A F 4 0 5 9 1 6 0 3 6 1 0 0 5 4 0 3 9 1 6 0 3 8 1 0 0 3 A G s a m e a s A F A H s a m e a s A F A I s a m e a s A F A J s a m e a s A F N o t e A I C = A k a i k e I n f o r m a t i o n C r i t e r i o n B I C = B a y e s i a n I n f o r m a t i o n C r i t e r i o n A B I C = S a m p l e s i z e a d j u s t e d B I C L R T = L i k e l i h o o d R a t i o T e s t S e e T a b l e s 3 a n d 4 f o r a d e s c r i p t i o n o f P o p u l a t i o n / D e s i g n c o d e s

PAGE 142

1 3 3 T a b l e 1 1 E s t i m a t e s o f s t a t i s t i c a l p o w e r a c c u r a c y a n d p o p u l a t i o n / d e s i g n b y 2 n2 P o w e r e s t i m a t e d f r o m n o n c e n t r a l c h i s q u a r e d i s t r i b u t i o na P o w e r e s t i m a t e d f r o m M o n t e C a r l o s i m u l a t i o n A c c u r a c y e s t i m a t e d f r o m M o n t e C a r l o s i m u l a t i o n P o p u l a t i o n / D e s i g n 0 7 4 5 0 9 8 0 5 2 0 5 0 A 0 9 1 8 1 1 0 0 6 0 0 5 2 L 1 3 0 4 1 3 8 0 4 6 0 4 0 A H 1 4 5 4 1 5 0 1 4 2 1 3 8 B 1 7 1 4 1 7 0 1 2 4 1 1 8 O 1 8 8 9 1 8 4 1 1 2 1 0 8 R 1 8 9 8 1 8 4 0 8 4 0 7 4 U 2 4 6 0 2 3 0 1 6 2 1 5 0 A F 2 5 8 2 2 4 0 1 2 0 1 1 2 J 3 3 7 1 3 0 6 1 4 2 0 9 8 A G 3 6 7 2 3 3 1 1 8 0 1 6 8 A I 3 8 7 5 3 4 8 2 3 4 2 1 6 M 4 3 8 8 3 9 1 3 1 8 2 9 8 K 4 4 1 2 3 9 3 3 3 4 2 9 8 V 4 9 6 6 4 3 8 4 0 8 3 8 6 C 5 9 4 8 5 1 5 4 7 6 4 4 4 F 6 7 4 5 5 7 2 4 5 0 4 1 6 P 7 8 3 2 6 4 4 6 1 4 5 8 8 N 8 0 3 3 6 5 6 6 1 2 5 6 6 W 8 1 4 9 6 6 3 6 2 4 5 7 4 S 8 3 2 2 6 7 4 5 6 4 5 3 0 G 1 1 4 1 2 8 2 0 8 2 4 7 7 2 D 1 2 2 7 0 8 4 9 7 3 2 6 8 6 A J 1 4 2 9 0 9 0 3 8 5 4 8 0 6 H 1 5 2 9 7 9 2 3 9 2 8 8 7 2 Q 1 5 9 9 6 9 3 4 8 6 1 8 0 2 A E 1 6 5 4 7 9 4 2 9 0 6 7 9 8 A D 1 7 8 7 5 9 5 8 9 6 6 9 0 8 X 1 7 8 8 8 9 5 8 9 3 4 8 0 4 A B 1 8 5 4 5 9 6 4 9 5 2 8 9 0 T 1 8 6 5 0 9 6 5 9 5 8 8 4 6 A C 1 8 6 7 0 9 6 5 9 5 0 8 9 0 I 1 8 7 9 9 9 6 6 9 4 9 8 3 6 A A 1 9 2 7 0 9 7 0 9 6 2 8 3 6 Z 2 0 7 4 5 9 7 9 9 5 4 8 7 8 Y 2 2 3 7 7 9 8 7 9 8 6 9 2 2 E N o t e E s t i m a t e s b a s e d o n d i s t r i b u t i o n s w i t h a l p h a = 0 5 S e e T a b l e s 3 a n d 4 f o r a d e s c r i p t i o n o f P o p u l a t i o n / D e s i g n c o d e s ad f = 3

PAGE 143

1 3 4 T a b l e 1 2 M o d e l s e l e c t i o n i n f o r m a t i o n f o r e v a l u a t i o n d a t a a n d c o r r e s p o n d i n g M o n t e C a r l o s i m u l a t i o n sa M o d e l s e l e c t i o n i n f o r m a t i o n M o d e l A I C B I C A B I C L L N u m b e r o f f r e e l y e s t i m a t e d p a r a m e t e r s E v a l u a t i o n d a t a O n e c l a s s 1 3 0 9 3 9 5 1 3 1 3 4 8 6 1 3 1 0 3 1 3 6 5 3 6 9 8 1 0 T w o c l a s s 1 3 0 8 4 5 1 1 3 1 3 7 6 9 1 3 0 9 6 4 4 6 5 2 9 2 5 1 3 T h r e e c l a s s 1 3 0 4 9 5 0 1 3 1 1 4 9 6 1 3 0 6 4 1 8 6 5 0 8 7 5 1 6 S i m u l a t e d d a t aa O n e c l a s s 1 3 0 9 8 5 1 1 3 1 3 9 4 2 1 3 1 0 7 6 8 6 5 3 9 2 5 1 0 T w o c l a s s 1 3 0 8 3 3 4 1 3 1 3 6 5 3 1 3 0 9 5 2 7 6 5 2 8 6 7 1 3 T h r e e c l a s s 1 3 0 4 9 0 0 1 3 1 1 4 4 6 1 3 0 6 3 6 9 6 5 1 0 2 1 1 6 N o t e aM e a n v a l u e s b a s e d o n 5 0 0 r e p l i c a t i o n s A I C = A k a i k e I n f o r m a t i o n C r i t e r i o n ; B I C = B a y e s i a n I n f o r m a t i o n C r i t e r i o n ; A B I C = S a m p l e s i z e a d j u s t e d B I C ; L L = L o g L i k e l i h o o d

PAGE 144

1 3 5 T a b l e 1 3 P a r a m e t e r e s t i m a t e s f o r o n e t w o a n d t h r e e c l a s s g r o w t h m i x t u r e m o d e l s o f e v a l u a t i o n d a t a M o d e l P a r a m e t e r O n e c l a s s T w o c l a s s T h r e e c l a s s I n t e r c e p t c l a s s 1 6 7 8 5 1 6 1 4 5 6 6 1 6 1 4 c l a s s 2 n a 7 3 7 3 7 7 2 8 7 5 c l a s s 3 n a n a 7 2 7 9 4 L i n e a r s l o p e c l a s s 1 1 2 8 6 1 4 3 6 1 8 1 7 c l a s s 2 n a 1 1 7 4 1 2 6 0 c l a s s 3 n a n a 2 9 7 3 V a r i a n c e I n t e r c e p t 7 0 7 5 1 3 3 7 6 2 3 9 7 4 4 S l o p e 2 4 6 3 2 5 4 7 1 4 3 3 C o v a r i a n c e i n t e r c e p t w i t h s l o p e 4 4 1 4 5 5 1 8 7 2 2 6 R e s i d u a l V a r i a n c e t i m e 1 3 4 6 2 9 3 2 9 6 8 3 4 1 4 4 t i m e 2 3 3 9 3 7 3 4 5 8 7 3 4 2 0 0 t i m e 3 3 4 2 7 4 3 5 0 5 5 3 5 8 8 4 t i m e 4 3 0 3 0 7 3 1 2 2 7 3 1 4 7 6 t i m e 5 3 4 7 2 2 3 2 4 4 7 2 9 9 4 6 L a t e n t t r a j e c t o r y c l a s s m e a n c l a s s 1 0 0 0 0 0 0 9 0 2 1 3 8 c l a s s 2 n a 0 0 0 0 2 2 5 9 c l a s s 3 n a n a 0 0 0 0 N o t e n a = n o t a p p l i c a b l e

PAGE 145

1 3 6 F i g u r e s

PAGE 146

1 3 7 F i g u r e 1 L a t e n t g r o w t h m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yt) g r o w t h f a c t o r s ( 0 a n d 1) a n d t i m e i n v a r i a n t c o v a r i a t e ( w ) F i g u r e 2 L a t e n t v a r i a b l e m i x t u r e m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yn) l a t e n t c l a s s v a r i a b l e ( c ) a n d c o v a r i a t e ( x ) y1y2y3yTh0h1w e 1 e 2 e 3 e Tz0z1ew 1 0 1 1 1 2 1 T 1… y1y2y3yncx e 1 e 2 e 3 e n … e x

PAGE 147

1 3 8 F i g u r e 3 G e n e r a l g r o w t h m i x t u r e m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yt) g r o w t h f a c t o r s ( 0 a n d 1) t i m e i n v a r i a n t c o v a r i a t e ( w ) l a t e n t c l a s s v a r i a b l e ( c ) a n d o u t c o m e v a r i a b l e ( u ) ( f a c t o r l o a d i n g s a n d e r r o r t e r m s o m i t t e d ) F i g u r e 4 G r o w t h m i x t u r e m o d e l w i t h i n d i c a t o r v a r i a b l e s ( yt) g r o w t h f a c t o r s ( 0 a n d 1) t i m e i n v a r i a n t c o v a r i a t e ( w ) a n d l a t e n t c l a s s v a r i a b l e ( c ) ( f a c t o r l o a d i n g s a n d e r r o r t e r m s o m i t t e d ) y 1 y 2 y 3 y T h 0 h 1 w … c u y 1 y 2 y 3 y T h 0 h 1 w … c

PAGE 148

1 3 9 F i g u r e 5 S p a g h e t t i p l o t s f o r s i m u l a t e d d a t a f r o m P o p u l a t i o n Y ( n = 5 0 e a c h ) C l a s s 2S c o r eT i m e 0 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2 0 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2C l a s s 1S c o r eT i m e

PAGE 149

140 14.4% 5.0%2.32 -6-4-2 0 4681012 0 20 40 60 80 100 120FrequencyDifference in ABIC Figure 6. Frequency distribution for K1T K2F ABIC values for Population K (percentages indicate percentage of replications greater than corresponding difference between K1T K2F models).

PAGE 150

1 4 1 0 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 1 0 0 3 0 0 5 0 0 8 0 1 0 0 1 2 0S t a n d a r d i z e d D i f f e r e n c e i n G r o w t h P a r a m e t e r s B e t w e e n C l a s s e s P o w e r F i g u r e 7 A d j u s t e d p o w e r e s t i m a t e s f o r s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s 0 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 1 0 4 0 % 5 0 % 6 0 % 7 0 % 8 0 %P e r c e n t a g e o f V a r i a n c e E x p l a i n e d P o w e r F i g u r e 8 A d j u s t e d p o w e r e s t i m a t e s f o r p e r c e n t a g e o f v a r i a n c e e x p l a i n e d b y g r o w t h p a r a m e t e r s

PAGE 151

1 4 2 0 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 1 0 0 6 0 0 3 0 0 0 0 0 3 0 0 6 0C o r r e l a t i o nP o w e r F i g u r e 9 A d j u s t e d p o w e r e s t i m a t e s f o r d i f f e r e n t w i t h i n c l a s s c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s 0 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 1 0 2 0 0 4 0 0 6 0 0 8 0 0 1 0 0 0 d = 1 0 d = 0 8 d = 0 5S a m p l e S i z eP o w e r F i g u r e 1 0 A d j u s t e d p o w e r e s t i m a t e s f o r v a r i o u s s a m p l e s i z e s b y s t a n d a r d i z e d b e t w e e n c l a s s d i f f e r e n c e s i n g r o w t h p a r a m e t e r s ( d s = 1 0 0 8 a n d 0 5 )

PAGE 152

143 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0 46 12 Number of Repeated MeasuresPower 3 9 5 Figure 11. Adjusted power estimates by number of repeated measures. 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0 0%25%50%75%100% Missing every other time point Missing every 2nd and 3rd time pointPercentage of MissingnessPower Figure 12. Adjusted power estimates for two planned missingness designs, each with varying percentages of missing data.

PAGE 153

1 4 4 0 0 0 1 0 2 0 3 0 4 0 5 0 6 0 7 0 8 0 9 1 0 0 3 6 9 1 2 1 5 1 8 2 1 2 42A d j u s t e d P o w e r a n d A c c u r a c y = P o w e r = A c c u r a c y F i g u r e 1 3 E s t i m a t e s o f a d j u s t e d p o w e r a n d a c c u r a c y b y v a l u e s o f n2.

PAGE 154

1 4 5 0 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2S c o r eT i m eC l a s s 1 C l a s s 2 N e g a t i v e C o r r e l a t i o n B e t w e e n I n t e r c e p t s a n d S l o p e s 0 2 0 4 0 6 0 8 0 1 0 0 1 2 0 1 4 0 1 6 0 0 1 2 3 4 5 6 7 8 9 1 0 1 1 1 2S c o r e T i m e C l a s s 1 C l a s s 2P o s i t i v e C o r r e l a t i o n B e t w e e n I n t e r c e p t s a n d S l o p e s F i g u r e 1 4 G r o w t h t r a j e c t o r i e s f o r n e g a t i v e a n d p o s i t i v e c o r r e l a t i o n s b e t w e e n i n t e r c e p t s a n d s l o p e s ( w i t h i n C l a s s 2 )

PAGE 155

A b o u t t h e A u t h o r E r i c B r o w n r e c e i v e d d u a l B a c c a l a u r e a t e d e g r e e s i n E c o n o m i c s a n d I n t e r n a t i o n a l S t u d i e s a n d a M a s t e r s d e g r e e i n E c o n o m i c s f r o m t h e U n i v e r s i t y o f S o u t h F l o r i d a W h i l e i n t h e M a s t e r s p r o g r a m h e w o r k e d a s a d a t a a n a l y s t a t t h e D e p a r t m e n t o f C h i l d a n d F a m i l y S t u d i e s L o u i s d e l a P a r t e F l o r i d a M e n t a l H e a l t h I n s t i t u t e U n i v e r s i t y o f S o u t h F l o r i d a e v e n t u a l l y a c c e p t i n g a p o s i t i o n a s a R e s e a r c h A s s i s t a n t P r o f e s s o r C u r r e n t l y D r B r o w n w o r k s a s a R e s e a r c h A s s o c i a t e a t t h e S o c i a l D e v e l o p m e n t R e s e a r c h G r o u p a t t h e U n i v e r s i t y o f W a s h i n g t o n i n S e a t t l e