USF Libraries
USF Digital Collections

Relationship between curriculum-based measurement reading and statewide achievement test mastery for third grade students

MISSING IMAGE

Material Information

Title:
Relationship between curriculum-based measurement reading and statewide achievement test mastery for third grade students
Physical Description:
Book
Language:
English
Creator:
Ax, Erin Elizabeth
Publisher:
University of South Florida
Place of Publication:
Tampa, Fla.
Publication Date:

Subjects

Subjects / Keywords:
progress monitoring
high-stakes accountability tests
reading assessment
Florida Comprehensive Assessment Test
oral reading fluency
Dissertations, Academic -- School Psychology -- Specialist -- USF   ( lcsh )
Genre:
government publication (state, provincial, terriorial, dependent)   ( marcgt )
bibliography   ( marcgt )
theses   ( marcgt )
non-fiction   ( marcgt )

Notes

Summary:
ABSTRACT: The ability to read is highly valued in American society and important for social and economic advancement. One of the best strategies to prevent reading difficulties is to build basic literacy skills, thereby ensuring that all children are readers early in their educational careers. The purpose of this study was to determine the relationship between third-grade students' oral reading rate and scores on the Florida Comprehensive Assessment Test. The present study examined the relationship between the independent variables of Curriculum-Based Measurement Reading (R-CBM), ethnicity and socioeconomic status and the dependent variable of performance on the reading portion of the Florida Comprehensive Assessment Test (FCAT) in 215 third-grade students. The data presented in this study were collected by the Florida Center for Reading Research (FCRR) as part of a larger assessment battery across three school districts and nine elementary schools in Florida.Student demographic variables as well as performance on three different types of oral reading probes (generic, content, and FCAT passages) were investigated in relation to each student's performance on the reading portion of the FCAT. Results of the current study were similar to investigations in other states; the correlations among the R-CBM probes and between all R-CBM probes and FCAT scores were high and statistically significant. These results indicate that student performance on any or all R-CBM probe types can be used to predict FCAT score. Ethnicity and SES were not significant predictors of FCAT score above R-CBM score. Implications for educators and specifically school psychologists are discussed including opportunities for school psychologists to train educational personnel in the use of R-CBM.As evidenced by the current study, R-CBM may help identify students who are at-risk for reading failure and FCAT failure so that intensive interventions can be implemented early and student progress frequently monitored.
Thesis:
Thesis (Ed.S.)--University of South Florida, 2004.
Bibliography:
Includes bibliographical references.
System Details:
System requirements: World Wide Web browser and PDF reader.
System Details:
Mode of access: World Wide Web.
Statement of Responsibility:
by Erin Elizabeth Ax.
General Note:
Title from PDF of title page.
General Note:
Document formatted into pages; contains 88 pages.

Record Information

Source Institution:
University of South Florida Library
Holding Location:
University of South Florida
Rights Management:
All applicable rights reserved by the source institution and holding location.
Resource Identifier:
aleph - 001498151
oclc - 57724097
notis - AJU6746
usfldc doi - E14-SFE0000568
usfldc handle - e14.568
System ID:
SFS0025259:00001


This item is only available as the following downloads:


Full Text
xml version 1.0 encoding UTF-8 standalone no
record xmlns http:www.loc.govMARC21slim xmlns:xsi http:www.w3.org2001XMLSchema-instance xsi:schemaLocation http:www.loc.govstandardsmarcxmlschemaMARC21slim.xsd
leader nam Ka
controlfield tag 001 001498151
003 fts
006 m||||e|||d||||||||
007 cr mnu|||uuuuu
008 041209s2004 flua sbm s000|0 eng d
datafield ind1 8 ind2 024
subfield code a E14-SFE0000568
035
(OCoLC)57724097
9
AJU6746
b SE
SFE0000568
040
FHM
c FHM
090
LB1051 (ONLINE)
1 100
Ax, Erin Elizabeth.
0 245
Relationship between curriculum-based measurement reading and statewide achievement test mastery for third grade students
h [electronic resource] /
by Erin Elizabeth Ax.
260
[Tampa, Fla.] :
University of South Florida,
2004.
502
Thesis (Ed.S.)--University of South Florida, 2004.
504
Includes bibliographical references.
516
Text (Electronic thesis) in PDF format.
538
System requirements: World Wide Web browser and PDF reader.
Mode of access: World Wide Web.
500
Title from PDF of title page.
Document formatted into pages; contains 88 pages.
520
ABSTRACT: The ability to read is highly valued in American society and important for social and economic advancement. One of the best strategies to prevent reading difficulties is to build basic literacy skills, thereby ensuring that all children are readers early in their educational careers. The purpose of this study was to determine the relationship between third-grade students' oral reading rate and scores on the Florida Comprehensive Assessment Test. The present study examined the relationship between the independent variables of Curriculum-Based Measurement Reading (R-CBM), ethnicity and socioeconomic status and the dependent variable of performance on the reading portion of the Florida Comprehensive Assessment Test (FCAT) in 215 third-grade students. The data presented in this study were collected by the Florida Center for Reading Research (FCRR) as part of a larger assessment battery across three school districts and nine elementary schools in Florida.Student demographic variables as well as performance on three different types of oral reading probes (generic, content, and FCAT passages) were investigated in relation to each student's performance on the reading portion of the FCAT. Results of the current study were similar to investigations in other states; the correlations among the R-CBM probes and between all R-CBM probes and FCAT scores were high and statistically significant. These results indicate that student performance on any or all R-CBM probe types can be used to predict FCAT score. Ethnicity and SES were not significant predictors of FCAT score above R-CBM score. Implications for educators and specifically school psychologists are discussed including opportunities for school psychologists to train educational personnel in the use of R-CBM.As evidenced by the current study, R-CBM may help identify students who are at-risk for reading failure and FCAT failure so that intensive interventions can be implemented early and student progress frequently monitored.
590
Adviser: Bradley-Klug, Kathy L.
653
progress monitoring.
high-stakes accountability tests.
reading assessment.
Florida Comprehensive Assessment Test.
oral reading fluency.
690
Dissertations, Academic
z USF
x School Psychology
Specialist.
773
t USF Electronic Theses and Dissertations.
4 856
u http://digital.lib.usf.edu/?e14.568



PAGE 1

R e l a t i o n s h i p B e t w e e n C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g a n d S t a t e w i d e A c h i e v e m e n t T e s t M a s t e r y f o r T h i r d G r a d e S t u d e n t s b y E r i n E l i z a b e t h A x A t h e s i s s u b m i t t e d i n p a r t i a l f u l f i l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f E d u c a t i o n S p e c i a l i s t D e p a r t m e n t o f P s y c h o l o g i c a l a n d S o c i a l F o u n d a t i o n s C o l l e g e o f E d u c a t i o n U n i v e r s i t y o f S o u t h F l o r i d a M a j o r P r o f e s s o r : K a t h y L B r a d l e y K l u g P h D K e l l y A P o w e l l S m i t h P h D L o u M C a r e y P h D D a t e o f A p p r o v a l : N o v e m b e r 4 2 0 0 4 K e y w o r d s : o r a l r e a d i n g f l u e n c y F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t R e a d i n g A s s e s s m e n t h i g h s t a k e s a c c o u n t a b i l i t y t e s t s p r o g r e s s m o n i t o r i n g C o p y r i g h t 2 0 0 4 E r i n A x

PAGE 2

i T a b l e o f C o n t e n t s L i s t o f T a b l e s i i i L i s t o f F i g u r e s i v A b s t r a c t v C h a p t e r O n e 1 P u r p o s e o f S t u d y 4 R e s e a r c h Q u e s t i o n s 4 H y p o t h e s e s 5 E d u c a t i o n a l S i g n i f i c a n c e 5 C h a p t e r T w o 7 I n t r o d u c t i o n 7 R e a d i n g 7 N o C h i l d L e f t B e h i n d A c t o f 2 0 0 1 9 F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t 1 1 C u r r i c u l u m B a s e d M e a s u r e m e n t 1 5 C r i t e r i o n V a l i d i t y 1 6 O r a l R e a d i n g F l u e n c y 1 9 R C B M a n d S t a t e w i d e T e s t s o f A c h i e v e m e n t 2 0 P u r p o s e o f t h e C u r r e n t S t u d y 3 2 C h a p t e r T h r e e 3 4 S e t t i n g 3 4 P a r t i c i p a n t s 3 6 I n s t r u m e n t s 3 7 M e a s u r e s o f O r a l R e a d i n g F l u e n c y 3 8 F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t 3 9

PAGE 3

i i P r o c e d u r e 3 9 D a t a C o l l e c t o r s 4 1 R C B M A d m i n i s t r a t i o n a n d S c o r i n g 4 3 F C A T A d m i n i s t r a t i o n a n d S c o r i n g 4 4 R e s e a r c h D e s i g n 4 5 S t a t i s t i c a l A n a l y s e s 4 5 M i s s i n g D a t a 4 6 C h a p t e r F o u r 4 7 D e s c r i p t i v e S t a t i s t i c s 4 7 C o r r e l a t i o n s 4 8 S c a t t e r p l o t s 4 9 A s s u m p t i o n s o f M u l t i p l e R e g r e s s i o n 5 3 A p r i o r i P o w e r A n a l y s i s 5 4 M u l t i p l e R e g r e s s i o n P r o c e d u r e s 5 5 C h a p t e r F i v e 5 8 R e s e a r c h Q u e s t i o n s 5 9 I m p l i c a t i o n s f o r E d u c a t i o n / E d u c a t o r s 6 4 I m p l i c a t i o n s f o r S c h o o l P s y c h o l o g i s t s 6 4 L i m i t a t i o n s 6 5 D i r e c t i o n s f o r F u t u r e R e s e a r c h 6 7 C o n c l u s i o n 6 8 R e f e r e n c e s 6 9 A p p e n d i c e s 7 6 A p p e n d i x A : T e s t S c o r e s b y E t h n i c i t y a n d S E S 7 7 A p p e n d i x B : S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n F C A T R C B M S c o r e a n d F C A T S S S 7 9 A p p e n d i x C : S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n C o n t e n t R C B M S c o r e a n d F C A T S S S 8 0 A p p e n d i x D : S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n F C A T R C B M S c o r e a n d F C A T N R T 8 1

PAGE 4

i i i L i s t o f T a b l e s T a b l e 1 S t a t e b y S t a t e A n a l y s i s o f O R F / S t a t e w i d e A c h i e v e m e n t T e s t S t u d i e s 2 2 T a b l e 2 E t h n i c G r o u p M e m b e r s h i p o f S a m p l e 3 7 T a b l e 3 S o c i o e c o n o m i c S t a t u s o f S a m p l e 3 7 T a b l e 4 S p a c h e R e a d a b i l i t y I n d i c e s b y G r a d e 3 8 T a b l e 5 F C A T L e v e l s o f M a s t e r y a n d C o r r e s p o n d i n g S t a n d a r d S c o r e s f o r T h i r d G r a d e 4 4 T a b l e 6 D e s c r i p t i v e I n f o r m a t i o n o f S t u d y I n s t r u m e n t s 4 8 T a b l e 7 C o r r e l a t i o n M a t r i x f o r R C B M P r o b e S c o r e s a n d F C A T S S S a n d F C A T N R T 4 9 T a b l e 8 P r e d i c t i n g F C A T S S S R e a d i n g S c o r e f r o m G e n e r i c R C B M S c o r e 5 1 T a b l e 9 S u m m a r y o f M u l t i p l e R e g r e s s i o n A n a l y s i s f o r P r e d i c t o r s o f F C A T S S S 5 6 T a b l e 1 0 S u m m a r y o f M u l t i p l e R e g r e s s i o n A n a l y s i s f o r P r e d i c t o r s o f F C A T N R T 5 7

PAGE 5

i v L i s t o f F i g u r e s F i g u r e 1 S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n G e n e r i c R C B M P r o b e S c o r e a n d F C A T S S S 5 1 F i g u r e 2 S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n G e n e r i c R C B M P r o b e S c o r e a n d F C A T N R T 5 2 F i g u r e 3 S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n C o n t e n t R C B M P r o b e S c o r e a n d F C A T N R T 5 3

PAGE 6

v R e l a t i o n s h i p B e t w e e n C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g a n d S t a t e w i d e A c h i e v e m e n t T e s t M a s t e r y f o r T h i r d G r a d e S t u d e n t s E r i n E l i z a b e t h A x A B S T R A C T T h e a b i l i t y t o r e a d i s h i g h l y v a l u e d i n A m e r i c a n s o c i e t y a n d i m p o r t a n t f o r s o c i a l a n d e c o n o m i c a d v a n c e m e n t O n e o f t h e b e s t s t r a t e g i e s t o p r e v e n t r e a d i n g d i f f i c u l t i e s i s t o b u i l d b a s i c l i t e r a c y s k i l l s t h e r e b y e n s u r i n g t h a t a l l c h i l d r e n a r e r e a d e r s e a r l y i n t h e i r e d u c a t i o n a l c a r e e r s T h e p u r p o s e o f t h i s s t u d y w a s t o d e t e r m i n e t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g r a t e a n d s c o r e s o n t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t T h e p r e s e n t s t u d y e x a m i n e d t h e r e l a t i o n s h i p b e t w e e n t h e i n d e p e n d e n t v a r i a b l e s o f C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g ( R C B M ) e t h n i c i t y a n d s o c i o e c o n o m i c s t a t u s a n d t h e d e p e n d e n t v a r i a b l e o f p e r f o r m a n c e o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) i n 2 1 5 t h i r d g r a d e s t u d e n t s T h e d a t a p r e s e n t e d i n t h i s s t u d y w e r e c o l l e c t e d b y t h e F l o r i d a C e n t e r f o r R e a d i n g R e s e a r c h ( F C R R ) a s p a r t o f a l a r g e r a s s e s s m e n t b a t t e r y a c r o s s t h r e e s c h o o l d i s t r i c t s a n d n i n e e l e m e n t a r y s c h o o l s i n F l o r i d a S t u d e n t d e m o g r a p h i c v a r i a b l e s a s w e l l a s p e r f o r m a n c e o n t h r e e d i f f e r e n t t y p e s

PAGE 7

v i o f o r a l r e a d i n g p r o b e s ( g e n e r i c c o n t e n t a n d F C A T p a s s a g e s ) w e r e i n v e s t i g a t e d i n r e l a t i o n t o e a c h s t u d e n t ’ s p e r f o r m a n c e o n t h e r e a d i n g p o r t i o n o f t h e F C A T R e s u l t s o f t h e c u r r e n t s t u d y w e r e s i m i l a r t o i n v e s t i g a t i o n s i n o t h e r s t a t e s ; t h e c o r r e l a t i o n s a m o n g t h e R C B M p r o b e s a n d b e t w e e n a l l R C B M p r o b e s a n d F C A T s c o r e s w e r e h i g h a n d s t a t i s t i c a l l y s i g n i f i c a n t T h e s e r e s u l t s i n d i c a t e t h a t s t u d e n t p e r f o r m a n c e o n a n y o r a l l R C B M p r o b e t y p e s c a n b e u s e d t o p r e d i c t F C A T s c o r e E t h n i c i t y a n d S E S w e r e n o t s i g n i f i c a n t p r e d i c t o r s o f F C A T s c o r e a b o v e R C B M s c o r e I m p l i c a t i o n s f o r e d u c a t o r s a n d s p e c i f i c a l l y s c h o o l p s y c h o l o g i s t s a r e d i s c u s s e d i n c l u d i n g o p p o r t u n i t i e s f o r s c h o o l p s y c h o l o g i s t s t o t r a i n e d u c a t i o n a l p e r s o n n e l i n t h e u s e o f R C B M A s e v i d e n c e d b y t h e c u r r e n t s t u d y R C B M m a y h e l p i d e n t i f y s t u d e n t s w h o a r e a t r i s k f o r r e a d i n g f a i l u r e a n d F C A T f a i l u r e s o t h a t i n t e n s i v e i n t e r v e n t i o n s c a n b e i m p l e m e n t e d e a r l y a n d s t u d e n t p r o g r e s s f r e q u e n t l y m o n i t o r e d

PAGE 8

1 C h a p t e r 1 I n t r o d u c t i o n T h e a b i l i t y t o r e a d i s h i g h l y c o r r e l a t e d t o s o c i a l a n d e c o n o m i c a d v a n c e m e n t a n d t h u s f a i l u r e t o d e v e l o p f u n d a m e n t a l r e a d i n g s k i l l s i s d e t r i m e n t a l t o a c h i l d ’ s l i k e l i h o o d o f f u t u r e s u c c e s s i n l i f e C o n c e r n e x i s t s r e g a r d i n g t h e c a p a b i l i t i e s o f A m e r i c a n p u b l i c s c h o o l c h i l d r e n t o c o m p e t e i n t h e g l o b a l m a r k e t o f t h e t w e n t y f i r s t c e n t u r y ( N a t i o n a l R e s e a r c h C o u n c i l 1 9 9 8 ) a n d s c h o o l s a r e b e i n g c a l l e d u p o n t o r e s p o n d t o i n c r e a s e d e x p e c t a t i o n s O n e o f t h e b e s t s t r a t e g i e s t o a d d r e s s t h i s c o n c e r n i s t o p r e v e n t r e a d i n g d i f f i c u l t i e s b y b u i l d i n g b a s i c l i t e r a c y s k i l l s t h e r e b y e n s u r i n g t h a t a l l c h i l d r e n a r e s u c c e s s f u l r e a d e r s e a r l y i n t h e i r e d u c a t i o n a l c a r e e r s O v e r t h e p a s t t w o d e c a d e s s e n s i n g a d i s c r e p a n c y b e t w e e n w h a t w a s e x p e c t e d a n d w h a t w a s t a u g h t i n o u r s c h o o l s l e g i s l a t o r s i m p l e m e n t e d a s s e s s m e n t p r o g r a m s t o e n s u r e r e s u l t s S t a n d a r d s b a s e d r e f o r m a c c o u n t a b i l i t y a n d h i g h s t a k e s a s s e s s m e n t e n t e r e d t h e v o c a b u l a r y o f A m e r i c a ’ s e d u c a t o r s p a s s e d d o w n f r o m t h e i r g o v e r n o r s ( L i n n 2 0 0 0 ; T h u r l o w & T h o m p s o n 1 9 9 9 ) W i t h t h e i m p l e m e n t a t i o n o f t h e N o C h i l d L e f t B e h i n d ( N C L B ) A c t i n 2 0 0 3 A m e r i c a ’ s s c h o o l s e n t e r e d t h e m o s t s t r i n g e n t p e r i o d o f a c c o u n t a b i l i t y a s s e s s m e n t t o d a t e ( U S D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 )

PAGE 9

2 A c c o r d i n g t o N C L B s t a t e w i d e t e s t i n g i s m a n d a t o r y i n o r d e r t o a s s e s s w h e t h e r o r n o t t h e s t a t e ’ s p u b l i c s c h o o l c h i l d r e n a r e m e e t i n g a d e q u a t e y e a r l y p r o g r e s s I n F l o r i d a t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) a s s e s s e s s t u d e n t p e r f o r m a n c e o n t h e S u n s h i n e S t a t e S t a n d a r d s ( S S S ) w h i c h i s t h e s t a t e m a n d a t e d l e v e l o f a c h i e v e m e n t e a c h s t u d e n t m u s t m a s t e r t o b e p r o m o t e d t o t h e n e x t g r a d e ( F C A T B r i e f i n g B o o k 2 0 0 1 ) S t u d e n t s f i r s t t a k e t h e F C A T i n t h i r d g r a d e t o m e a s u r e b a s i c r e a d i n g s k i l l s I n t h e a s s e s s m e n t s y s t e m d e s c r i b e d b y t h e h i g h s t a k e s a c c o u n t a b i l i t y m o v e m e n t r e s u l t s s h o u l d b e i n s t r u c t i o n a l l y r e l e v a n t a n d c a p a b l e o f f o r e c a s t i n g e d u c a t i o n a l c h a n g e a n d s t u d e n t l e a r n i n g ( G o o d S i m m o n s & K a m e ’ e n u i 2 0 0 1 ) H o w e v e r h i g h s t a k e s o u t c o m e t e s t s l i k e t h e F C A T f a i l t o p r o v i d e t e a c h e r s w i t h d a t a r e g a r d i n g o n g o i n g p r o g r e s s t o w a r d e d u c a t i o n a l g o a l s d a t a t i e d t o s p e c i f i c i n s t r u c t i o n a l g o a l s a n d d a t a u s e f u l f o r d e v e l o p i n g i n s t r u c t i o n a l l y r e l e v a n t i n t e r v e n t i o n s ( C r a w f o r d T i n d a l & S t i e b e r 2 0 0 1 ) I n a d d i t i o n c o m m e r c i a l l y d e v e l o p e d n o r m r e f e r e n c e d a c h i e v e m e n t t e s t s s u c h a s t h e F C A T a r e n o t b a s e d i n t h e c u r r i c u l u m a n d l a c k c u r r i c u l a r a n d i n s t r u c t i o n a l v a l i d i t y ( G o o d & S a l v i a 1 9 8 8 ; J e n k i n s & P a n y 1 9 7 8 ) T h u s t h o u g h m o s t s t a t e s ’ p r i m a r y t o o l t o e v a l u a t e s t u d e n t s ’ k n o w l e d g e a n d u n d e r s t a n d i n g o f c o n t e n t i s s o m e f o r m o f p u b l i s h e d o r c o m m e r c i a l l y a v a i l a b l e s t a n d a r d i z e d a c h i e v e m e n t t e s t m a n y e d u c a t o r s h a v e q u e s t i o n e d w h e t h e r t h e s e a r e t h e m o s t a p p r o p r i a t e a s s e s s m e n t t o o l s t o c a t c h s t u d e n t s b e f o r e t h e y a r e l e f t b e h i n d D u e t o t h e l i m i t a t i o n s o f h i g h s t a k e s a c c o u n t a b i l i t y t e s t s a n e e d e x i s t s f o r a d d i t i o n a l m e a s u r e s s e n s i t i v e t o t h e c u r r i c u l u m o r i n s t r u c t i o n a l o u t c o m e s a n d u s e f u l f o r o n g o i n g m o n i t o r i n g t o m e a s u r e s t u d e n t s ’ p r o g r e s s o v e r t i m e C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g ( R C B M ) f i t s t h i s c r i t e r i o n C u r r i c u l u m B a s e d M e a s u r e m e n t

PAGE 10

3 R e a d i n g i n v o l v e s s t a n d a r d i z e d p r o c e d u r e s t o d i r e c t l y m o n i t o r s t u d e n t s ’ p r o g r e s s o v e r t i m e ( D e n o 1 9 8 5 ) T h e s e p r o c e d u r e s a r e s h o r t i n d u r a t i o n h a v e e s t a b l i s h e d r e l i a b i l i t y a n d v a l i d i t y a n d a r e e a s y t o a d m i n i s t e r a n d s c o r e ( D e n o 1 9 8 5 ; D e n o M i r k i n & C h a i n g 1 9 8 2 ; F u c h s F u c h s H o s p & J e n k i n s 2 0 0 1 ; F u c h s F u c h s & M a x w e l l 1 9 8 8 ) M a n y t e a c h e r s a n d p r o f e s s i o n a l s h a v e u s e d R C B M t o d o c u m e n t s t u d e n t s ’ o r a l r e a d i n g f l u e n c y ( O R F ) r a t e t o i n f o r m e d u c a t i o n a l d e c i s i o n s i n c l u d i n g p r o g r e s s m o n i t o r i n g p r e r e f e r r a l d e c i s i o n s a n d c l a s s i f i c a t i o n d e c i s i o n s a n d a r e c u r r e n t l y e s t a b l i s h i n g a r a n g e o f r e a d i n g f l u e n c y s c o r e s t h a t w i l l p r e d i c t s t u d e n t s ’ s c o r e s o n s t a t e w i d e a c h i e v e m e n t t e s t s ( C r a w f o r d e t a l 2 0 0 1 ; D e n o 1 9 8 5 ; F u c h s F u c h s & M a x w e l l 1 9 8 8 ; G o o d e t a l 2 0 0 1 ) A t o o l s u c h a s R C B M w h i c h c a n h e l p t o p r e d i c t p e r f o r m a n c e o n h i g h s t a t e s t e s t s c a n a l s o a l l o w f o r i n t e r v e n t i o n p r i o r t o s t u d e n t s ’ f a i l i n g a c c o u n t a b i l i t y t e s t s S c h o o l s c a n u s e t h i s t o o l t o m o n i t o r s t u d e n t ’ s p r o g r e s s t o w a r d l o n g r a n g e g o a l s I n F l o r i d a f o r e x a m p l e t h i r d g r a d e s t u d e n t s w h o f a i l e d t h e r e a d i n g p o r t i o n o f t h e F C A T w e r e r e t a i n e d a n d r e p e a t e d t h i r d g r a d e I n t o t a l 2 8 0 2 8 t h i r d g r a d e r s w e r e r e t a i n e d i n 2 0 0 3 b e c a u s e t h e y r e c e i v e d a s c o r e o f 1 o n t h e F C A T ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 4 ) T h e s e s t u d e n t s ’ r e a d i n g d i f f i c u l t i e s c o u l d h a v e b e e n d e t e r m i n e d b y m e a s u r e s o f O R F a s e a r l y a s f i r s t g r a d e a n d i n t e n s i v e i n t e r v e n t i o n s c o u l d h a v e b e e n p u t i n t o p l a c e T h e s e e a r l y i n t e r v e n t i o n s t r a t e g i e s m a y h a v e p r e v e n t e d a m a j o r i t y o f t h e s e s t u d e n t s f r o m b e i n g r e t a i n e d T h r o u g h a s e r i e s o f i n v e s t i g a t i o n s R C B M w a s f o u n d t o b e r e l a t e d t o s c o r e s o n s t a t e w i d e a c h i e v e m e n t t e s t s a c r o s s t h e c o u n t r y ( B a r g e r 2 0 0 3 ; B u c k & T o r g e s o n 2 0 0 3 ; C a s t i l l o T o r g e s o n P o w e l l S m i t h & A l O t a i b a 2 0 0 3 ; C r a w f o r d T i n d a l & S t e i b e r 2 0 0 1 ; G o o d e t a l 2 0 0 1 ; L i n n e r 2 0 0 1 ; M c G l i n c h e y & H i x o n 2 0 0 4 ; S h a w & S h a w 2 0 0 2 ;

PAGE 11

4 S i b l e y B i w e r & H e s c h 2 0 0 1 ; S h a p i r o E d w a r d s L u t z & K e l l e r 2 0 0 4 ; S t a g e & J a c o b s o n 2 0 0 1 ) C o n s i s t e n t l y t h r o u g h o u t a l l r e g i o n s o f t h e c o u n t r y R C B M w a s h i g h l y c o r r e l a t e d w i t h s c o r e s o n s t a t e w i d e a c h i e v e m e n t t e s t s i n c l u d i n g a s t a t i s t i c a l l y s i g n i f i c a n t c o r r e l a t i o n b e t w e e n R C B M a n d s c o r e s o n t h e F C A T T h e s e r e s u l t s a r e e n c o u r a g i n g c o n s i d e r i n g t h a t a s s e s s m e n t s i n t h e i r c u r r e n t f o r m f a i l t o f o r e c a s t a t t a i n m e n t o f h i g h s t a k e s o u t c o m e s e a r l y e n o u g h t o i n f o r m i n s t r u c t i o n a n d a l t e r l e a r n i n g t r a j e c t o r i e s H o w e v e r a d d i t i o n a l r e s e a r c h i s n e e d e d t h a t i n c l u d e s a m o r e r e p r e s e n t a t i v e s a m p l e o f s t u d e n t s f r o m F l o r i d a t o g e n e r a l i z e t h e s e r e s u l t s i n o r d e r t o c o n c l u d e t h a t o r a l r e a d i n g f l u e n c y c a n b e u s e d t o p r e d i c t F C A T s c o r e P u r p o s e o f t h e S t u d y T h e p u r p o s e o f t h e c u r r e n t s t u d y w a s t o d e t e r m i n e t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g r a t e ( R C B M ) a n d s c o r e s o n t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t R e s e a r c h Q u e s t i o n s T h e f o l l o w i n g r e s e a r c h q u e s t i o n s w i l l b e a d d r e s s e d : 1 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s o r a l r e a d i n g r a t e a n d p e r f o r m a n c e o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? 2 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g r a t e o n t h r e e d i f f e r e n t p a s s a g e t y p e s ( F C A T p a s s a g e s c u r r i c u l u m p a s s a g e s c o n t e n t p a s s a g e s ) a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? 3 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ e t h n i c i t y o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ?

PAGE 12

5 4 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ s o c i o e c o n o m i c s t a t u s o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? H y p o t h e s e s 1 I t i s h y p o t h e s i z e d t h a t a s t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g r a t e i n c r e a s e s p e r f o r m a n c e o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t w i l l i n c r e a s e M o r e s p e c i f i c a l l y i t i s h y p o t h e s i z e d t h a t t h i r d g r a d e s t u d e n t s ’ w h o a r e n o t a t r i s k a s d e f i n e d b y l e v e l s o f o r a l r e a d i n g f l u e n c y m a s t e r y w i l l p a s s t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t 2 I t i s h y p o t h e s i z e d t h a t t h i r d g r a d e s t u d e n t s ’ w i l l s c o r e s i m i l a r l y o n t h r e e d i f f e r e n t p a s s a g e t y p e s ( F C A T p a s s a g e s c u r r i c u l u m p a s s a g e s c o n t e n t p a s s a g e s ) M o r e s p e c i f i c a l l y s t u d e n t s w h o m a s t e r b a s i c e a r l y l i t e r a c y s k i l l s w i l l s c o r e a t s i m i l a r l e v e l s o f m a s t e r y r e g a r d l e s s o f p a s s a g e t y p e 3 I t i s h y p o t h e s i z e d t h a t t h e r e i s n o r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t ’ s e t h n i c i t y o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t 4 I t i s h y p o t h e s i z e d t h a t t h e r e i s n o r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ s o c i o e c o n o m i c s t a t u s o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t E d u c a t i o n a l S i g n i f i c a n c e T h e r e s u l t s o f t h i s s t u d y s h o u l d h e l p i n f o r m t e a c h e r s s c h o o l p s y c h o l o g i s t s a n d s c h o o l p e r s o n n e l a t t h e b u i l d i n g a n d s t a t e l e v e l o f t h e m a n n e r i n w h i c h t o b e s t a s s e s s s t u d e n t a c h i e v e m e n t a n d p r e v e n t p o o r a c a d e m i c o u t c o m e s i n t h e b r o a d s e n s e a n d p r e v e n t

PAGE 13

6 f a i l u r e o n t h e F C A T s p e c i f i c a l l y T h e m e a s u r e s m u s t b e r e l i a b l e p r e v e n t i o n o r i e n t e d a n d d y n a m i c U n d o u b t e d l y s t u d e n t s w h o a r e a t r i s k o f f a i l u r e o n s t a t e w i d e a c h i e v e m e n t t e s t s s h o u l d b e i d e n t i f i e d e a r l y i n t h e i r e d u c a t i o n a l c a r e e r s a n d p r o v i d e d w i t h i n t e n s i v e i n s t r u c t i o n a n d i n t e r v e n t i o n s C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g m a y b e a c r i t i c a l t o o l t h a t c a n i d e n t i f y s t u d e n t s w h o m a y f a i l t h e F C A T a n d p r e v e n t t h e s e s t u d e n t s f r o m p o t e n t i a l l y d e l e t e r i o u s e d u c a t i o n a l c o n s e q u e n c e s s u c h a s r e t e n t i o n

PAGE 14

7 C h a p t e r 2 L i t e r a t u r e R e v i e w I n t r o d u c t i o n T h i s c h a p t e r p r e s e n t s a r e v i e w o f t h e l i t e r a t u r e o n t h e r e l a t i o n s h i p b e t w e e n a b r i e f a c a d e m i c a s s e s s m e n t m e a s u r e a n d s t a n d a r d i z e d a c c o u n t a b i l i t y t e s t s F i r s t t h e r e v i e w w i l l f o c u s o n c u r r e n t f e d e r a l a n d s t a t e l e g i s l a t i o n S e c o n d C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g ( R C B M ) p s y c h o m e t r i c p r o p e r t i e s o f R C B M a n d o r a l r e a d i n g f l u e n c y a s a m e a s u r e o f R C B M w i l l b e d i s c u s s e d T h i r d s t a t e w i d e a c h i e v e m e n t t e s t s a n d t h e i r r e l a t i o n s h i p t o R C B M f o l l o w T h e c h a p t e r c o m m e n c e s w i t h a d i s c u s s i o n o f t h e p u r p o s e o f t h e c u r r e n t s t u d y R e a d i n g R e a d i n g i s a s u r v i v a l s k i l l n e c e s s a r y f o r s u c c e s s i n t o d a y ’ s s o c i e t y a n d y e t m a n y c h i l d r e n h a v e d i f f i c u l t y a c q u i r i n g t h i s s u r v i v a l s k i l l I t i s n o t a n i n n a t e s k i l l ; r e a d i n g i s t a u g h t a n d l e a r n e d r e q u i r i n g b o t h d i r e c t i n s t r u c t i o n a n d p r a c t i c e L e a r n i n g t o r e a d i s a l e n g t h y a n d c o m p l e x p r o c e s s t h a t r e q u i r e s t h e f u s i n g o f e x p o s u r e t o w r i t t e n m a t e r i a l s a n d r e a d i n g p r a c t i c e t h r o u g h c o n n e c t i o n s ( L y o n 1 9 9 0 ) L a r g e n u m b e r s o f c h i l d r e n f r o m a l l s o c i a l c l a s s e s h a v e a l w a y s h a d d i f f i c u l t y l e a r n i n g t o r e a d ( N a t i o n a l R e s e a r c h C o u n c i l

PAGE 15

8 1 9 9 8 ) F o r e x a m p l e a s m a n y a s o n e i n f i v e c h i l d r e n e x p e r i e n c e d i f f i c u l t l y l e a r n i n g t o r e a d ( L y o n 1 9 9 9 ) R e s e a r c h o n r e a d i n g c o n t i n u e s t o c o n c l u d e t h a t s t u d e n t s w i t h p o o r r e a d i n g s k i l l s e a r l y o f t e n h a v e p o o r r e a d i n g s k i l l s l a t e r ( J u e l 1 9 8 8 ) S t a n o v i c h ( 1 9 8 6 ) d e s c r i b e d a s p i n o f f e f f e c t i n w h i c h p r o b l e m s i n t h e e a r l y s t a g e s o f l e a r n i n g t o r e a d n e g a t i v e l y i m p a c t o t h e r r e a d i n g p r o c e s s e s H e t e r m e d t h i s t h e M a t t h e w E f f e c t a f t e r t h e b i b l i c a l p a s s a g e M a t t h e w 2 5 : 2 9 w h i c h s t a t e s “ T o e v e r y o n e w h o h a s w i l l b e g i v e n m o r e a n d t h e y w i l l h a v e m o r e t h a n e n o u g h ; b u t f r o m t h o s e w h o h a v e n o t e v e n w h a t t h e y h a v e w i l l b e t a k e n a w a y ” H i s s u g g e s t i o n i s t h a t c h i l d r e n w h o h a v e a d i f f i c u l t s t a r t w i l l l a g f u r t h e r a n d f u r t h e r b e h i n d i n a l l a s p e c t s o f r e a d i n g A c c o r d i n g t o t h e N a t i o n a l I n s t i t u t e f o r L i t e r a c y ( N I F L ) m a n y a d u l t s i n t h e U n i t e d S t a t e s l a c k a s u f f i c i e n t f o u n d a t i o n o f b a s i c r e a d i n g s k i l l s t o f u n c t i o n s u c c e s s f u l l y i n s o c i e t y B e t w e e n 4 6 % a n d 5 1 % o f a d u l t s h a v e l o w l i t e r a c y s k i l l s a n d l a c k t h e f o u n d a t i o n t h e y n e e d t o f i n d a n d k e e p d e c e n t j o b s a n d a c t i v e l y p a r t i c i p a t e i n c i v i c l i f e ( N a t i o n a l I n s t i t u t e f o r L i t e r a c y 2 0 0 4 ) T o d a y ’ s c o m p e t i t i v e e c o n o m y r e q u i r e s i n c r e a s e d l e v e l s o f l i t e r a c y t h a n h a v e b e e n n e c e s s a r y i n t h e p a s t S a d l y n a t i v e b o r n a d u l t s i n t h e U n i t e d S t a t e s r a n k e d 1 0 t h o u t o f 1 7 h i g h i n c o m e c o u n t r i e s f o r a v e r a g e l i t e r a c y s c o r e ( N a t i o n a l I n s t i t u t e f o r L i t e r a c y 2 0 0 4 ) N a t i o n a l l y s c o r e s o f f o u r t h g r a d e r s o n T h e N a t i o n ’ s R e p o r t C a r d ( 2 0 0 0 ) h a v e r e m a i n e d s t a b l e f r o m 1 9 9 2 t h r o u g h 2 0 0 0 S i x t y t h r e e p e r c e n t o f f o u r t h g r a d e r s w e r e c o n s i d e r e d a t o r a b o v e a b a s i c r e a d i n g l e v e l w i t h o n l y 3 2 % a t o r a b o v e p r o f i c i e n c y ( D o n a h u e F i n n e g a n & L u t k u s 2 0 0 1 )

PAGE 16

9 I n o r d e r t o m e e t t h e d e m a n d s o f a n i n c r e a s i n g l y e d u c a t e d s o c i e t y m a n y p o l i c y m a k e r s h a v e r e c o m m e n d e d a 1 0 0 % l i t e r a c y r a t e ( I m p r o v i n g A m e r i c a ’ s S c h o o l ’ s A c t o f 1 9 9 4 G o a l s 2 0 0 0 N o C h i l d L e f t B e h i n d A c t o f 2 0 0 1 ) P o l i c y m a k e r s d e s i r e t o e n s u r e t h a t s t u d e n t s a r e r e c e i v i n g t h e l i t e r a c y e d u c a t i o n t h e y n e e d b u t t h e y a r e r e m o v e d f r o m d i r e c t o b s e r v a t i o n a n d i n s t r u c t i o n i n t h e c l a s s r o o m A s a r e s u l t l a r g e s c a l e a s s e s s m e n t h a s b e c o m e t h e s t a n d a r d f o r p o l i c y m a k e r s t o m e a s u r e p r o g r e s s ( L i n n 2 0 0 0 ) A s s e s s m e n t a n d a c c o u n t a b i l i t y h a v e h i s t o r i c a l l y a p p e a l e d t o p o l i c y m a k e r s a s a g e n t s o f r e f o r m f o r a n u m b e r o f r e a s o n s ( L i n n 2 0 0 0 ) F i r s t a s s e s s m e n t s a r e r e l a t i v e l y i n e x p e n s i v e r e l a t i v e t o p r o g r a m m a t i c o r i n s t r u c t i o n a l c h a n g e s u c h a s i n c r e a s i n g i n s t r u c t i o n a l t i m e r e d u c i n g c l a s s s i z e h i r i n g m o r e a i d e s o r a d d i t i o n a l p r o f e s s i o n a l d e v e l o p m e n t f o r t e a c h e r s S e c o n d a s s e s s m e n t c a n b e e x t e r n a l l y m a n d a t e d w h i c h m a y b e e a s i e r t h a n c h a n g i n g w h a t h a p p e n s i n s i d e t h e c l a s s r o o m T h i r d t e s t i n g c a n b e r a p i d l y i m p l e m e n t e d p a r t i c u l a r l y w i t h i n t h e t e r m o f t h e e l e c t e d o f f i c i a l F o u r t h r e s u l t s o f a s s e s s m e n t s a r e v i s i b l e i n t h a t t h e y c a n b e r e p o r t e d t o t h e p r e s s A n i n c r e a s e i n s c o r e s o v e r t h e f i r s t f e w y e a r s i n e v i t a b l y r e s u l t s f r o m a l a r g e s c a l e s y s t e m o f a s s e s s m e n t ( L i n n 2 0 0 0 ) T h e a p p e a l o f a s s e s s m e n t a n d a c c o u n t a b i l i t y a s t h e s o l e m e a s u r e o f r e a d i n g a c h i e v e m e n t c o n t i n u e s t o d a y w i t h t h e p o l i c y o f t h e c u r r e n t p r e s i d e n t i a l a d m i n i s t r a t i o n t h e N o C h i l d L e f t B e h i n d A c t ( 2 0 0 1 ) N o C h i l d L e f t B e h i n d A c t o f 2 0 0 1 A B u s h A d m i n i s t r a t i o n p r e s c r i b e d o v e r h a u l o f t h e e d u c a t i o n a l s y s t e m w a s r a t i f i e d J a n u a r y 8 2 0 0 2 w h e n t h e P r e s i d e n t s i g n e d t h e N o C h i l d L e f t B e h i n d A c t ( N C L B ) o f 2 0 0 1 i n t o l a w N o C h i l d L e f t B e h i n d c o n s t i t u t e d t h e m o s t s w e e p i n g r e a u t h o r i z a t i o n o f t h e E l e m e n t a r y a n d S e c o n d a r y E d u c a t i o n A c t o f 1 9 6 5 d e f i n i n g t h e f e d e r a l g o v e r n m e n t ’ s r o l e

PAGE 17

1 0 i n e d u c a t i o n ( U S D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) N o C h i l d L e f t B e h i n d i s a n a c t “ t o c l o s e t h e a c h i e v e m e n t g a p w i t h a c c o u n t a b i l i t y f l e x i b i l i t y a n d c h o i c e s o t h a t n o c h i l d i s l e f t b e h i n d ” ( P L 1 0 7 1 1 0 2 0 0 2 ) A c c o r d i n g t o N C L B r h e t o r i c t h e r e a r e f o u r p i l l a r s o f t h e s y s t e m : a c c o u n t a b i l i t y f o r r e s u l t s e m p h a s i s o n d o i n g w h a t w o r k s b a s e d o n s c i e n t i f i c r e s e a r c h e x p a n d e d p a r e n t a l o p t i o n s a n d e x p a n d e d l o c a l c o n t r o l a n d f l e x i b i l i t y ( U S D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) N o C h i l d L e f t B e h i n d r e q u i r e s e a c h s t a t e t o m e a s u r e e v e r y p u b l i c s c h o o l s t u d e n t ’ s a n n u a l p r o g r e s s i n r e a d i n g a n d m a t h i n g r a d e s t h r e e t h r o u g h e i g h t a n d a t l e a s t o n e t i m e d u r i n g t e n t h t h r o u g h t w e l f t h g r a d e s T h o s e m e a s u r e m e n t s m u s t b e a l i g n e d w i t h s t a t e a c a d e m i c c o n t e n t a n d a c h i e v e m e n t s t a n d a r d s ( U S D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) T h e h a l l m a r k o f N C L B i s a c c o u n t a b i l i t y U n d e r t h e l a w e a c h s t a t e i s r e s p o n s i b l e f o r c r e a t i n g t h e i r o w n s t a n d a r d s f o r w h a t a c h i l d s h o u l d k n o w a n d l e a r n f o r e v e r y g r a d e E a c h s t a t e s c h o o l d i s t r i c t a n d s c h o o l i s e x p e c t e d t o m a k e a d e q u a t e y e a r l y p r o g r e s s ( A Y P ) t o w a r d m e e t i n g s t a t e s t a n d a r d s Y e a r l y p r o g r e s s i s m e a s u r e d f o r a l l s t u d e n t s r e g a r d l e s s o f s o c i o e c o n o m i c s t a t u s r a c e a n d l a n g u a g e f a c t o r s L o c a l l y a n d n a t i o n a l l y s c h o o l a n d d i s t r i c t p e r f o r m a n c e i s p u b l i c l y r e p o r t e d a n d i f a d i s t r i c t o r a s c h o o l f a i l s t o m a k e p r o g r e s s t h e y w i l l b e h e l d “ a c c o u n t a b l e ” ( U S D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) I n h e r e n t i n a c c o u n t a b i l i t y i s y e a r l y p r o g r e s s m o n i t o r i n g S t a t e w i d e t e s t s o f a c h i e v e m e n t a r e r e q u i r e d t o m o n i t o r e a c h s t u d e n t ’ s p r o g r e s s E a c h s t a t e m u s t t o d e f i n e A Y P f o r e a c h d i s t r i c t a n d i n d i v i d u a l s c h o o l s w i t h i n t h e p a r a m e t e r s s e t b y T i t l e I ( U S D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) I n F l o r i d a t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) m e a s u r e s s t u d e n t a c h i e v e m e n t o n t h e S u n s h i n e S t a t e S t a n d a r d s ( S S S ) w h i c h a r e g r a d e l e v e l s t a n d a r d s o f a c h i e v e m e n t t h a t s t u d e n t s a r e e x p e c t e d t o m e e t f o r g r a d e

PAGE 18

1 1 p r o m o t i o n ( F l o r i d a D e p a r t m e n t i f E d u c a t i o n 2 0 0 3 ) T h e r e s u l t s o f t h e F C A T f o r m t h e b a s i s o f F l o r i d a ’ s s y s t e m o f s c h o o l i m p r o v e m e n t a n d a c c o u n t a b i l i t y F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t T h e F C A T i s p a r t o f F l o r i d a ’ s p l a n t o i n c r e a s e s t u d e n t a c h i e v e m e n t b y i m p l e m e n t i n g h i g h e r s t a n d a r d s f o r p u b l i c s c h o o l s t u d e n t s A s s u c h t h e r e a r e t w o c o m p o n e n t s t o t h e t e s t T h e f i r s t c o m p o n e n t i s a c r i t e r i o n r e f e r e n c e d t e s t ( C R T ) w h e r e s c o r e s c a n b e m e a s u r e d a g a i n s t b e n c h m a r k s i n r e a d i n g w r i t i n g a n d m a t h e m a t i c s f r o m t h e S u n s h i n e S t a t e S t a n d a r d s ( S S S ) T h e s e c o n d c o m p o n e n t i s a n o r m r e f e r e n c e d t e s t ( N R T ) w h i c h m e a s u r e s e a c h s t u d e n t ’ s p e r f o r m a n c e a g a i n s t n a t i o n a l n o r m s ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) T h e h i s t o r y o f s t a n d a r d i z e d t e s t i n g i n F l o r i d a f o l l o w s a l e n g t h y t r a j e c t o r y r e s u l t i n g w i t h t h e F C A T I n t h e e a r l y 1 9 7 0 s s t a t e w i d e a s s e s s m e n t w a s f i r s t a u t h o r i z e d b y t h e F l o r i d a l e g i s l a t u r e t o m e a s u r e s t u d e n t ’ s a c q u i s i t i o n o f m i n i m u m c o m p e t e n c y s k i l l s ( L i n n 2 0 0 0 ) B y 1 9 7 6 t h e l e g i s l a t u r e a p p r o v e d c o m p e t e n c y a s s e s s m e n t i n t h i r d f i f t h e i g h t h a n d e l e v e n t h g r a d e s a n d t h e n a t i o n ’ s f i r s t h i g h s c h o o l g r a d u a t i o n t e s t ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) T h e c o n c e p t u a l i z a t i o n f o r t h e F C A T b e g a n i n 1 9 9 5 i n c l u d i n g d e v e l o p m e n t o f t h e S S S T h e F C A T i n i t s c u r r e n t f o r m h a s b e e n a d m i n i s t e r e d e a c h y e a r s i n c e 1 9 9 8 a s s e s s i n g s t u d e n t s i n f o u r t h f i f t h e i g h t h a n d t e n t h g r a d e s I n 1 9 9 9 s e n s i n g a n e e d t o r a i s e e d u c a t i o n a l e x p e c t a t i o n s i n o r d e r t o g i v e s t u d e n t s n e c e s s a r y s k i l l s t o c o m p e t e i n t h e j o b m a r k e t G o v e r n o r J e b B u s h i n t r o d u c e d h i s A + p l a n I t w a s a d o p t e d b y t h e l e g i s l a t u r e w h o a m e n d e d s e c t i o n 2 2 9 5 7 o f t h e F l o r i d a S t a t u t e s t o e x p a n d a c h i e v e m e n t a s s e s s m e n t t o

PAGE 19

1 2 i n c l u d e g r a d e s 3 1 0 ( F C A T B r i e f i n g B o o k 2 0 0 1 ; F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 2 ) D e v e l o p m e n t o f t h e F C A T t o o k p l a c e o v e r a n u m b e r o f y e a r s I n M a y o f 1 9 9 6 t h e F l o r i d a D e p a r t m e n t o f E d u c a t i o n ( D O E ) c o n t r a c t e d w i t h M c G r a w H i l l E d u c a t i o n f o r t h e d e v e l o p m e n t o f F C A T t e s t s f o r g r a d e s f o u r f i v e e i g h t a n d t e n A f t e r t h e i r c o n t r a c t e x p i r e d i n 1 9 9 9 t h e D O E c o n t r a c t e d w i t h t h e H a r c o u r t E d u c a t i o n a l M e a s u r e m e n t C o m p a n y e x p a n d i n g t h e F C A T t o t h i r d t h r o u g h t e n t h g r a d e s ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) A c c o r d i n g t o t h e F l o r i d a D e p a r t m e n t o f E d u c a t i o n t h e F C A T w a s d e v e l o p e d b y t h e D e p a r t m e n t o f E d u c a t i o n w i t h t h e a s s i s t a n c e o f c o m m e r c i a l t e s t i n g c o m p a n i e s a n d v a l i d a t e d b y c o m m i t t e e s o f p r a c t i c i n g t e a c h e r s a n d c u r r i c u l u m s p e c i a l i s t s F C A T q u e s t i o n s d r a w f r o m a v a r i e t y o f t o p i c a n d s u b j e c t a r e a s T h e t e s t u s e s g r a p h i c d i s p l a y s a n d i l l u s t r a t i o n s a n d i n c o r p o r a t e s t h i n k i n g a n d p r o b l e m s o l v i n g s k i l l s t h a t m a t c h t h e c o m p l e x i t y o f t h e s t a n d a r d s b e i n g a s s e s s e d T h e F C A T i n v o l v e s a v a r i e t y o f i t e m t y p e s i n c l u d i n g m u l t i p l e c h o i c e i t e m s a n d p e r f o r m a n c e i t e m s w h i c h r e q u i r e t h e s t u d e n t t o w r i t e i n a n s w e r s P e r f o r m a n c e i t e m s a r e n o t u s e d i n t h e t h i r d g r a d e F C A T ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t s c o r e s a r e r e p o r t e d o n a s c a l e o f 1 0 0 t o 5 0 0 a n d a r e a s s i g n e d a n u m b e r f r o m 1 5 b a s e d o n l e v e l o f m a t e r i a l m a s t e r y ( F A C T B r i e f i n g B o o k 2 0 0 1 ) S c o r e s a t l e v e l s o n e o r t w o a r e c o n s i d e r e d b e l o w l e v e l a n d l e v e l s t h r e e t h r o u g h f i v e r e p r e s e n t p a s s i n g s c o r e s o n t h e F C A T T h e o v e r a l l F C A T i s p u r p o r t e d t o h a v e g o o d t e c h n i c a l a d e q u a c y R e l i a b i l i t y i n d i c e s f r o m t h e 2 0 0 0 a d m i n i s t r a t i o n a r e a b o v e 9 0 f o r f o u r t h f i f t h e i g h t h a n d t e n t h g r a d e s h o w e v e r i n f o r m a t i o n i s n o t s p e c i f i e d f o r g r a d e l e v e l o r c o n t e n t ( r e a d i n g o r

PAGE 20

1 3 m a t h e m a t i c s ) C o n c u r r e n t v a l i d i t y h a s b e e n r e p o r t e d b e t w e e n 7 0 a n d 8 1 f o r t h e F C A T ( i n c l u d i n g t h e N R T ) a n d t h e S t a n f o r d A c h i e v e m e n t T e s t n i n t h e d i t i o n ( S A T 9 ) f o r f o u r t h f i f t h e i g h t h a n d t e n t h g r a d e s ( F C A T B r i e f i n g B o o k 2 0 0 1 ) O f c o n s i d e r a t i o n h o w e v e r i s t h a t H a r c o u r t E d u c a t i o n a l M e a s u r e m e n t C o m p a n y m a k e s b o t h t h e F C A T a n d t h e S A T 9 ( H a r c o u r t E d u c a t i o n a l M e a s u r e m e n t C o m p a n y 2 0 0 3 ) T h e F C A T i s r e p o r t e d t o h a v e c o n t e n t v a l i d i t y b e c a u s e o f i t s d e v e l o p m e n t p r o c e d u r e s C o n t e n t v a l i d i t y r e f e r s t o t h e m a t c h b e t w e e n i t e m s o n a n a c h i e v e m e n t t e s t a n d c o n t e n t c o v e r e d b y t h e c u r r i c u l u m T h e c o n t e n t c o v e r e d b y t h e t e s t s h o u l d b e r e p r e s e n t a t i v e o f t h e c o n t e n t o f i n s t r u c t i o n H o w e v e r c o m m e r c i a l l y d e v e l o p e d n o r m r e f e r e n c e d a c h i e v e m e n t t e s t s h a v e b e e n s h o w n t o b e a o n e t i m e m e a s u r e n o t b a s e d i n t h e c u r r i c u l u m a n d t h u s l a c k i n g c u r r i c u l a r a n d i n s t r u c t i o n a l v a l i d i t y ( G o o d & S a l v i a 1 9 8 8 ; J e n k i n s & P a n y 1 9 7 8 ) A p r e l i m i n a r y s t u d y b y J e n k i n s a n d P a n y ( 1 9 7 8 ) a n d r e p l i c a t i o n s t u d y b y G o o d a n d S a l v i a ( 1 9 8 8 ) f o u n d t h a t s i g n i f i c a n t d i s c r e p a n c i e s e x i s t b e t w e e n s t a n d a r d i z e d a c h i e v e m e n t t e s t s a n d t h e c u r r i c u l u m i n t h a t a c h i e v e m e n t t e s t s d o n o t m e a s u r e w h a t t h e y p u r p o r t t o m e a s u r e ( n a m e l y t h e c u r r i c u l u m ) S t u d e n t a c h i e v e m e n t i n a p a r t i c u l a r c u r r i c u l u m m a y n o t b e r e f l e c t e d i n a n a c h i e v e m e n t s c o r e T h e r e i n l i e s t h e p r o b l e m f o r i f t h e r e i s n o t a m a t c h t h e n i t i s n o t p o s s i b l e t o i n t e r p r e t a s t u d e n t ’ s s c o r e s i n c e i t i s u n k n o w n w h e t h e r t h e t e s t s c o r e r e p r e s e n t s t h e s t u d e n t ’ s s c o r e o r t h e t e s t ’ s c o n t e n t v a l i d i t y S i n c e 2 0 0 1 s t u d e n t s ’ s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F C A T h a v e i n c r e a s e d e a c h y e a r I n 2 0 0 1 t h e f i r s t y e a r t h e F C A T w a s a d m i n i s t e r e d t o t h i r d g r a d e r s 5 7 % a c h i e v e d a p a s s i n g s c o r e T h e p e r c e n t a g e i n c r e a s e d t o 6 0 % i n 2 0 0 2 ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 )

PAGE 21

1 4 S i x t y t h r e e p e r c e n t o f 1 8 8 1 0 7 t h i r d g r a d e s t u d e n t s r e c e i v e d p a s s i n g s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F C A T i n 2 0 0 3 ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) B e g i n n i n g i n 2 0 0 3 s t u d e n t s w h o a c h i e v e d l e v e l o n e t h e l o w e s t l e v e l o n t h e r e a d i n g p o r t i o n o f t h e F C A T w e r e r e t a i n e d a n d r e p e a t e d t h i r d g r a d e I n t o t a l 2 8 0 2 8 t h i r d g r a d e r s w e r e r e t a i n e d ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) I t i s t h e p o s i t i o n o f b o t h t h e N a t i o n a l A s s o c i a t i o n o f S c h o o l P s y c h o l o g i s t s a n d t h e A m e r i c a n P s y c h o l o g i c a l A s s o c i a t i o n t h a t l a r g e s c a l e a s s e s s m e n t f o r h i g h s t a k e s t e s t i n g s h o u l d b e u s e d c a u t i o u s l y ( A P A 2 0 0 1 ; N A S P 2 0 0 3 ) T e s t s a r e c o n s i d e r e d “ l a r g e s c a l e a s s e s s m e n t s ” w h e n t h e y a s s e s s a l l s t u d e n t s w i t h i n a g i v e n p o p u l a t i o n o r g e o g r a p h i c r e g i o n o n t h e a t t a i n m e n t o f h i g h a c a d e m i c s t a n d a r d s ( N A S P 2 0 0 3 ) a n d t h e y a r e c o n s i d e r e d h i g h s t a k e s f o r s t u d e n t s w h e n t h e r e s u l t s o f t h e t e s t s a r e u s e d t o m a k e d e c i s i o n s a b o u t p r o m o t i o n o r r e t e n t i o n o r h i g h s c h o o l g r a d u a t i o n B o t h g o v e r n i n g b o d i e s u r g e c a u t i o n w h e n u s i n g a n y s i n g l e m e a s u r e s u c h a s t h e F C A T a s t h e s o l e d e t e r m i n a n t f o r m a k i n g h i g h s t a k e s d e c i s i o n s a b o u t a s i n g l e s t u d e n t s u c h a s g r a d e p r o m o t i o n o r r e t e n t i o n r e c e i p t o f a d i p l o m a o r a c c e s s t o e d u c a t i o n a l o p p o r t u n i t y ( A P A 2 0 0 1 ; N A S P 2 0 0 3 ) T h e F C A T a n d o t h e r a c h i e v e m e n t t e s t s c o n t i n u e t o b e s u p p o r t e d b y p o l i c y m a k e r s b e c a u s e o f f a c e v a l i d i t y i n t h a t t h e y s e e m t o b e r e p r e s e n t a t i v e o f w h a t s t u d e n t s a r e l e a r n i n g o r t a s k s t h a t t h e y a r e p e r f o r m i n g i n s c h o o l H o w e v e r t h e e x t e n t t o w h i c h a c h i e v e m e n t t e s t s i n c l u d i n g t h e F C A T a c t u a l l y t e s t t h e c u r r i c u l u m i s u n k n o w n A h i g h s t a k e s t e s t a d m i n i s t e r e d o n e t i m e a t t h e e n d o f t h e s c h o o l y e a r d o e s n o t g i v e t h e t e a c h e r s e n o u g h t i m e t o d e l i v e r i n t e n s i v e i n t e r v e n t i o n s t o s t u d e n t s w h o d o n o t m e e t s t a n d a r d s A n a l t e r n a t i v e o r c o m p l e m e n t t o s u c h h i g h s t a k e s o u t c o m e t e s t s w o u l d b e t o m o n i t o r s t u d e n t

PAGE 22

1 5 p r o g r e s s i n t h e c u r r i c u l u m p e r i o d i c a l l y t h r o u g h o u t t h e s c h o o l y e a r S u c h m o n i t o r i n g w o u l d p r o v i d e a m o r e e f f e c t i v e t o o l t o u s e i n d e t e r m i n i n g i n s t r u c t i o n a l c h a n g e s a n d i n t e r v e n t i o n s C u r r i c u l u m B a s e d M e a s u r e m e n t r e a d i n g i s o n e s u c h i n s t r u m e n t C u r r i c u l u m B a s e d M e a s u r e m e n t C u r r i c u l u m B a s e d M e a s u r e m e n t r e a d i n g ( R C B M ) i s a o n e m i n u t e t i m e d a s s e s s m e n t o f o r a l r e a d i n g f l u e n c y ( O R F ) S t u d e n t s r e a d a g r a d e l e v e l p a s s a g e f r o m t h e i r c u r r i c u l u m o r a g e n e r i c c u r r i c u l u m w h i l e a n e x a m i n e r n o t e s w o r d s r e a d c o r r e c t a n d e r r o r s p e r m i n u t e I n i t s c u r r e n t f o r m R C B M i s a s t a n d a r d i z e d p r o c e d u r e w h e r e s t u d e n t s ’ r e s u l t s c a n b e c o m p a r e d t o n a t i o n a l o r l o c a l n o r m s a s w e l l a s e s t a b l i s h e d g r a d e l e v e l b e n c h m a r k s T h e s e p r o c e d u r e s h a v e b e e n d e v e l o p e d o v e r a n u m b e r o f y e a r s a n d c a n b e u s e d t o m a k e a v a r i e t y o f i n s t r u c t i o n a l d e c i s i o n s R e s e a r c h o n R C B M b e g a n o v e r t h i r t y y e a r s a g o u n d e r t h e d i r e c t i o n o f S t a n D e n o a t t h e I n s t i t u t e f o r R e s e a r c h o n L e a r n i n g D i s a b i l i t i e s a t t h e U n i v e r s i t y o f M i n n e s o t a S e n s i n g t h e a p p a r e n t d i s c r e p a n c y b e t w e e n m e a s u r e m e n t p r o c e d u r e s a n d i n s t r u c t i o n a l d e c i s i o n s t h e d e v e l o p e r s o f R C B M s o u g h t t o c r e a t e r e l i a b l e a n d v a l i d s t a n d a r d i z e d p r o c e d u r e s T h e g o a l w a s t o a i d t e a c h e r s i n r o u t i n e l y a n d d i r e c t l y m o n i t o r i n g s t u d e n t a c h i e v e m e n t i n t h e c u r r i c u l u m o v e r t i m e i n o r d e r t o m a k e d e c i s i o n s a b o u t i n s t r u c t i o n a l c h a n g e ( D e n o 1 9 8 5 ) T h e e a r l y R C B M r e s e a r c h f o c u s w a s t h r e e f o l d F i r s t t h e m e a s u r e s h a d t o b e q u i c k a n d e f f i c i e n t s o t h a t s t u d e n t s c o u l d b e a s s e s s e d f r e q u e n t l y e v e n d a i l y S e c o n d t h e m e a s u r e s h a d t o b e i n e x p e n s i v e a n d e a s y t o c r e a t e w i t h c o m p a r a b l e a l t e r n a t e f o r m s T h i r d t h e m e a s u r e s h a d t o b e e a s y t o t e a c h t e a c h e r s a i d e s i n s t r u c t i o n a l a s s i s t a n t s a n d o t h e r e d u c a t i o n a l p e r s o n n e l a s w e l l a s r e l i a b l e a m o n g t e s t e r s ( D e n o 1 9 8 5 )

PAGE 23

1 6 I n i t i a l r e s e a r c h s u p p o r t e d t h e r e l i a b i l i t y a n d v a l i d i t y o f R C B M C r i t e r i o n v a l i d i t y w a s i n i t i a l l y e s t a b l i s h e d w i t h h i g h c o r r e l a t i o n s b e t w e e n C B M a n d o t h e r w i d e l y u s e d w e l l k n o w n t e s t s o f a c h i e v e m e n t s u c h a s t h e S t a n f o r d A c h i e v e m e n t T e s t W o o d c o c k J o h n s o n T e s t o f R e a d i n g M a s t e r y a n d t h e P e a b o d y I n d i v i d u a l A c h i e v e m e n t T e s t ( D e n o 1 9 8 5 ; D e n o M i r k i n & C h a i n g 1 9 8 2 ; F u c h s & D e n o 1 9 9 2 ; F u c h s F u c h s & M a x w e l l 1 9 8 8 ) C r i t e r i o n V a l i d i t y I n a n i n i t i a l r e v i e w o f t h e l i t e r a t u r e b y D e n o M i r k i n a n d C h i a n g ( 1 9 8 2 ) r e a d i n g a l o u d w a s d e t e r m i n e d a s a b e h a v i o r t h a t m i g h t i n d e x r e a d i n g p r o g r e s s T o t e s t t h e i r h y p o t h e s e s t h e y c o n d u c t e d t h r e e s t u d i e s t o d e t e r m i n e t h e b e s t p r o c e d u r e s s y n o n y m o u s w i t h t h e t e n e t s o f C u r r i c u l u m B a s e d M e a s u r e m e n t b e i n g q u i c k a n d e a s y i n o r d e r t o m e a s u r e s t u d e n t ’ s p r o g r e s s d a i l y i n e x p e n s i v e t o p r o d u c e u n o b t r u s i v e a n d s i m p l e t o t e a c h t e a c h e r s D e n o M i r k i n a n d C h i a n g ’ s ( 1 9 8 2 ) e x p l o r a t o r y s t u d y r e v e a l e d t h a t m a n y o f t h e i r i n i t i a l a s s u m p t i o n s r e g a r d i n g r e a d i n g b e h a v i o r w e r e a c c u r a t e I n t h e i r s t u d i e s t h e y c o n f i r m e d c r i t e r i o n a n d c o n c u r r e n t v a l i d i t y f o r R C B M I n t h e f i r s t s t u d y r e s e a r c h e r s g a v e 1 8 s t u d e n t s i n g e n e r a l e d u c a t i o n a n d 1 5 s t u d e n t s i n s p e c i a l e d u c a t i o n i n g r a d e s o n e t h r o u g h f i v e a p u b l i s h e d n o r m r e f e r e n c e d a c h i e v e m e n t t e s t ( S t a n f o r d D i a g n o s t i c R e a d i n g T e s t 1 9 7 5 ) a s w e l l a s r e a d i n g m e a s u r e s o f c u r r i c u l a r a c h i e v e m e n t ( w o r d s i n i s o l a t i o n w o r d s i n c o n t e x t o r a l r e a d i n g c l o z e c o m p r e h e n s i o n w o r d m e a n i n g s ) T h e r e s u l t s o f s t u d y o n e s h o w e d t h a t o r a l r e a d i n g w o r d s i n i s o l a t i o n a n d w o r d s i n c o n t e x t c o r r e l a t e d w i t h S t a n f o r d D i a g n o s t i c R e a d i n g T e s t ( r = 7 3 9 1 ) I n a d d i t i o n o r a l r e a d i n g r a t e w a s c o r r e l a t e d a t a h i g h e r l e v e l t h a n w o r d s i n i s o l a t i o n a n d w o r d s i n c o n t e x t

PAGE 24

1 7 T h e s e c o n d s t u d y s o u g h t t o d e t e r m i n e w h e t h e r t h e g r a d e l e v e l o f t h e m e a s u r e o r t h e l e n g t h o f t h e m e a s u r e i m p a c t e d t h e c o r r e l a t i o n s w i t h p u b l i s h e d n o r m r e f e r e n c e d r e a d i n g a n d c o m p r e h e n s i o n m e a s u r e s F o r t y f i v e s t u d e n t s i n f i r s t t h r o u g h s i x t h g r a d e s i n c l u d i n g t w e n t y s e v e n s t u d e n t s i n g e n e r a l e d u c a t i o n a n d 1 8 s t u d e n t s i n s p e c i a l e d u c a t i o n p a r t i c i p a t e d i n t h e s t u d y T h e s t u d y e m p l o y e d a n a l t e r n a t e f o r m o f e a c h o f t h e t h r e e m e a s u r e s o f r e a d i n g a l o u d f r o m s t u d y o n e t a k e n f r o m t h i r d a n d s i x t h g r a d e b a s a l r e a d e r s R e s e a r c h e r s a d m i n i s t e r e d t w o 3 0 a n d t w o 6 0 s e c o n d p a r a l l e l f o r m s t e s t s t o e a c h s t u d e n t R e s u l t s o f s t u d y t w o f o u n d s i m i l a r l y h i g h c o r r e l a t i o n s i n t h e 8 0 s a n d 9 0 s o n t h e t h r e e m e a s u r e s o f w o r d r e c o g n i t i o n f o r b o t h t h i r d a n d s i x t h g r a d e m a t e r i a l s I n a d d i t i o n t h e 3 0 s e c o n d t e s t s c o r r e l a t e d v e r y h i g h l y w i t h t h e 6 0 s e c o n d t e s t s ( r = 9 5 9 7 f o r o r a l r e a d i n g ) T h e t h i r d s t u d y s o u g h t t o r e p l i c a t e s t u d i e s o n e a n d t w o t o d e t e r m i n e c o n c u r r e n t v a l i d i t y I n t h i s s t u d y r e s e a r c h e r s a s s e s s e d 4 3 s t u d e n t s i n g e n e r a l e d u c a t i o n a n d 2 3 s t u d e n t s i n s p e c i a l e d u c a t i o n i n f i r s t t h r o u g h s i x t h g r a d e s u s i n g a t h i r d g r a d e w o r d l i s t a s i x t h g r a d e w o r d l i s t a 3 0 0 w o r d t h i r d g r a d e p a s s a g e a 3 0 0 w o r d s i x t h g r a d e p a s s a g e a s i x t h g r a d e c l o z e p a s s a g e t h e S t a n f o r d D i a g n o s t i c R e a d i n g T e s t a n d t h e P e a b o d y T e s t o f R e a d i n g C o m p r e h e n s i o n T h e r e s u l t s o f t h e s t u d y w e r e t h a t v i r t u a l l y a l l c o e f f i c i e n t s f o r o r a l r e a d i n g w e r e h i g h a n d s i g n i f i c a n t f o r e a c h s a m p l e b o t h i n d i v i d u a l a n d c o m b i n e d O v e r a l l f i n d i n g s o f a l l t h r e e s t u d i e s i n d i c a t e d t h a t r e a d i n g a l o u d f r o m a r e a d e r ( o r a l r e a d i n g f l u e n c y o r O R F ) r e a d i n g l i s t s o f w o r d s a n d c l o z e w e r e a l l r e l a t e d t o p e r f o r m a n c e o n p u b l i s h e d n o r m r e f e r e n c e d r e a d i n g t e s t s I n t e r m s o f p s y c h o m e t r i c p r o p e r t i e s v a l i d i t y c o e f f i c i e n t s w e r e a l l h i g h a n d r e l i a b l e I n t e r e s t i n g l y t h e a u t h o r s f o u n d t h a t c o r r e l a t i o n s b e t w e e n r e a d i n g a l o u d f o r 3 0 s e c o n d s a n d o n e m i n u t e w e r e 9 0 o r

PAGE 25

1 8 h i g h e r H o w e v e r r e c o m m e n d a t i o n s w e r e t o u s e t h e o n e m i n u t e i n t e r v a l b e c a u s e i t w a s a c o m m o n r e p o r t i n g r e s p o n s e b y t e a c h e r s a n d o n e w i t h w h i c h t h e y w e r e c o m f o r t a b l e I n s u m m a r y t h e a u t h o r s ’ c o n c l u s i o n s b a s e d o n t h e d a t a w e r e t h a t a n y o f t h e i n f o r m a l r e a d i n g p r o c e d u r e s i n c l u d i n g o r a l r e a d i n g c a n b e u s e d t o e s t i m a t e p r o f i c i e n c y i n d e c o d i n g a n d c o m p r e h e n s i o n ( D e n o e t a l 1 9 8 2 ) T h e c r i t e r i o n v a l i d i t y o f R C B M w i t h r e s p e c t t o c o m m e r c i a l l y a v a i l a b l e s t a n d a r d i z e d t e s t s o f a c h i e v e m e n t w a s d e t e r m i n e d i n t h e f i r s t p u b l i s h e d s t u d y b y D e n o a n d h i s c o l l e a g u e s M o r e s p e c i f i c a l l y c o r r e l a t i o n s b e t w e e n r e a d i n g a l o u d f r o m t e x t s c o r r e l a t e d w i t h t h e S t a n f o r d r e a d i n g a c h i e v e m e n t t e s t a t 7 8 a n d 8 0 a n d t h e W o o d c o c k J o h n s o n r e a d i n g t e s t a t 9 3 ( D e n o 1 9 8 5 ) C r i t e r i o n v a l i d i t y w a s a d d i t i o n a l l y s t r e n g t h e n e d a s r e a d i n g a l o u d d i s c r i m i n a t e d b e t w e e n s t u d e n t s i n g e n e r a l e d u c a t i o n a n d s p e c i a l e d u c a t i o n I n r e s p o n s e t o t h e s i g n i f i c a n t f i n d i n g s o f D e n o M i r k i n a n d C h a i n g ( 1 9 8 2 ) a d d i t i o n a l r e s e a r c h w a s c o n d u c t e d w i t h c h i l d r e n f r o m d i v e r s e g e o g r a p h i c l o c a t i o n s o v e r t h e U n i t e d S t a t e s t o d e t e r m i n e i f t h e d e v e l o p m e n t a l p a t t e r n s o f g r o w t h t h a t o c c u r w i t h r e a d i n g w o u l d a f f e c t r e a d i n g a l o u d F i n d i n g s w e r e c o n s i s t e n t w i t h d e v e l o p m e n t a l g r o w t h i n t h a t f i r s t g r a d e r s r e a d o n l y a s m a l l n u m b e r o f w o r d s w h i c h i n c r e a s e d i n s e c o n d a n d t h i r d g r a d e s w i t h a n e g a t i v e l y a c c e l e r a t i n g t r e n d f r o m t h i r d t o s i x t h g r a d e s O v e r a l l t h e n u m b e r o f w o r d s r e a d c o r r e c t l y f r o m a b a s a l r e a d i n g s e r i e s r e l i a b l y a n d v a l i d l y d i s c r i m i n a t e d g r o w t h i n r e a d i n g p r o f i c i e n c y i n t h e e l e m e n t a r y s c h o o l y e a r s I n s u m m a r y s t u d e n t p e r f o r m a n c e i n t h e c u r r i c u l u m g e n e r a l l y a n d r e a d i n g a l o u d ( O R F ) s p e c i f i c a l l y w a s d e t e r m i n e d t o r e l i a b l y a n d v a l i d l y m e a s u r e s t u d e n t r e a d i n g a c h i e v e m e n t ( D e n o 1 9 8 5 ) H o w e v e r f u r t h e r r e s e a r c h f o r b e t t e r u n d e r s t a n d i n g o f O R F w a s n e c e s s a r y

PAGE 26

1 9 O r a l R e a d i n g F l u e n c y O r a l r e a d i n g f l u e n c y ( O R F ) i s t h e o r a l t r a n s l a t i o n o f t e x t w i t h s p e e d a n d a c c u r a c y a n d i s a p e r f o r m a n c e i n d i c a t o r o f o v e r a l l b a s i c r e a d i n g c o m p e t e n c e w h i c h i n c l u d e s c o m p r e h e n s i o n I t u s u a l l y d e v e l o p s d u r i n g t h e e l e m e n t a r y s c h o o l y e a r s a n d i n v o l v e s d i r e c t m e a s u r e o f p h o n o l o g i c a l s e g m e n t a t i o n a n d d e c o d i n g s k i l l a s w e l l a s r a p i d w o r d r e c o g n i t i o n A s p a r t o f a s y s t e m t o m o n i t o r s t u d e n t a c h i e v e m e n t O R F i s b e s t u s e d w i t h i n a n o r m a t i v e f r a m e w o r k s o t h a t p e r f o r m a n c e l e v e l s c a n b e c o m p a r e d b e t w e e n i n d i v i d u a l s a n d s o t h a t g a i n s r e p r e s e n t e d b y p e r f o r m a n c e s l o p e s c a n t r a c k t h e d e v e l o p m e n t o f r e a d i n g c o m p e t e n c e w i t h i n i n d i v i d u a l s ( F u c h s F u c h s H o s p & J e n k i n s 2 0 0 1 ) S t u d e n t s w h o r e a d f e w e r t h a n 8 0 w o r d s c o r r e c t i n a o n e m i n u t e t i m e f r a m e a t t h e i r c u r r i c u l a l e v e l a r e s a i d t o b e i n t h e “ h i g h r i s k ” r a n g e f o r r e a d i n g f a i l u r e a n d i n n e e d o f i n t e n s i v e i n t e r v e n t i o n E i g h t y o n e t o 1 1 0 w o r d s r e a d c o r r e c t i n o n e m i n u t e i s i n t h e “ s o m e r i s k ” r a n g e w h e r e s t u d e n t s a r e a t a n a p p r o p r i a t e y e t c h a l l e n g i n g l e v e l S t u d e n t s w h o r e a d m o r e t h a n 1 1 0 w o r d s c o r r e c t p e r m i n u t e a r e i n t h e “ l o w r i s k ” f o r t h a t l e v e l ( G o o d e t a l 2 0 0 1 ) F u c h s F u c h s a n d M a x w e l l ( 1 9 8 8 ) a s s e s s e d a n d c o n t r a s t e d t h e v a l i d i t y o f i n f o r m a l s t r a t e g i e s o f r e a d i n g c o m p r e h e n s i o n m e a s u r e m e n t T h e r e a d i n g c o m p r e h e n s i o n m e a s u r e s t h e y u s e d w e r e q u e s t i o n a n s w e r i n g w h i c h i s t h e m o s t c o m m o n l y u s e d s t r a t e g y i n c l a s s r o o m s r e c a l l p r o c e d u r e s o r a l r e a d i n g m e a s u r e s a n d c l o z e p r o c e d u r e s O r a l r e a d i n g f l u e n c y i s n o t t y p i c a l l y v i e w e d a s a r e a d i n g c o m p r e h e n s i o n m e a s u r e t h u s f a c e v a l i d i t y i s l o w S e v e n t y m i d d l e a n d j u n i o r h i g h s c h o o l b o y s a g e s n i n e t h r o u g h f i f t e e n i n f o u r t h t h r o u g h e i g h t h g r a d e w i t h m i l d t o m o d e r a t e h a n d i c a p s p a r t i c i p a t e d i n t h e s t u d y A s u b g r o u p o f 3 5 s t u d e n t s w e r e s e l e c t e d f o r t h e o r a l r e a d i n g p o r t i o n u s i n g s t r a t i f i e d r a n d o m s a m p l i n g B e s i d e s t h e o r a l r e a d i n g t e s t s t u d e n t s w e r e g i v e n a c o m p r e h e n s i o n q u e s t i o n

PAGE 27

2 0 t e s t p a s s a g e r e c a l l t e s t a n d c l o z e t e s t a s w e l l a s T h e W o r d S t u d y S k i l l s a n d R e a d i n g C o m p r e h e n s i o n s u b t e s t s o f t h e S t a n f o r d A c h i e v e m e n t T e s t 7t h e d i t i o n a s g l o b a l a c h i e v e m e n t t e s t s F i n d i n g s r e v e a l e d o r a l r e a d i n g t o b e t h e b e s t m e a s u r e o f r e a d i n g c o m p r e h e n s i o n A l l c o r r e l a t i o n s w i t h t h e S t a n f o r d A c h i e v e m e n t T e s t r a n g e d f r o m 7 0 ( p a s s a g e r e c a l l ) t o 9 1 ( o r a l r e a d i n g ) w h i c h w a s s i g n i f i c a n t l y h i g h e r t h a n a n y o t h e r m e a s u r e s Q u e s t i o n s a n s w e r e d w h i c h i s t h e m o s t c o m m o n l y e m p l o y e d c l a s s r o o m t e s t o f r e a d i n g c o m p r e h e n s i o n i n c l u d i n g s t a t e w i d e a c h i e v e m e n t t e s t s s u c h a s t h e F C A T c o r r e l a t e d a t 8 2 ( F u c h s F u c h s & M a x w e l l 1 9 8 8 ) U l t i m a t e l y w i t h O R F t h e b e s t m e a s u r e o f r e a d i n g c o m p r e h e n s i o n r e s e a r c h e r s h a v e b e g u n t o e x p l o r e t h e r e l a t i o n s h i p b e t w e e n O R F a n d s t a t e w i d e a c h i e v e m e n t t e s t s S e v e r a l s t u d i e s h i g h l i g h t e d t h e i m p o r t a n c e o f u s i n g R C B M a s a c o m p l e m e n t t o s t a t e w i d e s t a n d a r d i z e d t e s t s o f a c h i e v e m e n t ( B u c k & T o r g e s o n 2 0 0 3 ; C r a w f o r d T i n d a l & S t i e b e r 2 0 0 1 ; G o o d S i m m o n s & K a m e ’ e n u i 2 0 0 1 ; N o l e t & M c L a u g h l i n 1 9 9 7 ) R C B M a n d S t a t e w i d e T e s t s o f A c h i e v e m e n t T h o u g h a c c o u n t a b i l i t y t h r o u g h t e s t i n g i s n o t a n e w c o n c e p t h i g h s t a k e s a c c o u n t a b i l i t y h a s b e c o m e a c o n s t a n t w a r n i n g t o t h e p u b l i c s c h o o l s y s t e m a n d e v e r y d i s t r i c t s c h o o l a n d e d u c a t o r t h e r e i n S t a t e w i d e a c c o u n t a b i l i t y t e s t s a r e e x t e r n a l t e s t s i m p o s e d b y t h e s t a t e o r n a t i o n a l l e g i s l a t u r e B y d e s i g n s t a t e w i d e a s s e s s m e n t s a r e “ b l u n t i n s t r u m e n t s ” i n t h a t t h e y l a c k s e n s i t i v i t y o v e r t i m e o r i n t r a s t u d e n t v a r i a b l e s ( N o l e t & M c L a u g h l i n 1 9 9 7 ) C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g o n t h e o t h e r h a n d i s s e n s i t i v e a n d p r o g r e s s m o n i t o r i n g d a t a f r o m R C B M w o u l d n o t r e p l a c e s t a t e w i d e t e s t s b u t r a t h e r e m p o w e r t e a c h e r s t o u n d e r s t a n d a n d u t i l i z e t h e o u t c o m e s f r o m s t a t e w i d e t e s t s

PAGE 28

2 1 I n r e s p o n s e t o a g r o w i n g c o n c e r n a m o n g s c h o o l p s y c h o l o g i s t s a n d e d u c a t o r s r e g a r d i n g t h e s i n g l e “ s n a p s h o t ” h i g h s t a k e s n a t u r e o f s t a t e w i d e t e s t s a n u m b e r o f s t u d i e s h a v e e x a m i n e d t h e r e l a t i o n s h i p b e t w e e n o r a l r e a d i n g f l u e n c y a n d s t a t e w i d e t e s t s o f a c h i e v e m e n t ( B a r g e r 2 0 0 3 ; B u c k & T o r g e s o n 2 0 0 3 ; C a s t i l l o T o r g e s o n P o w e l l S m i t h & A l O t a i b a 2 0 0 3 ; C r a w f o r d T i n d a l & S t e i b e r 2 0 0 1 ; G o o d e t a l 2 0 0 1 ; L i n n e r 2 0 0 1 ; M c G l i n c h e y & H i x o n 2 0 0 4 ; S h a w & S h a w 2 0 0 2 ; S i b l e y B i w e r & H e s c h 2 0 0 1 ; S h a p i r o E d w a r d s L u t z & K e l l e r 2 0 0 4 ; S t a g e & J a c o b s o n 2 0 0 1 ) ( s e e T a b l e 1 f o r a s u m m a r y o f t h e s e r e s u l t s ) T h e s e s t u d i e s w e r e c o n d u c t e d i n t e n s t a t e s t h r o u g h o u t t h e c o u n t r y a n d r e p r e s e n t f o u r g e o g r a p h i c r e g i o n s ( W e s t M i d w e s t N o r t h e a s t a n d S o u t h e a s t ) E a c h o f t h e s e s t u d i e s i n c l u d e t h e s a m e i n d e p e n d e n t v a r i a b l e s ( R C B M ) a n d t h e d e p e n d e n t v a r i a b l e ( a s t a t e ’ s h i g h s t a k e s a c h i e v e m e n t t e s t ) b u t d i f f e r a s t o t h e g r a d e o f t h e p a r t i c i p a n t s n u m b e r o f p a r t i c i p a n t s g e o g r a p h i c r e g i o n o f p a r t i c i p a n t s d e m o g r a p h i c m a k e u p o f t h e s a m p l e n u m b e r o f p r o b e s a d m i n i s t e r e d a s w e l l a s r e p o r t e d o r a l r e a d i n g s c o r e ( s i n g l e p r o b e v e r s u s t h e m e d i a n s c o r e o f t h r e e p r o b e s ) O v e r a l l a l l s t u d i e s f o u n d s c o r e s o n R C B M s t a t i s t i c a l l y s i g n i f i c a n t l y o r h i g h l y c o r r e l a t e d w i t h s c o r e s o n s t a t e w i d e a c h i e v e m e n t t e s t t h u s s h o w i n g R C B M t o b e a n i m p o r t a n t t o o l f o r e a r l y i d e n t i f i c a t i o n a n d i n t e r v e n t i o n T h e f o l l o w i n g s e c t i o n p r o v i d e s a r e v i e w o f t h e s e s t u d i e s T h i s r e v i e w i s o r g a n i z e d b y g e o g r a p h i c r e g i o n o f t h e c o u n t r y a n d w i l l e n d w i t h a d i s c u s s i o n o f t h e s o u t h e a s t a n d F l o r i d a

PAGE 29

2 2 T a b l e 1 S t a t e b y S t a t e A n a l y s i s o f O R F / S t a t e w i d e A c h i e v e m e n t T e s t S t u d i e s S t a t e A u t h o r s S c o r e U s e d S a m p l e S i z e G r a d e C o r r e l a t i o n C u t S c o r e s A c c u r a c y i n P r e d i c t i n g P a s s i n g S c o r e s A K L i n n e r ( 2 0 0 1 ) N A N A 3r d N A 1 1 0 W C P M U n a v a i l a b l e W A S t a g e & J a c o b s o n ( 2 0 0 1 ) S i n g l e P r o b e 1 7 3 4t h 4 3 5 1 * 1 0 0 W C P M 9 0 % O R C r a w f o r d T i n d a l & S t e i b e r ( 2 0 0 1 ) M e d i a n o f 3 p r o b e s 5 1 2 n d 3r d N A 1 1 9 W C P M 9 4 % G o o d S i m m o n s & K a m e e n u i ( 2 0 0 1 ) N A 3 6 4 3r d 6 7 1 1 0 W C P M 9 9 % C O S h a w & S h a w ( 2 0 0 2 ) M e d i a n o f 3 p r o b e s 5 2 3r d 7 3 8 0 1 1 0 W C P M 9 0 % I L S i b l e y B i w e r & H e s c h ( 2 0 0 1 ) N A 8 2 3r d 7 9 1 1 0 W C P M 9 9 % M I M c G l i n c h e y & H i x o n ( 2 0 0 4 ) s i n g l e / m e d i a n 1 3 6 2 4t h 4 9 8 1 ( M = 6 7 * ) 1 0 0 W C P M 7 2 % O H S t o l l e r ( 2 0 0 4 ) M e d i a n o f 3 p r o b e s 3 3 2 4t h 5 9 * 1 1 0 W C P M N A P A S h a p i r o E d w a r d s L u t z & K e l l e r ( 2 0 0 4 ) N A 1 8 5 3r d 6 5 6 7 * 1 1 4 W C P M 9 3 % N C B a r g e r ( 2 0 0 3 ) M e d i a n o f 3 p r o b e s 3 8 3r d 7 3 1 1 0 W C P M 1 0 0 % F L C a s t i l l o T o r g e s o n P o w e l l S m i t h & A l O t a i b a ( 2 0 0 3 ) S i n g l e P r o b e 1 0 1 3r d 6 0 6 5 * 1 1 0 W C P M N A B u c k & T o r g e s o n ( 2 0 0 3 ) M e d i a n o f 3 p r o b e s 1 1 0 2 3r d 7 0 7 4 * 1 1 0 W C P M 9 1 % * = 0 1 * = 0 0 0 1 = n o t r e p o r t e d

PAGE 30

2 3 A n a l y s e s o f t h e r e l a t i o n s h i p b e t w e e n R C B M a n d s t a t e w i d e a c h i e v e m e n t t e s t s h a v e b e e n p e r f o r m e d t o v a r y i n g c o m p l e x i t y i n t h e W e s t I n W a s h i n g t o n s t a t e a n d O r e g o n c o m p l e x a n a l y s i s o f l a r g e p u b l i s h e d s t u d i e s s u p p o r t e d t h i s r e l a t i o n s h i p P r e s e n t a t i o n s a n d t e c h n i c a l p a p e r s i n A l a s k a a n d C o l o r a d o a l s o s u p p o r t e d t h i s r e l a t i o n s h i p S t a g e a n d J a c o b s e n ( 2 0 0 1 ) e x a m i n e d t h e r e l a t i o n s h i p b e t w e e n R C B M a n d t h e W a s h i n g t o n A s s e s s m e n t o f S t u d e n t L e a r n i n g ( W A S L ) i n a s a m p l e o f 1 7 3 f o u r t h g r a d e r s E x a m i n e r s a d m i n i s t e r e d t h r e e o r a l r e a d i n g p r o b e s f r o m s t u d e n t s ’ b a s a l r e a d i n g s e r i e s i n S e p t e m b e r J a n u a r y a n d M a y E a c h p r o b e c a m e f r o m m a t e r i a l s c o n s i d e r e d t o b e m i d y e a r l e v e l o f d i f f i c u l t y E x a m i n e r s r e p o r t e d t h e m e d i a n p r o b e s c o r e f o r e a c h s t u d e n t T h e s t u d e n t s t o o k t h e W A S L i n M a y o f t h e s a m e y e a r R e s u l t s s u p p o r t e d a p o s i t i v e r e l a t i o n s h i p b e t w e e n R C B M a n d s c o r e s o n t h e W A S L C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g w a s c o r r e l a t e d w i t h W A S L a t a l l t h r e e d a t a c o l l e c t i o n p o i n t s ( r = 4 3 5 1 ) R e s e a r c h e r s f o u n d t h a t u s i n g s t u d e n t s ’ S e p t e m b e r O R F s c o r e s w a s a b e t t e r p r e d i c t o r t h a n g r o w t h i n O R F a c r o s s t h e y e a r S t u d e n t s w h o s e s c o r e s f e l l b e l o w m a s t e r y l e v e l i n S e p t e m b e r w e r e a t r i s k f o r f a i l i n g t h e W A S L L i m i t a t i o n s o f t h e s t u d y i n c l u d e d t h a t p a r t i c i p a t i n g s t u d e n t s w e r e f r o m a h i g h p e r f o r m i n g s c h o o l ( 8 0 % p a s s e d t h e W A S L ) I n a d d i t i o n 9 0 % o f t h e s t u d e n t s i d e n t i f i e d t h e m s e l v e s a s C a u c a s i a n a n d j u s t 1 5 % o f t h e s a m p l e r e c e i v e d f r e e a n d r e d u c e d l u n c h T h e g e n e r a l i z a t i o n o f t h i s s t u d y b e y o n d t h e s c h o o l o r d i s t r i c t i s q u e s t i o n a b l e ( S t a g e & J a c o b s o n 2 0 0 1 ) C r a w f o r d T i n d a l a n d S t i e b e r ( 2 0 0 1 ) s t u d i e d t h e s t r e n g t h o f t h e r e l a t i o n s h i p b e t w e e n R C B M a n d f u t u r e p e r f o r m a n c e o n t h e O r e g o n s t a t e w i d e r e a d i n g a n d m a t h a c h i e v e m e n t t e s t s a s w e l l a s t h e l e v e l s o f o r a l r e a d i n g r a t e t h a t b e s t p r e d i c t e d s t u d e n t ’ s s c o r e s o n t h e O r e g o n s t a t e w i d e r e a d i n g a n d m a t h a c h i e v e m e n t t e s t s T h i s l o n g i t u d i n a l

PAGE 31

2 4 s t u d y f o l l o w e d 5 1 s t u d e n t s t h r o u g h s e c o n d a n d t h i r d g r a d e s F o r e a c h o f t h e t w o y e a r s s t u d e n t s w e r e a d m i n i s t e r e d t h r e e o r a l r e a d i n g p a s s a g e s s e l e c t e d f r o m H o u g h t o n M i f f l i n B a s a l R e a d i n g S e r i e s ( 1 9 8 9 ) P a s s a g e s f o r t h e f i r s t y e a r o f t h e s t u d y ( s e c o n d g r a d e ) w e r e s e l e c t e d r a n d o m l y f r o m t h e s e c o n d g r a d e b a s a l r e a d e r P a s s a g e s f o r t h e s e c o n d y e a r o f t h e s t u d y ( t h i r d g r a d e ) w e r e r a n d o m l y s e l e c t e d f r o m t h e t h i r d g r a d e b a s a l r e a d e r C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g d a t a w e r e c o l l e c t e d o n o n e d a y i n J a n u a r y i n e a c h o f t h e y e a r s I n M a r c h o f t h e s e c o n d y e a r t h i r d g r a d e r s w e r e t e s t e d o n t h e O r e g o n s t a t e w i d e m a t h a n d r e a d i n g a s s e s s m e n t s R e s u l t s w e r e p o w e r f u l a n d s i g n i f i c a n t S e c o n d g r a d e r s r e a d a n a v e r a g e o f 6 2 3 w o r d s c o r r e c t l y p e r m i n u t e a n d t h e s a m e s t u d e n t s i n t h i r d g r a d e j u m p e d t o a n a v e r a g e o f 1 0 3 8 w o r d s r e a d c o r r e c t l y p e r m i n u t e T h e m e a n g a i n i n w o r d s r e a d c o r r e c t o v e r t h e y e a r w a s 4 2 p e r m i n u t e S c o r e s o n t h e s t a t e w i d e r e a d i n g a c h i e v e m e n t t e s t r a n g e d f r o m 1 7 2 2 3 5 w i t h t h e a v e r a g e t h i r d g r a d e r e a d i n g a s s e s s m e n t s c o r e a t 2 0 2 5 ( a p a s s i n g s c o r e w a s 2 0 1 o r a b o v e ) O u t o f t h e 5 1 s t u d e n t s f o l l o w e d f r o m s e c o n d t h r o u g h t h i r d g r a d e 6 5 % p a s s e d t h e r e a d i n g a s s e s s m e n t i n t h i r d g r a d e U s i n g t h e n o r m s e s t a b l i s h e d b y H a s b r o u c k a n d T i n d a l ( 1 9 9 2 ) f o r t h e w i n t e r o f t h i r d g r a d e s t u d e n t s f a l l i n g b e l o w t h e 2 5t h p e r c e n t i l e r e a d b e t w e e n 0 7 0 w o r d s c o r r e c t p e r m i n u t e s t u d e n t s i n t h e s e c o n d g r o u p r e a d 7 1 9 2 w o r d s c o r r e c t p e r m i n u t e s t u d e n t s i n t h e t h i r d g r o u p r e a d 9 3 1 2 2 w o r d s c o r r e c t p e r m i n u t e a n d s t u d e n t s i n t h e f o u r t h g r o u p r e a d 1 2 3 o r m o r e w o r d s c o r r e c t p e r m i n u t e E i g h t y o n e p e r c e n t o f s t u d e n t s r e a d i n g a t t h e t h i r d a n d f o u r t h g r o u p l e v e l s p a s s e d t h e s t a t e w i d e r e a d i n g a c h i e v e m e n t t e s t I n a d d i t i o n 9 4 % o f t h i r d g r a d e r s r e a d i n g a t l e a s t 1 1 9 w o r d s c o r r e c t p e r m i n u t e p a s s e d t h e s t a t e w i d e

PAGE 32

2 5 t e s t t h u s 1 1 9 w a s t h e c r i t i c a l r a t e n e e d e d t o p a s s t h e t e s t A c h i s q u a r e d e m o n s t r a t e d s t a t i s t i c a l s i g n i f i c a n c e b e t w e e n r e a d i n g r a t e a n d s t a t e w i d e r e a d i n g t e s t s c o r e s C o n c l u s i o n s o f t h i s s t u d y f o c u s e d o n t h e s t a b i l i t y o f R C B M a s w e l l a s i t s u t i l i t y o f p r e d i c t i n g a p a s s i n g s c o r e o n a c c o u n t a b i l i t y t e s t s O v e r a l l t h e s t u d e n t ’ s r a t e o f o r a l r e a d i n g i n c r e a s e d b y a n a v e r a g e o f 4 2 w o r d s f r o m s e c o n d t o t h i r d g r a d e s A s t r o n g c o r r e l a t i o n e x i s t e d b e t w e e n r a t e s o f o r a l r e a d i n g i n s e c o n d g r a d e a n d t h i r d g r a d e w h i c h c o n f i r m e d t h e s t a b i l i t y o f R C B M I n a d d i t i o n n o n p a r a m e t r i c a n a l y s i s r e v e a l e d a s i g n i f i c a n t r e l a t i o n s h i p b e t w e e n r e a d i n g r a t e a n d p e r f o r m a n c e o n t h e s t a t e a c h i e v e m e n t t e s t I n f a c t s e c o n d g r a d e r s w h o r e a d a t l e a s t 7 2 w o r d s c o r r e c t p e r m i n u t e p a s s e d t h e s t a t e w i d e t e s t i n t h i r d g r a d e a n d 8 1 % o f t h i r d g r a d e s t u d e n t s r e a d i n g a t t h e 5 0t h p e r c e n t i l e a n d a b o v e p a s s e d t h e s t a t e w i d e r e a d i n g t e s t R e a d i n g a t l e a s t 1 1 9 w o r d s c o r r e c t l y p e r m i n u t e i n t h i r d g r a d e v i r t u a l l y a s s u r e d a p a s s i n g s c o r e ( 9 4 % ) C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g w a s s e n s i t i v e e n o u g h t o d e t e c t g r o w t h i n 5 0 o f t h e 5 1 s t u d e n t s s t u d i e d o v e r t h e t w o y e a r p e r i o d I n t h e w a k e o f e v e r i n c r e a s i n g l y h i g h s t a k e s d e c i s i o n s b e i n g m a d e a b o u t s t u d e n t s b a s e d o n t h e i r t e s t s c o r e c o n t i n u a l p r o g r e s s s h o u l d b e u s e d i n o r d e r t o i n t e r v e n e w h e n s t u d e n t s a r e n o t r e a d i n g a t l e a s t 9 0 w o r d s c o r r e c t p e r m i n u t e ( C r a w f o r d T i n d a l & S t i e b e r 2 0 0 1 ) A l t h o u g h t h e s t u d y b y C r a w f o r d T i n d a l a n d S t i e b e r ( 2 0 0 1 ) d e m o n s t r a t e d t h e a d v a n t a g e o f R C B M t h e r e w e r e l i m i t a t i o n s o f t h e s t u d y F i r s t a s r e p o r t e d b y t h e a u t h o r s t h e s t u d e n t ’ s c l a s s r o o m t e a c h e r s w e r e u s e d a s t e s t e r s a n d n o r e l i a b i l i t y c h e c k s w e r e i m p l e m e n t e d b y t h e r e s e a r c h e r s S e c o n d t h e s a m p l e s i z e w a s s m a l l a n d r e p r e s e n t e d o n l y o n e d i s t r i c t i n O r e g o n T h i r d t h e l e v e l s o f O R F u s e d b y C r a w f o r d e t a l a r e n o t c o m m o n l y c i t e d i n t h e l i t e r a t u r e r e l a t e d t o R C B M T o f u l l y e x p l o r e t h e r e s e a r c h

PAGE 33

2 6 q u e s t i o n s a f u t u r e s t u d y s h o u l d i n c l u d e r e l i a b i l i t y c h e c k s a l a r g e r a n d m o r e r e p r e s e n t a t i v e s a m p l e a n d c o m m o n l e v e l s o f f l u e n c y g r o u n d e d i n t h e R C B M l i t e r a t u r e A s t u d y b y G o o d S i m m o n s a n d K a m e ’ e n u i ( 2 0 0 1 ) d i s c u s s e d t h e i m p o r t a n c e o f d e c i s i o n m a k i n g u t i l i t y o f o r a l r e a d i n g f l u e n c y f o r t h i r d g r a d e h i g h s t a k e s t e s t i n g i n O r e g o n I n t h i s s t u d y f o u r c o h o r t s o f s t u d e n t s i n K i n d e r g a r t e n t h r o u g h t h i r d g r a d e f r o m s i x e l e m e n t a r y s c h o o l s p a r t i c i p a t e d F i v e o f t h e s i x s c h o o l s q u a l i f i e d f o r T i t l e I s e r v i c e s w i t h t h e p e r c e n t a g e o f s t u d e n t s r e c e i v i n g f r e e a n d r e d u c e d l u n c h r a n g i n g f r o m 3 7 % 6 3 % W i t h i n t h e d i s t r i c t 1 0 % o f s t u d e n t s w e r e i d e n t i f i e d a s m i n o r i t y s t u d e n t s a n d 1 8 % f e l l a t o r b e l o w p o v e r t y l e v e l T h e m e a s u r e s e m p l o y e d i n t h i s s t u d y w e r e t h r e e f o l d S t u d e n t s w e r e g i v e n D y n a m i c I n d i c a t o r s o f B a s i c E a r l y L i t e r a c y S k i l l s ( D I B E L S ) w h i c h a r e f l u e n c y b a s e d m e a s u r e s o f e a r l y l i t e r a c y S t u d e n t s w e r e a l s o g i v e n R C B M a n d t h e O r e g o n s t a t e w i d e a c h i e v e m e n t a s s e s s m e n t ( O S A T ) a h i g h s t a k e s m e a s u r e o f c o m p r e h e n s i v e r e a d i n g a c h i e v e m e n t T h e t h r e e o r a l r e a d i n g f l u e n c y p a s s a g e s s e l e c t e d w e r e f r o m t h i r d g r a d e s c r e e n i n g a n d l e v e l C p r o g r e s s m o n i t o r i n g p a s s a g e s o f t h e T e s t s o f R e a d i n g F l u e n c y ( T O R F ) a g e n e r i c s o u r c e o f R C B M m a t e r i a l s T h e r e s u l t s o f t h i s s t u d y w e r e i n s i g h t f u l f o r b o t h R C B M a n d s t a t e w i d e a s s e s s m e n t F i r s t c o r r e l a t i o n s b e t w e e n e a r l i e r a n d l a t e r o r a l r e a d i n g s k i l l s r a n g e d f r o m 3 4 8 2 I n a d d i t i o n o f t h e 9 8 s t u d e n t s t h a t r e a c h e d f i r s t g r a d e R C B M b e n c h m a r k s 9 7 % a t t a i n e d s e c o n d g r a d e b e n c h m a r k s N i n e t y s i x p e r c e n t o f t h o s e w h o a t t a i n e d t h e M a y o f t h i r d g r a d e R C B M g o a l o f a t l e a s t 1 1 0 w o r d s c o r r e c t i n o n e m i n u t e w e r e r a t e d a s “ m e e t s e x p e c t a t i o n ” o r “ e x c e e d s e x p e c t a t i o n ” w h i c h a r e t h e p a s s i n g l e v e l s o n t h e O S A T F o r s t u d e n t s r e a d i n g 7 0 1 1 0 W C M t h e l i k e l i h o o d o f m e e t i n g e x p e c t a t i o n s o n t h e s t a t e w i d e

PAGE 34

2 7 a c h i e v e m e n t t e s t w a s l e s s c l e a r a n d p r e d i c t i o n s o f p a s s i n g r a t e s c o u l d n o t b e m a d e w i t h p r e c i s i o n T w e n t y e i g h t p e r c e n t o f s t u d e n t s w h o s c o r e d b e l o w 7 0 w o r d s c o r r e c t p e r m i n u t e s c o r e d “ m e e t s e x p e c t a t i o n ” o n t h e O S A T G o o d S i m m o n s a n d K a m e ’ e n u i ( 2 0 0 1 ) f o u n d t h a t D I B E L S b e n c h m a r k s w e r e r e l a t e d t o m e e t i n g l a t e r b e n c h m a r k s T h e D I B E L S m e a s u r e s c a n b e a d m i n i s t e r e d a s e a r l y a s p r e s c h o o l t o m o n i t o r s t u d e n t s ’ r e a d i n g p r o g r e s s a n d a s s e s s s t u d e n t s w h o m a y b e a t r i s k f o r r e a d i n g f a i l u r e T h e r e s u l t s o f R C B M s u p p o r t e d a c c u r a c y a n d f l u e n c y w i t h c o n n e c t e d t e x t a s a n i m p o r t a n t f o u n d a t i o n f o r r e a d i n g c o m p e t e n c e S t u d e n t s w h o r e a d a t g r a d e l e v e l ( 1 1 0 w o r d s c o r r e c t p e r m i n u t e o r b e t t e r ) w e r e m o r e l i k e l y t o m e e t o r e x c e e d e x p e c t a t i o n a n d s t u d e n t s w h o r e a d l e s s t h a n 7 0 w o r d s c o r r e c t p e r m i n u t e w e r e n o t l i k e l y t o p a s s t h e O r e g o n s t a t e w i d e a c h i e v e m e n t t e s t S h a w a n d S h a w ( 2 0 0 2 ) s t u d i e d D I B E L S O R F w i t h a s m a l l s a m p l e o f t h i r d g r a d e r s i n o n e e l e m e n t a r y s c h o o l i n C o l o r a d o T h e y t o o f o u n d O R F c o r r e l a t e d w i t h t h e C o l o r a d o a c h i e v e m e n t t e s t s S h a w a n d S h a w ( 2 0 0 2 ) c o l l e c t e d D I B E L S O R F d a t a i n S e p t e m b e r J a n u a r y a n d A p r i l w h i c h w e r e c o r r e l a t e d w i t h t h e A p r i l a d m i n i s t r a t i o n o f t h e C S A P ( r = 7 3 8 0 ) T h e s t u d y f o u n d h i g h s c o r e s o n O R F t o b e p r e d i c t i v e o f p a s s i n g t h e s t a t e t e s t s h o w e v e r p r e d i c t i o n s w e r e l e s s c l e a r f o r s t u d e n t s w h o d i d n o t r e a d a t l e a s t 9 0 W C M F o r e x a m p l e S h a w a n d S h a w ( 2 0 0 2 ) f o u n d a 9 1 % l i k e l i h o o d t h a t s t u d e n t s w h o r e a d 9 0 W C M o r a b o v e w o u l d r e c e i v e a p a s s i n g s c o r e a t o r a b o v e p r o f i c i e n c y l e v e l o n t h e C S A P S e v e n t y t h r e e p e r c e n t o f s t u d e n t s w h o r e a d f e w e r t h a n 9 0 W C M s c o r e d p a r t i a l l y p r o f i c i e n t o r u n s a t i s f a c t o r y w h i c h a r e f a i l i n g s c o r e s T h o u g h t h i s s t u d y s u p p o r t e d t h e r e l a t i o n s h i p b e t w e e n O R F a n d s t a t e w i d e t e s t s t h e r e w e r e m a n y l i m i t a t i o n s F i r s t a s m a l l

PAGE 35

2 8 s a m p l e o f t h i r d g r a d e r s w a s u s e d ( n = 5 2 ) S e c o n d n o d e m o g r a p h i c i n f o r m a t i o n w a s a v a i l a b l e o n t h e s a m p l e T h i r d t h e s t u d y s a m p l e d o n l y s t u d e n t s f r o m o n e e l e m e n t a r y s c h o o l I n t h e M i d w e s t ( O h i o M i c h i g a n I l l i n o i s ) R C B M s c o r e s w e r e c o r r e l a t e d w i t h s t a t e w i d e a c h i e v e m e n t s c o r e s I n O h i o 3 3 2 f o u r t h g r a d e r s w e r e a d m i n i s t e r e d t h r e e R C B M p r o b e s i n O c t o b e r a n d t h e O h i o P r o f i c i e n c y T e s t i n M a r c h o f t h e s a m e y e a r ( S t o l l e r V a n d e r M e e r & L e n t z 2 0 0 4 ) O v e r a l l a s t a t i s t i c a l l y s i g n i f i c a n t c o r r e l a t i o n w a s f o u n d b e t w e e n t h e m e d i a n o f t h r e e H o u g h t o n M i f f l i n R C B M p r o b e s a n d O P T ( r = 5 9 ) I n o n e s c h o o l d i s t r i c t i n I l l i n o i s 9 9 % o f t h i r d g r a d e r s w h o s c o r e d a t o r a b o v e 1 1 0 w o r d s c o r r e c t i n o n e m i n u t e s c o r e d “ m e e t s s t a n d a r d s ” o r “ E x c e e d s s t a n d a r d s ” o n t h e I l l i n o i s S t a t e A s s e s s m e n t T e s t ( I S A T ) ( S i b l e t e t a l 2 0 0 1 ) C o r r e l a t i o n s b e t w e e n T O R F a n d I S A P w a s h i g h ( r = 7 9 ) f o r t h e 8 2 t h i r d g r a d e s t u d e n t s t h a t p a r t i c i p a t e d i n t h e s t u d y F u r t h e r i n f o r m a t i o n o n t h e m e t h o d s u s e d w a s u n a v a i l a b l e M c G l i n c h e y a n d H i x o n ( 2 0 0 4 ) r e p l i c a t e d t h e f i n d i n g s o f S t a g e a n d J a c o b s o n ( 2 0 0 1 ) w i t h f o u r t h g r a d e r s i n M i c h i g a n a c r o s s a n e i g h t y e a r t i m e s p a n R e s e a r c h e r s e x a m i n e d f o u r t h g r a d e r s i n o n e e l e m e n t a r y s c h o o l f o r s e v e n o f t h e e i g h t y e a r s a n d a l l f o u r t h g r a d e r s i n o n e s c h o o l d i s t r i c t f o r o n e o f t h e e i g h t y e a r s I n t o t a l 1 3 6 2 f o u r t h g r a d e r s p a r t i c i p a t e d a c r o s s e i g h t y e a r s A c r o s s t h e s c h o o l d i s t r i c t 5 2 % o f s t u d e n t s w e r e i d e n t i f i e d a s n o n C a u c a s i a n a n d 6 0 % r e c e i v e d f r e e o r r e d u c e d l u n c h E a c h y e a r f o r e i g h t y e a r s e x a m i n e r s a d m i n i s t e r e d O R F p r o b e s t o f o u r t h g r a d e r s t w o w e e k b e f o r e t h e M i c h i g a n E d u c a t i o n a l A s s e s s m e n t P r o g r a m ( M E A P ) I n y e a r s o n e t h r o u g h f i v e a s i n g l e p r o b e w a s a d m i n i s t e r e d a n d r e c o r d e d a n d i n y e a r s s i x t h r o u g h e i g h t t h e m e d i a n s c o r e o f t h r e e p r o b e s w a s r e c o r d e d

PAGE 36

2 9 C o r r e l a t i o n s i n t h e M i c h i g a n s t u d y w e r e h i g h e r t h a n t h o s e f r o m t h e W a s h i n g t o n s t u d y r a n g i n g f r o m 4 9 8 1 w i t h a n a v e r a g e c o r r e l a t i o n o f 6 7 b e t w e e n O R F a n d t h e M E A P o v e r e i g h t y e a r s ( M c G l i n c h e y & H i x o n 2 0 0 4 ) T h e d i f f e r e n c e s i n r e s u l t s c o u l d h a v e b e e n d u e t o d i f f e r e n c e s i n e c o n o m i c s t a t u s o r r a c i a l m a k e u p S o m e m e t h o d o l o g i c a l i s s u e s o f t h e s t u d y i n c l u d e c o m p a r i n g d i f f e r e n t s a m p l e s e a c h y e a r ( v a r i a t i o n i n s a m p l e s i z e f r e e a n d r e d u c e d l u n c h s t a t u s e t h n i c i t y ) a s w e l l a s t h e e n t i r e d i s t r i c t b e i n g i n c l u d e d j u s t o n e y e a r O v e r a l l h o w e v e r b o t h s t u d i e s f o u n d O R F s c o r e s f o r f o u r t h g r a d e r s i n o n e e l e m e n t a r y s c h o o l a n d o n e d i s t r i c t s i g n i f i c a n t l y c o r r e l a t e d w i t h s c o r e s o n s t a t e w i d e a c h i e v e m e n t t e s t s I n t h e N o r t h e a s t a s t u d y b y S h a p i r o E d w a r d s L u t z a n d K e l l e r ( 2 0 0 4 ) d e m o n s t r a t e d f u r t h e r e v i d e n c e f o r t h e u s e o f C B M G e n e r a l O u t c o m e s M e a s u r e s a s p r e d i c t o r s o f t h e P e n n s y l v a n i a S y s t e m o f S c h o o l A s s e s s m e n t ( P S S A ) O r a l r e a d i n g p r o b e s w e r e a d m i n i s t e r e d t o 1 8 5 t h i r d g r a d e r s i n t h e F a l l W i n t e r a n d S p r i n g a n d t h e P S S A w a s a d m i n i s t e r e d i n t h e S p r i n g T h e t h i r d g r a d e r s w e r e s e l e c t e d f r o m a m o n g e i g h t e l e m e n t a r y s c h o o l s i n o n e m i x e d u r b a n a n d s u b u r b a n s c h o o l d i s t r i c t i n w h i c h 3 2 8 % o f t h e s t u d e n t s w e r e c o n s i d e r e d l o w i n c o m e O r a l r e a d i n g f l u e n c y w a s s i g n i f i c a n t l y c o r r e l a t e d w i t h P S S A a t a l l t h r e e t i m e s H o w e v e r O R F w a s c o r r e l a t e d h i g h e s t w i t h P S S A a t t h e S p r i n g a d m i n i s t r a t i o n ( r = 6 7 ) f o l l o w e d b y W i n t e r ( r = 6 6 ) a n d F a l l ( 6 5 ) I n a d d i t i o n 9 3 % o f s t u d e n t s w h o r e a d 1 1 4 w o r d s c o r r e c t p e r m i n u t e o r a b o v e w e r e c o n s i d e r e d t o b e “ s u c c e s s f u l ” o n t h e P S S A C u r r i c u l u m B a s e d M e a s u r e m e n t R e a d i n g w a s a s t r o n g p r e d i c t o r o f p e r f o r m a n c e o n t h e s t a t e s t a n d a r d i z e d t e s t i n P e n n s y l v a n i a F i n a l l y i n t h e S o u t h e a s t ( N o r t h C a r o l i n a F l o r i d a ) R C B M w a s f o u n d t o n o t o n l y p r e d i c t s c o r e s o n s t a t e w i d e a c h i e v e m e n t t e s t s b u t a l s o w a s t h e b e s t p r e d i c t o r f r o m a m o n g

PAGE 37

3 0 o t h e r r e a d i n g c o m p r e h e n s i o n m e a s u r e s ( C a s t i l l o e t a l 2 0 0 3 ) B a r g e r ( 2 0 0 3 ) f o u n d a h i g h c o r r e l a t i o n b e t w e e n s t u d e n t s c o r e s o f t h e m e d i a n o f t h r e e D I B E L S O R F p r o b e s w i t h t h e N o r t h C a r o l i n a E n d o f G r a d e r e a d i n g a s s e s s m e n t a d m i n i s t e r e d o n e w e e k l a t e r ( r = 7 3 ) A s i n C o l o r a d o h i g h s c o r e s o n O R F w e r e p r e d i c t i v e o f p a s s i n g t h e N o r t h C a r o l i n a E n d o f G r a d e r e a d i n g a s s e s s m e n t b u t o t h e r p r e d i c t i o n s w e r e u n c l e a r B a r g e r f o u n d a l l s t u d e n t s w h o r e a d 1 0 0 W C M o r b e t t e r p a s s e d t h e N o r t h C a r o l i n a E n d o f G r a d e r e a d i n g a s s e s s m e n t b u t h a l f o f t h e s t u d e n t s w h o d i d n o t r e a d 1 0 0 W C M a l s o p a s s e d T h o u g h t h i s s t u d y s u p p o r t e d t h e r e l a t i o n s h i p b e t w e e n O R F a n d s t a t e w i d e t e s t s t h e r e w e r e m a n y l i m i t a t i o n s i n c l u d i n g s m a l l s a m p l e s i z e ( n = 3 8 ) n o a v a i l a b l e s a m p l e d e m o g r a p h i c i n f o r m a t i o n a n d a l i m i t e d s a m p l e ( o n e e l e m e n t a r y s c h o o l ) C a s t i l l o e t a l ( 2 0 0 3 ) f u r t h e r e x p l o r e d t h e r e l a t i o n s h i p b e t w e e n t w o f o r m s o f O R F p r o b e s a s w e l l a s o t h e r i n d i v i d u a l l y a n d g r o u p a d m i n i s t e r e d r e a d i n g f l u e n c y m e a s u r e s a n d t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) i n a s m a l l r u r a l d i s t r i c t i n F l o r i d a S t u d e n t s i n t w o e l e m e n t a r y s c h o o l s i n f i r s t s e c o n d a n d t h i r d g r a d e s w e r e a d m i n i s t e r e d t h r e e O R F p r o b e s d e v e l o p e d f r o m t h e D I B E L S a n d t h r e e O R F p r o b e s f r o m t h e M o n i t o r i n g B a s i c S k i l l s P r o g r a m ( M B S P ) T h e y w e r e a l s o a d m i n i s t e r e d t h e T e s t o f W o r d R e a d i n g E f f i c i e n c y ( T O W R E ; T o r g e s o n W a g n e r & R a s h o t t e 1 9 9 9 ) w h i c h i s a n i n d i v i d u a l l y a d m i n i s t e r e d m e a s u r e d e s i g n e d t o a s s e s s f l u e n c y w i t h r e a d i n g w o r d l i s t s r a t h e r t h a n a c o m p l e t e p a s s a g e T o a d d r e s s e s t h e l e n g t h y a m o u n t o f t i m e t e a c h e r s c a n s p e n d a d m i n i s t e r i n g O R F p r o b e s t o t h e i r e n t i r e c l a s s t w o g r o u p a d m i n i s t e r e d w o r d l i s t s c u r r e n t l y b e i n g d e v e l o p e d w e r e a d m i n i s t e r e d i n c l u d i n g t h e T e s t o f C r i t i c a l E a r l y R e a d i n g S k i l l s ( T O C E R S ; T o r g e s o n W a g n e r L o n i g a n & D e G r a f f 2 0 0 2 ) a n d t h e T e s t o f S i l e n t W o r d R e a d i n g F l u e n c y ( T O S W R F ; M a t h e r H a m m i l l A l l e n & R o b e r t s 2 0 0 4 )

PAGE 38

3 1 A l l f l u e n c y m e a s u r e s w e r e a d m i n i s t e r e d t o p a r t i c i p a n t s i n t w o s e s s i o n s o n e m o n t h a f t e r t h e s t u d e n t s t o o k t h e s t a t e w i d e a c h i e v e m e n t t e s t s i n c l u d i n g t h e F C A T f o r t h i r d g r a d e r s O v e r a l l O R F w a s c o r r e l a t e d h i g h e s t w i t h t h e F C A T S S S ( f o r r e a d i n g ) s c o r e i n 1 0 2 t h i r d g r a d e s t u d e n t s ( r = 6 0 6 5 ) B o t h p r o b e s t y p e s w e r e e q u a l l y r e l a t e d t o t h e F C A T s c o r e b u t t h e r e w a s s i g n i f i c a n t v a r i a b i l i t y i n t h e m e a n s c o r e s a c r o s s t h e t h r e e p a s s a g e s a t e a c h g r a d e l e v e l I n F l o r i d a O R F w a s f o u n d t o b e t h e h i g h e s t c o r r e l a t e d b r i e f a s s e s s m e n t w i t h t h e F C A T ( S S S o r N R T ) f r o m a m o n g f o u r a s s e s s m e n t s ( C a s t i l l o e t a l 2 0 0 3 ) I n r e s p o n s e t o t h e s t u d y b y G o o d a n d c o l l e a g u e s B u c k a n d T o r g e s o n ( 2 0 0 3 ) r e p l i c a t e d t h e i r s t u d y w i t h a s a m p l e f r o m F l o r i d a T h i r t e e n s c h o o l s f r o m o n e F l o r i d a d i s t r i c t p r o v i d e d d a t a t h a t i n c l u d e d C u r r i c u l u m B a s e d M e a s u r e s o f o r a l r e a d i n g f l u e n c y a n d s c o r e s f r o m t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t f o r t h i r d g r a d e s t u d e n t s ( n = 1 1 0 2 ) F o r t y n i n e p e r c e n t o f t h e s t u d e n t s w e r e f e m a l e T h e e t h n i c c o m p o s i t i o n o f t h e s a m p l e i n c l u d e d 8 3 % C a u c a s i a n 7 % A f r i c a n A m e r i c a n a n d 6 % H i s p a n i c F o r t y s i x p e r c e n t o f t h e s t u d e n t s q u a l i f i e d f o r f r e e o r r e d u c e d l u n c h S i m i l a r t o t h e G o o d S i m m o n s a n d K a m e ’ n e u i ( 2 0 0 1 ) s t u d y B u c k a n d T o r g e s o n ( 2 0 0 3 ) f o u n d a s i g n i f i c a n t c o r r e l a t i o n b e t w e e n O R F a n d r e a d i n g s c o r e s o n t h e F C A T S S S ( r = 7 0 ) N i n e t y o n e p e r c e n t o f s t u d e n t s w h o r e a d a t o r a b o v e 1 1 0 w o r d s c o r r e c t p e r m i n u t e p a s s e d t h e F C A T O f t h o s e w h o r e a d b e l o w 8 0 w o r d s c o r r e c t p e r m i n u t e 8 1 % d i d n o t p a s s A s i n t h e a b o v e s t u d y b y G o o d e t a l ( 2 0 0 1 ) m i d r a n g e ( b e t w e e n 8 0 1 1 0 w o r d s c o r r e c t p e r m i n u t e ) w a s u n p r e d i c t a b l e a n d s t u d e n t s w e r e e q u a l l y l i k e l y t o p a s s o r n o t p a s s M i n o r i t y r e p r e s e n t a t i o n a l s o o f f e r e d i n s i g h t i n t o u s i n g o r a l r e a d i n g f l u e n c y a s a p r e d i c t i v e m e a s u r e H i s p a n i c s t u d e n t s ’ o r a l r e a d i n g f l u e n c y s c o r e s w e r e c o r r e l a t e d

PAGE 39

3 2 h i g h e s t w i t h F C A T s c o r e ( r = 7 8 ) f o l l o w e d b y C a u c a s i a n s t u d e n t s ’ s c o r e s ( r = 7 0 ) a n d A f r i c a n A m e r i c a n s t u d e n t s ’ w h o s e s c o r e s w e r e c o r r e l a t e d l o w e s t ( r = 6 2 ) I n a d d i t i o n s c o r e s a b o v e 1 1 0 w o r d s c o r r e c t p e r m i n u t e w e r e s l i g h t l y l e s s p r e d i c t i v e o f s u c c e s s f o r m i n o r i t y g r o u p s w h i l e s c o r e s b e l o w 8 0 w o r d s c o r r e c t p e r m i n u t e w e r e m o r e p r e d i c t i v e o f f a i l u r e f o r t h e s e g r o u p s M u l t i w a y f r e q u e n c y a n a l y s e s w e r e c o n d u c t e d t o d e t e r m i n e w h e t h e r t h e i n t e r a c t i o n b e t w e e n r a c i a l / e t h n i c b a c k g r o u n d a n d p r e d i c t i v e a c c u r a c y f o r o r a l r e a d i n g f l u e n c y s c o r e s w a s s t a t i s t i c a l l y r e l i a b l e T h e i n t e r a c t i o n s w e r e n o t s i g n i f i c a n t i n d i c a t i n g t h a t p r e d i c t i v e r e l a t i o n s h i p w a s n o t s i g n i f i c a n t l y d i f f e r e n t f o r C a u c a s i a n o r A f r i c a n A m e r i c a n s t u d e n t s H o w e v e r t h e r a c i a l / e t h n i c m a k e u p o f t h i s s t u d y w a s n o t r e p r e s e n t a t i v e o f e i t h e r t h e p o p u l a t i o n o f t h e U n i t e d S t a t e s o r F l o r i d a w i t h a n o v e r r e p r e s e n t a t i o n o f C a u c a s i a n s t u d e n t s a n d a n u n d e r r e p r e s e n t a t i o n o f A f r i c a n A m e r i c a n a n d H i s p a n i c s t u d e n t s T h i s i s o n e l i m i t a t i o n o f t h e B u c k a n d T o r g e s o n ( 2 0 0 3 ) s t u d y O v e r a l l R C B M h a s b e e n f o u n d t o b e c o r r e l a t e d w i t h s t a t e w i d e t e s t s o f a c h i e v e m e n t a c r o s s t h e c o u n t r y H o w e v e r f e w s t u d i e s c o m p a r e d s o c i o e c o n o m i c s t a t u s f r e e a n d r e d u c e d l u n c h s t a t u s a n d e t h n i c i t y a m o n g o r b e t w e e n d i s t r i c t s i n t h e s t a t e T o t h i s p o i n t n o n e o f t h e s t u d i e s c o r r e l a t i n g R C B M w i t h s t a t e w i d e a c h i e v e m e n t t e s t s c a n b e g e n e r a l i z e d a c r o s s F l o r i d a l e t a l o n e n a t i o n a l l y P u r p o s e o f t h e C u r r e n t S t u d y T h e c u r r e n t s t u d y w i l l a t t e m p t t o a d d t o t h e e x i s t i n g b o d y o f l i t e r a t u r e r e g a r d i n g t h e r e l a t i o n s h i p b e t w e e n R C B M a n d s t a t e w i d e a c h i e v e m e n t t e s t s B u c k a n d T o r g e s o n ( 2 0 0 3 ) a n d C a s t i l l o e t a l ( 2 0 0 3 ) e x p l o r e d t h e r e l a t i o n s h i p b e t w e e n R C B M a n d m a s t e r y o n t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) a c r i t e r i o n r e f e r e n c e d s t a t e w i d e a c h i e v e m e n t t e s t T h e c u r r e n t s t u d y p r o p o s e s t o f u r t h e r s t u d y t h e r e l a t i o n s h i p b e t w e e n R

PAGE 40

3 3 C B M a n d p e r f o r m a n c e o n t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t f o r t h i r d g r a d e s t u d e n t s a c r o s s F l o r i d a T h e l i m i t a t i o n s s u c h a s s a m p l e h o m o g e n e i t y a n d r e p r e s e n t a t i o n w i l l b e a d d r e s s e d F i n a l l y t h e c u r r e n t s t u d y w i l l e x p l o r e t h e r e l a t i o n s h i p b e t w e e n t h r e e d i f f e r e n t o r a l r e a d i n g p a s s a g e t y p e s ( i e c u r r i c u l u m c o n t e n t a r e a F C A T ) a n d t h e i r r e l a t i o n s h i p t o F C A T m a s t e r y

PAGE 41

3 4 C h a p t e r 3 M e t h o d s T h i s c h a p t e r o u t l i n e s t h e p r o c e d u r e s a n d i n s t r u m e n t s t h a t w e r e u t i l i z e d t o d e t e r m i n e t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g f l u e n c y a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) F i r s t a d e s c r i p t i o n o f t h e p r o j e c t g r a n t f r o m w h i c h t h e d a t a f o r t h i s s t u d y w e r e o b t a i n e d i s p r e s e n t e d f o l l o w e d b y a d i s c u s s i o n o f t h e s e t t i n g a n d r e s e a r c h p a r t i c i p a n t s N e x t t h e i n s t r u m e n t s d a t a c o l l e c t i o n p r o c e d u r e s a n d r e s e a r c h d e s i g n a r e p r e s e n t e d F i n a l l y a d e s c r i p t i o n o f t h e d a t a a n a l y s i s a n d t h e s t u d y l i m i t a t i o n s a r e d i s c u s s e d S e t t i n g T h e F l o r i d a C e n t e r f o r R e a d i n g R e s e a r c h ( F C R R ) h a s a s i t s m i s s i o n c o n d u c t i n g b a s i c a n d a p p l i e d r e s e a r c h t o i m p a c t p o l i c y a n d p r a c t i c e s o f l i t e r a c y i n s t r u c t i o n a s w e l l a s r e a d i n g a s s e s s m e n t ( F l o r i d a C e n t e r f o r R e a d i n g R e s e a r c h 2 0 0 3 ) T o t h a t e n d F C R R r e c e i v e d a n a t i o n a l l y f u n d e d g r a n t e n t i t l e d I n d i v i d u a l D i f f e r e n c e s i n F C A T p e r f o r m a n c e ( F C A T g r a n t ) i n o r d e r t o s t u d y t h e c o g n i t i v e a n d r e a d i n g p r o f i l e s o f t h i r d g r a d e s e v e n t h g r a d e a n d t e n t h g r a d e s t u d e n t s i n F l o r i d a w h o t o o k t h e F C A T T h e F C R R s t a f f s e l e c t e d t h r e e s i t e s a c r o s s F l o r i d a t o a c t a s r e g i o n a l r e p r e s e n t a t i v e s f o r t h e p u r p o s e o f c o l l e c t i n g d a t a f o r t h e F C A T g r a n t B r o w a r d

PAGE 42

3 5 H i l l s b o r o u g h a n d L e o n C o u n t i e s w e r e s e l e c t e d a s r e p r e s e n t a t i v e s o f S o u t h e r n C e n t r a l a n d N o r t h e r n F l o r i d a T h e s e c o u n t i e s w e r e s e l e c t e d b a s e d o n l o c a t i o n d e m o g r a p h i c m a k e u p a s w e l l a s p r o x i m i t y t o u n i v e r s i t i e s t o f a c i l i t a t e d a t a c o l l e c t i o n A t t h e t i m e o f d a t a c o l l e c t i o n B r o w a r d C o u n t y r a n k e d a s t h e n a t i o n ’ s f i f t h l a r g e s t s c h o o l d i s t r i c t a n d t h e l a r g e s t f u l l y a c c r e d i t e d p u b l i c s c h o o l d i s t r i c t I n F l o r i d a i t r a n k e d a s t h e s e c o n d l a r g e s t s c h o o l d i s t r i c t b e h i n d M i a m i D a d e C o u n t y F o r t h e 2 0 0 2 2 0 0 3 s c h o o l y e a r t h e r e w e r e m o r e t h a n 2 6 6 0 0 0 s t u d e n t s e n r o l l e d i n k i n d e r g a r t e n t h r o u g h t w e l f t h g r a d e r e p r e s e n t i n g o v e r 1 5 5 c o u n t r i e s a n d 5 7 d i f f e r e n t l a n g u a g e s A v e r a g e p e r p u p i l e x p e n d i t u r e i n B r o w a r d C o u n t y w a s $ 4 3 8 3 ( B r o w a r d C o u n t y S c h o o l D i s t r i c t 2 0 0 3 ) A p p r o x i m a t e l y 4 6 % o f e l e m e n t a r y s c h o o l c h i l d r e n r e c e i v e d f r e e o r r e d u c e d l u n c h a s a m e a s u r e o f s o c i o e c o n o m i c s t a t u s ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 4 ) T h e r e w e r e 1 3 6 e l e m e n t a r y s c h o o l s i n t h e d i s t r i c t w h i c h e n r o l l e d a p p r o x i m a t e l y 1 2 2 1 6 2 s t u d e n t s T h e r a c i a l c o m p o s i t i o n o f p u b l i c s c h o o l s t u d e n t e n r o l l m e n t w a s 3 7 % C a u c a s i a n 3 6 % A f r i c a n A m e r i c a n 2 2 % H i s p a n i c 3 % A s i a n l e s s t h a n 1 % N a t i v e A m e r i c a n a n d 2 % c l a s s i f i e d a s m u l t i r a c i a l ( B r o w a r d C o u n t y S c h o o l D i s t r i c t 2 0 0 3 ) H i l l s b o r o u g h C o u n t y i s l o c a t e d i n w e s t c e n t r a l F l o r i d a F o r t h e 2 0 0 2 2 0 0 3 s c h o o l y e a r t h e r e w e r e a p p r o x i m a t e l y 1 6 5 1 6 4 s t u d e n t s e n r o l l e d i n k i n d e r g a r t e n t h r o u g h t w e l f t h g r a d e A v e r a g e p e r p u p i l e x p e n d i t u r e i n H i l l s b o r o u g h C o u n t y w a s $ 4 0 8 0 ( H i l l s b o r o u g h C o u n t y S c h o o l D i s t r i c t 2 0 0 3 ) A p p r o x i m a t e l y 5 4 % o f e l e m e n t a r y s c h o o l c h i l d r e n r e c e i v e d f r e e o r r e d u c e d l u n c h ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 4 ) T h e r e w e r e 1 2 1 e l e m e n t a r y s c h o o l s i n t h e d i s t r i c t w h i c h e n r o l l e d 7 8 9 1 9 s t u d e n t s e x c l u d i n g c h a r t e r s c h o o l s T h e r a c i a l c o m p o s i t i o n o f a l l e l e m e n t a r y s c h o o l s t u d e n t s e n r o l l e d w a s a p p r o x i m a t e l y 4 5 % C a u c a s i a n 2 2 % A f r i c a n A m e r i c a n 2 5 % H i s p a n i c 2 % A s i a n l e s s

PAGE 43

3 6 t h a n 1 % N a t i v e A m e r i c a n a n d 5 % c l a s s i f i e d a s M u l t i r a c i a l ( H i l l s b o r o u g h C o u n t y S c h o o l D i s t r i c t 2 0 0 3 ) F l o r i d a ’ s c a p i t a l T a l l a h a s s e e i s i n L e o n C o u n t y L e o n C o u n t y e n r o l l e d 3 1 7 5 2 s t u d e n t s i n t h e 2 0 0 2 2 0 0 3 s c h o o l y e a r F o r t h e 2 0 0 1 2 0 0 2 s c h o o l y e a r a v e r a g e p e r p u p i l e x p e n d i t u r e i n L e o n C o u n t y w a s $ 4 2 5 2 ( L e o n C o u n t y S c h o o l D i s t r i c t 2 0 0 3 ) A p p r o x i m a t e l y 4 4 % o f e l e m e n t a r y s c h o o l c h i l d r e n r e c e i v e d f r e e o r r e d u c e d l u n c h ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) T h e 2 5 e l e m e n t a r y s c h o o l s e n r o l l e d 1 5 4 4 5 s t u d e n t s f o r t h e 2 0 0 2 2 0 0 3 s c h o o l y e a r T h e r a c i a l c o m p o s i t i o n w a s 5 2 % C a u c a s i a n 4 2 % A f r i c a n A m e r i c a n 2 % H i s p a n i c 2 % A s i a n l e s s t h a n 1 % N a t i v e A m e r i c a n a n d 2 % m u l t i r a c i a l ( L e o n C o u n t y S c h o o l D i s t r i c t 2 0 0 3 ) P a r t i c i p a n t s P a r t i c i p a n t s i n t h i s s t u d y i n c l u d e a s u b s e t o f s t u d e n t s f r o m t h e F C A T g r a n t I n 2 0 0 3 a l l t h i r d g r a d e s t u d e n t s e n r o l l e d i n a p u b l i c s c h o o l i n t h e s t a t e o f F l o r i d a w e r e r e q u i r e d t o t a k e t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t i n t h e s p r i n g o f t h i r d g r a d e A t o t a l o f 1 8 8 1 0 7 t h i r d g r a d e s t u d e n t s t o o k t h e F C A T i n 2 0 0 3 i n c l u d i n g 3 6 2 8 5 t h i r d g r a d e r s f r o m B r o w a r d H i l l s b o r o u g h a n d L e o n C o u n t i e s A r e p r e s e n t a t i v e s a m p l e o f 2 1 5 t h i r d g r a d e r s e n r o l l e d i n 9 e l e m e n t a r y s c h o o l s f r o m t h e s e t h r e e F l o r i d a c o u n t i e s w a s s e l e c t e d t o p a r t i c i p a t e i n t h e c u r r e n t s t u d y T h e s p e c i f i c s c h o o l s w e r e s e l e c t e d b a s e d o n t h e g e o g r a p h i c r e g i o n a n d s o c i o e c o n o m i c m a k e u p o f t h e c h i l d r e n t h e y s e r v e S e e T a b l e 2 f o r a d e s c r i p t i o n o f e t h n i c i t y a n d T a b l e 3 f o r a d e s c r i p t i o n o f s o c i o e c o n o m i c s t a t u s o f t h e s t u d e n t s i n t h e s a m p l e T o b e i n c l u d e d i n t h e p r e s e n t s t u d y p a r t i c i p a n t s ’ p a r e n t s m u s t h a v e g i v e n w r i t t e n i n f o r m e d c o n s e n t p r i o r t o s t u d y p a r t i c i p a t i o n a n d t h e i n d i v i d u a l

PAGE 44

3 7 s t u d e n t m u s t h a v e g i v e n w r i t t e n i n f o r m e d a s s e n t i m m e d i a t e l y b e f o r e s t u d y p a r t i c i p a t i o n A l s o e a c h o f t h e s t u d e n t s h a d t o b e e l i g i b l e t o t a k e t h e F C A T T a b l e 2 E t h n i c G r o u p M e m b e r s h i p o f S a m p l e E t h n i c i t y B l a c k C a u c a s i a n H i s p a n i c A s i a n M i x e d T o t a l M i s s i n g n 9 0 8 3 3 2 3 5 2 1 3 5 % 4 2 3 3 9 0 1 5 0 1 4 2 3 1 0 0 0 T a b l e 3 S o c i o e c o n o m i c S t a t u s o f S a m p l e M e a l S t a t u s F u l l P r i c e d L u n c h R e d u c e d P r i c e L u n c h F r e e L u n c h T o t a l M i s s i n g N 9 2 1 0 8 5 1 8 7 2 8 % 4 9 2 5 3 4 5 5 1 0 0 0 I n s t r u m e n t s I n s t r u m e n t s f o r t h i s s t u d y w e r e s e l e c t e d b y t h e p r i n c i p l e i n v e s t i g a t o r f r o m a m o n g a l l o f t h e i n s t r u m e n t s a d m i n i s t e r e d a s p a r t o f t h e F C A T g r a n t f o r t h e p u r p o s e o f a n s w e r i n g t h e r e s e a r c h q u e s t i o n s T h e l a r g e r t e s t b a t t e r y i n c l u d e d i n s t r u m e n t s m e a s u r i n g g e n e r a l k n o w l e d g e l i s t e n i n g c o m p r e h e n s i o n v o c a b u l a r y n o n v e r b a l r e a s o n i n g w o r k i n g m e m o r y r e a d i n g f l u e n c y d e c o d i n g r e a d i n g c o m p r e h e n s i o n m o t i v a t i o n a n d e x p o s u r e t o p r i n t a s w e l l a s t e a c h e r r a t i n g s F o r t h e p u r p o s e o f t h i s s t u d y m e a s u r e s o f o r a l r e a d i n g f l u e n c y a n d s c o r e s o n t h e F C A T w e r e s e l e c t e d

PAGE 45

3 8 M e a s u r e s o f O r a l R e a d i n g F l u e n c y M e a s u r e s o f R C B M c o n s i s t e d o f n i n e p r o b e s s e l e c t e d f r o m t h r e e d i f f e r e n t s o u r c e s T h r e e o f t h e R C B M p r o b e s c a m e f r o m t e x t b o o k s o n t h e s t a t e a d o p t i o n l i s t f o r t h i r d g r a d e r s T h e t e x t s w e r e s e l e c t e d b y F C R R s t a f f f o r t h e c o n t e n t c o n t a i n e d w i t h i n t h e p a s s a g e a s w e l l a s t h i r d g r a d e l e v e l T h r e e p r o b e s c a m e f r o m A I M S w e b / E d f o r m a t i o n w h i c h i s a d a t a b a s e o f R C B M p r o b e s ( A I M S w e b 2 0 0 3 ) T h e s e p r o b e s w e r e s e l e c t e d a t r a n d o m f r o m a m o n g a l l t h i r d g r a d e l e v e l p r o b e s a v a i l a b l e o n t h e w e b s i t e T h e f i n a l t h r e e p r o b e s c a m e f r o m p u b l i s h e d F C A T p r a c t i c e p a s s a g e s f r o m t h e 2 0 0 1 2 0 0 2 s c h o o l y e a r E a c h p r o b e w a s a p p r o x i m a t e l y 2 5 0 w o r d s i n l e n g t h a n d w a s r e t y p e d o n t o s e p a r a t e p i e c e s o f p a p e r w h i c h m a t c h e d t h e p r i n t i n s t a n d a r d b a s a l t e x t b o o k s A s p a r t o f t h i s c u r r e n t s t u d y t h e r e a d a b i l i t y o f e a c h o f t h e R C B M p a s s a g e s w a s d e t e r m i n e d u s i n g t h e S p a c h e R e a d a b i l i t y F o r m u l a ( S p a c h e 1 9 5 3 ) T h e S p a c h e f o r m u l a a s s e s s e s t h e d i f f i c u l t y o f a p a s s a g e b y c o m p u t i n g t w o v a l u e s o f t h e t e x t T h e f i r s t i s t h e a v e r a g e n u m b e r o f w o r d s p e r s e n t e n c e T h e s e c o n d i s t h e p e r c e n t a g e o f w o r d s n o t f o u n d o n t h e S p a c h e r e v i s e d w o r d l i s t w h i c h i s a l i s t o f a c c e p t e d a n d c o m m o n w o r d s f o r s t u d e n t s t h r o u g h t h i r d g r a d e T h e a v e r a g e o f t h e t h r e e p r o b e s w e r e a l l i n t h e t h i r d g r a d e l e v e l f o r e a c h o f t h e t h r e e p r o b e t y p e s ( s e e T a b l e 4 ) T a b l e 4 S p a c h e R e a d a b i l i t y I n d i c e s b y G r a d e P r o b e T y p e P r o b e 1 P r o b e 2 P r o b e 3 M e a n P r o b e L e v e l F C A T R C B M 2 4 3 6 3 8 3 3 G e n e r i c R C B M 3 5 3 6 3 7 3 6 C o n t e n t R C B M 3 3 3 5 4 8 3 9

PAGE 46

3 9 T h e t e c h n i c a l a d e q u a c y o f R C B M h a s b e e n w e l l d o c u m e n t e d o v e r t h e p a s t t w o d e c a d e s O r a l R e a d i n g F l u e n c y w a s d e v e l o p e d b y D e n o a n d h i s c o l l e a g u e s a t t h e U n i v e r s i t y o f M i n n e s o t a I n s t i t u t e f o r R e s e a r c h o n L e a r n i n g D i a b i l i t i e s ( D e n o 1 9 8 5 ) S t u d i e s o f t e s t r e t e s t r e l i a b i l i t y y i e l d e d c o e f f i c i e n t s r a n g i n g f r o m 8 2 9 7 w i t h p a r a l l e l f o r m s r a n g i n g f r o m 8 4 t o 9 6 w i t h m o s t c o r r e l a t i o n s a b o v e 9 0 I n a d d i t i o n i n t e r r a t e r r e l i a b i l i t y h a s b e e n f o u n d t o b e 9 9 ( M a r s t o n 1 9 8 9 ) S t u d i e s i n v e s t i g a t i n g c r i t e r i o n r e l a t e d a n d c o n s t r u c t v a l i d i t y w i t h p u b l i s h e d n o r m r e f e r e n c e d t e s t s o f a c h i e v e m e n t h a v e b e e n m o d e r a t e t o h i g h r a n g i n g f r o m 6 3 9 0 w i t h m o s t c o r r e l a t i o n s a b o v e 8 0 ( D e n o M i r k i n & C h a i n g 1 9 8 2 ; F u c h s F u c h s & M a x w e l l 1 9 8 8 ; M a r s t o n 1 9 8 9 ; S h i n n G o o d K n u t s o n T i l l y & C o l l i n s 1 9 9 2 ) F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t T h e F C A T i s a c r i t e r i o n r e f e r e n c e d t e s t c o n t a i n i n g m u l t i p l e c h o i c e q u e s t i o n s R e s u l t s o f t h e i t e m s a r e r e p o r t e d i n s t a n d a r d i z e d s c o r e s w h i c h a r e t h e n c o n v e r t e d i n t o l e v e l s o f M a s t e r y r a t e d 1 5 ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) T h e t e c h n i c a l a d e q u a c y o f t h e F C A T i s d e s c r i b e d b y t h e F l o r i d a D e p a r t m e n t o f E d u c a t i o n a s b e i n g e x c e l l e n t ( F C A T B r i e f i n g B o o k 2 0 0 3 ) R e l i a b i l i t y w a s r e p o r t e d t o b e a b o v e 9 0 I n a d d i t i o n t h e F C A T i s r e p o r t e d t o h a v e c o n t e n t v a l i d i t y C r i t e r i o n r e f e r e n c e d v a l i d i t y w a s r e p o r t e d b e t w e e n 7 0 a n d 8 1 w h e n c o r r e l a t e d w i t h s c o r e s o n t h e S A T 9 ( F C A T B r i e f i n g B o o k 2 0 0 3 ) U n f o r t u n a t e l y m o r e p r e c i s e i n f o r m a t i o n w a s u n a v a i l a b l e P r o c e d u r e T h e d a t a f o r t h i s s t u d y w e r e c o l l e c t e d t h r o u g h t h e F C R R a s p a r t o f t h e F C A T g r a n t T o a d e q u a t e l y s a m p l e p u b l i c s c h o o l s t u d e n t s f r o m a c r o s s F l o r i d a t h r e e r e g i o n a l

PAGE 47

4 0 u n i v e r s i t y b a s e d r e p r e s e n t a t i v e s i t e s w e r e n o m i n a t e d b y F C R R A t t h e n o m i n a t e d s i t e s F C R R i n v i t e d f a c u l t y f r o m F l o r i d a S t a t e U n i v e r s i t y U n i v e r s i t y o f S o u t h F l o r i d a a n d F l o r i d a A t l a n t i c U n i v e r s i t y r e p r e s e n t i n g L e o n H i l l s b o r o u g h a n d B r o w a r d c o u n t i e s r e s p e c t i v e l y t o p a r t i c i p a t e i n t h e s t u d y R e g i o n a l r e p r e s e n t a t i v e s w e r e r e s p o n s i b l e f o r o b t a i n i n g I n s t i t u t i o n a l R e v i e w B o a r d a p p r o v a l a t e a c h u n i v e r s i t y s i t e a n d e a c h p a r t i c i p a t i n g s c h o o l d i s t r i c t r e c r u i t i n g a n d t r a i n i n g d a t a c o l l e c t o r s a s w e l l a s s o l i c i t i n g s c h o o l i n v o l v e m e n t a n d a r r a n g i n g d a t a c o l l e c t i o n a t t h e i n d i v i d u a l s c h o o l s T o a c c o u n t f o r s o c i o e c o n o m i c v a r i a n c e t h e s c h o o l s s e l e c t e d w e r e t o f a l l i n t o l o w m i d d l e o r h i g h s o c i o e c o n o m i c c a t e g o r i e s T h e s e l e c t i o n p r o c e s s f o r t h e s e s c h o o l s v a r i e d a c r o s s c o u n t i e s F o r e x a m p l e t h e r e w e r e t h r e e e l e m e n t a r y s c h o o l s s e l e c t e d i n H i l l s b o r o u g h C o u n t y ( h i g h m i d d l e l o w s o c i o e c o n o m i c s t a t u s ) t o a s s e s s s e v e n t y t h i r d g r a d e r s T o n a r r o w t h e l i s t o f a l l s c h o o l s i n H i l l s b o r o u g h C o u n t y t o d e t e r m i n e s o c i o e c o n o m i c s t a t u s t h e p r i n c i p a l i n v e s t i g a t o r s c o n s u l t e d w i t h t w o e x p e r t s w h o w e r e f a m i l i a r w i t h t h e s c h o o l s i n t h e c o u n t y T h e y n a r r o w e d t h e l i s t t o 1 8 e l e m e n t a r y s c h o o l s 1 6 m i d d l e s c h o o l s a n d 1 6 h i g h s c h o o l s T h e s t u d y a d m i n i s t r a t o r e n t e r e d t h o s e f i f t y s c h o o l s i n t o a d a t a b a s e ( G r e a t S c h o o l s 2 0 0 3 ) t o f u r t h e r c a t e g o r i z e t h e s c h o o l s T h e f i n a l l i s t r e s u l t e d i n t h r e e s c h o o l s a t e a c h s o c i o e c o n o m i c l e v e l f o r a t o t a l o f n i n e s c h o o l s w i t h e i g h t b a c k u p s c h o o l s A f t e r r e c e i v i n g I R B a p p r o v a l t h e i n v e s t i g a t o r s v e r b a l l y a s k e d e a c h s c h o o l p r i n c i p a l t o p a r t i c i p a t e a n d i n s o m e c a s e s e m a i l e d a s t u d y s u m m a r y E i g h t s c h o o l p r i n c i p a l s ( t w o e l e m e n t a r y s c h o o l s t h r e e m i d d l e s c h o o l s t h r e e h i g h s c h o o l s ) a g r e e d f o r t h e i r s c h o o l t o p a r t i c i p a t e S i n c e o n e e l e m e n t a r y s c h o o l d i d n o t a g r e e t o p a r t i c i p a t e t h e p r i n c i p a l o f t h e b a c k u p s c h o o l w a s c a l l e d a n d a g r e e d t o p a r t i c i p a t e

PAGE 48

4 1 I n L e o n a n d B r o w a r d C o u n t i e s s c h o o l s w e r e s e l e c t e d p r i m a r i l y b a s e d o n e t h n i c i t y S c h o o l s w e r e s e c o n d a r i l y s e l e c t e d b a s e d o n t h e s o c i o e c o n o m i c m a k e u p o f t h e s c h o o l A l l s c h o o l s s e l e c t e d a g r e e d t o p a r t i c i p a t e A f t e r t h e s c h o o l s a g r e e d I n s t i t u t i o n a l R e v i e w B o a r d A p p r o v a l w a s o b t a i n e d t h r o u g h F l o r i d a S t a t e U n i v e r s i t y a n d L e o n C o u n t y P u b l i c S c h o o l d i s t r i c t a n d F l o r i d a A t l a n t i c U n i v e r s i t y a n d B r o w a r d C o u n t y P u b l i c S c h o o l d i s t r i c t f o r L e o n a n d B r o w a r d C o u n t i e s r e s p e c t i v e l y A t e a c h s c h o o l t h e b u i l d i n g p r i n c i p a l w a s g i v e n t h e c h o i c e a s t o h o w t o r e c r u i t p a r t i c i p a n t s A l l t h i r d g r a d e s t u d e n t s a t a l l n i n e e l e m e n t a r y s c h o o l s a c r o s s t h e s t u d y w e r e g i v e n i n f o r m e d c o n s e n t f o r m s t o p a r t i c i p a t e i n t h e c u r r e n t s t u d y T e a c h e r s s e n t h o m e t h e i n f o r m e d c o n s e n t f o r m s w i t h t h e i r s t u d e n t s a n d t h o s e w h o s e p a r e n t s a g r e e d f o r t h e i r c h i l d r e n t o p a r t i c i p a t e w e r e e l i g i b l e f o r t h e s t u d y D a t a C o l l e c t o r s A t t h e U n i v e r s i t y o f S o u t h F l o r i d a d a t a c o l l e c t o r s w e r e s o l i c i t e d b y e m a i l a n d f l y e r i n t h e C o l l e g e o f E d u c a t i o n a n d D e p a r t m e n t o f P s y c h o l o g y T h o s e w h o r e s p o n d e d w e r e i n t e r v i e w e d b y t h e r e g i o n a l r e p r e s e n t a t i v e s t o d e t e r m i n e t h e i r l e v e l o f e x p e r i e n c e a s s e s s i n g s t u d e n t s i n t h e s c h o o l s a s w e l l a s t h e i r f l e x i b i l i t y i n t e r m s o f s c h e d u l i n g t o p a r t i c i p a t e i n d a t a c o l l e c t i o n T h e r e s u l t i n g d a t a c o l l e c t o r s w e r e t w o u n d e r g r a d u a t e s t u d e n t s m a j o r i n g i n p s y c h o l o g y o n e g r a d u a t e s t u d e n t e n r o l l e d i n a P h D p r o g r a m i n C u r r i c u l u m a n d I n s t r u c t i o n w i t h a f u l l t i m e p r o g r a m E m p h a s i s i n S p e c i a l E d u c a t i o n f i v e g r a d u a t e s t u d e n t s e n r o l l e d i n a n A p p l i e d B e h a v i o r A n a l y s i s M a s t e r ’ s P r o g r a m a n d s i x g r a d u a t e s t u d e n t s e n r o l l e d i n a P h D p r o g r a m i n S c h o o l P s y c h o l o g y D a t a c o l l e c t o r s w e r e c o m p e n s a t e d f o r t h e i r t i m e b y t h e F C R R T r a i n i n g f o r t h e d a t a c o l l e c t o r s o c c u r r e d i n t w o s e s s i o n s f o r t w o g r o u p s o f d a t a c o l l e c t o r s E a c h t r a i n i n g s e s s i o n l a s t e d s i x h o u r s

PAGE 49

4 2 a n d t r a i n i n g w a s g i v e n b y t h e h e a d r e s e a r c h f a c u l t y m e m b e r o f t h e F C R R A t e a c h o f t h e t r a i n i n g s d a t a c o l l e c t o r s w e r e i n s t r u c t e d o n e a c h a s s e s s m e n t t o o l p r a c t i c e d e a c h t o o l a n d a s k e d q u e s t i o n s T h e y r e c e i v e d a t e n t h g r a d e p r o t o c o l t o u s e d u r i n g t h e t r a i n i n g a n d a n a d d i t i o n a l t e n t h g r a d e p r o t o c o l t o p r a c t i c e w i t h a f t e r t h e t r a i n i n g s e s s i o n I n a d d i t i o n e a c h d a t a c o l l e c t o r r e c e i v e d a p a c k e t o f a l l t e s t i n g m a t e r i a l s E a c h d a t a c o l l e c t o r w a s a s s i g n e d t o o n e o r m o r e s c h o o l s b y t h e r e g i o n a l r e p r e s e n t a t i v e s E a c h w e e k t h e r e g i o n a l r e p r e s e n t a t i v e s c o n f i r m e d t h e a s s i g n m e n t s o f t h e d a t a c o l l e c t o r s b a s e d u p o n d a t a c o l l e c t i o n n e e d T h o u g h d a t a c o l l e c t o r s w e r e a s s i g n e d o n e s c h o o l m o s t a l s o c o l l e c t e d d a t a a t a n o t h e r s c h o o l s i t e d u e t o t h e f a c t t h a t a s s e s s m e n t s w e r e c o n d u c t e d o n 2 1 5 s t u d e n t s a n d a s s e s s m e n t s l a s t e d a p p r o x i m a t e l y t w o h o u r s e a c h S i m i l a r p r o c e d u r e s w e r e f o l l o w e d a t b o t h t h e L e o n a n d B r o w a r d C o u n t y s i t e s P r o c e d u r e s i n c l u d e d s i m i l a r d a t a c o l l e c t o r b a c k g r o u n d t r a i n i n g a s s i g n m e n t a n d c o m p e n s a t i o n R e g i o n a l r e p r e s e n t a t i v e s f o l l o w e d p r o c e d u r e s d e l i n e a t e d b y F C R R f o r t h e p u r p o s e o f d a t a c o l l e c t i o n O n c e a t t h e i r a s s i g n e d s c h o o l t h e i n d i v i d u a l d a t a c o l l e c t o r s d e c i d e d w h i c h s t u d e n t s t o t e s t b a s e d o n v a r i o u s f a c t o r s i n c l u d i n g t h e i r a t t e n d a n c e t h a t d a y a n d t h e i r c l a s s s c h e d u l e s T h e e n t i r e t e s t b a t t e r y l a s t e d a p p r o x i m a t e l y t w o h o u r s a n d t h e d a t a c o l l e c t o r s d e c i d e d t o t e s t f o r t h e e n t i r e t w o h o u r s o r s p l i t t h e s e s s i o n i n t o t w o o n e h o u r s e s s i o n s T h o u g h t h e r e w a s a p r e s c r i b e d s e q u e n c e o f t e s t s t h e d a t a c o l l e c t o r s w e r e a l l o w e d t o g i v e t h e m i n a n y o r d e r T y p i c a l l y t h e d a t a c o l l e c t o r w e n t t o t h e s t u d e n t s c l a s s r o o m a n d e s c o r t e d t h e c h i l d t o a q u i e t t e s t i n g r o o m T h o u g h t h e s t u d e n t s ’ p a r e n t s g a v e i n f o r m e d c o n s e n t f o r t h e s t u d e n t s t o p a r t i c i p a t e t h e d a t a c o l l e c t o r f i r s t e x p l a i n e d t h e v o l u n t a r y n a t u r e o f t h e s t u d y

PAGE 50

4 3 a n d a s k e d f o r s t u d e n t a s s e n t O n c e a s s e n t w a s g i v e n t h e d a t a c o l l e c t o r p r o c e e d e d w i t h t h e a s s e s s m e n t A f t e r a s k i n g v a r i o u s d e m o g r a p h i c q u e s t i o n s t h e d a t a c o l l e c t o r a d m i n i s t e r e d t h e a s s e s s m e n t s a n d w a l k e d t h e s t u d e n t b a c k t o h i s o r h e r c l a s s r o o m O n c e p e r w e e k d a t a c o l l e c t o r s t u r n e d c o m p l e t e d p r o t o c o l s i n t o t h e r e g i o n a l r e p r e s e n t a t i v e s T h e r e g i o n a l r e p r e s e n t a t i v e s m a i n t a i n e d a d a t a b a s e f o r t h e p u r p o s e o f k e e p i n g t r a c k o f t h e d a t a E v e r y t w o w e e k s t h e r e g i o n a l r e p r e s e n t a t i v e s m a i l e d t h e c o m p l e t e d p r o t o c o l s t o F C R R w h e r e t h e p r o t o c o l s r e m a i n e d T w o i n d e p e n d e n t r e s e a r c h e r s a t t h e F C R R c o m p l e t e d i n t e r r a t e r c h e c k s o n 1 0 0 % o f t h e p r o t o c o l s A s e n i o r r e s e a r c h e r a t t h e F C R R s e t t l e d a n y d i s c r e p a n c y b e t w e e n t h e s i t e r a t e d p r o t o c o l a n d t h e r e s e a r c h e r r a t e d p r o t o c o l b y m a k i n g f i n a l d e c i s i o n s R C B M A d m i n i s t r a t i o n a n d S c o r i n g F o l l o w i n g s t a n d a r d R C B M p r o c e d u r e s s t u d e n t s w e r e a s k e d t o r e a d n i n e p a s s a g e s f o r o n e m i n u t e e a c h T h e s e p a s s a g e s w e r e i n t e r s p e r s e d a m o n g o t h e r a s s e s s m e n t t o o l s H o w e v e r n o t w o R C B M p a s s a g e s w e r e a d m i n i s t e r e d t o g e t h e r a n d t h e r e w a s a t l e a s t o n e o t h e r i n s t r u m e n t i n b e t w e e n t h e R C B M p r o b e s S t a n d a r d i z e d i n s t r u c t i o n s w e r e g i v e n t o e a c h s t u d e n t p r i o r t o a d m i n i s t e r i n g e a c h p r o b e T h e i n s t r u c t i o n s w e r e a s f o l l o w s : W h e n I s a y s t a r t b e g i n r e a d i n g a l o u d a t t h e t o p o f t h e p a g e R e a d a c r o s s t h e p a g e ( d e m o n s t r a t e b y p o i n t i n g ) T r y t o r e a d e a c h w o r d I f y o u c o m e t o a w o r d y o u d o n ’ t k n o w I ’ l l t e l l i t t o y o u B e s u r e t o d o y o u r b e s t r e a d i n g … S t a r t T h e e x a m i n e r t i m e d e a c h s t u d e n t f o r o n e m i n u t e n o t i n g a n y e r r o r s o n h i s o r h e r c o p y o f t h e R C B M p r o b e A n e r r o r w a s d e f i n e d a s a m i s p r o n u n c i a t i o n s u b s t i t u t i o n o m i s s i o n o r i f a p a r t i c i p a n t s t r u g g l e d w i t h a w o r d f o r m o r e t h a n

PAGE 51

4 4 t h r e e s e c o n d s A t t h a t p o i n t t h e e x a m i n e r s c o r e d t h e w o r d a s i n c o r r e c t a n d s u p p l i e d t h e s t u d e n t w i t h t h e w o r d ( S h i n n 1 9 8 9 ) A t t h e e n d o f o n e m i n u t e t h e e x a m i n e r n o t e d t h e t o t a l n u m b e r o f w o r d s r e a d c o r r e c t b y t h e s t u d e n t W o r d s r e a d c o r r e c t p e r m i n u t e w e r e c a l c u l a t e d b y i n d i v i d u a l d a t a c o l l e c t o r s a t t h e c o m p l e t i o n o f e a c h t e s t i n g s e s s i o n T h e s e s c o r e s c o n s i s t e d o f t h e n u m b e r o f w o r d s r e a d c o r r e c t i n o n e m i n u t e b y p r o b e F o l l o w i n g S h i n n ’ s ( 1 9 8 9 ) s c o r i n g m o d e l a n e r r o r w a s d e f i n e d a s a m i s p r o n u n c i a t i o n s u b s t i t u t i o n o m i s s i o n o r i f a p a r t i c i p a n t s t r u g g l e d w i t h a w o r d f o r m o r e t h a n t h r e e s e c o n d s S c o r e s w e r e c h e c k e d i n t h e s a m e m a n n e r a s d e s c r i b e d a b o v e F C A T A d m i n i s t r a t i o n & S c o r i n g T h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t w a s a d m i n i s t e r e d o v e r o n e w e e k i n M a r c h t o t h i r d g r a d e s t u d e n t s a c r o s s F l o r i d a I n d i v i d u a l F C A T s c o r e s w e r e o b t a i n e d f o r e a c h p a r t i c i p a n t f r o m d i s t r i c t r e c o r d s R e s u l t s o f F C A T i t e m s a r e r e p o r t e d i n s t a n d a r d i z e d s c o r e s w h i c h a r e t h e n c o n v e r t e d i n t o l e v e l s o f M a s t e r y r a t e d 1 5 ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) F o r t h e p u r p o s e o f t h e c u r r e n t s t u d y s t a n d a r d i z e d s c o r e s w e r e u t i l i z e d T a b l e 4 d e l i n e a t e s l e v e l s o f M a s t e r y f r o m s t a n d a r d s c o r e s ( F l o r i d a D e p a r t m e n t o f E d u c a t i o n 2 0 0 3 ) T a b l e 5 F C A T L e v e l s o f M a s t e r y a n d C o r r e s p o n d i n g S t a n d a r d S c o r e s f o r T h i r d G r a d e L e v e l 1 2 3 4 5 S t a n d a r d S c o r e s 1 0 0 2 5 8 2 5 9 2 8 3 2 8 4 3 3 1 3 3 2 3 9 3 3 9 4 5 0 0

PAGE 52

4 5 R e s e a r c h D e s i g n A q u a s i e x p e r i m e n t a l r e s e a r c h d e s i g n w a s u s e d i n t h e c u r r e n t s t u d y T h i s d e s i g n d o e s n o t i n c l u d e t h e u s e o f r a n d o m a s s i g n m e n t s b e c a u s e t h i s s t u d y d o e s n o t i n v o l v e g r o u p i n g s t u d e n t s a t t h e t i m e o f t h e s t u d y T h e l a c k o f r a n d o m a s s i g n m e n t i s a l i m i t a t i o n t o t h e q u a s i e x p e r i m e n t a l d e s i g n a s i t t h r e a t e n s i n t e r n a l v a l i d i t y ( F r a n k e l & W a l l e n 2 0 0 3 ) S t a t i s t i c a l A n a l y s e s A m u l t i p l e r e g r e s s i o n w a s u s e d t o c o r r e l a t e v a r i a b l e s i n t h e c u r r e n t s t u d y I n a m u l t i p l e r e g r e s s i o n a d e p e n d e n t v a r i a b l e i s p r e d i c t e d f r o m a s e t o f p r e d i c t o r s ( S t e v e n s 1 9 9 9 ) T h e a n a l y s e s t h a t w e r e u s e d t o t e s t e a c h r e s e a r c h q u e s t i o n a r e d e s c r i b e d b e l o w 1 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s o r a l r e a d i n g r a t e a n d p e r f o r m a n c e o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? D e s c r i p t i v e s t a t i s t i c s i n c l u d i n g m e a n a n d s t a n d a r d d e v i a t i o n w e r e c a l c u l a t e d t o d e s c r i b e t h e c h a r a c t e r i s t i c s o f t h e R C B M a n d F C A T s c o r e s T h e a v e r a g e R C B M s c o r e f o r e a c h p a r t i c i p a n t w a s c o r r e l a t e d w i t h F C A T s c o r e i n a m u l t i p l e r e g r e s s i o n e q u a t i o n 2 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g r a t e o n t h r e e d i f f e r e n t R C B M p a s s a g e t y p e s ( F C A T p a s s a g e s c u r r i c u l u m p a s s a g e s c o n t e n t p a s s a g e s ) a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? D e s c r i p t i v e s t a t i s t i c s i n c l u d i n g m e a n a n d s t a n d a r d d e v i a t i o n w e r e c a l c u l a t e d t o d e s c r i b e t h e c h a r a c t e r i s t i c s o f e a c h p a s s a g e t y p e E a c h R C B M p a s s a g e t y p e f o r

PAGE 53

4 6 e a c h p a r t i c i p a n t w a s c o r r e l a t e d w i t h F C A T s c o r e i n a m u l t i p l e r e g r e s s i o n e q u a t i o n 3 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ e t h n i c i t y o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? D e s c r i p t i v e s t a t i s t i c s i n c l u d i n g m e a n a n d s t a n d a r d d e v i a t i o n w e r e c a l c u l a t e d t o d e s c r i b e t h e c h a r a c t e r i s t i c s o f p a r t i c i p a n t s ’ e t h n i c i t y E t h n i c i t y w a s c o r r e l a t e d w i t h F C A T s c o r e s i n a m u l t i p l e r e g r e s s i o n e q u a t i o n 4 W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ s o c i o e c o n o m i c s t a t u s o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? D e s c r i p t i v e s t a t i s t i c s i n c l u d i n g m e a n a n d s t a n d a r d d e v i a t i o n w e r e c a l c u l a t e d t o d e s c r i b e t h e c h a r a c t e r i s t i c s o f p a r t i c i p a n t s ’ s o c i o e c o n o m i c s t a t u s S o c i o e c o n o m i c s t a t u s w a s c o r r e l a t e d w i t h F C A T s c o r e s i n a m u l t i p l e r e g r e s s i o n e q u a t i o n M i s s i n g D a t a E a c h o f t h e v a r i a b l e s h a d c a s e s o f m i s s i n g d a t a I n t h e c a s e o f m i s s i n g d a t a a m o n g t h e v a r i a b l e s i n t h e r e g r e s s i o n a n a l y s e s c a s e s w e r e e x c l u d e d p a i r w i s e I n o t h e r w o r d s p a i r s w i t h c o m p l e t e d a t a w e r e u s e d t o c o m p u t e t h e c o r r e l a t i o n c o e f f i c i e n t o n w h i c h t h e r e g r e s s i o n a n a l y s e s w e r e b a s e d

PAGE 54

4 7 C h a p t e r 4 R e s u l t s T h i s c h a p t e r p r e s e n t s t h e r e s u l t s o n t h e r e l a t i o n s h i p b e t w e e n R C B M a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t T h e a n a l y s e s u s e d t o a d d r e s s e a c h r e s e a r c h q u e s t i o n a r e d e s c r i b e d i n d e t a i l D e s c r i p t i v e S t a t i s t i c s D e s c r i p t i v e i n f o r m a t i o n f o r t h e s t u d y i n s t r u m e n t s c a n b e f o u n d i n T a b l e 5 S t u d y i n s t r u m e n t s i n c l u d e F C A T S u n s h i n e S t a t e S t a n d a r d s R e a d i n g S c a l e S c o r e ( F C A T S S S ) F C A T N o r m R e f e r e n c e T e s t R e a d i n g S c a l e S c o r e ( F C A T N R T ) F C A T R C B M p r o b e s c o r e g e n e r i c R C B M p r o b e s c o r e a n d c o n t e n t R C B M p r o b e s c o r e F o r e a c h m e a s u r e t h e n u m b e r o f c a s e s m e a n o r m e d i a n m i n i m u m a n d m a x i m u m s c o r e s a n d s t a n d a r d d e v i a t i o n a r e i n c l u d e d S e e A p p e n d i x A f o r a t a b l e o f s c o r e s b y e t h n i c g r o u p a n d s o c i o e c o n o m i c m a k e u p T h e s c o r e s r e p o r t e d o n e a c h o f t h e i n s t r u m e n t s a r e c o n s i s t e n t w i t h s c o r e r e p o r t e d i n t h e l i t e r a t u r e F o r t h e F C A T S S S a n d F C A T N R T i n d i v i d u a l s t u d e n t s c o r e s w e r e u s e d i n t h e a n a l y s e s T h e m e d i a n s c o r e o f t h e t h r e e R C B M p r o b e s b y t y p e w a s u s e d F o r e x a m p l e t h r e e g e n e r i c R C B M p r o b e s w e r e a d m i n i s t e r e d t o e a c h s t u d e n t T h e

PAGE 55

4 8 m e d i a n o f t h e t h r e e s c o r e s w a s t h e n u s e d i n t h e s u b s e q u e n t a n a l y s e s T h e u s e o f t h e m e d i a n s c o r e i s c o n s i s t e n t w i t h r e s e a r c h i n t h e a r e a o f C B M T a b l e 6 D e s c r i p t i v e I n f o r m a t i o n o f S t u d y I n s t r u m e n t s V a r i a b l e N M e a n M i n i m u m M a x i m u m S t a n d a r d D e v i a t i o n F C A T S S S 2 0 7 3 1 0 3 1 1 0 0 0 0 5 0 0 0 0 6 4 6 3 F C A T N R T 2 1 0 6 3 8 0 0 5 2 6 0 0 7 6 5 0 0 4 7 1 3 F C A T R C B M 2 1 5 9 5 5 8 8 0 0 2 0 7 0 0 3 9 7 2 G e n e r i c R C B M 2 1 5 1 0 4 6 0 7 0 0 2 1 3 0 0 4 1 9 2 C o n t e n t R C B M 2 1 5 9 2 5 5 7 0 0 1 9 5 0 0 4 1 3 5 N o t e S c o r e s r e p o r t e d a r e s c a l e s c o r e s F o r F C A T R C B M G e n e r i c R C B M a n d C o n t e n t R C B M t h e m e d i a n s c o r e o f t h r e e p r o b e s w a s u s e d C o r r e l a t i o n s T o a s s e s s t h e r e l a t i o n s h i p b e t w e e n R C B M p r o b e s a n d F C A T c o r r e l a t i o n s w e r e c o m p u t e d a m o n g a n d b e t w e e n t h e v a r i a b l e s S i g n i f i c a n t c o r r e l a t i o n s w e r e f o u n d b e t w e e n a l l R C B M p r o b e s c o r e s a n d F C A T S S S r e a d i n g s c a l e s c o r e s a n d F C A T N R T r e a d i n g s c a l e s c o r e s ( s e e T a b l e 6 ) C o r r e l a t i o n s r a n g e d f r o m 7 4 t o 7 6 f o r a l l R C B M p r o b e s c o r e s a n d F C A T s c o r e s

PAGE 56

4 9 T a b l e 7 C o r r e l a t i o n M a t r i x f o r R C B M P r o b e S c o r e s a n d F C A T S S S a n d F C A T N R T V a r i a b l e 1 2 3 4 5 1 F C A T S S S 8 5 * 7 5 * 7 5 * 7 4 * 2 F C A T N R T 7 4 * 7 5 * 7 6 * 3 F C A T R C B M 9 6 * 9 4 * 4 G e n e r i c R C B M 9 3 * 5 C o n t e n t R C B M * C o r r e l a t i o n i s s i g n i f i c a n t a t t h e 0 1 l e v e l ( 2 t a i l e d ) S c a t t e r p l o t s F i g u r e 1 s h o w s t h e r e l a t i o n s h i p b e t w e e n G e n e r i c R C B M s c o r e s a n d F C A T S S S u s i n g t h e b e n c h m a r k s d e s c r i b e d b y G o o d S i m m o n s K a m e ’ e n u i K a m i n s k i a n d W a l l i n ( 2 0 0 2 ) I n t h i s f i g u r e t h e h o r i z o n t a l l i n e r e p r e s e n t s t h e p a s s i n g s c o r e o n t h e F C A T S S S ( s t a n d a r d s c o r e a t o r a b o v e 2 8 4 ) T h u s s t u d e n t s s c o r i n g a t o r a b o v e t h e h o r i z o n t a l l i n e s w e r e a t o r a b o v e t h e a c c e p t a b l e r a n g e o n t h e t e s t o r g r a d e l e v e l a s d e t e r m i n e d b y t h e F C A T S S S T h e v e r t i c a l l i n e s r e p r e s e n t t h e c u t s c o r e s d e t e r m i n e d b y G o o d e t a l ( 2 0 0 2 ) A c c o r d i n g t o t h e s e b e n c h m a r k s s t u d e n t s w h o r e a d o v e r 1 1 0 w o r d s c o r r e c t i n o n e m i n u t e a r e c o n s i d e r e d t o b e a t l o w r i s k S t u d e n t s w h o r e a d 8 0 1 1 0 w o r d s c o r r e c t i n o n e m i n u t e a r e c o n s i d e r e d t o b e a s o m e r i s k a n d s t u d e n t s w h o r e a d f e w e r t h a n 8 0 w o r d s c o r r e c t i n o n e m i n u t e a r e a t r i s k a n d i n n e e d o f i n t e n s i v e i n t e r v e n t i o n F o r a b r e a k d o w n o f G e n e r i c R C B M p r e d i c t i o n o f F C A T S S S s c o r e s s e e T a b l e 7 O f t h e s t u d e n t s w h o w e r e i n t h e “ l o w r i s k ” r a n g e r e a d i n g a t o r a b o v e 1 1 0 w o r d s c o r r e c t p e r m i n u t e 9 6 % r e c e i v e d p a s s i n g s c o r e s o n t h e F C A T F i f t y t h r e e p e r c e n t o f s t u d e n t ’ s

PAGE 57

5 0 w h o s e R C B M s c o r e s f e l l i n t h e “ s o m e r i s k ” r a n g e p a s s e d t h e F C A T I n t e r e s t i n g l y 2 2 % o f s t u d e n t s w h o s c o r e i n t h e “ a t r i s k r a n g e ” f o r n u m b e r o f w o r d s r e a d c o r r e c t i n o n e m i n u t e p a s s e d t h e F C A T F i g u r e s 2 a n d 3 d i s p l a y s c a t t e r p l o t s o f t h e r e l a t i o n s h i p b e t w e e n g e n e r i c R C B M a n d c o n t e n t R C B M s c o r e s a n d F C A T N R T s c o r e s W h e n a n a l y z i n g t h e d a t a t h e r e s e a r c h e r c r e a t e d s c a t t e r p l o t s f o r e a c h o f t h e R C B M p r o b e t y p e s a n d b o t h F C A T S S S a n d F C A T N R T T h e s c a t t e r p l o t s s h o w n h e r e w e r e s e l e c t e d b e c a u s e t h e y r e p r e s e n t t h e R C B M p r o b e t y p e s t h a t c a m e o u t s t a t i s t i c a l l y s i g n i f i c a n t i n t h e m u l t i p l e r e g r e s s i o n a n a l y s e s e x p l a i n e d l a t e r D u e t o t h e f a c t t h a t t h e R C B M p r o b e t y p e s w e r e h i g h l y c o r r e l a t e d t h e e x a m i n e r f e l t i t w o u l d b e r e d u n d a n t t o g r a p h i c a l l y r e p r e s e n t t h e r e l a t i o n s h i p b e t w e e n e a c h p r o b e t y p e a n d b o t h F C A T S S S a n d F C A T N R T s c o r e

PAGE 58

5 1 G e n e r i c R C B M S c o r e2 2 0 2 0 0 1 8 0 1 6 0 1 4 0 1 2 0 1 0 0 8 0 6 0 4 0 2 0 0F C A T S S S S c o r e5 0 0 4 0 0 3 0 0 2 0 0 1 0 0 0 F i g u r e 1 S c a t t e r p l o t o f t h e R e l a t i o n s h i p b e t w e e n G e n e r i c R C B M P r o b e S c o r e a n d F C A T S S S T a b l e 8 P r e d i c t i n g F C A T S S S R e a d i n g S c o r e f r o m G e n e r i c R C B M S c o r e s O r a l R e a d i n g F l u e n c y C l a s s i f i c a t i o n F C A T P e r f o r m a n c e H i g h R i s k ( < 8 0 W R C M ) S o m e R i s k ( 8 0 1 0 9 W R C M ) L o w R i s k ( > 1 1 0 W R C M ) P a s s i n g ( F C A T S S S S c o r e s 2 8 4 5 0 0 ) 2 2 % 5 3 % 9 6 % N o t P a s s i n g ( F C A T S S S S c o r e s 1 0 0 2 8 3 ) 7 8 % 4 7 % 4 % A t R i s k S o m e R i s k L o w R i s k

PAGE 59

5 2 G e n e r i c R C B M S c o r e2 2 0 2 0 0 1 8 0 1 6 0 1 4 0 1 2 0 1 0 0 8 0 6 0 4 0 2 0 0F C A T N R T S c o r e 8 0 0 7 0 0 6 0 0 5 0 0 4 0 0 F i g u r e 2 S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n G e n e r i c R C B M P r o b e S c o r e a n d F C A T N R T A t R i s k S o m e R i s k L o w R i s k

PAGE 60

5 3 C o n t e n t R C B M S c o r e2 2 0 2 0 0 1 8 0 1 6 0 1 4 0 1 2 0 1 0 0 8 0 6 0 4 0 2 0 0F C A T N R T S c o r e8 0 0 7 0 0 6 0 0 5 0 0 4 0 0 F i g u r e 3 S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n C o n t e n t R C B M P r o b e S c o r e a n d F C A T N R T A s s u m p t i o n s o f M u l t i p l e R e g r e s s i o n P r i o r t o a n s w e r i n g t h e r e s e a r c h q u e s t i o n s t h e u n d e r l y i n g a s s u m p t i o n s f o r r e g r e s s i o n s w e r e e x a m i n e d F o r r e g r e s s i o n s t o p r o v i d e a g o o d i n d e x o f t h e a s s o c i a t i o n b e t w e e n t w o o r m o r e v a r i a b l e s t h e s e a s s u m p t i o n s m u s t b e m e t O v e r a l l t h e d a t a f o r t h i s s t u d y d i d n o t v i o l a t e t h e a s s u m p t i o n s a n d t h u s t h e o b t a i n e d r e s u l t s a r e c o n s i d e r e d v a l i d M u l t i c o l l i n e a r i t y a n d s i n g u l a r i t y o r t h e r e l a t i o n s h i p s a m o n g t h e i n d e p e n d e n t v a r i a b l e s w e r e e x a m i n e d M u l t i c o l l i n e a r i t y w a s e x a m i n e d f o r t h e R C B M p r o b e s b e c a u s e t h e y w e r e h i g h l y c o r r e l a t e d ( a b o v e 9 0 ) D u e t o t h e f a c t t h e p r o b e s w e r e t a k e n f r o m d i f f e r e n t p a s s a g e s t h i s a s s u m p t i o n w a s n o t v i o l a t e d S i n g u l a r i t y o c c u r s w h e n o n e A t R i s k S o m e R i s k L o w R i s k

PAGE 61

5 4 v a r i a b l e i s a c o m b i n a t i o n o f o t h e r v a r i a b l e s I n o r d e r t o n o t v i o l a t e t h e a s s u m p t i o n o f s i n g u l a r i t y t h e t h r e e d i f f e r e n t p r o b e s c o r e s w e r e c o n s i d e r e d i n o n e m u l t i p l e r e g r e s s i o n T h e a v e r a g e o f t h e t h r e e p r o b e s c o r e s w a s n o t e n t e r e d i n t o t h e s a m e r e g r e s s i o n a s a n y o f t h e o t h e r t h r e e p r o b e s s c o r e s w h i c h i t c o m p r i s e d M u l t i p l e r e g r e s s i o n a n a l y s e s a r e s e n s i t i v e t o o u t l i e r s ; t h u s e x t r e m e s c o r e s w e r e e x a m i n e d f o r a l l o f t h e v a r i a b l e s i n t h e r e g r e s s i o n a n a l y s e s O u t l i e r s w e r e v i s u a l l y i d e n t i f i e d u s i n g t h e s t a n d a r d i z e d r e s i d u a l p l o t f o r e a c h r e g r e s s i o n a n d t h e r e w e r e n o a p p a r e n t o u t l i e r s w h i c h T a b a c h n i c k a n d F i d e l l ( 1 9 9 6 ) d e f i n e a s t h o s e w i t h s t a n d a r d i z e d r e s i d u a l v a l u e s l e s s t h a n 3 3 o r a b o v e 3 3 T o a s s e s s t h e a s s u m p t i o n s o f n o r m a l i t y l i n e a r i t y h o m o s c e d a s t i c i t y a n d i n d e p e n d e n c e o f r e s i d u a l s t h e r e s i d u a l s s c a t t e r p l o t s a n d n o r m a l p r o b a b i l i t y p l o t s w e r e e x a m i n e d T h e n o r m a l p r o b a b i l i t y p l o t s s u g g e s t e d l i n e a r i t y w i t h n o m a j o r d e v i a t i o n s f r o m n o r m a l i t y i n t h a t t h e p o i n t s w e r e i n a r e l a t i v e l y s t r a i g h t d i a g o n a l l i n e f r o m b o t t o m l e f t t o t o p r i g h t T h e a s s u m p t i o n o f h o m o s c e d a s t i c i t y d i d n o t a p p e a r t o b e v i o l a t e d u p o n e x a m i n a t i o n o f t h e s c a t t e r p l o t s o f t h e s t a n d a r d i z e d r e s i d u a l s w i t h m o s t o f t h e s c o r e s c e n t e r e d b u t w i t h t h e s a m e v a r i a n c e t h r o u g h o u t t h e p r e d i c t o r ( P a l l a n t 2 0 0 1 ) A p r i o r i P o w e r A n a l y s i s T h e n u m b e r o f p a r t i c i p a n t s r e q u i r e d f o r m u l t i p l e r e g r e s s i o n a n a l y s e s i s 1 5 o b s e r v a t i o n s p e r p r e d i c t o r v a r i a b l e ( S t e v e n s 1 9 9 6 ) B e c a u s e t h e r e w e r e a m a x i m u m o f f i v e p r e d i c t o r s i n c l u d e d i n e a c h o f t h e a n a l y s e s 7 5 p a r t i c i p a n t s w e r e n e c e s s a r y t o a c h i e v e a d e q u a t e p o w e r f o r t h e r e g r e s s i o n s T h e c u r r e n t s t u d y s a t i s f i e d t h e c o n d i t i o n b y i n c l u d i n g 1 7 8 p a r t i c i p a n t s a t m i n i m u m i n t h e r e g r e s s i o n a n a l y s i s

PAGE 62

5 5 M u l t i p l e R e g r e s s i o n P r o c e d u r e s M u l t i p l e r e g r e s s i o n a n a l y s e s w e r e p e r f o r m e d t o d e t e r m i n e w h e t h e r e t h n i c i t y s o c i o e c o n o m i c s t a t u s m e d i a n F C A T R C B M s c o r e m e d i a n g e n e r i c R C B M s c o r e a n d / o r m e d i a n c o n t e n t R C B M s c o r e s i g n i f i c a n t l y p r e d i c t e d s c o r e s o n t h e F C A T T w o r e g r e s s i o n a n a l y s e s w e r e p e r f o r m e d u s i n g t h e v a r i a b l e s t o p r e d i c t F C A T S S S a n d F C A T N R T f o r t h e p u r p o s e o f c r o s s v a l i d a t i o n T h e m u l t i p l e r e g r e s s i o n a n a l y s i s p r e d i c t i n g F C A T S S S b y e t h n i c i t y s o c i o e c o n o m i c s t a t u s m e d i a n F C A T R C B M s c o r e m e d i a n g e n e r i c R C B M s c o r e a n d m e d i a n c o n t e n t R C B M s c o r e w a s s t a t i s t i c a l l y s i g n i f i c a n t ( p < 0 0 0 5 ) T h e p r e d i c t o r v a r i a b l e s a c c o u n t e d f o r 6 0 % o f t h e v a r i a n c e i n t h e c r i t e r i o n v a r i a b l e ( F C A T S S S ) ( R = 6 0 F ( 8 1 7 1 ) = 1 9 9 2 3 p < 0 0 1 ) T h e a d j u s t e d R w a s 5 8 i n d i c a t i n g l i t t l e s h r i n k a g e o f t h e t r u e v a l u e i n t h e p o p u l a t i o n T o d e t e r m i n e w h i c h o f t h e p r e d i c t o r s c o n t r i b u t e d t o t h e p r e d i c t i o n o f F C A T S S S t h e c o n t r i b u t i o n s o f e a c h o f t h e i n d e p e n d e n t v a r i a b l e s w e r e c o m p a r e d ( T a b l e 8 ) T h e g e n e r i c R C B M s c o r e y i e l d e d t h e l a r g e s t b e t a c o e f f i c i e n t 4 1 a n d m a d e t h e s t r o n g e s t u n i q u e c o n t r i b u t i o n t o e x p l a i n i n g F C A T S S S w h e n t h e v a r i a n c e e x p l a i n e d b y e t h n i c i t y s o c i o e c o n o m i c s t a t u s F C A T R C B M a n d c o n t e n t R C B M w e r e c o n t r o l l e d f o r I n a d d i t i o n g e n e r i c R C B M s c o r e m a d e a s t a t i s t i c a l l y s i g n i f i c a n t u n i q u e c o n t r i b u t i o n t o t h e e q u a t i o n E t h n i c i t y s o c i o e c o n o m i c s t a t u s F C A T R C B M a n d c o n t e n t R C B M d i d n o t m a k e a n y c o n t r i b u t i o n s t o F C A T S S S o v e r a n d a b o v e g e n e r i c R C B M s c o r e T h e m u l t i p l e r e g r e s s i o n a n a l y s i s p r e d i c t i n g F C A T N R T f r o m e t h n i c i t y s o c i o e c o n o m i c s t a t u s m e d i a n F C A T R C B M s c o r e m e d i a n g e n e r i c R C B M s c o r e a n d m e d i a n c o n t e n t R C B M s c o r e w a s s t a t i s t i c a l l y s i g n i f i c a n t ( p < 0 0 0 5 ) T h e R w a s 6 2

PAGE 63

5 6 w h i c h i n d i c a t e s t h a t t h e p r e d i c t o r v a r i a b l e s a c c o u n t e d f o r 6 2 % o f t h e v a r i a n c e i n t h e c r i t e r i o n v a r i a b l e ( F C A T N R T ) ( R = 6 2 F ( 8 1 7 4 ) = 5 5 8 8 8 p < 0 0 1 ) T h e a d j u s t e d R w a s 6 0 i n d i c a t i n g l i t t l e s h r i n k a g e o f t h e t r u e v a l u e i n t h e p o p u l a t i o n T o d e t e r m i n e w h i c h o f t h e p r e d i c t o r s c o n t r i b u t e d t o t h e p r e d i c t i o n o f F C A T N R T t h e c o n t r i b u t i o n s o f e a c h o f t h e i n d e p e n d e n t v a r i a b l e s w e r e c o m p a r e d ( T a b l e 9 ) T h e m e d i a n G e n e r i c R C B M s c o r e y i e l d e d t h e l a r g e s t b e t a c o e f f i c i e n t 4 8 a n d m a d e t h e s t r o n g e s t u n i q u e c o n t r i b u t i o n t o e x p l a i n i n g F C A T N R T w h e n t h e v a r i a n c e e x p l a i n e d b y e t h n i c i t y s o c i o e c o n o m i c s t a t u s F C A T R C B M s c o r e a n d c o n t e n t R C B M s c o r e w e r e c o n t r o l l e d f o r T a b l e 9 S u m m a r y o f M u l t i p l e R e g r e s s i o n A n a l y s i s f o r P r e d i c t o r s o f F C A T S S S V a r i a b l e B B l a c k 1 1 2 6 0 9 A s i a n 6 8 0 0 H i s p a n i c 9 1 3 0 5 M i x e d 2 1 5 7 0 5 S o c i o e c o n o m i c S t a t u s 4 0 8 0 6 F C A T R C B M 3 1 1 9 G e n e r i c R C B M 6 3 4 1 C o n t e n t R C B M 1 9 1 2 p < 0 5

PAGE 64

5 7 T h e b e t a c o e f f i c i e n t f o r m e d i a n c o n t e n t R C B M p r o b e w a s 3 1 T h u s b o t h t h e m e d i a n g e n e r i c R C B M p r o b e s c o r e a n d m e d i a n c o n t e n t R C B M p r o b e s c o r e m a d e s t a t i s t i c a l l y s i g n i f i c a n t c o n t r i b u t i o n s t o t h e e q u a t i o n E t h n i c i t y s o c i o e c o n o m i c s t a t u s a n d F C A T R C B M p r o b e s c o r e h o w e v e r d i d n o t m a k e a n y c o n t r i b u t i o n s t o F C A T N R T o v e r a n d a b o v e g e n e r i c R C B M s c o r e a n d c o n t e n t R C B M s c o r e T a b l e 1 0 S u m m a r y o f M u l t i p l e R e g r e s s i o n A n a l y s i s f o r P r e d i c t o r s o f F C A T N R T V a r i a b l e B B l a c k 1 0 0 3 1 1 A s i a n 7 0 8 0 1 H i s p a n i c 6 0 1 0 5 M i x e d 1 5 5 9 0 5 S o c i o e c o n o m i c S t a t u s 5 1 6 1 1 F C A T R C B M 1 0 0 9 G e n e r i c R C B M 5 3 4 8 C o n t e n t R C B M 3 6 3 1 * p < 0 5

PAGE 65

5 8 C h a p t e r 5 D i s c u s s i o n T h e p u r p o s e o f t h i s s t u d y w a s t o d e t e r m i n e t h e r e l a t i o n s h i p b e t w e e n o r a l r e a d i n g f l u e n c y ( O R F ) a n d r e a d i n g s c o r e s o n t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) f o r t h i r d g r a d e s t u d e n t s S e v e r a l s t u d i e s c o n d u c t e d i n s t a t e s i n a l l r e g i o n s o f t h e c o u n t r y h a v e f o u n d a p o s i t i v e a n d i n m o s t c a s e s a s t a t i s t i c a l l y s i g n i f i c a n t r e l a t i o n s h i p b e t w e e n O R F a n d s t a t e w i d e t e s t s o f a c h i e v e m e n t ( B a r g e r 2 0 0 3 ; B u c k & T o r g e s o n 2 0 0 3 ; C a s t i l l o T o r g e s o n P o w e l l S m i t h & A l O t a i b a 2 0 0 3 ; C r a w f o r d T i n d a l & S t e i b e r 2 0 0 1 ; G o o d e t a l 2 0 0 1 ; L i n n e r 2 0 0 1 ; M c G l i n c h e y & H i x o n 2 0 0 4 ; S h a w & S h a w 2 0 0 2 ; S i b l e y B i w e r & H e s c h 2 0 0 1 ; S h a p i r o E d w a r d s L u t z & K e l l e r 2 0 0 4 ; S t a g e & J a c o b s o n 2 0 0 1 ) T h i s s t u d y e x t e n d e d t h e l i t e r a t u r e o f O R F a n d s t a t e w i d e a c h i e v e m e n t t e s t s b y i n c l u d i n g a l a r g e s a m p l e o f m i n o r i t y s t u d e n t s T h e c u r r e n t c h a p t e r d i s c u s s e s t h e r e s u l t s o f t h i s s t u d y i n l i g h t o f t h e p r o p o s e d r e s e a r c h q u e s t i o n s L i m i t a t i o n s o f t h e s t u d y a r e p r e s e n t e d a l o n g w i t h i m p l i c a t i o n s f o r e d u c a t o r s s c h o o l p s y c h o l o g i s t s a n d f u t u r e r e s e a r c h

PAGE 66

5 9 R e s e a r c h Q u e s t i o n s R e s e a r c h Q u e s t i o n 1 : W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g r a t e a n d p e r f o r m a n c e o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? M e d i a n C u r r i c u l u m b a s e d M e a s u r e m e n t R e a d i n g ( R C B M ) p r o b e s c o r e w a s s t r o n g l y r e l a t e d t o t h i r d g r a d e s t u d e n t s ’ p e r f o r m a n c e o n t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) C o r r e l a t i o n s b e t w e e n R C B M a n d F C A T w e r e h i g h a n d s t a t i s t i c a l l y s i g n i f i c a n t C o n s i s t e n t w i t h p r i o r r e s e a r c h R C B M s c o r e w a s f o u n d t o b e h i g h l y p r e d i c t i v e o f a p a s s i n g s c o r e o n t h e F C A T ( B a r g e r 2 0 0 3 ; B u c k & T o r g e s o n 2 0 0 3 ; G o o d S i m m o n s & K a m e ’ e n u i 2 0 0 1 ; S h a p i r o E d w a r d s L u t z & K e l l e r 2 0 0 4 ; S h a w & S h a w 2 0 0 2 ; S i b l e y B i w e r & H e s c h 2 0 0 1 ; S t a g e & J a c o b s o n 2 0 0 1 ) S p e c i f i c a l l y s t u d e n t s w h o s e o r a l r e a d i n g f l u e n c y f e l l i n t h e l o w r i s k r a n g e ( o v e r 1 1 0 w o r d s r e a d c o r r e c t i n o n e m i n u t e ) a s d e t e r m i n e d b y D I B E L S b e n c h m a r k s w e r e v i r t u a l l y a s s u r e d a p a s s i n g s c o r e ( L e v e l 3 ) o n t h e F C A T T h e r e l a t i o n s h i p b e t w e e n s t u d e n t s ’ R C B M s c o r e s i n t h e s o m e r i s k o r a t r i s k c a t e g o r i e s ( 8 0 1 1 0 w o r d s r e a d c o r r e c t i n o n e m i n u t e a n d 0 8 0 w o r d s r e a d c o r r e c t i n o n e m i n u t e r e s p e c t i v e l y ) w a s l e s s c l e a r T h e s e r e s u l t s a r e c o n s i s t e n t w i t h t h e f i n d i n g s b y G o o d e t a l ( 2 0 0 1 ) a n d B u c k a n d T o r g e s o n ( 2 0 0 3 ) w h o a l s o r e p o r t e d t h a t f o r s t u d e n t s r e a d i n g 8 0 1 1 0 w o r d s c o r r e c t i n o n e m i n u t e t h e r e l a t i o n s h i p t o s t a t e w i d e a c h i e v e m e n t t e s t s c o r e s w a s u n p r e d i c t a b l e a n d s t u d e n t s w e r e e q u a l l y l i k e l y t o p a s s o r f a i l S y n o n y m o u s w i t h t h e i r f i n d i n g s d a t a f r o m t h i s s t u d y s h o w e d t h a t 5 3 % o f t h e s t u d e n t s i n t h e s o m e r i s k r a n g e p a s s e d t h e F C A T a n d 4 7 % i n t h e s a m e r a n g e f a i l e d t h e F C A T S t u d e n t s w e r e e q u a l l y l i k e l y t o p a s s o r n o t p a s s t h e F C A T F u r t h e r r e s e a r c h m i g h t

PAGE 67

6 0 e x p l o r e a d d i t i o n a l c o r r e l a t e s s u c h a s c o m p r e h e n s i o n v o c a b u l a r y k n o w l e d g e m o t i v a t i o n t o r e a d o r o t h e r r e l a t e d v a r i a b l e s t o f u r t h e r u n d e r s t a n d t h e r e a d i n g a b i l i t i e s a n d p a s s i n g a b i l i t i e s o f s t u d e n t s f a l l i n g i n t h e s o m e r i s k g r o u p S t u d e n t s w h o s e R C B M s c o r e s f e l l i n t h e a t r i s k r a n g e w e r e m o r e l i k e l y t o r e c e i v e a f a i l i n g s c o r e o n t h e F C A T ( L e v e l 1 o r 2 ) S p e c i f i c a l l y 7 5 % o f s t u d e n t s w h o s e s c o r e s f e l l i n t h e a t r i s k r a n g e f a i l e d t h e F C A T A l t h o u g h R C B M w a s f o u n d t o b e m o r e s e n s i t i v e a t p r e d i c t i n g p a s s i n g t h a n f a i l i n g s c o r e s o n t h e F C A T i t w a s s e n s i t i v e t o p a s s i n g a t b o t h e x t r e m e s I n o t h e r w o r d s h i g h R C B M s c o r e s ( o v e r 1 1 0 w c p m ) w e r e r e l a t e d t o p a s s i n g t h e F C A T a n d l o w R C B M s c o r e s ( b e l o w 8 0 w c p m ) w e r e r e l a t e d t o f a i l i n g t h e F C A T O v e r a l l r e s u l t s o f t h i s s t u d y f o u n d s t u d e n t s w h o r e a d i n t h e l o w r i s k r a n g e a s d e f i n e d b y D I B E L S b e n c h m a r k s w e r e m o r e l i k e l y t o p a s s t h e F C A T a n d s t u d e n t s w h o w e r e a t r i s k f o r r e a d i n g f a i l u r e a s d e f i n e d b y D I B E L S b e n c h m a r k s w e r e n o t l i k e l y t o p a s s t h e F C A T F i n d i n g s w e r e s i m i l a r f o r b o t h t h e F C A T S S S a n d F C A T N R T R e s e a r c h Q u e s t i o n 2 : W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ o r a l r e a d i n g r a t e o n t h r e e d i f f e r e n t R C B M p a s s a g e t y p e s ( F C A T p a s s a g e s c u r r i c u l u m p a s s a g e s c o n t e n t p a s s a g e s ) a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? I n t h e c u r r e n t s t u d y t h e r e l a t i o n s h i p b e t w e e n R C B M s c o r e a n d F C A T s c o r e w a s s t a t i s t i c a l l y s i g n i f i c a n t T h e r e w e r e n o s t a t i s t i c a l d i f f e r e n c e s a m o n g p r o b e t y p e w h e n c o r r e l a t e d w i t h F C A T s c o r e H o w e v e r w h e n e t h n i c i t y s o c i o e c o n o m i c s t a t u s a n d t h e t h r e e p r o b e t y p e s ( F C A T R C B M g e n e r i c R C B M a n d c o n t e n t R C B M ) w e r e e n t e r e d i n t o a p r e d i c t i o n e q u a t i o n o n l y g e n e r i c R C B M s i g n i f i c a n t l y p r e d i c t e d F C A T S S S s c o r e

PAGE 68

6 1 F o r t h e F C A T N R T s c o r e b o t h g e n e r i c R C B M a n d c o n t e n t R C B M s i g n i f i c a n t l y p r e d i c t e d t h i s s c o r e T h e s e r e s u l t s s h o u l d b e i n t e r p r e t e d c a u t i o u s l y h o w e v e r s i n c e t h e t h r e e R C B M p r o b e s w e r e s o h i g h l y c o r r e l a t e d B e c a u s e t h e t h r e e p r o b e s w e r e h i g h l y c o r r e l a t e d t h i s h a s p o t e n t i a l l y d e c r e a s e d t h e a m o u n t o f v a r i a n c e i n F C A T s c o r e t h a t i s a c c o u n t e d f o r u n i q u e l y b y t h e i n d i v i d u a l p r o b e t y p e s T h e r e s u l t o f t h e r e d u n d a n c y o f R C B M p r o b e s i s a n e t d e c r e a s e i n t h e t o t a l a m o u n t o f v a r i a n c e t h a t i s a c c o u n t e d f o r b y t h e l i n e a r c o m b i n a t i o n o f i n d i v i d u a l R C B M p r o b e s a n d F C A T s c o r e ( H a t c h e r & S t e p a n s k i 1 9 9 4 ) F u t u r e r e s e a r c h s h o u l d c o n s i d e r t h e r e l a t i o n s h i p b e t w e e n i n d i v i d u a l R C B M p r o b e t y p e s e t h n i c i t y a n d s o c i o e c o n o m i c s t a t u s i n o r d e r t o d e t e r m i n e i f a h i g h e r p r o p o r t i o n o f v a r i a n c e w o u l d b e a c c o u n t e d f o r D u e t o t h e f a c t t h a t t h e R C B M p r o b e s w e r e h i g h l y r e l a t e d t o e a c h o t h e r f o r p r a c t i c a l r e a s o n s t h e y s h o u l d n o t b e s e p a r a t e d f r o m e a c h o t h e r a n d c o n s i d e r e d i n d e p e n d e n t l y I n o t h e r w o r d s t h o u g h t h e g e n e r i c R C B M p r o b e w a s f o u n d t o b e s t a t i s t i c a l l y s i g n i f i c a n t i t i s n o t p r a c t i c a l l y s i g n i f i c a n t a n d a l l t h r e e p r o b e s w e r e e q u a l l y r e l a t e d t o t h e F C A T s c o r e B e c a u s e t h e R C B M p r o b e s w e r e h i g h l y c o r r e l a t e d w i t h e a c h o t h e r t h e a s s u m p t i o n o f m u l t i c o l l i n e a r i t y m i g h t a g a i n b e a d d r e s s e d M u l t i c o l l i n e a r i t y c a n c a u s e r e g r e s s i o n c o e f f i c i e n t e s t i m a t e s t o f a i l t o d e m o n s t r a t e s t a t i s t i c a l s i g n i f i c a n c e ( H a t c h e r & S t e p a n s k i 1 9 9 4 ) T h i s c o u l d h a v e b e e n t h e c a s e i n t h e c u r r e n t s t u d y B e c a u s e a l l t h r e e R C B M p r o b e s c o r e s w e r e h i g h l y c o r r e l a t e d i t m a y n o t h a v e b e e n n e c e s s a r y t o r u n a n a l y s e s o n e a c h o f t h e p r o b e t y p e s s e p a r a t e l y T h e d a t a u s e d i n t h e c u r r e n t s t u d y w a s a r c h i v a l t h u s t h e r e s e a r c h e r w a s n o t i n v o l v e d i n t h e s e l e c t i o n o f t h e p r o b e s u s e d i n t h e s t u d y H o w e v e r t h e g r a n t i n g i n s t i t u t e ( F C R R ) c a l l e d f o r t h e

PAGE 69

6 2 r e s e a r c h e r t o c o m p a r e t h e t h r e e d i f f e r e n t p r o b e s ( a s t h i s h a s n o t b e f o r e b e e n c o n s i d e r e d i n r e l a t i o n t o s t a t e w i d e t e s t i n g ) I n o r d e r f o r t h e r e s e a r c h e r t o a n s w e r q u e s t i o n s p e r t i n e n t t o t h e g r a n t i t w a s n e c e s s a r y t o p r o c e e d w i t h t h e s u b s e q u e n t a n a l y s e s T h e f i n d i n g t h a t a l l R C B M p r o b e w e r e h i g h l y c o r r e l a t e d s u p p o r t p r e v i o u s r e s e a r c h t h a t s u g g e s t s t h a t i t i s n o t e s s e n t i a l f o r R C B M r e a d i n g p a s s a g e s t o b e “ c u r r i c u l u m b a s e d ” ( e g B r a d l e y K l u g S h a p i r o L u t z & D u P a u l 1 9 9 8 ; F u c h s & D e n o ; 1 9 9 4 ; H i n t z e & S h a p i r o 1 9 9 7 P o w e l l S m i t h & B r a d l e y K l u g 2 0 0 1 ) T h e s e r e s u l t s s u g g e s t t h a t e i t h e r g e n e r i c c o n t e n t ( c u r r i c u l u m ) o r F C A T p r a c t i c e p a s s a g e p r o b e t y p e c o u l d b e u s e d t o m o n i t o r s t u d e n t s ’ p r o g r e s s o v e r t i m e O v e r a l l t h i s i s t h e f i r s t s t u d y t o e x a m i n e t h e r e l a t i o n s h i p b e t w e e n t h r e e d i f f e r e n t R C B M p r o b e t y p e s a n d a s t a t e w i d e a c h i e v e m e n t t e s t T h e f i n d i n g s o f t h e c u r r e n t s t u d y w e r e c o n s i s t e n t w i t h t h e f i n d i n g s o f C a s t i l l o e t a l ( 2 0 0 3 ) w h o f o u n d t h a t t w o f o r m s o f g e n e r i c p r o b e s D I B E L S a n d M o n i t o r i n g B a s i c S k i l l s P r o g r a m ( M S B P ) p r o b e s w e r e e q u a l l y r e l a t e d t o F C A T s c o r e s B e s i d e s C a s t i l l o e t a l ( 2 0 0 3 ) a l l o t h e r s t u d i e s c o n s i d e r i n g t h e r e l a t i o n s h i p b e t w e e n R C B M a n d s t a t e w i d e a c h i e v e m e n t t e s t s u s e d e i t h e r a s i n g l e p r o b e o r t h e m e d i a n o f t h r e e p r o b e s ( g e n e r i c p r o b e s o r b a s a l s e r i e s p r o b e s ) P r i o r r e s e a r c h d i d n o t i n c l u d e p a s s a g e s t a k e n d i r e c t l y f r o m t h e s t a t e w i d e a c h i e v e m e n t t e s t t h e r e f o r e t h i s s t u d y o f f e r s a u n i q u e c o n t r i b u t i o n t o t h e l i t e r a t u r e R e s e a r c h Q u e s t i o n 3 : W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ e t h n i c i t y o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? I n t h e c u r r e n t s t u d y a s i g n i f i c a n t r e l a t i o n s h i p w a s n o t f o u n d b e t w e e n e t h n i c i t y a n d F C A T s c o r e C o m p a r e d w i t h t h e o t h e r s t u d i e s r e v i e w e d t h i s s t u d y i n c l u d e d t h e

PAGE 70

6 3 l a r g e s t n u m b e r o f m i n o r i t y s t u d e n t s I n f a c t t h e r e w e r e m o r e m i n o r i t y s t u d e n t s t h a n C a u c a s i a n s t u d e n t s i n c l u d e d i n t h i s s a m p l e T h e f i n d i n g t h a t e t h n i c i t y i s n o t r e l a t e d t o F C A T s c o r e i s a n i n t e r e s t i n g r e s u l t w h e n c o m p a r e d w i t h t h e f i n d i n g s o f B u c k a n d T o r g e s o n ( 2 0 0 3 ) T h e s e a u t h o r s f o u n d t h a t t h e r e l a t i o n s h i p b e t w e e n A f r i c a n A m e r i c a n s t u d e n t s ’ R C B M s c o r e s w a s l o w e r t h a n t h e C a u c a s i a n s t u d e n t s ’ s c o r e s H i s p a n i c s t u d e n t s ’ R C B M s c o r e s w e r e c o r r e l a t e d h i g h e s t w i t h F C A T s c o r e ; t h e s t u d y b y B u c k a n d T o r g e s o n ( 2 0 0 3 ) i n c l u d e d o n l y 7 % A f r i c a n A m e r i c a n s t u d e n t s a n d 6 % H i s p a n i c s t u d e n t s c o m p a r e d w i t h 4 2 % A f r i c a n A m e r i c a n s t u d e n t s a n d 1 % H i s p a n i c s t u d e n t s i n t h e c u r r e n t s t u d y T h e r e f o r e w i t h t h i s l a r g e n u m b e r o f m i n o r i t y s t u d e n t s i n c l u d e d i n t h e s a m p l e e t h n i c i t y w a s n o t a p r e d i c t o r o f F C A T s c o r e o v e r a n d a b o v e R C B M s c o r e s R e a d i n g C B M s c o r e s a r e b e t t e r p r e d i c t o r s o f s t u d e n t s ’ F C A T s c o r e t h a n e t h n i c i t y R e s e a r c h Q u e s t i o n 4 : W h a t i s t h e r e l a t i o n s h i p b e t w e e n t h i r d g r a d e s t u d e n t s ’ s o c i o e c o n o m i c s t a t u s o r a l r e a d i n g r a t e a n d s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ? T h e r e s u l t s d e m o n s t r a t e d t h a t s o c i o e c o n o m i c s t a t u s w a s n o t s i g n i f i c a n t l y c o r r e l a t e d w i t h F C A T s c o r e S o c i o e c o n o m i c s t a t u s w a s d e t e r m i n e d b y f r e e a n d / o r r e d u c e d l u n c h s t a t u s A p p r o x i m a t e l y h a l f o f t h e s t u d e n t s i n t h e s a m p l e r e c e i v e d f r e e a n d / o r r e d u c e d l u n c h a n d h a l f d i d n o t r e c e i v e a s s i s t a n c e A f e w p r e v i o u s s t u d i e s c o n s i d e r e d t h e r e l a t i o n s h i p b e t w e e n f r e e a n d / o r r e d u c e d l u n c h s t a t u s R C B M s c o r e s a n d s t a t e w i d e t e s t s o f a c h i e v e m e n t ( B u c k & T o r g e s o n 2 0 0 3 ; G o o d S i m m o n s & K a m e ’ e n u i 2 0 0 1 ; M c G l i n c h e y & H i x o n 2 0 0 4 ; S h a p i r o E d w a r d s L u t z & K e l l e r 2 0 0 4 ; S t a g e & J a c o b s e n 2 0 0 1 ) N o n e o f t h e s t u d i e s t h a t c o n s i d e r e d f r e e a n d / o r r e d u c e d l u n c h s t a t u s r e p o r t e d a n y d i f f e r e n c e s b e t w e e n g r o u p s w i t h r e s p e c t t o s t a t e w i d e a c h i e v e m e n t t e s t

PAGE 71

6 4 s c o r e C o n s i s t e n t w i t h p r i o r r e s e a r c h t h i s s t u d y a l s o f o u n d n o s i g n i f i c a n t d i f f e r e n c e s b e t w e e n S E S g r o u p s ’ s c o r e s o n t h e F C A T F r e e a n d / o r r e d u c e d l u n c h s t a t u s w a s n o t a p r e d i c t o r o f F C A T s c o r e o v e r a n d a b o v e R C B M s c o r e I m p l i c a t i o n s f o r E d u c a t i o n / E d u c a t o r s T h e r e s u l t s o f t h i s s t u d y h a v e i m p l i c a t i o n s f o r e d u c a t o r s a c r o s s F l o r i d a F i r s t t h i s s t u d y f o u n d t h a t t h i r d g r a d e s t u d e n t s ’ R C B M s c o r e s w e r e s i g n i f i c a n t l y c o r r e l a t e d w i t h t h i r d g r a d e s t u d e n t s ’ F C A T s c o r e B e c a u s e R C B M i s s e n s i t i v e t o s t u d e n t s ’ g r o w t h o v e r t i m e a n d c a n b e u s e d a s a t o o l t o m o n i t o r p r o g r e s s s t u d e n t s ’ l e v e l o f r i s k f o r f a i l u r e c a n b e d e t e r m i n e d a s e a r l y a s t h e b e g i n n i n g o f t h i r d g r a d e F r o m t h a t a s s e s s m e n t t e a c h e r s c a n i m p l e m e n t i n t e n s i v e i n t e r v e n t i o n s f o r t h o s e s t u d e n t s f o u n d t o b e a t r i s k G o o d e t a l ( 2 0 0 1 ) r e p o r t e d t h a t t h i r d g r a d e R C B M s c o r e s a r e r e l a t e d t o s e c o n d g r a d e s c o r e s f i r s t g r a d e s c o r e s a n d k i n d e r g a r t e n s c o r e s S t u d e n t s c a n t h u s b e i d e n t i f i e d i n K i n d e r g a r t e n a n d m o n i t o r e d y e a r l y o r m o r e f r e q u e n t l y s o t h a t t h e y a r e p r e p a r e d w i t h t h e s k i l l s t e s t e d b y t h e F C A T b y t h e t i m e t h e y r e a c h t h i r d g r a d e A n o t h e r i m p l i c a t i o n f o r e d u c a t o r s i s t h a t R C B M p r o b e s f o r m o n i t o r i n g c a n b e t a k e n d i r e c t l y f r o m g e n e r i c c u r r i c u l a t e x t b o o k p a s s a g e s o r F C A T m a t e r i a l s G e n e r i c R C B M p r o b e s a r e a v a i l a b l e t o e d u c a t o r s o n l i n e a n d f r e e o f c h a r g e w h i c h s a v e s s u c h i m p o r t a n t r e s o u r c e s a s t i m e a n d m o n e y I m p l i c a t i o n s f o r S c h o o l P s y c h o l o g y S c h o o l p s y c h o l o g i s t s a r e i n u n i q u e p o s i t i o n s t o i n f l u e n c e c h a n g e w i t h i n s c h o o l s M a n y s c h o o l p s y c h o l o g i s t s i n F l o r i d a h a v e b e e n t r a i n e d t o a s s e s s s t u d e n t s u s i n g R C B M S c h o o l p s y c h o l o g i s t s c a n t r a i n e d u c a t o r s a n d e d u c a t i o n a l p e r s o n n e l t o u s e R C B M f o r c o n t i n u a l p r o g r e s s m o n i t o r i n g M a n y s c h o o l s i n F l o r i d a a r e c o n c e r n e d w i t h r e c e i v i n g a

PAGE 72

6 5 p a s s i n g g r a d e o n t h e F C A T S c h o o l p s y c h o l o g i s t s c a n e n c o u r a g e s c h o o l s t o u s e R C B M t o d e t e r m i n e w h i c h s t u d e n t s a r e a t r i s k f o r f a i l i n g t h e F C A T i n o r d e r t o d e v e l o p i n t e n s i v e i n t e r v e n t i o n s a n d e n s u r e t h a t m o r e s t u d e n t s a r e s u c c e s s f u l o n t h e F C A T a n d i n r e a d i n g i n g e n e r a l B e s i d e s N o C h i l d L e f t B e h i n d ( N C L B ) ( o f w h i c h F C A T i s a c o m p o n e n t ) a s e c o n d p i e c e o f n a t i o n a l l e g i s l a t i o n i s b e i n g c o n s i d e r e d w i t h w i d e r a n g i n g i m p l i c a t i o n s f o r s t u d e n t s T h e s o o n t o b e r e a u t h o r i z e d I n d i v i d u a l s w i t h D i s a b i l i t i e s E d u c a t i o n A c t ( I D E A ) w i l l r e q u i r e r e s p o n s i v e n e s s t o i n t e r v e n t i o n ( R T I ) t o b e p a r t o f L e a r n i n g D i s a b i l i t y i d e n t i f i c a t i o n S p e c i f i c a l l y i n t h e p r o b l e m s o l v i n g m o d e l u s i n g R T I s t u d e n t s a r e p r o v i d e d e f f e c t i v e i n s t r u c t i o n w h i c h i s m o n i t o r e d a n d t h o s e w h o d o n ’ t r e s p o n d t o t h e i n s t r u c t i o n g e t a d d i t i o n a l o r d i f f e r e n t i n s t r u c t i o n w h i c h i s a l s o m o n i t o r e d O n l y i f t h e s t u d e n t s f a i l t o r e s p o n d d o t h e y q u a l i f y f o r s p e c i a l e d u c a t i o n e v a l u a t i o n ( F u c h s M o c k M o r g a n & Y o u n g 2 0 0 3 ) R e a d i n g C u r r i c u l u m b a s e d M e a s u r e m e n t i s o n e e x c e l l e n t t o o l f o r m o n i t o r i n g R T I I n a d d i t i o n f o r s t u d e n t s r e q u i r i n g a n A c a d e m i c I m p r o v e m e n t P l a n ( A I P ) d u e t o a c a d e m i c s k i l l s b e l o w l e v e l R C B M c a n b e u s e d t o s e t s p e c i f i c g o a l s a n d t o m o n i t o r a t t a i n m e n t o f t h o s e g o a l s L i m i t a t i o n s S e v e r a l t h r e a t s t o i n t e r n a l a n d e x t e r n a l v a l i d i t y l i m i t t h e i n t e r p r e t a t i o n o f t h e r e s u l t s I n t e r n a l v a l i d i t y c a n b e d e s c r i b e d a s t h e s t i p u l a t i o n t h a t t h e o b s e r v e d d i f f e r e n c e s o n t h e d e p e n d e n t v a r i a b l e a r e t h e r e s u l t o f t h e i n d e p e n d e n t v a r i a b l e a n d n o t s o m e t h i n g e l s e ( G a y & A i r a s i a n 2 0 0 0 ) C o n s e q u e n t l y i n t e r n a l v a l i d i t y i s t h r e a t e n e d w h e n r i v a l h y p o t h e s e s c a n n o t b e e l i m i n a t e d S e v e r a l p o t e n t i a l t h r e a t s t o t h e i n t e r n a l v a l i d i t y o f t h i s

PAGE 73

6 6 s t u d y e x i s t i n c l u d i n g i n s t r u m e n t a t i o n d i f f e r e n t i a l s e l e c t i o n o f p a r t i c i p a n t s o r s e l e c t i o n b i a s i m p l e m e n t a t i o n b i a s a n d o r d e r b i a s E x t e r n a l v a l i d i t y b y c o n t r a s t i s t h e e x t e n t t o w h i c h s t u d y f i n d i n g s c a n b e g e n e r a l i z e d t o a n d a c r o s s p o p u l a t i o n s s e t t i n g s a n d t i m e s ( J o h n s o n & C h r i s t e n s e n 2 0 0 0 ) T h r e a t s t o e x t e r n a l v a l i d i t y i n t h e c u r r e n t s t u d y i n c l u d e p o p u l a t i o n v a l i d i t y e c o l o g i c a l v a l i d i t y a n d s p e c i f i c i t y o f v a r i a b l e s T h r e a t s t o i n t e r n a l v a l i d i t y l i m i t i n t e r p r e t a t i o n a n d g e n e r a l i z a b i l i t y o f t h e r e s u l t s F i r s t i n s t r u m e n t a t i o n i s a t h r e a t t o i n t e r n a l v a l i d i t y S p e c i f i c m e a s u r e s w e r e s e l e c t e d t o d e t e r m i n e o r a l r e a d i n g f l u e n c y a n d a c h i e v e m e n t f r o m a m o n g m a n y S e c o n d d i f f e r e n t i a l s e l e c t i o n o f p a r t i c i p a n t s o r s e l e c t i o n b i a s i s a t h r e a t t o i n t e r n a l v a l i d i t y P a r t i c i p a n t s w e r e s e l f s e l e c t e d f o r t h e c u r r e n t s t u d y b a s e d o n p a r e n t a n d s t u d e n t i n t e r e s t p a r e n t c o n s e n t a n d s t u d e n t a s s e n t ; o n l y a s m a l l s u b s e t o f t h e p o p u l a t i o n o f e a c h s c h o o l ( a n d c o n s e q u e n t l y d i s t r i c t a n d s t a t e o f F l o r i d a ) p a r t i c i p a t e d T h i r d i m p l e m e n t a t i o n b i a s i s a t h r e a t t o i n t e r n a l v a l i d i t y d u e t o t h e n u m b e r a n d d i f f e r e n t b a c k g r o u n d s o f d a t a c o l l e c t o r s ( O n w e u g b u z i e 2 0 0 3 ) T h e r e w e r e m a n y d a t a c o l l e c t o r s a n d t h o u g h a l l d a t a c o l l e c t o r s w e r e t r a i n e d i n t h e s a m e m a n n e r i t i s n o t c l e a r i f t h e s p e c i f i c t r a i n i n g p r o c e d u r e s w e r e f o l l o w e d b y a l l d a t a c o l l e c t o r s b e c a u s e t h e r e w a s n o s y s t e m a t i c o b s e r v a t i o n o f d a t a c o l l e c t o r s I n a d d i t i o n s o m e s t u d e n t s m a n y h a v e f e l t m o r e c o m f o r t a b l e w i t h t h e g e n d e r o r e t h n i c i t y o f o n e d a t a c o l l e c t o r t h a n a n o t h e r I n e i t h e r c a s e o n e d a t a c o l l e c t o r m a n y h a v e e l i c i t e d a m o r e r e p r e s e n t a t i v e s a m p l e o f b e h a v i o r t h a n a n o t h e r F o u r t h o r d e r b i a s i s a p o t e n t i a l t h r e a t t o i n t e r n a l v a l i d i t y d u e t o t h e f a c t t h a t t h o u g h t h e r e w a s a r e c o m m e n d e d s e q u e n c e o f a s s e s s m e n t s d a t a c o l l e c t o r s c o u l d a d m i n i s t e r t h e a s s e s s m e n t s i n a n y o r d e r F o r t h e m o s t p a r t s t u d e n t s w e r e e x p o s e d t o R C B M p r o b e s i n t h e s a m e o r d e r P r a c t i c e e f f e c t s m i g h t

PAGE 74

6 7 h a v e c o n t r i b u t e d t o t h e r e s u l t s C o n c l u s i o n s o f t h e c u r r e n t s t u d y m u s t b e i n t e r p r e t e d a n d e x t r a p o l a t e d w i t h c a u t i o n o u t s i d e o f t h e m e a s u r e s g i v e n a n d i n d i v i d u a l s a s s e s s e d T h r e a t s t o e x t e r n a l v a l i d i t y i n c l u d e p o p u l a t i o n v a l i d i t y e c o l o g i c a l v a l i d i t y a n d s p e c i f i c i t y o f v a r i a b l e s P o p u l a t i o n a n d e c o l o g i c a l v a l i d i t y r e f e r t o t h e e x t e n t t o w h i c h r e s u l t s a r e g e n e r a l i z a b l e f r o m t h e s a m p l e o f p a r t i c i p a n t s t o t h e l a r g e r p o p u l a t i o n a s w e l l a s a c r o s s s e t t i n g s c o n t e x t s a n d c o n d i t i o n s ( O n w u e g b u z i e 2 0 0 3 ) D u e t o t h e f a c t t h a t t h i s s t u d y w a s c o n d u c t e d w i t h t h i r d g r a d e r s a c r o s s t h r e e c o u n t i e s i n F l o r i d a r e s u l t s s h o u l d b e g e n e r a l i z e d c a u t i o u s l y t o t h e l a r g e r n a t i o n a l p o p u l a t i o n R e s e a r c h f i n d i n g s w i l l a l s o b e l e s s g e n e r a l i z a b l e d u e t o s p e c i f i c i t y o f v a r i a b l e s o r t h e c o m b i n a t i o n o f s p e c i f i c v a r i a b l e s ( e g p a r t i c i p a n t s t i m e c o n t e x t c o n d i t i o n s a n d v a r i a b l e s ) D i r e c t i o n s f o r F u t u r e R e s e a r c h F u t u r e r e s e a r c h s h o u l d a d d r e s s t h e l i m i t a t i o n s o f t h e c u r r e n t s t u d y F i r s t i n o r d e r t o e v a l u a t e t h e a b i l i t y o f R C B M t o p r e d i c t p e r f o r m a n c e o n s t a t e w i d e a c h i e v e m e n t t e s t s R C B M d a t a s h o u l d b e c o l l e c t e d p r i o r t o F C A T a d m i n i s t r a t i o n S e c o n d a d d i t i o n a l r e s e a r c h c o m p a r i n g d i f f e r e n t R C B M p r o b e s a n d s t a t e w i d e a c h i e v e m e n t t e s t s m u s t b e e x a m i n e d b e f o r e a c o n c l u s i v e a r g u m e n t f o r u s e o f a n y o r a l l o f t h e R C B M p r o b e t y p e s c a n b e m a d e T h i s l i n e o f r e s e a r c h h a s b e e n r e l a t i v e l y u n e x p l o r e d T h i r d t o g e n e r a l i z e b e t t e r t h e r e s u l t s o f t h i s s t u d y a t r u l y r e p r e s e n t a t i v e g e o g r a p h i c e t h n i c a n d s o c i o e c o n o m i c a l l y d i v e r s e s a m p l e o f s t u d e n t s r a t h e r t h a n a c o n v e n i e n c e s a m p l e o f s t u d e n t s s h o u l d b e u s e d T h o u g h t h e c u r r e n t s t u d y s a m p l e d s t u d e n t s f r o m t h r e e d i s t r i c t s a c r o s s F l o r i d a r e s u l t s a r e n o t g e n e r a l i z a b l e o u t s i d e o f

PAGE 75

6 8 F l o r i d a A r e p l i c a t i o n o f t h e c u r r e n t s t u d y u s i n g a b r o a d p o p u l a t i o n b a s e t o d e t e r m i n e i f s i m i l a r r e s u l t s w o u l d b e f o u n d i s r e c o m m e n d e d F i n a l l y l o n g i t u d i n a l R C B M d a t a c o l l e c t e d o n a s a m p l e o f s t u d e n t s f r o m k i n d e r g a r t e n t h r o u g h t h i r d g r a d e w h e n t h e y t a k e t h e s t a t e w i d e a c h i e v e m e n t t e s t w o u l d b e b e n e f i c i a l T h r o u g h t h e s e d a t a a m o r e c o m p l e t e p i c t u r e o f t h e l o n g t e r m i d e n t i f i c a t i o n e f f e c t i v e n e s s o f R C B M c o u l d b e f o u n d I n a d d i t i o n t h e s e d a t a w o u l d p r o v i d e i n f o r m a t i o n o n b e s t t i m i n g f o r i n t e r v e n t i o n s t o p r e d i c t p a s s i n g s c o r e s C o n c l u s i o n I n c o n c l u s i o n t h e c u r r e n t s t u d y c o n t r i b u t e d t o t h e r e s e a r c h b a s e b y e x a m i n i n g t h e r e l a t i o n s h i p b e t w e e n C u r r i c u l u m b a s e d M e a s u r e m e n t r e a d i n g ( R C B M ) a n d t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( F C A T ) C o n s i s t e n t w i t h p r e v i o u s r e s e a r c h R C B M p r o b e s c o r e s w e r e h i g h l y a n d s t a t i s t i c a l l y s i g n i f i c a n t l y c o r r e l a t e d w i t h t h i r d g r a d e s t u d e n t s ’ s c o r e s o n t h e r e a d i n g p o r t i o n o f t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t I t a p p e a r s t h a t a l l t h r e e p r o b e t y p e s ( F C A T R C B M g e n e r i c R C B M a n d c o n t e n t R C B M ) e x p l o r e d i n t h i s s t u d y c a n b e u s e d t o m o n i t o r s t u d e n t s ’ p e r f o r m a n c e i n r e l a t i o n t o F C A T o u t c o m e s E t h n i c i t y a n d s o c i o e c o n o m i c s t a t u s w e r e n o t s i g n i f i c a n t p r e d i c t o r s o f F C A T s c o r e s a b o v e s t u d e n t R C B M s c o r e T h e s e d a t a h a v e s e v e r a l i m p l i c a t i o n s b u t m u s t b e i n t e r p r e t e d w i t h c a u t i o n d u e t o t h e l i m i t a t i o n s o f t h e s t u d y S c h o o l p s y c h o l o g i s t s c a n a d v o c a t e f o r R C B M a n d t r a i n e d u c a t o r s i n t h e b e n e f i t s a n d a d m i n i s t r a t i o n o f R C B M R e s e a r c h t o d a t e s u p p o r t s t h e u s e o f R C B M ( a s e n s i t i v e b r i e f i n e x p e n s i v e m e a s u r e ) t o i d e n t i f y s t u d e n t s w h o m i g h t b e a t r i s k f o r r e a d i n g f a i l u r e i n o r d e r t o p r o v i d e t h e m w i t h i n t e n s i v e i n t e r v e n t i o n s t o a v o i d f a i l i n g a h i g h s t a k e s a c h i e v e m e n t t e s t

PAGE 76

6 9 R e f e r e n c e s A m e r i c a n P s y c h o l o g i c a l A s s o c i a t i o n ( 2 0 0 1 M a y ) A p p r o p r i a t e u s e o f h i g h s t a k e s t e s t i n g i n o u r n a t i o n ’ s s c h o o l s R e t r i e v e d J u l y 1 7 2 0 0 3 f r o m h t t p : / / w w w a p a o r g / p u b i n f o / t e s t i n g h t m l B a r g e r J ( 2 0 0 3 ) C o m p a r i n g t h e D I B E L S o r a l r e a d i n g f l u e n c y i n d i c a t o r a n d t h e N o r t h C a r o l i n a e n d o f g r a d e r e a d i n g a s s e s s m e n t ( T e c h n i c a l R e p o r t ) A s h e v i l l e N C : N o r t h C a r o l i n a T e a c h e r A c a d e m y B r a d l e y K l u g K L S h a p i r o E S L u t z J G & D u P a u l G J ( 1 9 9 8 ) E v a l u a t i o n o f o r a l r e a d i n g r a t e a s a c u r r i c u l u m b a s e d m e a s u r e w i t h i n l i t e r a t u r e b a s e d c u r r i c u l u m J o u r n a l o f S c h o o l P s y c h o l o g y 3 6 1 8 3 – 1 9 7 B r o w a r d C o u n t y S c h o o l D i s t r i c t ( n d ) R e t r i e v e d o n S e p t e m b e r 3 0 2 0 0 3 f r o m h t t p : / / w w w b r o w a r d s c h o o l s c o m B u c k J & T o r g e s o n J ( 2 0 0 3 ) T h e r e l a t i o n s h i p b e t w e e n p e r f o r m a n c e o n a m e a s u r e o f o r a l r e a d i n g f l u e n c y a n d p e r f o r m a n c e o n t h e F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t ( T e c h n i c a l R e p o r t N o 1 ) T a l l a h a s s e e F L : F l o r i d a C e n t e r f o r R e a d i n g R e s e a r c h

PAGE 77

7 0 C a s t i l l o J M T o r g e s o n J K P o w e l l S m i t h K A & A l O t a i b a S ( 2 0 0 3 ) R e l a t i o n s h i p s o f f i v e r e a d i n g f l u e n c y m e a s u r e s t o r e a d i n g c o m p r e h e n s i o n i n f i r s t t h r o u g h t h i r d g r a d e M a n u s c r i p t i n p r e p a r a t i o n C r a w f o r d L T i n d a l G & S t e i b e r S ( 2 0 0 1 ) U s i n g o r a l r e a d i n g r a t e t o p r e d i c t s t u d e n t p e r f o r m a n c e o n s t a t e w i d e a c h i e v e m e n t t e s t s E d u c a t i o n a l A s s e s s m e n t 7 3 0 3 3 2 3 D e n o S L ( 1 9 8 5 ) C u r r i c u l u m b a s e d m e a s u r e m e n t : T h e e m e r g i n g a l t e r n a t i v e E x c e p t i o n a l C h i l d r e n 5 2 2 1 9 2 3 2 D e n o S L M i r k i n P K & C h i a n g B ( 1 9 8 2 ) I d e n t i f y i n g v a l i d m e a s u r e s o f r e a d i n g E x c e p t i o n a l C h i l d r e n 4 6 3 6 4 5 D o n a h u e P L F i n n e g a n A D & L u t k u s N L ( 2 0 0 1 ) T h e n a t i o n s r e p o r t c a r d : f o u r t h g r a d e r e a d i n g 2 0 0 1 U S D e p a r t m e n t o f E d u c a t i o n : W a s h i n g t o n D C F l o r i d a C e n t e r f o r R e a d i n g R e s e a r c h ( n d ) T h e F l o r i d a c e n t e r f o r r e a d i n g r e s e a r c h f o u r p a r t m i s s i o n R e t r i e v e d D e c e m b e r 1 0 2 0 0 3 f r o m h t t p : / / w w w f c r r o r g / a b o u t F C R R / m i s s i o n h t m F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t B r i e f i n g B o o k ( 2 0 0 1 ) F l o r i d a D e p a r t m e n t o f E d u c a t i o n : T a l l a h a s s e e F l o r i d a D e p a r t m e n t o f E d u c a t i o n ( 2 0 0 2 ) F l o r i d a S t a t u t e s a n d S t a t e B o a r d s o f E d u c a t i o n R u l e s E x c e r p t s f o r S p e c i a l P r o g r a m s ( V o l u m e 1 B ) T a l l a h a s s e e F l o r i d a : F l o r i d a D e p a r t m e n t o f E d u c a t i o n F l o r i d a D e p a r t m e n t o f E d u c a t i o n ( n d ) F l o r i d a C o m p r e h e n s i v e A s s e s s m e n t T e s t R e t r i e v e d M a r c h 1 8 2 0 0 3 f r o m h t t p : / / w w w f i r n e d u F r a e n k e l J R & W a l l e n N E ( 2 0 0 3 ) H o w t o d e s i g n a n d e v a l u a t e r e s e a r c h i n e d u c a t i o n N e w Y o r k : M c G r a w H i l l H i g h e r E d u c a t i o n

PAGE 78

7 1 F u c h s L S & D e n o S L ( 1 9 9 2 ) E f f e c t s o f c u r r i c u l u m w i t h i n c u r r i c u l u m b a s e d m e a s u r e m e n t E x c e p t i o n a l C h i l d r e n 5 8 2 3 2 2 4 2 F u c h s L S & D e n o S L ( 1 9 9 4 ) M u s t i n s t r u c t i o n a l l y u s e f u l p e r f o r m a n c e a s s e s s m e n t b e b a s e d i n t h e c u r r i c u l u m ? E x c e p t i o n a l C h i l d r e n 6 1 1 5 – 2 4 F u c h s L S F u c h s D H o s p M K & J e n k i n s J R ( 2 0 0 1 ) O r a l r e a d i n g f l u e n c y a s a n I n d i c a t o r o f r e a d i n g c o m p e t e n c e : A t h e o r e t i c a l e m p i r i c a l a n d h i s t o r i c a l a n a l y s i s S c i e n t i f i c S t u d i e s o f R e a d i n g 5 2 3 9 2 5 6 F u c h s L S F u c h s D & M a x w e l l L ( 1 9 8 8 ) T h e v a l i d i t y o f i n f o r m a l r e a d i n g C o m p r e h e n s i o n m e a s u r e s R e m e d i a l a n d S p e c i a l E d u c a t i o n 9 2 2 0 2 8 F u c h s D M o c k D M o r g a n P L & Y o u n g C L ( 2 0 0 3 ) R e s p o n s i v e n e s s t o i n t e r v e n t i o n : D e f i n i t i o n s e v i d e n t a n d i m p l i c a t i o n s f o r t h e l e a r n i n g d i s a b i l i t i e s c o n s t r u c t L e a r n i n g D i s a b i l i t i e s R e s e a r c h & P r a c t i c e 1 8 1 5 7 1 7 1 G o o d R H & S a l v i a J ( 1 9 8 8 ) C u r r i c u l u m b i a s i n p u b l i s h e d n o r m r e f e r e n c e d r e a d i n g t e s t s : D e m o n s t r a b l e e f f e c t s S c h o o l P s y c h o l o g y R e v i e w 1 7 5 1 6 0 G o o d R H S i m m o n s D C & K a m e ’ e n u i E J ( 2 0 0 1 ) T h e i m p o r t a n c e a n d d e c i s i o n m a k i n g u t i l i t y o f a c o n t i n u u m o f f l u e n c y b a s e d i n d i c a t o r s o f f o u n d a t i o n a l r e a d i n g s k i l l s f o r t h i r d g r a d e h i g h s t a k e s o u t c o m e s S c i e n t i f i c S t u d i e s o f R e a d i n g 5 2 5 7 2 8 8 G r e a t S c h o o l s D a t a B a s e ( n d ) R e t r i e v e d D e c e m b e r 9 2 0 0 3 f r o m h t t p : / / w w w g r e a t s c h o o l s n e t H a r c o u r t E d u c a t i o n a l M e a s u r e m e n t C o m p a n y ( n d ) R e t r i e v e d M a r c h 2 0 2 0 0 3 f r o m h t t p : / / w w w h e m w e b c o m

PAGE 79

7 2 H a t c h e r L & S t e p a n s k i E J ( 1 9 9 4 ) A s t e p b y s t e p a p p r o a c h t o u s i n g t h e S A S s y s t e m f o r u n i v a r i a t e a n d m u l t i v a r i a t e s t a t i s t i c s C a r y N C : S A S I n s t i t u t e I n c H i l l s b o r o u g h C o u n t y S c h o o l D i s t r i c t ( n d ) R e t r i e v e d o n S e p t e m b e r 3 0 2 0 0 3 f r o m h t t p : / / w w w s d h c k 1 2 f l u s H i n t z e J M & S h a p i r o E S ( 1 9 9 7 ) C u r r i c u l u m b a s e d m e a s u r e m e n t a n d l i t e r a t u r e b a s e d r e a d i n g : I s c u r r i c u l u m b a s e d m e a s u r e m e n t m e e t i n g t h e n e e d s o f c h a n g i n g r e a d i n g c u r r i c u l a ? J o u r n a l o f S c h o o l P s y c h o l o g y 3 5 3 5 1 – 3 5 7 J e n k i n s J R & P a n y D ( 1 9 7 8 ) S t a n d a r d i z e d a c h i e v e m e n t t e s t s : H o w u s e f u l f o r s p e c i a l e d u c a t i o n ? E x c e p t i o n a l C h i l d r e n 4 4 4 4 8 4 5 3 J u e l C ( 1 9 8 8 ) L e a r n i n g t o r e a d a n d w r i t e : A l o n g i t u d i n a l s t u d y o f 5 4 c h i l d r e n f r o m f i r s t t h r o u g h f o u r t h g r a d e s J o u r n a l o f E d u c a t i o n a l P s y c h o l o g y 8 0 4 3 7 4 4 7 L e o n C o u n t y S c h o o l D i s t r i c t ( n d ) R e t r i e v e d o n S e p t e m b e r 3 0 2 0 0 3 f r o m h t t p : / / w w w l e o n k 1 2 f l u s / L i n n R L ( 2 0 0 0 ) A s s e s s m e n t s a n d A c c o u n t a b i l i t y E d u c a t i o n a l R e s e a r c h e r 2 9 4 1 6 L i n n e r S ( 2 0 0 1 J a n u a r y ) C u r r i c u l u m b a s e d a s s e s s m e n t i n r e a d i n g u s e d a s a p r e d i c t o r f o r t h e A l a s k a B e n c h m a r k T e s t P a p e r p r e s e n t e d a t t h e A l a s k a S p e c i a l E d u c a t i o n C o n f e r e n c e A n c h o r a g e A K M a r s t o n D B ( 1 9 8 9 ) A c u r r i c u l u m b a s e d m e a s u r e m e n t a p p r o a c h t o a s s e s s i n g a c a d e m i c p e r f o r m a n c e : W h a t i s i t a n d w h y d o i t I n M S h i n n ( E d ) C u r r i c u l u m b a s e d m e a s u r e m e n t : A s s e s s i n g s p e c i a l c h i l d r e n ( p p 1 8 7 8 ) N e w Y o r k : G u l i f o r d P r e s s M a t h e r N H a m m i l l D D A l l e n E A & R o b e r t s R ( 2 0 0 4 ) T e s t o f s i l e n t w o r d r e a d i n g f l u e n c y A u s t i n T X : P R O E D

PAGE 80

73 McGlinchey, M. T., & Hixon, M. D. (2004). Using curriculum-based measurement to predict performance on state assessments in reading. School Psychology Review, 33, 193-203. National Association of School Psychologists (2003, April, 12). Position statement on using large scale assessment for high stakes decisions. Retrieved July 17, 2003, from http://www.nasponline.org/information/pospaperlargescale.html National Institute for Literacy (n.d.). Retrieved March 18, 2004 from http://www.nifl.gov. National Research Council (1998). Preventing reading difficulties in young children. Washington, D.C: National Academy Press. Nolet, V & McLaughlin, M. (1997). Using CBM to explore a consequential basis for the validity of a state-wide performance assessment. Diagnostique, 23 147-163. Onwuegbuzie, A. J. (2003). Expanding the framework of internal and external validity in quantitative research. Research in the Schools, 10, 71-89. Powell-Smith, K.A., & Bradley-Klug, K.L. (2001). Another Look at the C in CBM: Does it really matter if curriculum-based measurement reading probes are curriculum-based? Psychology in the Schools, 38 299-312. Shapiro, E.S. (1996). Academic skills problems (2nd ed.). New York: The Guilford Press. Shaw, R., & Shaw, D. (2002). DIBELS oral reading fluency-based indicators of third grade reading skills for Colorado State Assessment Program (CSAP). (Technical Report). Eugene, OR: University of Oregon. Shinn, M. R. (1989). Curriculum-based measurement: Assessing special children New York: Guilford Press.

PAGE 81

7 4 S h i n n M R K n u t s o n N G o o d R H T i l l y W D & C o l l i n s V ( 1 9 9 2 ) C u r r i c u l u m b a s e d m e a s u r e m e n t o f o r a l r e a d i n g f l u e n c y : a n a n a l y s i s o f i t s r e l a t i o n t o r e a d i n g S c h o o l P s y c h o l o g y R e v i e w 2 1 4 5 9 4 7 9 S i b l e y D B i w e r D & H e s c h A ( 2 0 0 1 ) U n p u b l i s h e d d a t a A r l i n g t o n H e i g h t s I L : A r l i n g t o n H e i g h t s S c h o o l D i s t r i c t 2 5 S p a c h e G ( 1 9 5 3 ) A n e w r e a d a b i l i t y f o r m u l a f o r p r i m a r y g r a d e r e a d i n g m a t e r i a l s T h e E l e m e n t a r y S c h o o l J o u r n a l 5 5 4 1 0 4 1 3 S t a g e S A ( 2 0 0 1 ) P r e d i c t i n g s t u d e n t s u c c e s s o n s t a t e m a n d a t e d p e r f o r m a n c e b a s e d a s s e s s m e n t u s i n g o r a l r e a d i n g f l u e n c y S c h o o l P s y c h o l o g y R e v i e w 3 0 4 0 7 4 1 9 S t a n o v i c h K E ( 1 9 8 6 ) M a t t h e w e f f e c t s i n r e a d i n g : S o m e c o n s e q u e n c e s o f i n d i v i d u a l d i f f e r e n c e s i n t h e a c q u i s i t i o n o f l i t e r a c y R e a d i n g R e s e a r c h Q u a r t e r l y 2 1 3 6 0 4 0 6 S t e v e n s J P ( 1 9 9 9 ) I n t e r m e d i a t e s t a t i s t i c s a m o d e r n a p p r o a c h ( 2n d E d ) M a h w a h N J : L a w r e n c e E r l b a u m A s s o c i a t e s P u b l i s h e r s T a b a c h n i c k B G & F i d e l l L S ( 1 9 9 6 ) U s i n g m u l t i v a r i a t e s t a t i s t i c s ( 3 r d e d i t i o n ) N e w Y o r k : H a r p e r C o l l i n s T h u r l o w M L & T h o m p s o n S J ( 1 9 9 9 ) D i s t r i c t a n d s t a t e s t a n d a r d s a n d a s s e s s m e n t s J o u r n a l o f S p e c i a l E d u c a t i o n L e a d e r s h i p 1 2 3 1 0 T o r g e s o n J K W a g n e r R K L o n i g a n C J & D e G r a f f A ( 2 0 0 2 ) T e s t o f c r i t i c a l e a r l y r e a d i n g s k i l l s U n p u b l i s h e d M a n u s c r i p t F l o r i d a S t a t e U n i v e r s i t y T o r g e s o n J K W a g n e r R K & R a s h o t t e C A ( 1 9 9 9 ) T e s t o f w o r d r e a d i n g e f f i c i e n c y P R O E D i n c

PAGE 82

7 5 U n i t e d S t a t e s D e p a r t m e n t o f E d u c a t i o n ( n d ) N o C h i l d L e f t B e h i n d A c t R e t r i e v e d M a r c h 1 5 2 0 0 3 f r o m h t t p : / / w w w n o c h i l d l e f t b e h i n d g o v

PAGE 83

7 6 A p p e n d i c e s

PAGE 84

7 7 A p p e n d i x A : T e s t S c o r e s b y E t h n i c i t y a n d S E S B l a c k C a u c a s i a n A s i a n H i s p a n i c M i x e d F r e e L u n c h R e d u c e d P r i c e L u n c h F u l l P r i c e d L u n c h F C A T S S S n 8 4 8 2 3 3 1 5 8 0 9 9 1 M e a n 2 8 5 5 7 3 3 6 5 1 3 4 9 0 0 3 0 2 4 2 3 0 9 6 0 2 8 4 9 1 3 1 1 6 7 3 3 5 3 6 S t a n d a r d D e v i a t i o n 5 1 1 8 5 9 9 6 1 3 8 9 6 8 4 7 1 3 5 1 0 8 5 7 3 2 5 5 2 1 6 3 9 0 F C A T N R T n 8 7 8 3 3 3 0 5 8 2 1 0 9 1 M e a n 6 1 8 0 1 6 5 9 0 6 6 6 0 3 3 6 3 3 5 7 6 3 6 0 0 6 1 7 0 9 6 3 0 4 0 6 5 8 8 4 S t a n d a r d D e v i a t i o n 4 2 9 3 4 4 8 0 1 8 9 3 3 8 3 7 6 5 8 4 4 2 5 0 5 2 1 6 4 3 4 0

PAGE 85

7 8 F C A T R C B M n 9 0 8 3 3 3 2 5 8 5 1 0 9 2 M e a n 8 0 2 2 1 1 1 6 4 1 1 8 4 5 9 1 5 0 1 1 3 6 0 7 9 2 9 9 0 6 0 1 0 9 5 8 S t a n d a r d D e v i a t i o n 3 5 4 7 3 3 9 8 7 8 8 4 1 2 9 7 0 1 3 3 5 3 0 4 0 0 1 3 6 1 2 G e n e r i c R C B M n 9 0 8 3 3 3 2 5 8 5 1 0 9 2 M e a n 9 0 6 5 1 1 9 7 9 1 3 3 1 1 9 9 8 1 1 1 3 8 0 8 8 5 9 9 3 8 0 1 1 9 4 5 S t a n d a r d D e v i a t i o n 3 8 9 0 3 7 1 9 1 4 7 7 4 0 6 9 7 6 1 8 3 9 1 1 4 5 3 8 3 7 6 6 C o n t e n t R C B M n 9 0 8 3 3 3 2 5 8 5 1 0 9 2 M e a n 7 4 6 6 1 1 1 3 8 1 1 1 7 9 8 9 3 4 1 0 3 8 0 7 4 9 4 8 7 6 0 1 0 8 7 5 S t a n d a r d D e v i a t i o n 3 6 8 1 3 5 7 4 1 2 1 4 3 9 4 9 6 4 7 6 3 7 7 7 4 4 0 3 3 7 4 2

PAGE 86

7 9 A p p e n d i x B : S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n F C A T R C B M P r o b e S c o r e a n d F C A T S S S F C A T R C B M S c o r e2 2 0 2 0 0 1 8 0 1 6 0 1 4 0 1 2 0 1 0 0 8 0 6 0 4 0 2 0 0F C A T S S S S c o r e 5 0 0 4 0 0 3 0 0 2 0 0 1 0 0 0

PAGE 87

8 0 A p p e n d i x C : S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n C o n t e n t R C B M P r o b e S c o r e a n d F C A T S S S C o n t e n t R C B M S c o r e 2 2 0 2 0 0 1 8 0 1 6 0 1 4 0 1 2 0 1 0 0 8 0 6 0 4 0 2 0 0F C A T S S S S c o r e 5 0 0 4 0 0 3 0 0 2 0 0 1 0 0 0

PAGE 88

8 1 A p p e n d i x D : S c a t t e r p l o t o f t h e R e l a t i o n s h i p B e t w e e n F C A T R C B M P r o b e S c o r e a n d F C A T N R T F C A T R C B M S c o r e2 2 0 2 0 0 1 8 0 1 6 0 1 4 0 1 2 0 1 0 0 8 0 6 0 4 0 2 0 0F C A T N R T S c o r e8 0 0 7 0 0 6 0 0 5 0 0 4 0 0