USF Libraries
USF Digital Collections

Optimizing cost and data entry for assignment of patients to clinical trials using analytical and probabilistic web-base...

MISSING IMAGE

Material Information

Title:
Optimizing cost and data entry for assignment of patients to clinical trials using analytical and probabilistic web-based agents
Physical Description:
Book
Language:
English
Creator:
Goswami, Bhavesh Dineshbhai
Publisher:
University of South Florida
Place of Publication:
Tampa, Fla.
Publication Date:

Subjects

Subjects / Keywords:
expert system
rule based system
breast cancer.
Dissertations, Academic -- Computer Science -- Masters -- USF   ( lcsh )
Genre:
government publication (state, provincial, terriorial, dependent)   ( marcgt )
bibliography   ( marcgt )
theses   ( marcgt )
non-fiction   ( marcgt )

Notes

Summary:
ABSTRACT: A clinical trial is defined as a study conducted on a group of patients to determine the effect of a treatment. Assignment of patients to clinical trials is a data and labor intensive task. Usually, medical personnel manually check the eligibility of a patient for a clinical trial based on the patient's medical history and current medical condition. According to studies, most clinical trials are under-enrolled which negatively affects their effectiveness. We have developed web-based agents that can test the eligibility of patients for many clinical trials at once. We have tested various heuristics for optimizing cost and data entry needed in assigning patients to clinical trials. Testing eligibility of a patient for many clinical trials is only feasible if it is cost and data entry efficient. Agents with different heuristics were then tested on data from current breast cancer patients at the Moffitt Cancer Center. Results with different heuristics are compared with each other and with that of the clinicians. It is shown that cost savings are possible in clinical trial assignment. Also, less data entry is needed when probabilistic agents are used to reorder questions.
Thesis:
Thesis (M.S.C.S.)--University of South Florida, 2003.
Bibliography:
Includes bibliographical references.
System Details:
System requirements: World Wide Web browser and PDF reader.
System Details:
Mode of access: World Wide Web.
Statement of Responsibility:
by Bhavesh Dineshbhai Goswami.
General Note:
Title from PDF of title page.
General Note:
Document formatted into pages; contains 57 pages.

Record Information

Source Institution:
University of South Florida Library
Holding Location:
University of South Florida
Rights Management:
All applicable rights reserved by the source institution and holding location.
Resource Identifier:
aleph - 001447462
oclc - 54089570
notis - AJN3906
usfldc doi - E14-SFE0000202
usfldc handle - e14.202
System ID:
SFS0024898:00001


This item is only available as the following downloads:


Full Text

PAGE 1

O p t i m i z i n g C o s t a n d D a t a E n t r y f o r A s s i g n m e n t o f P a t i e n t s t o C l i n i c a l T r i a l s U s i n g A n a l y t i c a l a n d P r o b a b i l i s t i c W e b B a s e d A g e n t s b y B h a v e s h D i n e s h b h a i G o s w a m i A t h e s i s s u b m i t t e d i n p a r t i a l f u l f i l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f M a s t e r o f S c i e n c e i n C o m p u t e r S c i e n c e D e p a r t m e n t o f C o m p u t e r S c i e n c e & E n g i n e e r i n g C o l l e g e o f E n g i n e e r i n g U n i v e r s i t y o f S o u t h F l o r i d a C o M a j o r P r o f e s s o r : L a w r e n c e O H a l l P h D C o M a j o r P r o f e s s o r : D m i t r y B G o l d g o f P h D E u g e n e F i n k P h D D a t e o f A p p r o v a l : N o v e m b e r 5 t h 2 0 0 3 K e y w o r d s : E x p e r t S y s t e m R u l e B a s e d S y s t e m B r e a s t C a n c e r C o p y r i g h t 2 0 0 3 B h a v e s h G o s w a m i

PAGE 2

i T a b l e o f C o n t e n t s L i s t o f T a b l e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i i i L i s t o f F i g u r e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . i v A B S T R A C T . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . v C h a p t e r 1 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 1 I n t r o d u c t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 2 S i g n i f i c a n c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 C h a p t e r 2 P r e v i o u s W o r k . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 1 S o f t w a r e A g e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 2 2 H i s t o r y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2 3 S i m i l a r S y s t e m s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 C h a p t e r 3 S y s t e m D e s i g n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3 1 S y s t e m O v e r v i e w . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 3 2 K n o w l e d g e R e p r e s e n t a t i o n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3 2 1 M e d i c a l T e s t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 2 2 Q u e s t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 2 3 E l i g i b i l i t y C r i t e r i a . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3 3 A l g o r i t h m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 3 3 1 T e s t R e o r d e r i n g . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 3 3 1 1 A n a l y t i c a l R e o r d e r i n g A g e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 3 3 3 1 2 P r o b a b i l i s t i c R e o r d e r i n g A g e n t . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 5 3 4 T e s t i n g S y s t e m . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 0 C h a p t e r 4 U s e r I n t e r f a c e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 4 1 I n t e r f a c e D e s i g n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 C h a p t e r 5 E x p e r i m e n t s a n d R e s u l t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 5 1 A n a l y t i c a l E x p e r i m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 0 5 2 C o s t S a v i n g E x p e r i m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 3 5 3 P r o b a b i l i s t i c E x p e r i m e n t s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 5 5 4 E l i g i b i l i t y P r o b a b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 9 C h a p t e r 6 C o n c l u s i o n s a n d F u t u r e W o r k . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4 6 1 C o n c l u s i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 4 6 2 F u t u r e W o r k . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 5

PAGE 3

i i R e f e r e n c e s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 6

PAGE 4

i i i L i s t o f T a b l e s T a b l e 1 : R e s u l t s o f M a t c h i n g R e t r o s p e c t i v e 1 8 7 P a t i e n t s t o C l i n i c a l T r i a l s . . . . . . . . . . 3 0 T a b l e 2 : R e s u l t s o f M a t c h i n g C u r r e n t 1 6 9 P a t i e n t s t o C l i n i c a l T r i a l s . . . . . . . . . . . . . . 3 1 T a b l e 3 : D e t a i l e d C l a s s i f i c a t i o n o f N e w M a t c h e s F o u n d . . . . . . . . . . . . . . . . . . . . . . . . 3 2 T a b l e 4 : A v e r a g e D o l l a r C o s t S a v i n g s f o r 1 8 7 R e t r o s p e c t i v e P a t i e n t s . . . . . . . . . . . . . . 3 4 T a b l e 5 : A v e r a g e D o l l a r C o s t S a v i n g s f o r 1 6 9 C u r r e n t P a t i e n t s . . . . . . . . . . . . . . . . . . 3 4 T a b l e 6 : I n d i v i d u a l T e s t R e s u l t s f o r T e n F o l d C r o s s V a l i d a t i o n . . . . . . . . . . . . . . . . . . 3 7 T a b l e 7 : R e s u l t s o f T e n F o l d C r o s s V a l i d a t i o n P e r P r o t o c o l . . . . . . . . . . . . . . . . . . . . . 3 7 T a b l e 8 : S t a n d a r d D e v i a t i o n f o r T e n F o l d C r o s s V a l i d a t i o n . . . . . . . . . . . . . . . . . . . . . 3 8 T a b l e 9 : R e s u l t s E x c l u d i n g P a t i e n t s w h o w e r e I n e l i g i b l e b y I n i t i a l Q u e s t i o n s . . . . . . . . 3 9 T a b l e 1 0 : T e n F o l d C r o s s V a l i d a t i o n f o r H e u r i s t i c t h a t U s e s E l i g i b i l i t y P r o b a b i l i t y . . . 4 1 T a b l e 1 1 : T e n F o l d C r o s s V a l i d a t i o n f o r R e o r d e r i n g A g e n t t h a t U s e s t h e B a y e s M e t h o d t o C o m p u t e E l i g i b i l i t y P r o b a b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2

PAGE 5

i v L i s t o f F i g u r e s F i g u r e 1 : S y s t e m A r c h i t e c t u r e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 F i g u r e 2 : E x a m p l e o f T e s t s a n d Q u e s t i o n s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 F i g u r e 3 : E l i g i b i l i t y C r i t e r i a a n d i t s A c c e p t a n c e a n d R e j e c t i o n E x p r e s s i o n s . . . . . . . . . 1 0 F i g u r e 4 : A c c e p t a n c e E x p r e s s i o n G r a p h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1 F i g u r e 5 : R e j e c t i o n E x p r e s s i o n G r a p h . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 2 F i g u r e 6 : E x p a n s i o n o f C N F t o D N F . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 4 F i g u r e 7 : U s e r I n t e r f a c e D e s i g n . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 3 F i g u r e 8 : I n i t i a l P a t i e n t E n t r y P a g e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 F i g u r e 9 : I n i t i a l Q u e s t i o n s P a g e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 4 F i g u r e 1 0 : C l i n i c a l T r i a l S e l e c t i o n P a g e . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 5 F i g u r e 1 1 : D a t a E n t r y P a g e T h e S y s t e m A s k s f o r M o r e I n f o r m a t i o n t o D e t e r m i n e P a t i e n t s E l i g i b i l i t y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 6 F i g u r e 1 2 : S t a t u s o f a l l C l i n i c a l T r i a l s . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 7 F i g u r e 1 3 : E x p l a n a t i o n o f a D e c i s i o n b y E x p l a n a t i o n S u b S y s t e m . . . . . . . . . . . . . . . . 2 8 F i g u r e 1 4 : S y s t e m a f t e r E l i g i b i l i t y o f a l l C l i n i c a l T r i a l s i s D e c i d e d . . . . . . . . . . . . . . . . 2 8 F i g u r e 1 5 : S t a t u s o f a l l A v a i l a b l e T e s t s f o r t h e P a t i e n t . . . . . . . . . . . . . . . . . . . . . . . . . 2 9 F i g u r e 1 6 : G r a p h S h o w i n g A v e r a g e D o l l a r C o s t S a v i n g s f o r R e t r o s p e c t i v e P a t i e n t s . . . 3 4 F i g u r e 1 7 : G r a p h S h o w i n g A v e r a g e D o l l a r C o s t S a v i n g s f o r C u r r e n t P a t i e n t s . . . . . . . 3 5

PAGE 6

v O p t i m i z i n g C o s t a n d D a t a E n t r y f o r A s s i g n m e n t o f P a t i e n t s t o C l i n i c a l T r i a l s U s i n g A n a l y t i c a l a n d P r o b a b i l i s t i c W e b B a s e d A g e n t s B h a v e s h D i n e s h b h a i G o s w a m i A B S T R A C T A c l i n i c a l t r i a l i s d e f i n e d a s a s t u d y c o n d u c t e d o n a g r o u p o f p a t i e n t s t o d e t e r m i n e t h e e f f e c t o f a t r e a t m e n t A s s i g n m e n t o f p a t i e n t s t o c l i n i c a l t r i a l s i s a d a t a a n d l a b o r i n t e n s i v e t a s k U s u a l l y m e d i c a l p e r s o n n e l m a n u a l l y c h e c k t h e e l i g i b i l i t y o f a p a t i e n t f o r a c l i n i c a l t r i a l b a s e d o n t h e p a t i e n t ’ s m e d i c a l h i s t o r y a n d c u r r e n t m e d i c a l c o n d i t i o n A c c o r d i n g t o s t u d i e s m o s t c l i n i c a l t r i a l s a r e u n d e r e n r o l l e d w h i c h n e g a t i v e l y a f f e c t s t h e i r e f f e c t i v e n e s s W e h a v e d e v e l o p e d w e b b a s e d a g e n t s t h a t c a n t e s t t h e e l i g i b i l i t y o f p a t i e n t s f o r m a n y c l i n i c a l t r i a l s a t o n c e W e h a v e t e s t e d v a r i o u s h e u r i s t i c s f o r o p t i m i z i n g c o s t a n d d a t a e n t r y n e e d e d i n a s s i g n i n g p a t i e n t s t o c l i n i c a l t r i a l s T e s t i n g e l i g i b i l i t y o f a p a t i e n t f o r m a n y c l i n i c a l t r i a l s i s o n l y f e a s i b l e i f i t i s c o s t a n d d a t a e n t r y e f f i c i e n t A g e n t s w i t h d i f f e r e n t h e u r i s t i c s w e r e t h e n t e s t e d o n d a t a f r o m c u r r e n t b r e a s t c a n c e r p a t i e n t s a t t h e M o f f i t t C a n c e r C e n t e r R e s u l t s w i t h d i f f e r e n t h e u r i s t i c s a r e c o m p a r e d w i t h e a c h o t h e r a n d w i t h t h a t o f t h e c l i n i c i a n s I t i s s h o w n t h a t c o s t s a v i n g s a r e p o s s i b l e i n c l i n i c a l t r i a l

PAGE 7

v i a s s i g n m e n t A l s o l e s s d a t a e n t r y i s n e e d e d w h e n p r o b a b i l i s t i c a g e n t s a r e u s e d t o r e o r d e r q u e s t i o n s

PAGE 8

1 C h a p t e r 1 I n t r o d u c t i o n 1 1 I n t r o d u c t i o n A c l i n i c a l t r i a l i s a n e x p e r i m e n t a l r e s e a r c h s t u d y t h a t e v a l u a t e s a s p e c i f i c n e w t r e a t m e n t f o r a s p e c i f i c p o p u l a t i o n o f p a t i e n t s T h e t r i a l p r o t o c o l i s a r u l e b o o k w h i c h c l e a r l y i d e n t i f i e s t h e c r i t e r i a f o r a p a t i e n t t o b e e l i g i b l e f o r t h e t r i a l T h e c r i t e r i a i s b a s e d o n t h e m e d i c a l h i s t o r y a n d t h e p r e s e n t m e d i c a l c o n d i t i o n o f t h e p a t i e n t S o m e c r i t e r i a a r e g e n e r a l i n f o r m a t i o n s u c h a s t h e a g e a n d s e x o f t h e p a t i e n t w h i l e o t h e r s r e q u i r e s s p e c i f i c t e s t s b e d o n e t o d e t e r m i n e i f t h e p a t i e n t m a t c h e s t h e m E l i g i b i l i t y i s u s u a l l y c h e c k e d m a n u a l l y b y a c l i n i c i a n n u r s e o r t r i a l c o o r d i n a t o r I n t h e a b s e n c e o f e n o u g h i n f o r m a t i o n t o d e t e r m i n e t h e e l i g i b i l i t y o f a p a t i e n t c l i n i c i a n s o r d e r t e s t s n e e d e d t o o b t a i n t h e r e q u i r e d i n f o r m a t i o n E a c h t e s t h a s s o m e c o s t a s s o c i a t e d w i t h i t a n d s t u d i e s s h o w t h a t i f t e s t s a r e r e o r d e r e d c o r r e c t l y c o s t s a v i n g s a r e p o s s i b l e [ 1 1 1 1 4 ] A l t h o u g h c l i n i c i a n s c a n p o t e n t i a l l y r e d u c e c o s t s b y o r d e r i n g i n e x p e n s i v e t e s t s f i r s t t e s t r e o r d e r i n g i s a c o m p l e x o p t i m i z a t i o n p r o b l e m w h i c h h a s m a n y p a r a m e t e r s l i k e t h e a c t u a l c o s t o f t h e t e s t n u m b e r o f e l i g i b i l i t y c r i t e r i o n d e c i d e d b y i t n u m b e r o f p r o t o c o l s i n w h i c h t h e t e s t i s n e e d e d a n d t h e p r o b a b i l i t y o f t h e t e s t r e s u l t i n g i n a n e l i g i b i l i t y d e c i s i o n f o r t h e p a t i e n t

PAGE 9

2 1 2 S i g n i f i c a n c e C a n c e r i s o n e o f t h e m a j o r c a u s e s o f d e a t h i n U n i t e d S t a t e s r e s u l t i n g i n 5 5 0 0 0 0 d e a t h s a n n u a l l y C a n c e r t r e a t m e n t i s a n a c t i v e r e s e a r c h a r e a C l i n i c a l t r i a l s a r e u s e d t o r e s e a r c h n e w t r e a t m e n t s A c c r u a l o f p a t i e n t s t o t h e s e c l i n i c a l t r i a l s i s o f t h e u t m o s t i m p o r t a n c e f o r t h e s u c c e s s o f a t r i a l A t a n y o n e t i m e t h e r e a r e m a n y a c t i v e t r i a l s a n d k e e p i n g t r a c k o f t h e m b e c o m e s a d i f f i c u l t t a s k S t u d i e s s h o w t h a t c l i n i c i a n s s o m e t i m e s m i s s u p t o 5 0 % t o 6 0 % o f t h e e l i g i b l e p a t i e n t s [ 1 1 2 2 3 3 ] I n s u c h a s c e n a r i o h a v i n g a w e b b a s e d a g e n t w i t h a c e n t r a l d a t a b a s e o f c l i n i c a l t r i a l s t h a t c a n b e a c c e s s e d t h r o u g h t h e i n t e r n e t b y a n y w i l l i n g i n s t i t u t e c a n d r a s t i c a l l y i m p r o v e a c c r u a l o f p a t i e n t s I t m a y a l s o e a s e t h e p r o c e s s o f t r i a l s h a r i n g a m o n g v a r i o u s i n s t i t u t e s w h i c h i s d i f f i c u l t o t h e r w i s e

PAGE 10

3 C h a p t e r 2 P r e v i o u s W o r k 2 1 S o f t w a r e A g e n t s A s o f t w a r e a g e n t i s d e f i n e d a s a n a u t o n o m o u s s o f t w a r e e n t i t y t h a t c a n i n t e r a c t w i t h i t s e n v i r o n m e n t t o a c c o m p l i s h c e r t a i n o b j e c t i v e s w i t h o u t a n y d i r e c t i n p u t o r s u p e r v i s i o n f r o m i t s u s e r S o f t w a r e a g e n t s a r e u s e d i n a v a r i e t y o f f i e l d s l i k e V L S I d e s i g n s e a r c h e n g i n e s e c o m m e r c e a p p l i c a t i o n s b u s i n e s s p r o c e s s e s m e d i c a l r e s e a r c h e t c E a r l i e r u s e o f A I i n m e d i c a l d o m a i n s w a s p r i m a r i l y t h r o u g h e x p e r t s y s t e m s f o r d i a g n o s i s a n d t r e a t m e n t s u g g e s t i o n s T h e p r i m a r y d i f f e r e n c e b e t w e e n e x p e r t s y s t e m a n d a g e n t i s t h a t t h e a g e n t c h a n g e s d y n a m i c a l l y a c c o r d i n g t o t h e c h a n g e s i n i t s e n v i r o n m e n t a n d t h a t m a n y a g e n t s c a n w o r k t o g e t h e r t o a c c o m p l i s h c e r t a i n t a s k ( s ) T h e a n a l y t i c a l a n d p r o b a b i l i s t i c a g e n t s w h i c h w e d e v e l o p e d d y n a m i c a l l y c h a n g e t h e i r h e u r i s t i c p a r a m e t e r v a l u e s a s n e w i n f o r m a t i o n i s r e c e i v e d T h e a n a l y t i c a l a g e n t m o d i f i e s t h e r u l e g r a p h s a n d c o s t i n f o r m a t i o n w h e n i t a c q u i r e s n e w i n f o r m a t i o n w h i l e t h e p r o b a b i l i s t i c k n o w l e d g e b a s e i s u p d a t e d o n a c q u i s i t i o n o f n e w i n f o r m a t i o n w h i c h d y n a m i c a l l y c h a n g e s t h e h e u r i s t i c p a r a m e t e r v a l u e s o f t h e p r o b a b i l i s t i c a g e n t A l s o t h e a n a l y t i c a l a n d p r o b a b i l i s t i c a g e n t s c a n w o r k t o g e t h e r t o r e o r d e r t h e q u e s t i o n s a n d a s s i g n p a t i e n t s t o c l i n i c a l t r i a l s D u e t o t h e a b o v e f a c t s w e t e r m t h e m a s a g e n t s

PAGE 11

4 2 2 H i s t o r y R e s e a r c h i n t h e u s e o f A r t i f i c i a l I n t e l l i g e n c e f o r m e d i c a l d i a g n o s i s h a s b e e n c o n d u c t e d s i n c e t h e e a r l y s e v e n t i e s A v a r i e t y o f e x p e r t s y s t e m s w e r e d e v e l o p e d f o r d i a g n o s i s a n d t r e a t m e n t o f v a r i o u s d i s e a s e s T h e M Y C I N s y s t e m f o r d i a g n o s i s o f b a c t e r i a l d i s e a s e s w a s d e v e l o p e d b y S h o r t l i f f e e a n d c o l l e a g u e s [ 1 3 ] I t e v o l v e d f r o m a c h e m i c a l e x p e r t s y s t e m c a l l e d D E N D R A L [ 8 2 4 2 5 ] I t w a s a r u l e b a s e d s y s t e m w i t h i f t h e n r u l e s u s i n g t h e b a c k w a r d c h a i n i n g p r o c e s s T h e s y s t e m g a t h e r e d i n f o r m a t i o n a b o u t t h e p a t i e n t a n d p r o v i d e d t r e a t m e n t r e c o m m e n d a t i o n s w i t h e x p l a n a t i o n s o f h o w t h e c o n c l u s i o n w a s r e a c h e d M Y C I N w a s f o u n d t o b e f a i r l y a c c u r a t e i n t h e e x p e r i m e n t s c o n d u c t e d w h i c h l e d t o t h e d e v e l o p m e n t o f v a r i o u s o t h e r m e d i c a l e x p e r t s y s t e m s E M Y C I N [ 7 ] w a s d e v e l o p e d f r o m M Y C I N I t w a s a g e n e r i c e x p e r t s y s t e m s h e l l w h e r e r u l e s f r o m a n y d o m a i n c o u l d b e a d d e d t o t h e k n o w l e d g e b a s e A l u n g d i s e a s e k n o w l e d g e b a s e w a s d e v e l o p e d u s i n g E M Y C I N a n d t h e r e s u l t a n t s y s t e m w a s c a l l e d P U F F [ 2 6 ] A n e x p e r t s y s t e m c a l l e d N E O M Y C I N [ 9 ] w a s d e v e l o p e d t o t r a i n d o c t o r s b y p r e s e n t i n g t h e m w i t h p r a c t i c e c a s e s g e t t i n g t h e i r d i a g n o s i s a n d c o r r e c t i n g t h e m w h e n t h e y m a d e m i s t a k e s 2 3 S i m i l a r S y s t e m s R e s e a r c h e r s h a v e a d o p t e d m a n y d i f f e r e n t a p p r o a c h e s f o r s y s t e m s t o a s s i g n p a t i e n t s t o c l i n i c a l t r i a l s A s y s t e m c a l l e d A I D S [ 2 8 ] w a s d e v e l o p e d t o a s s i g n p a t i e n t s t o H I V c l i n i c a l t r i a l t r e a t m e n t p r o t o c o l s I t u s e d B a y e s i a n b e l i e f n e t w o r k s t o m a n a g e u n c e r t a i n t y I t h a s a p r o t o c o l d r i v e n m o d e w h e r e e a c h p a t i e n t ’ s p r o b a b i l i t y o f e l i g i b i l i t y i s c h e c k e d a u t o m a t i c a l l y f o r a n e w c l i n i c a l t r i a l p r o t o c o l u s i n g t h e d a t a p a t i e n t h a s E O N [ 3 0 ] w a s m a d e w i t h r e u s a b i l i t y a s a h i g h p r i o r i t y T h u s t h e y m a d e f o u r r e u s a b l e b a s i c c o m p o n e n t s o f t h e s y s t e m T h e k n o w l e d g e b a s e c o u l d b e g e n e r a t e d f o r a n y p r o t o c o l b a s e d t h e r a p y

PAGE 12

5 O N C O D O C [ 4 5 6 1 9 2 0 ] w a s d e v e l o p e d t o “ e n h a n c e t h e a c c r u a l o f p a t i e n t s i n t h e b e s t c a r e p l a n ” I t h a d n o n m e t a s t a t i c b r e a s t c a n c e r p r o t o c o l s e n c o d e d a s d e c i s i o n t r e e s T h e g o a l w a s t o e n h a n c e t h e u s a b i l i t y o f t h e s y s t e m b y p r o v i d i n g f l e x i b i l i t y i n t h e i n t e r p r e t a t i o n o f t h e r e s u l t s b y c l i n i c i a n s C l i n i c i a n s i n c r e m e n t a l l y a s s i g n v a l u e s t o t h e d e c i s i o n p a r a m e t e r s w h i l e n a v i g a t i n g t h r o u g h t h e d e c i s i o n t r e e T h u s i t i s h a l f w a y b e t w e e n k n o w l e d g e r e p r e s e n t a t i o n a n d a s t a t i c w r i t t e n d e s c r i p t i o n a n d a l l o w s b o t h f o r m a l a n d i n f o r m a l a s p e c t s o f t h e p r o t o c o l s t o b e i m p l e m e n t e d I t m e a n s t h a t a c l i n i c i a n c a n m a k e a n e x p l i c i t d e c i s i o n i f a t e s t r e s u l t i s b o r d e r l i n e o r c a n n a v i g a t e t h r o u g h t h e r e m a i n i n g d e c i s i o n t r e e t o s e e t h e u n d e r l y i n g l o g i c a n d m a k e h i s d e c i s i o n A n i m p o r t a n t d r a w b a c k o f u s i n g d e c i s i o n t r e e s i s t h a t y o u c a n n o t t e s t a p a t i e n t f o r m u l t i p l e t r i a l s a t o n c e O n e w i l l h a v e t o t e s t a p a t i e n t s e p a r a t e l y f o r e a c h t r i a l a n d t h u s t h e t i m e c o n s u m e d w i l l i n c r e a s e d r a s t i c a l l y w h e n t h e p a t i e n t ’ s e l i g i b i l i t y i s c h e c k e d f o r m a n y c l i n i c a l t r i a l s A s y s t e m t o a s s i g n p a t i e n t s t o c l i n i c a l t r i a l s w a s d e s i g n e d b y P a p a c o n s t a n t i n o u a n d c o l l e a g u e s [ 1 0 ] u s i n g B a y e s i a n n e t w o r k s T h e y w e r e s u c c e s s f u l i n i m p l e m e n t i n g t h r e e c l i n i c a l t r i a l s b u t c o n c l u d e d t h a t t h e c o m p l e x i t y o f t h e B a y e s i a n n e t w o r k i m m e n s e l y i n c r e a s e d w h e n n e w t r i a l s w e r e b e i n g a d d e d A n o t h e r d r a w b a c k w a s t h e d i f f i c u l t y i n g e t t i n g t h e p r i o r p r o b a b i l i t y r e l a t i o n s h i p s b e t w e e n d i f f e r e n t n o d e s o f t h e n e t w o r k A l s o p r o p a g a t i o n o f p r o b a b i l i t i e s w i t h d a t a e v i d e n c e w a s v e r y s l o w A n o t h e r s y s t e m D I A V A L [ 8 ] w a s a l s o a B a y e s i a n e x p e r t s y s t e m f o r e c h o c a r d i a o g r a p h y I t h a d t h e s a m e p r o b l e m s d i s c u s s e d a b o v e S m i t h a n d M c N e e l y [ 2 3 1 ] b u i l t a n e x p e r t s y s t e m t o r e o r d e r t e s t s f o r l a b o r a t o r y i n v e s t i g a t i o n s o f p a t i e n t s f o r g e n e r a l c l i n i c a l p r o b l e m s T h e y u s e d t h e A C Q U I R E s u i t e o f e x p e r t s y s t e m t o o l s t o d e s i g n t h i s s y s t e m T h e i r r e s u l t s s h o w s t h a t t h e l a b o r a t o r y c o s t s w e r e r e d u c e d f r o m m e a n $ 2 3 2 t o $ 1 9 4 o n t e s t e d p a t i e n t s

PAGE 13

6 C h a p t e r 3 S y s t e m D e s i g n 3 1 S y s t e m O v e r v i e w T h e s y s t e m i s d i v i d e d i n t o t h r e e m a i n p a r t s ( a ) K n o w l e d g e e n t r y s y s t e m ( b ) A g e n t a n d ( c ) T e s t i n g s y s t e m N i k i f o r o u [ 3 6 ] i m p l e m e n t e d t h e k n o w l e d g e e n t r y s y s t e m I t i s a w e b b a s e d s y s t e m t h a t h a s u s e r f r i e n d l y i n t e r f a c e f o r e n c o d i n g t h e c l i n i c a l t r i a l s i n t o a f o r m t h a t i s u n d e r s t o o d b y t h e a g e n t s F l e t c h e r K o k k u [ 3 3 ] a n d c o l l e a g u e s h a v e b u i l t t h e i n i t i a l a g e n t f o r m a t c h i n g o f p a t i e n t s t o c l i n i c a l t r i a l s W e m o d i f i e d t h e w a y c o s t w a s d e a l t w i t h i n t h e s y s t e m a n d c o n d u c t e d s y s t e m a t i c e x p e r i m e n t s t o e v a l u a t e t h e c o s t s a v i n g s b y t h e s y s t e m W e a l s o a d d e d t h e p r o b a b i l i s t i c a g e n t s t o t h e s y s t e m a n d c o n d u c t e d e x p e r i m e n t s t o c o m p a r e t h e r e s u l t s F i g u r e 1 r e p r e s e n t s t h e b a s i c s t r u c t u r e o f t h e s y s t e m A s s h o w n i n F i g u r e 1 t h e u s e r i n t e r a c t s w i t h t h e s y s t e m t h r o u g h t h e w e b b a s e d i n t e r f a c e A u s e r c a n a c c e s s o l d p a t i e n t d a t a a d d n e w p a t i e n t s a n d e n t e r d a t a f o r e x i s t i n g p a t i e n t s E a c h t i m e n e w i n f o r m a t i o n i s o b t a i n e d a b o u t t h e p a t i e n t h e r e l i g i b i l i t y i s c h e c k e d f o r t h e p r o t o c o l s s e l e c t e d T h e p a t i e n t i s e l i g i b l e i n e l i g i b l e o r m o r e i n f o r m a t i o n i s r e q u i r e d t o d e c i d e o n e l i g i b i l i t y f o r a p a r t i c u l a r p r o t o c o l I f m o r e i n f o r m a t i o n i s n e e d e d t o d e t e r m i n e p a t i e n t ’ s e l i g i b i l i t y t h e p r o b a b i l i s t i c a g e n t c a l c u l a t e s t h e e l i g i b i l i t y p r o b a b i l i t y b a s e d o n t h e c u r r e n t d a t a o f t h e p a t i e n t a n d p r o b a b i l i s t i c k n o w l e d g e b a s e o f t h e s y s t e m

PAGE 14

7 F i g u r e 1 : S y s t e m A r c h i t e c t u r e T h e s y s t e m a u g m e n t s i t s p r o b a b i l i s t i c k n o w l e d g e b a s e b y g a t h e r i n g i n f o r m a t i o n e n t e r e d f o r t h e c u r r e n t p a t i e n t s a n d i t s e f f e c t o n t h e e l i g i b i l i t y o f t h e p a t i e n t A f t e r c h e c k i n g e l i g i b i l i t y i f t h e p a t i e n t h a s p r o t o c o l s f o r w h i c h e l i g i b i l i t y i s n o t y e t d e c i d e d u p o n t h e r e o r d e r i n g s u b s y s t e m r e o r d e r s t h e r e l e v a n t q u e s t i o n s u s i n g a n a l y t i c a l a n d p r o b a b i l i s t i c a g e n t s A t a l l t i m e s t h e s y s t e m h a s a n e x p l a n a t i o n s u b s y s t e m w h i c h c a n p r o v i d e a n e x p l a n a t i o n f o r s y s t e m ’ s d e c i s i o n s M o r e p r o t o c o l s c a n b e a d d e d t o t h e s y s t e m u s i n g t h e k n o w l e d g e e n t r y s y s t e m T h e t e s t i n g s y s t e m i s u s e d t o t e s t n e w h e u r i s t i c s b y A g e n t U s e r I n t e r f a c e K n o w l e d g e B a s e R e o r d e r i n g A g e n t s A g e n t f o r a s s i g n i n g p a t i e n t s t o c l i n i c a l t r i a l s P r o b a b i l i s t i c A n a l y t i c a l P r o b a b i l i s t i c K n o w l e d g e P a t i e n t d a t a b a s e G e n e r a l k n o w l e d g e a n d i m p l i c a t i o n D o m a i n s p e c i f i c k n o w l e d g e K n o w l e d g e e n t r y s y s t e m T e s t i n g s y s t e m U s e r E x p l a n a t i o n s u b s y s t e m

PAGE 15

8 c r e a t i n g m a n y n e w p a t i e n t s a n d t e s t i n g t h e e f f e c t i v e n e s s o f t h e s y s t e m w i t h o u t h u m a n i n t e r v e n t i o n 3 2 K n o w l e d g e R e p r e s e n t a t i o n T h e s y s t e m i n c o r p o r a t e s d o m a i n k n o w l e d g e i n t h e f o r m o f m e d i c a l t e s t s q u e s t i o n s a n d e l i g i b i l i t y c r i t e r i a A t e s t c a n b e e n t e r e d i n t o t h e s y s t e m w i t h i t s n a m e a n d c o s t A l i s t o f q u e s t i o n s t h a t a r e a n s w e r e d b y t h a t t e s t a r e t h e n e n t e r e d F o r e x a m p l e a s s h o w n i n F i g u r e 2 M a m m o g r a m t e s t a n s w e r s q u e s t i o n s i ) W h a t i s t h e c a n c e r s t a g e ? i i ) D o e s t h e p a t i e n t h a v e i n v a s i v e c a n c e r ? C l i n i c a l t r i a l p r o t o c o l s c a n t h e n b e e n t e r e d i n t o t h e s y s t e m w h i c h a r e e s s e n t i a l l y a s e t o f r u l e s c o m p o s e d o f t h e e n t e r e d q u e s t i o n s T h e e l i g i b i l i t y o f t h e p a t i e n t f o r a p a r t i c u l a r p r o t o c o l c a n t h e n b e t e s t e d u s i n g t h e a g e n t T h e r e i s a w e b b a s e d i n t e r f a c e t o a c c o m p l i s h a l l t h e s e t a s k s F i g u r e 2 : E x a m p l e o f T e s t s a n d Q u e s t i o n s G e n e r a l Q u e s t i o n s C o s t : $ 0 W h a t i s p a t i e n t ’ s s e x ? W h a t i s p a t i e n t ’ s a g e ? M a m m o g r a m C o s t : $ 1 5 0 W h a t i s t h e c a n c e r s t a g e ? D o e s t h e p a t i e n t h a v e i n v a s i v e c a n c e r ? Y e s N o U n k n o w n I I I I I I I V F e m a l e M a l e C T s c a n ( H e a d ) C o s t : $ 8 5 0 A r e t h e r e a n y s y m p t o m s o f m e t a s t a t i c Y e s N o U n k n o w n d i s e a s e i n b r a i n ?

PAGE 16

9 3 2 1 M e d i c a l T e s t s M e d i c a l t e s t s t h a t a r e p e r f o r m e d o n p a t i e n t s t o o b t a i n i n f o r m a t i o n n e e d e d t o d e t e r m i n e t h e i r e l i g i b i l i t y a r e e n t e r e d i n t o t h e s y s t e m a l o n g w i t h t h e c o s t i n c u r r e d t o p e r f o r m t h a t t e s t E a c h t e s t w h e n p e r f o r m e d g i v e s u s i n f o r m a t i o n a b o u t t h e p a t i e n t w h i c h i s u s e d t o d e t e r m i n e h e r e l i g i b i l i t y T h i s i n f o r m a t i o n i s s t o r e d i n t h e f o r m o f q u e s t i o n s 3 2 2 Q u e s t i o n s A q u e s t i o n c a n b e a n y o f t h e t h r e e f o r m s : ( a ) Y e s / N o ( b ) M u l t i p l e c h o i c e a n d ( c ) N u m e r i c A Y e s / N o q u e s t i o n i s t h e o n e w h e r e t h e a n s w e r t o t h e q u e s t i o n i s y e s n o o r u n k n o w n S i m i l a r l y m u l t i p l e c h o i c e q u e s t i o n s h a v e a l i s t o f t w o o r m o r e a n s w e r s t o s e l e c t t h e a n s w e r f r o m A n u m e r i c q u e s t i o n h a s s o m e n u m e r i c v a l u e a s i t s a n s w e r F i g u r e 2 s h o w s s o m e t e s t s a n d t h e q u e s t i o n s a s s o c i a t e d w i t h t h e m 3 2 3 E l i g i b i l i t y C r i t e r i a T h e c l i n i c a l t r i a l e l i g i b i l i t y c r i t e r i a i s e s s e n t i a l l y a l o g i c a l e x p r e s s i o n o f q u e s t i o n s F i g u r e 3 s h o w s a n e l i g i b i l i t y c r i t e r i a a n d t h e c o r r e s p o n d i n g l o g i c a l e x p r e s s i o n T h e s y s t e m k e e p s a s k i n g f o r d a t a u n t i l e i t h e r t h e e x p r e s s i o n i n F i g u r e 3 ( a ) i s T R U E o r t h e e x p r e s s i o n i n F i g u r e 3 ( b ) i s F A L S E w h i c h m e a n s t h a t t h e p a t i e n t i s e l i g i b l e o r i n e l i g i b l e r e s p e c t i v e l y F o r e x a m p l e l e t ’ s a s s u m e t h a t a p a t i e n t ’ s e l i g i b i l i t y i s c h e c k e d f o r t h e g i v e n t r i a l w h i c h h a s t h e e l i g i b i l i t y c r i t e r i a s h o w n i n F i g u r e 3

PAGE 17

1 0 F i g u r e 3 : E l i g i b i l i t y C r i t e r i a a n d i t s A c c e p t a n c e a n d R e j e c t i o n E x p r e s s i o n s A s s u m e t h e s y s t e m a l r e a d y h a s t h e d a t a t h a t t h e p a t i e n t i s f e m a l e a n d t h a t s h e i s p o s t m e n o p a u s a l T h e r e m a i n i n g p e r t i n e n t i n f o r m a t i o n t o b e o b t a i n e d i s ( a ) A g e ( b ) I f t h e r e i s m e t a s t a t i c d i s e a s e i n t h e h e a d a n d ( c ) I f c a n c e r i s i n v a s i v e W e d o n o t n e e d t o p e r f o r m a n y t e s t s t o k n o w a p a t i e n t ’ s a g e s o t h a t i n f o r m a t i o n i s f r e e t o u s O n t h e o t h e r h a n d w e n e e d t o p e r f o r m a m a m m o g r a m t o c h e c k i f t h e c a n c e r i s i n v a s i v e a n d i t c o s t s $ 1 5 0 S i m i l a r l y t o c h e c k i f t h e r e i s m e t a s t a t i c d i s e a s e i n b r a i n w e n e e d t o p e r f o r m a C T s c a n o f t h e h e a d w h i c h c o s t s $ 8 5 0 T h e c o s t o p t i m i z a t i o n p r o b l e m h e r e i s t o s e e i f i t i s ( a ) A c c e p t a n c e E x p r e s s i o n s e x = F E M A L E A N D a g e 1 8 A N D a g e 5 0 A N D { p o s t m e n o p a u s a l = Y E S O R u s e c o n t r a c e p t i v e = Y E S } A N D i n v a s i v e c a n c e r = N O A N D b r a i n m e t a s t a t i c = N O ( b ) R e j e c t i o n E x p r e s s i o n s e x = M A L E O R a g e 1 8 O R a g e 5 0 O R { p o s t m e n o p a u s a l = N O A N D u s e c o n t r a c e p t i v e = N O } O R i n v a s i v e c a n c e r = Y E S O R b r a i n m e t a s t a t i c = Y E S 1 F e m a l e o f a g e 1 8 t o 5 0 y e a r s 2 M u s t b e p o s t m e n o p a u s a l o r u s i n g c o n t r a c e p t i v e 3 S h o u l d n o t h a v e m e t a s t a t i c d i s e a s e i n b r a i n 4 C a n c e r s h o u l d n o t b e i n v a s i v e

PAGE 18

1 1 m o r e b e n e f i c i a l t o o r d e r a C T s c a n o f t h e h e a d o r a m a m m o g r a m A m a m m o g r a m l o o k s l i k e a b e t t e r a l t e r n a t i v e a t t h e f i r s t g l a n c e a s i t c o s t s m u c h l e s s t h e n C T s c a n H o w e v e r t h e r e a r e o t h e r i s s u e s w h i c h a r e i m p o r t a n t t o o F o r e x a m p l e i f m o s t p a t i e n t s h a v e i n v a s i v e c a n c e r t h e n i t w i l l b e m o r e e f f i c i e n t t o g o f o r a C T s c a n e v e n t h o u g h i t i s c o s t s m o r e a s t h e p r o b a b i l i t y o f a p a t i e n t h a v i n g i n v a s i v e c a n c e r i s h i g h a n d i t r e q u i r e s u s t o d o a C T s c a n a n y w a y s a f t e r a m a m m o g r a m i s p e r f o r m e d A l s o w h e n o n e t e s t s f o r m u l t i p l e p r o t o c o l s a t o n c e m a n y p r o t o c o l s m i g h t n e e d i n f o r m a t i o n w h i c h c a n b e o b t a i n e d f r o m a s i n g l e t e s t s o t h a t t e s t g e t s p r i o r i t y T h u s t e s t o r d e r i n g i s a c o m p l e x o p t i m i z a t i o n t a s k T h e s y s t e m k e e p s a s k i n g q u e s t i o n s w i t h c o n t i n u e d r e o r d e r i n g u n t i l i t c a n e i t h e r d e t e r m i n e t h a t t h e a c c e p t a n c e e x p r e s s i o n i s T R U E o r r e j e c t i o n e x p r e s s i o n i s T R U E 3 3 A l g o r i t h m A s d e s c r i b e d a b o v e t h e s y s t e m s t o r e s e l i g i b i l i t y c r i t e r i a o f d i f f e r e n t t r i a l s i n t h e f o r m o f r u l e s w h i c h a r e d e s c r i b e d a s l o g i c a l e x p r e s s i o n s o f d i f f e r e n t q u e s t i o n s W h i l e c o m p u t i n g e l i g i b i l i t y w e s t o r e t h e r u l e s i n t h e f o r m o f n o d e s F i g u r e 4 : A c c e p t a n c e E x p r e s s i o n G r a p h s e x = F e m a l e a g e 1 8 a g e 5 0 u s e c o n t r a c e p t i v e = Y E S p o s t m e n o p a u s a l = Y E S A N D b r a i n m e t a s t a t i c = Y E S i n v a s i v e c a n c e r = Y E S O R

PAGE 19

1 2 F i g u r e 5 : R e j e c t i o n E x p r e s s i o n G r a p h T w o g r a p h s a r e c r e a t e d o n e f o r t h e a c c e p t a n c e e x p r e s s i o n a n d t h e o t h e r f o r t h e r e j e c t i o n e x p r e s s i o n T h e b a s e n o d e o f t h e a c c e p t a n c e e x p r e s s i o n g r a p h i s t h e A N D n o d e w h i c h r e p r e s e n t s t h e e l i g i b i l i t y o f a p a t i e n t I t r e p r e s e n t s t h e c o n j u n c t i o n o f c o n d i t i o n s t h a t a r e n e e d e d t o b e s a t i s f i e d i n o r d e r f o r a p a t i e n t t o b e e l i g i b l e f o r a p r o t o c o l F i g u r e 4 s h o w s t h e a c c e p t a n c e e x p r e s s i o n g r a p h f o r e l i g i b i l i t y c r i t e r i a d e f i n e d i n F i g u r e 3 F i g u r e 5 i s t h e r e j e c t i o n e x p r e s s i o n w h i c h r e p r e s e n t s t h e i n e l i g i b i l i t y c r i t e r i a T h e b a s e n o d e o f t h i s g r a p h i s a n O R n o d e T h e O R n o d e r e p r e s e n t s a d i s j u n c t i o n o f c o n d i t i o n s t h a t r u l e o u t a p a t i e n t f o r a t r i a l T h e p a t i e n t i s e l i g i b l e i f t h e A N D n o d e o f t h e a c c e p t a n c e e x p r e s s i o n i s T R U E i n e l i g i b l e i f t h e O R n o d e o f t h e r e j e c t i o n e x p r e s s i o n i s T R U E a n d t h e e l i g i b i l i t y i s n o t d e c i d e d i f n e i t h e r o f t h e m i s t r u e O n l y o n e o f t h e m c a n b e T R U E a t a t i m e f o r a g i v e n p a t i e n t T h e s y s t e m w i l l k e e p a s k i n g q u e s t i o n s u n t i l o n e o f t h e b a s e n o d e s i s d e t e r m i n e d t o b e T R U E s e x = M a l e a g e 1 8 a g e 5 0 u s e c o n t r a c e p t i v e = N O p o s t m e n o p a u s a l = N O O R b r a i n m e t a s t a t i c = N O i n v a s i v e c a n c e r = N O A N D

PAGE 20

1 3 3 3 1 T e s t R e o r d e r i n g A n a l y t i c a l a n d p r o b a b i l i s t i c a g e n t s a r e u s e d t o r e o r d e r t e s t s f o r t h e o p t i m i z a t i o n o f c o s t a n d d a t a e n t r y A n a l y t i c a l h e u r i s t i c s a r e b a s e d o n t e s t c o s t a n d t h e s t r u c t u r e o f t h e r e j e c t i o n a n d a c c e p t a n c e e x p r e s s i o n s P r o b a b i l i s t i c a g e n t s u s e p r o b a b i l i s t i c d a t a a c c u m u l a t e d o v e r t i m e b y t h e s y s t e m 3 3 1 1 A n a l y t i c a l R e o r d e r i n g A g e n t T h e a n a l y t i c a l r e o r d e r i n g a g e n t u s e s t h r e e h e u r i s t i c p a r a m e t e r s t o r e o r d e r t e s t s T h e f i r s t p a r a m e t e r i s t h e m o s t f u n d a m e n t a l o n e w h i c h i s t h e c o s t o f a t e s t T h e m o r e e x p e n s i v e t h e t e s t t h e l e s s l i k e l y i t i s f o r t h e s y s t e m t o o b t a i n i n f o r m a t i o n a s s o c i a t e d w i t h t h a t t e s t L e s s e x p e n s i v e t e s t s g e t p r i o r i t y o v e r t h e m o r e e x p e n s i v e o n e s A l t h o u g h t h i s h e u r i s t i c l o o k s s t r a i g h t f o r w a r d i t h a s i n h e r e n t d r a w b a c k s F o r e x a m p l e i m a g i n e a s c e n a r i o w h e r e t h e a g e n t h a s t o d e c i d e b e t w e e n o r d e r i n g t w o t e s t s t e s t A a n d t e s t B w h e r e t e s t B c o s t s t w i c e a s m u c h a s t e s t A A l t h o u g h t h e f i r s t t h o u g h t w o u l d b e t o o r d e r t e s t A a h e a d o f t e s t B t h a t m a y n o t a l w a y s b e t h e c a s e I m a g i n e a s c e n a r i o w h e r e t e s t A ’ s r e s u l t s a r e a l m o s t a l w a y s f a v o r a b l e f o r t h e p a t i e n t s a n d a l m o s t n o p a t i e n t g e t s r u l e d o u t o f a p r o t o c o l d u e t o t e s t A ’ s r e s u l t s I n s u c h a s c e n a r i o i t w i l l b e m o r e e f f i c i e n t t o o r d e r t e s t B a h e a d o f t e s t A W h e n a p a t i e n t i s t e s t e d f o r m u l t i p l e t r i a l s a t o n c e a c e r t a i n t e s t m i g h t b e n e e d e d t o d e t e r m i n e e l i g i b i l i t y f o r m o r e t h a n o n e t r i a l T h a t i s t h e s e c o n d h e u r i s t i c p a r a m e t e r T h e n u m b e r o f c l i n i c a l t r i a l s t h a t n e e d a p a r t i c u l a r t e s t b e d o n e t o d e t e r m i n e t h e e l i g i b i l i t y i s t a k e n a s a h e u r i s t i c p a r a m e t e r T h e p r o b a b i l i t y o f a t e s t b e i n g r a n k e d h i g h e s t i s l i n e a r l y p r o p o r t i o n a l t o t h e n u m b e r o f t r i a l s t h a t n e e d i t T h e t h i r d h e u r i s t i c p a r a m e t e r i s t h e n u m b e r o f c l a u s e s t h a t i n c l u d e q u e s t i o n s a n s w e r e d b y t h a t t e s t i n t h e a c c e p t a n c e e x p r e s s i o n T o c a l c u l a t e t h i s t h e a c c e p t a n c e

PAGE 21

1 4 e x p r e s s i o n n e e d s t o b e c o n v e r t e d i n t o D i s j u n c t i v e N o r m a l F o r m ( D N F ) C o n v e r t i n g a g r a p h i n t o D N F c a n t a k e a c o n s i d e r a b l e a m o u n t o f p r o c e s s i n g t i m e i f t h e g r a p h h a s m a n y O R n o d e s F o r e x a m p l e c o n s i d e r a s i m p l e e x p r e s s i o n ( a b c ) ( e f g ) ( h i j ) w i t h n i n e A N D n o d e s a n d 1 O R n o d e A f t e r c o n v e r t i n g i t i n t o D N F t h e e x p r e s s i o n l o o k s l i k e t h a t i n F i g u r e 6 ( a e h ) ( a e i ) ( a e j ) ( a f h ) ( a f i ) ( a f j ) ( a g h ) ( a g i ) ( a g j ) ( b e h ) ( b e i ) ( b e j ) ( b f h ) ( b f i ) ( b f j ) ( b g h ) ( b g i ) ( b g j ) ( c e h ) ( c e i ) ( c e j ) ( c f h ) ( c f i ) ( c f j ) ( c g h ) ( c g i ) ( c g j ) F i g u r e 6 : E x p a n s i o n o f C N F t o D N F A s s h o w n i n F i g u r e 6 t h e e x p r e s s i o n n o w h a s 2 7 A N D n o d e s a n d o n e O R n o d e F o r l a r g e e x p r e s s i o n s t h i s c o n v e r s a t i o n t a k e s c o n s i d e r a b l e c o m p u t i n g t i m e a n d t h u s c a n b e a d r a w b a c k A f t e r t h e c o n v e r s i o n f o r e a c h t e s t t h e n u m b e r o f c l a u s e s t h a t d e p e n d o n a q u e s t i o n b e l o n g i n g t o t h a t t e s t i s c a l c u l a t e d T h e t e s t s t h a t a r e n e e d e d i n m o r e c l a u s e s g e t p r i o r i t y A f t e r t h e s y s t e m g e t s a n y n e w i n f o r m a t i o n i t r e g e n e r a t e s t h e g r a p h s a n d r e c a l c u l a t e s h e u r i s t i c s v a l u e s A f t e r c a l c u l a t i n g a l l t h r e e p a r a m e t e r s o f a l l t e s t s t h e a g e n t d o e s a l i n e a r c o m b i n a t i o n o f t h e p a r a m e t e r v a l u e s a n d o r d e r s t h e t e s t s u s i n g i t

PAGE 22

1 5 3 3 1 2 P r o b a b i l i s t i c R e o r d e r i n g A g e n t M o s t p e o p l e w h o h a v e u s e d a p r o b a b i l i s t i c a p p r o a c h t o w a r d s e x p e r t s y s t e m s o r a g e n t s h a v e u s e d B a y e s i a n N e t w o r k s T h e r e a r e m a n y i n h e r e n t p r o b l e m s w i t h t h i s a p p r o a c h a n d t h e p r i m e o n e s a r e : ( a ) B a y e s i a n N e t w o r k s a r e v e r y c o m p l e x a n d i t t a k e s a l o t o f t i m e t o b u i l d n e w n e t w o r k s w h e n n e w t r i a l s a r e a d d e d ( b ) I t i s d i f f i c u l t t o g e t i n i t i a l r e l a t i o n a l p r o b a b i l i t i e s b e t w e e n n o d e s o f t h e n e t w o r k ( c ) I t t a k e s a l o t o f c o m p u t a t i o n a l t i m e t o m o d i f y t h e c o n d i t i o n a l p r o b a b i l i t y b e t w e e n n o d e s o f t h e n e t w o r k i n t h e w a k e o f n e w e v i d e n c e [ 1 0 1 5 ] I n s p i t e o f t h e a b o v e d r a w b a c k s t h e y a l s o h a v e s o m e c r i t i c a l a d v a n t a g e s o v e r a n a l y t i c a l r u l e b a s e d s y s t e m s T h e m o s t i m p o r t a n t a d v a n t a g e p r o b a b i l i s t i c s y s t e m s h a v e i s t h e i r a b i l i t y t o e s t i m a t e e l i g i b i l i t y p r o b a b i l i t y i n t h e a b s e n c e o f s o m e i n f o r m a t i o n R u l e b a s e d s y s t e m s c a n n o t e s t i m a t e t h e p r o b a b i l i t y e v e n i n t h e a b s e n c e o f a s i n g l e p i e c e o f i n f o r m a t i o n C o n s i d e r a p r o t o c o l w h i c h h a s 2 0 e l i g i b i l i t y r u l e s a n d 1 9 o f t h e m a r e m e t w h i c h s e e m i n g l y m a k e s i t l i k e l y f o r a p a t i e n t t o b e e l i g i b l e A r u l e b a s e d s y s t e m w i l l s t i l l n o t b e a b l e t o p r e d i c t a n y t h i n g a b o u t t h e p r o b a b i l i t y o f t h e p a t i e n t ’ s e l i g i b i l i t y w h i l e a p r o b a b i l i s t i c s y s t e m c a n e s t i m a t e t h e e l i g i b i l i t y o f t h e p a t i e n t u s i n g t h e p r i o r p r o b a b i l i t i e s t h a t t h e s y s t e m h a s P r o b a b i l i t y e s t i m a t i o n b e c o m e s i m p o r t a n t i n c e r t a i n c a s e s e s p e c i a l l y w h e n y o u h a v e m a n y t r i a l s T h e M o f f i t t C a n c e r C e n t e r a t U S F h a s a b o u t 1 5 a c t i v e b r e a s t c a n c e r t r i a l s a t o n c e I t i s t i m e c o n s u m i n g a n d e x p e n s i v e t o t e s t p a t i e n t s f o r a l l t r i a l s T h u s r a t h e r t h a n t e s t i n g t h e p a t i e n t s f o r a l l t r i a l s w e c a n j u s t t e s t h e r e l i g i b i l i t y f o r t r i a l s w h i c h s h o w h i g h i n i t i a l e l i g i b i l i t y p r o b a b i l i t y W e c a n a l s o u s e p r o b a b i l i s t i c k n o w l e d g e a c c u m u l a t e d o v e r t i m e b y t h e s y s t e m t o r e o r d e r t h e t e s t s

PAGE 23

1 6 T o a t t e m p t t o e x p l o i t t h e a d v a n t a g e s o f t h e p r o b a b i l i s t i c s y s t e m s a n d t o a v o i d i t s d r a w b a c k s w e u s e d t h e p r o b a b i l i s t i c m e t h o d s d i s c u s s e d b e l o w T h e b a s i c i d e a i s t o t r y t o c l a s s i f y a p a t i e n t a s i n e l i g i b l e a s s o o n a s p o s s i b l e T h e i d e a i s t h a t i f a p a t i e n t i s i n e l i g i b l e t h e i n f o r m a t i o n t h a t i s m o s t l i k e l y t o d e t e r m i n e h e r i n e l i g i b l e s h o u l d b e o b t a i n e d f i r s t T h i s w o u l d o p t i m i z e t h e d a t a e n t r y n e e d e d t o d e c i d e u p o n a p a t i e n t ’ s e l i g i b i l i t y T h e s y s t e m g a t h e r s t h i s p r o b a b i l i s t i c k n o w l e d g e o v e r t i m e F o r e a c h q u e s t i o n i n t h e s y s t e m i t k e e p s a l o g o f h o w m a n y t i m e s a q u e s t i o n i s a s k e d a n d h o w m a n y t i m e s a p a t i e n t i s r u l e d o u t f o r a p a r t i c u l a r t r i a l a f t e r t h a t q u e s t i o n i s a n s w e r e d T h i s g i v e s u s t h e p r o b a b i l i t y o f t h a t q u e s t i o n w h e n a s k e d r u l i n g o u t a p a t i e n t f o r a p a r t i c u l a r t r i a l S o t h e a p p r o a c h w o u l d b e t o a s k t h e q u e s t i o n w h i c h h a s t h e h i g h e s t p r o b a b i l i t y o f r u l i n g o u t a p a t i e n t f i r s t W h e n m u l t i p l e t r i a l s a r e t e s t e d a t o n c e a n d s a m e q u e s t i o n i s i n t h e a c c e p t a n c e e x p r e s s i o n o f m o r e t h a t o n e t r i a l w e a d d t h e s e p a r a t e p r o b a b i l i t i e s o f t h e q u e s t i o n f o r e a c h t r i a l N o t e t h a t t h e r e s u l t o f t h e s u m m a t i o n c a n b e g r e a t e r t h e n o n e t h u s i t i s n o t a p r o b a b i l i t y a n y m o r e R a t h e r i t i s s u m m a t i o n v a l u e w h i c h w h e n h i g h e r s u g g e s t s a h i g h e r l i k e l i h o o d o f d e t e r m i n i n g a p a t i e n t i n e l i g i b l e T h e s e p r o b a b i l i t i e s a r e a l s o u s e d t o e s t i m a t e t h e e l i g i b i l i t y p r o b a b i l i t y H e r e w e m a k e a n i m p o r t a n t a s s u m p t i o n t h a t a l l q u e s t i o n s h a v e i n d e p e n d e n t p r o b a b i l i t i e s A l t h o u g h t h i s a s s u m p t i o n i s n o t e n t i r e l y t r u e i t s e e m s c l o s e e n o u g h M o s t q u e s t i o n s a r e e i t h e r c o m p l e t e l y d e p e n d e n t o n e a c h o t h e r o r a r e n o t a t a l l d e p e n d e n t F o r e x a m p l e i f a p a t i e n t h a s n o p o s i t i v e l y m p h n o d e s t h a t m e a n s t h a t t h e c a n c e r s t a g e i s e i t h e r 0 o r I T h u s t h e t w o q u e s t i o n s “ D o e s t h e p a t i e n t h a v e p o s i t i v e l y m p h n o d e s ? ” a n d “ W h a t i s t h e c a n c e r s t a g e ? ” a r e d e p e n d e n t o n e a c h o t h e r W e c a n t a k e c a r e o f s u c h s i t u a t i o n s b y a n i m p l i c a t i o n s u b s y s t e m W e c a n a d d i m p l i c a t i o n r u l e s i n t h e s y s t e m s u c h a s “ I f c a n c e r

PAGE 24

1 7 s t a g e 0 o r I t h e n i t i m p l i e s t h a t p a t i e n t h a s n o p o s i t i v e l y m p h n o d e s ” W h e n s y s t e m h a s i n f o r m a t i o n t h a t t h e c a n c e r s t a g e i s e i t h e r 0 o r I t h e i m p l i c a t i o n s u b s y s t e m a u t o m a t i c a l l y g e n e r a t e s i n f o r m a t i o n t h a t n o l y m p h n o d e s a r e p o s i t i v e a n d t h e s y s t e m d o e s n o t a s k f o r t h a t i n f o r m a t i o n T h u s a l l s u c h c o m p l e t e l y d e p e n d e n t q u e s t i o n s a r e t a k e n c a r e o f b y t h e i m p l i c a t i o n s u b s y s t e m T h e r e a r e v e r y f e w q u e s t i o n s w h i c h h a v e a p a r t i a l i m p l i c a t i o n l i k e “ I f a p a t i e n t i s E R p o s i t i v e t h e n t h e r e i s a n 8 0 % c h a n c e o f p o s i t i v e l y m p h n o d e s ” W e i g n o r e s u c h c o n d i t i o n a l p r o b a b i l i t i e s a m o n g q u e s t i o n s a n d t r e a t a l l q u e s t i o n s a s e i t h e r c o m p l e t e l y d e p e n d e n t o r i n d e p e n d e n t W h e n w e a s s u m e a l l q u e s t i o n s t o b e i n d e p e n d e n t t h e e l i g i b i l i t y c r i t e r i a f o r a p r o t o c o l b e c o m e s a s e t o f i n d e p e n d e n t q u e s t i o n s w h i c h m u s t h a v e f a v o r a b l e a n s w e r s f o r a p a t i e n t t o b e e l i g i b l e A l s o w e h a v e t h e p r o b a b i l i t y o f h o w m a n y t i m e s a q u e s t i o n w h e n a n s w e r e d w a s r e s p o n s i b l e f o r a p a t i e n t b e i n g i n e l i g i b l e f o r a p r o t o c o l T h u s w e h a v e p r o b a b i l i t y o f e a c h q u e s t i o n b e i n g a n s w e r e d f a v o r a b l y f o r e l i g i b i l i t y A p a t i e n t w i l l b e e l i g i b l e f o r a p r o t o c o l w h e n e a c h a n s w e r i s f a v o r a b l e T h u s t h e e l i g i b i l i t y p r o b a b i l i t y o f a p r o t o c o l w i l l b e t h e p r o d u c t o f t h e f a v o r a b l e p r o b a b i l i t i e s o f a l l q u e s t i o n s W h e n a q u e s t i o n i s a n s w e r e d a n d t h e a n s w e r m e e t s t h e e l i g i b i l i t y r u l e s o f t h e c l i n i c a l t r i a l w e c a n e x c l u d e i t f r o m o u r p r o d u c t a n d t h u s w e g e t t h e n e w e l i g i b i l i t y p r o b a b i l i t y A s m o r e q u e s t i o n s a n s w e r e d f i t t h e e l i g i b i l i t y c r i t e r i a t h e e l i g i b i l i t y p r o b a b i l i t y i n c r e a s e s W h e n a q u e s t i o n ’ s a n s w e r d o e s n o t f i t t h e e l i g i b i l i t y p r o f i l e t h e p a t i e n t b e c o m e s i n e l i g i b l e a n d t h e e l i g i b i l i t y p r o b a b i l i t y b e c o m e s z e r o W h e n t h e p a t i e n t b e c o m e s e l i g i b l e t h e e l i g i b i l i t y p r o b a b i l i t y i s 1 T h e e l i g i b i l i t y p r o b a b i l i t y v a r i e s b e t w e e n 0 a n d 1 w h e n t h e e l i g i b i l i t y o f a p a t i e n t i s u n d e c i d e d

PAGE 25

1 8 A l t h o u g h t h e a b o v e m e n t i o n e d a p p r o a c h g a v e g o o d r e s u l t s w h e n t h e c o m p u t e d p r o b a b i l i t i e s w e r e u s e d t o r e o r d e r q u e s t i o n s ( a s d i s c u s s e d i n t h e “ E x p e r i m e n t s a n d R e s u l t s ” s e c t i o n ) t h e p r o b a b i l i t i e s c o m p u t e d w e r e n o t n o r m a l i z e d a n d t h u s w e r e v e r y s m a l l n u m b e r s t h a t d i d n o t g i v e a n y m e a n i n g f u l f e e d b a c k t o t h e u s e r T o c o m p u t e p r o b a b i l i t i e s t h a t p r o v i d e m e a n i n g f u l f e e d b a c k t h e N a v e B a y e s a p p r o a c h a p p e a r e d t o f i t w e l l W e c a n t h i n k o f t h e p a t i e n t e n r o l m e n t p r o c e d u r e a s a c l a s s i f i c a t i o n p r o b l e m T h e c l a s s i f i c a t i o n c l a s s e s w i l l b e “ E l i g i b l e ” o r “ I n e l i g i b l e ” T h e a t t r i b u t e s w i l l b e t h e q u e s t i o n s a n d t h e v a l u e s f o r t h e q u e s t i o n a r e “ F a v o r a b l e f o r e l i g i b i l i t y ” o r “ U n f a v o r a b l e f o r e l i g i b i l i t y ” f o r e a c h c l i n i c a l t r i a l W e h a v e a p r o b a b i l i t y f o r e a c h q u e s t i o n t o b e f a v o r a b l e a n d u n f a v o r a b l e f o r e a c h c l i n i c a l t r i a l T h u s w e h a v e a c l a s s i f i c a t i o n p r o b l e m w h e r e w e h a v e p r o b a b i l i t i e s f o r t h e o c c u r r e n c e o f e a c h a t t r i b u t e v a l u e T o u s e N a v e B a y e s w e a l s o n e e d e d p r o b a b i l i t i e s o f o c c u r r e n c e o f e a c h c l a s s i f i c a t i o n t y p e w h i c h i s “ E l i g i b l e ” o r “ I n e l i g i b l e ” i n o u r c a s e W e m o d i f i e d t h e s y s t e m s o t h a t f o r e a c h c l i n i c a l t r i a l t h e s y s t e m r e c o r d e d h o w m a n y p a t i e n t s w e r e t e s t e d f o r t h a t c l i n i c a l t r i a l a n d h o w m a n y p a t i e n t s w e r e d e c i d e d t o b e e l i g i b l e a n d i n e l i g i b l e T h u s w e c o u l d n o w u s e N a v e B a y e s t o c a l c u l a t e t h e e l i g i b i l i t y p r o b a b i l i t y o f a p a t i e n t w i t h p a r t i a l i n f o r m a t i o n L e t u s a s s u m e t h a t w e h a v e a c l i n i c a l t r i a l T w i t h t h r e e q u e s t i o n s Q 1 Q 2 a n d Q 3 O u t o f 1 0 0 p a t i e n t s t h a t w e r e t e s t e d o n t h e c l i n i c a l t r i a l w e f o u n d 4 0 t o b e e l i g i b l e a n d 6 0 t o b e i n e l i g i b l e Q u e s t i o n Q 1 a s a s k e d 9 0 t i m e s a n d i t d i s q u a l i f i e d p a t i e n t s 1 0 t i m e s Q 2 w a s a s k e d 8 0 t i m e s a n d d i s q u a l i f i e d p a t i e n t s 5 t i m e s a n d Q 1 w a s a s k e d 7 0 t i m e s a n d d i s q u a l i f i e d p a t i e n t s 1 5 t i m e s T h u s P ( T E ) t h e p r o b a b i l i t y o f p a t i e n t b e i n g e l i g i b l e f o r

PAGE 26

1 9 p r o t o c o l T i s 1 0 0 4 0 P ( Q 1 ) t h e p r o b a b i l i t y t h a t q u e s t i o n s Q 1 i s a n s w e r e d f a v o r a b l y f o r c l i n i c a l t r i a l T i s 9 0 8 0 S i m i l a r l y P ( Q 2 ) = 8 0 7 5 a n d P ( Q 3 ) = 7 0 5 5 S o w h e n w e d o n ’ t h a v e a n y i n f o r m a t i o n i e w e d o n ’ t h a v e a n s w e r s f o r a n y q u e s t i o n s t h e n t h e p r o b a b i l i t y o f a g i v e n p a t i e n t b e i n g e l i g i b l e f o r c l i n i c a l t r i a l T i s 1 0 0 4 0 N o w a s s u m e t h a t w e h a v e a n s w e r s t o q u e s t i o n s Q 1 a n d Q 2 a n d t h e a n s w e r s a r e f a v o r a b l e f o r e l i g i b i l i t y T h u s t h e n e w e l i g i b i l i t y p r o b a b i l i t y w i l l b e P ( T E | Q 1 Q 2 ) A c c o r d i n g t o N a v e B a y e s : ) T | P ( Q ) T | P ( Q ) P ( T ) Q Q | P ( T E 2 E 1 E 2 1 E = P ( Q 1 | T E ) i s t h e p r o b a b i l i t y t h a t q u e s t i o n Q 1 w a s a n s w e r e d f a v o r a b l y f o r e l i g i b i l i t y g i v e n t h e f a c t T E w h i c h m e a n s t h a t p a t i e n t i s e l i g i b l e f o r c l i n i c a l t r i a l T N o w i f a p a t i e n t i s e l i g i b l e f o r a c l i n i c a l t r i a l a l l t h e q u e s t i o n s m u s t b e a n s w e r e d f a v o r a b l y f o r e l i g i b i l i t y T h u s P ( Q 1 | T E ) = 1 S i m i l a r l y P ( Q 2 | T E ) = 1 T h u s ) P ( T ) Q Q | P ( T E 2 1 E = A s s h o w n P ( T E | Q 1 Q 2 … Q n ) w i l l a l w a y s b e P ( T E ) r e g a r d l e s s o f t h e n u m b e r o f q u e s t i o n s a n s w e r e d T h u s N a v e B a y e s c a n n o t b e u s e d i n t h i s c a s e a s t h e p r o b a b i l i t i e s d o n o t c h a n g e d y n a m i c a l l y w h e n t h e a c q u i s i t i o n o f n e w i n f o r m a t i o n F o r e n h a n c i n g t h e e s t i m a t i o n t e c h n i q u e f o r t h e c l i n i c a l t r i a l p r o b a b i l i t y w e t h e n u s e d B a y e s r u l e U s i n g B a y e s r u l e ) Q P ( Q ) T | Q P ( Q ) P ( T ) Q Q | P ( T 2 1 E 2 1 E 2 1 E = A s e x p l a i n e d b e f o r e P ( Q 1 Q 2 | T E ) w i l l b e t h e p r o b a b i l i t y t h a t q u e s t i o n s Q 1 Q 2 a r e f a v o r a b l e f o r e l i g i b i l i t y g i v e n t h a t t h e p a t i e n t i s e l i g i b l e f o r p r o t o c o l T I f t h e p a t i e n t i s

PAGE 27

2 0 e l i g i b l e t h e n t h e q u e s t i o n s a n s w e r e d w i l l a l w a y s b e f a v o r a b l e a n d t h u s P ( Q 1 Q 2 | T E ) = 1 A l s o w e h a v e a s s u m e d t h a t a l l q u e s t i o n s a r e i n d e p e n d e n t a n d t h u s P ( T E | Q 1 Q 2 ) = P ( T E | Q 1 ) P ( T E | Q 2 ) S u b s t i t u t i n g a l l t h i s v a l u e s w e g e t t h e n e w e q u a t i o n a s ) P ( Q ) P ( Q ) P ( T ) Q Q | P ( T 2 1 E 2 1 E = S u b s t i t u t i n g t h e v a l u e s o f P ( T E ) P ( Q 1 ) a n d P ( Q 2 ) w e g e t t h e v a l u e 0 4 8 f o r t h e e q u a t i o n T h u s a f t e r a n s w e r i n g t w o q u e s t i o n s Q 1 a n d Q 2 t h e e l i g i b i l i t y p r o b a b i l i t y o f a p a t i e n t f o r c l i n i c a l t r i a l T i s 4 8 % T h e g e n e r i c e q u a t i o n s f o r e l i g i b i l i t y p r o b a b i l i t y f o r a c l i n i c a l t r i a l w h e n w e h a v e f a v o r a b l e a n s w e r s f o r e l i g i b i l i t y f o r n q u e s t i o n s w i l l b e ) P ( Q . . ) P ( Q ) P ( Q ) P ( T ) Q . . . . Q Q | P ( T n 2 1 E n 2 1 E = 3 4 T e s t i n g S y s t e m E v e r y t i m e a n e w r e o r d e r i n g a g e n t i s i m p l e m e n t e d o r t h e c u r r e n t a g e n t i s m o d i f i e d i t s e f f e c t i v e n e s s n e e d s t o b e d e t e r m i n e d T o o b t a i n d a t a t h a t c a n b e u s e d t o c o m p a r e d i f f e r e n t a g e n t s ’ e f f e c t i v e n e s s a c e r t a i n n u m b e r o f p a t i e n t s n e e d t o b e a s s i g n e d t o c l i n i c a l t r i a l s u s i n g t h e c l i n i c a l t r i a l a s s i g n m e n t s y s t e m t h a t i n c o r p o r a t e s t h e r e o r d e r i n g a g e n t s i n q u e s t i o n P e r f o r m i n g t h e o p e r a t i o n o f r e p e a t e d l y a s s i g n i n g n u m e r o u s p a t i e n t s t o c l i n i c a l t r i a l s u s i n g t h e s y s t e m i s a t i m e c o n s u m i n g a n d l a b o r i n t e n s i v e t a s k T h e m a n u a l d a t a e n t r y r e q u i r e d s e v e r e l y i n c r e a s e s t h e t i m e n e e d e d t o p e r f o r m s u c h e x p e r i m e n t s a n d l i m i t s t h e n u m b e r o f p a t i e n t s t h a t c a n b e t e s t e d T o o v e r c o m e s u c h s h o r t f a l l s a t e s t i n g s y s t e m w a s d e v e l o p e d

PAGE 28

2 1 T h e t e s t i n g s y s t e m t a k e s a l i s t o f p a t i e n t n a m e s a l i s t o f c l i n i c a l t r i a l s a n d p a t h t o t h e p a t i e n t a s s i g n m e n t s y s t e m a s i t s a r g u m e n t s I t t h e n a u t o n o m o u s l y c h e c k s t h e e l i g i b i l i t y o f t h e l i s t o f p a t i e n t s f o r t h e l i s t o f c l i n i c a l t r i a l s u s i n g t h e a s s i g n m e n t s y s t e m w h i c h i s a c c e s s i b l e a t t h e p a t h s p e c i f i e d i n t h e a r g u m e n t T h e p a t i e n t s i n t h e p a t i e n t l i s t a l r e a d y h a v e h a d t h e i r e l i g i b i l i t y m a n u a l l y d e t e r m i n e d f o r a s e t o f c l i n i c a l t r i a l s F o r e a c h s u c h p a t i e n t i n t h e p a t i e n t l i s t t h e t e s t i n g s y s t e m c r e a t e s a n e w t e s t p a t i e n t a n d a t t e m p t s t o d e t e r m i n e t h e e l i g i b i l i t y o f t h e p a t i e n t f o r t h e l i s t o f c l i n i c a l t r i a l s p r o v i d e d u s i n g t h e c l i n i c a l t r i a l a s s i g n m e n t s y s t e m w h o s e l i n k i s p a s s e d a s a p a r a m e t e r T h e c l i n i c a l t r i a l a s s i g n m e n t s y s t e m r e o r d e r s q u e s t i o n s a n d p r e s e n t s t h e q u e s t i o n l i s t w i t h t h e t o p m o s t q u e s t i o n b e i n g t h e m o s t i m p o r t a n t a c c o r d i n g t o t h e r e o r d e r i n g p a r a m e t e r s T h e t e s t i n g s y s t e m a n s w e r s t h e t o p m o s t q u e s t i o n o f t h a t l i s t b y o b t a i n i n g t h e a n s w e r f r o m t h e p a t i e n t ’ s d a t a t h a t w a s m a n u a l l y a d d e d i n t o t h e s y s t e m A f t e r t h e a n s w e r i s o b t a i n e d t h e c l i n i c a l t r i a l a s s i g n m e n t s y s t e m r e g e n e r a t e s t h e r e o r d e r i n g p a r a m e t e r v a l u e s a n d r e o r d e r s t h e q u e s t i o n s A t t h e e n d o f t h e e x e c u t i o n t h e t e s t i n g s y s t e m g e n e r a t e s a s u m m a r y f i l e w h i c h c o n t a i n s i n f o r m a t i o n f o r e a c h p a t i e n t s u c h a s t h e n u m b e r o f q u e s t i o n s a s k e d c o s t e l i g i b i l i t y s t a t u s o f t h e c l i n i c a l t r i a l s e t c T h u s t h e t e s t i n g s y s t e m m a k e s i t f a s t e f f e c t i v e a n d e a s y t o t e s t d i f f e r e n t h e u r i s t i c s w i t h o u t h u m a n i n t e r v e n t i o n T h e t e s t i n g s y s t e m w o r k s a u t o n o m o u s l y b u t i t r e q u i r e s h u m a n i n t e r v e n t i o n i n c e r t a i n c a s e s W h e n t h e c l i n i c a l t r i a l a s s i g n m e n t s y s t e m p r e s e n t s t h e r e o r d e r e d q u e s t i o n s l i s t a n d t h e t e s t i n g s y s t e m d o e s n o t h a v e t h e a n s w e r t o t h e t o p m o s t q u e s t i o n o n t h e l i s t i t r e q u i r e s h u m a n i n t e r v e n t i o n t o f i n d o u t t h e a n s w e r t o t h e q u e s t i o n T h i s g e n e r a l l y h a p p e n s b e c a u s e t h e o r i g i n a l p a t i e n t d a t a d o n o t c o n t a i n a n s w e r s f o r a l l q u e s t i o n s T h e c l i n i c a l t r i a l a s s i g n m e n t s y s t e m s t o p s

PAGE 29

2 2 p r e s e n t i n g f u r t h e r q u e s t i o n s f o r a t r i a l w h e n t h e p a t i e n t i s e i t h e r e l i g i b l e o r i n e l i g i b l e f o r t h a t t r i a l S o a p a t i e n t ’ s d a t a g e n e r a l l y d o n o t c o n t a i n a n s w e r s t o a l l t h e q u e s t i o n s W h e n a n e w h e u r i s t i c i s i m p l e m e n t e d q u e s t i o n s a r e r e o r d e r e d d i f f e r e n t l y a n d o f t e n a q u e s t i o n w h i c h i s u n a n s w e r e d i n t h e o r i g i n a l p a t i e n t d a t a i s p r e s e n t e d T h e t e s t i n g s y s t e m w o u l d n o t b e a b l e t o f i n d d a t a f o r i t a n d t h u s i t s e e k s h u m a n i n t e r v e n t i o n I n t h e s u m m a r y f i l e a l l s u c h p a t i e n t s a r e l i s t e d A u s e r c a n t h e n l o o k a t m e d i c a l d a t a b a s e o f t h e h o s p i t a l o r p a t i e n t ’ s c h a r t t o o b t a i n t h e i n f o r m a t i o n a n d e n t e r i t i n t o t h e s y s t e m T h e c o d e f o r t h e t e s t i n g s y s t e m i s w r i t t e n i n P E R L w h i l e t h e r e s t o f t h e s y s t e m i s c o d e d i n C T h e c o d e c a n b e f o u n d i n t h e C D R O M p r e s e n t e d w i t h t h e t h e s i s

PAGE 30

2 3 C h a p t e r 4 U s e r I n t e r f a c e 4 1 I n t e r f a c e D e s i g n T h e s y s t e m p r o v i d e s a u s e r f r i e n d l y w e b b a s e d i n t e r f a c e f o r t h e u s e r T h e w h o l e s y s t e m i s d e s i g n e d i n s u c h a w a y t h a t t h e r e i s a c e n t r a l s y s t e m a n d c l i n i c a l p e r s o n n e l c a n a c c e s s i t f r o m a n y w h e r e v i a t h e i n t e r n e t A u s e r c a n e n t e r n e w p a t i e n t s a n d c h e c k t h e i r e l i g i b i l i t y f o r a l l t h e a v a i l a b l e t r i a l s F i g u r e 7 s h o w s t h e c o n t r o l f l o w d i a g r a m o f t h e u s e r i n t e r f a c e F i g u r e 7 : U s e r I n t e r f a c e D e s i g n T h e u s e r s t a r t s b y e n t e r i n g t h e n a m e a n d i d e n t i f i c a t i o n n u m b e r f o r t h e p a t i e n t a s s h o w n i n F i g u r e 8 T h e c o m b i n a t i o n o f n a m e a n d i d e n t i f i c a t i o n n u m b e r s h o u l d b e u n i q u e f o r a l l t h e p a t i e n t s T h e u s e r a l s o h a s s e a r c h o p t i o n s t o f i n d p a t i e n t s w h o s e d a t a w a s A d d i n g p a t i e n t s A d d a n e w p a t i e n t F i n d a n o l d p a t i e n t S e l e c t i n g c l i n i c a l t r i a l s C h o o s e c a n d i d a t e t r i a l s V i e w a v a i l a b l e t r i a l s E n t e r i n g i n i t i a l d a t a A n s w e r i n i t i a l q u e s t i o n s C h a n g e p r e v i o u s a n s w e r s E n t e r i n g m e d i c a l d a t a E n t e r t e s t r e s u l t s V i e w e l i g i b i l i t y d e c i s i o n s R e v i s i n g m e d i c a l d a t a V i e w t e s t r e s u l t s C h a n g e s o m e r e s u l t s R e v i s i n g t e s t d a t a V i e w t e s t s t a t u s C h a n g e t e s t s t a t u s

PAGE 31

2 4 e n t e r e d p r e v i o u s l y a n d m a y r e s u m e e n t e r i n g d a t a f o r t h e m T h e r e i s a n o p t i o n t o o p t i m i z e c o s t o r d a t a e n t r y w h e n t e s t i n g A s s h o w n i n F i g u r e 8 i f t h e u s e r s e l e c t s “ C o s t V e r s i o n ” c o s t i s o p t i m i z e d a n d i f t h e “ N o C o s t V e r s i o n ” i s s e l e c t e d d a t a e n t r y i s o p t i m i z e d F i g u r e 8 : I n i t i a l P a t i e n t E n t r y P a g e F i g u r e 9 : I n i t i a l Q u e s t i o n s P a g e

PAGE 32

2 5 A f t e r t h e p a t i e n t ’ s n a m e a n d i d e n t i f i c a t i o n a r e a d d e d t h e s y s t e m p r e s e n t s 1 4 i n i t i a l q u e s t i o n s a s s h o w n i n F i g u r e 9 T h e s e a r e g e n e r a l i n f o r m a t i o n q u e s t i o n s l i k e p a t i e n t ’ s a g e s e x e t c a n d a r e g e n e r a l l y u s e d i n m o s t o f t h e c l i n i c a l t r i a l s A f t e r t h e u s e r h a s e n t e r e d t h e i n i t i a l i n f o r m a t i o n t h e n e x t s c r e e n i s a l i s t o f a v a i l a b l e t r i a l s f o r w h i c h t h e p a t i e n t ’ s e l i g i b i l i t y c a n b e c h e c k e d A t l e a s t o n e o f t h e c l i n i c a l t r i a l s m u s t b e s e l e c t e d I n F i g u r e 1 0 f i v e c l i n i c a l t r i a l s o f t h e a v a i l a b l e 1 7 w e r e s e l e c t e d F i g u r e 1 0 : C l i n i c a l T r i a l S e l e c t i o n P a g e

PAGE 33

2 6 T h e s y s t e m t h e n c h e c k s t h e e l i g i b i l i t y o f t h e p a t i e n t f o r t h e s e l e c t e d t r i a l s I f i t n e e d s m o r e i n f o r m a t i o n t o d e t e r m i n e t h e e l i g i b i l i t y t h e n i t m a k e s a l i s t o f m i s s i n g i n f o r m a t i o n q u e s t i o n s a n d r e o r d e r s t h e q u e s t i o n s o p t i m i z i n g c o s t o r d a t a e n t r y a s s e l e c t e d b y t h e u s e r I t t h e n p r e s e n t s t h e t o p t e n q u e s t i o n s o f t h e r e o r d e r e d q u e s t i o n l i s t o n t h e n e x t p a g e a s s h o w n i n F i g u r e 1 1 F i g u r e 1 1 : D a t a E n t r y P a g e T h e S y s t e m A s k s f o r M o r e I n f o r m a t i o n t o D e t e r m i n e P a t i e n t s E l i g i b i l i t y

PAGE 34

2 7 F i g u r e 1 2 : S t a t u s o f a l l C l i n i c a l T r i a l s A t a n y t i m e t h e u s e r c a n c h e c k t h e e l i g i b i l i t y s t a t u s o f t h e c l i n i c a l t r i a l s b y c l i c k i n g t h e d r o p d o w n b o x a s s h o w n i n F i g u r e 1 2 T h e s y s t e m k e e p s o n p r e s e n t i n g q u e s t i o n s u n t i l t h e e l i g i b i l i t y o f a l l t h e c l i n i c a l t r i a l s f o r t h e g i v e n p a t i e n t i s k n o w n T h e u s e r c a n s t o p e n t e r i n g d a t a a t a n y p o i n t D a t a e n t r y f o r t h e p a t i e n t c a n b e r e i n i t i a t e d a t a n y l a t e r t i m e b y u s i n g t h e s e a r c h o p t i o n s h o w n i n F i g u r e 8

PAGE 35

2 8 F i g u r e 1 3 : E x p l a n a t i o n o f a D e c i s i o n b y E x p l a n a t i o n S u b S y s t e m A t a n y t i m e y o u c a n c l i c k o n w h y b u t t o n a n d t h e e x p l a n a t i o n s u b s y s t e m w i l l j u s t i f y t h e s y s t e m ’ s d e c i s i o n s a s s h o w n i n F i g u r e 1 3 F i g u r e 1 4 a p p e a r s w h e n t h e p a t i e n t ’ s e l i g i b i l i t y f o r a l l t h e c l i n i c a l t r i a l s i s d e c i d e d a n d t h e r e i s n o m o r e i n f o r m a t i o n n e e d e d F i g u r e 1 4 : S y s t e m a f t e r E l i g i b i l i t y o f a l l C l i n i c a l T r i a l s i s D e c i d e d

PAGE 36

2 9 F i g u r e 1 5 : S t a t u s o f a l l A v a i l a b l e T e s t s f o r t h e P a t i e n t A t a n y t i m e y o u c a n a l s o c h e c k t h e s t a t u s o f t h e t e s t s k n o w f o r t h e c u r r e n t t r i a l s F i g u r e 1 5 s h o w s t h e t e s t s t a t u s o f a l l t h e t e s t s f o r t h e g i v e n p a t i e n t T h e r e a r e t h r e e s t a t u s e s f o r t h e t e s t s : a ) D o n e b e f o r e b ) D o n e a n d c ) N o t d o n e “ D o n e b e f o r e ” m e a n s t h a t t h e t e s t w a s a l r e a d y d o n e b e f o r e t h e p a t i e n t w a s c h e c k e d f o r e n r o l l m e n t i n a c l i n i c a l t r i a l T h i s g i v e s t h e c o r r e c t c o s t i n c u r r e d f o r d e t e r m i n i n g e l i g i b i l i t y f o r t h e p a t i e n t a s t h e s y s t e m w i l l n o t c o u n t t h e c o s t o f s u c h t e s t s i n t o t a l c o s t f o r t h e p a t i e n t “ D o n e ” t e s t s a r e t h e o n e s d o n e t o o b t a i n m o r e i n f o r m a t i o n t o d e c i d e a p a t i e n t ’ s e l i g i b i l i t y f o r c l i n i c a l t r i a l s S i m i l a r l y “ N o t d o n e ” a r e t h e t e s t s t h a t a r e a v a i l a b l e i n t h e s y s t e m b u t a r e s t i l l n o t d o n e f o r t h e p a t i e n t A t a n y p o i n t t h e u s e r c a n c h a n g e t h e s t a t u s o f a n y t e s t

PAGE 37

3 0 C h a p t e r 5 E x p e r i m e n t s a n d R e s u l t s 5 1 A n a l y t i c a l E x p e r i m e n t s D a t a o f p a t i e n t s t r e a t e d a t t h e M o f f i t t C a n c e r C e n t e r w a s u s e d t o c o m p a r e t h e s y s t e m ’ s r e s u l t s w i t h t h a t o f c l i n i c i a n s R e s u l t s f r o m t h e a p p l i c a t i o n o f v a r i o u s h e u r i s t i c s a r e a l s o c o m p a r e d T h e f i r s t s e t o f e x p e r i m e n t s w e r e d o n e o n r e t r o s p e c t i v e d a t a f r o m 1 8 7 p a t i e n t c h a r t s T a b l e 1 s h o w s t h e c o m p a r i s o n o f a u t o m a t e d a s s i g n m e n t b y t h e s y s t e m a n d m a n u a l a s s i g n m e n t b y c l i n i c i a n s a t M o f f i t t C a n c e r C e n t e r T h e s e e x p e r i m e n t s w e r e s t a r t e d b y K o k k u [ 3 3 ] T h e r e s u l t s a r e a l s o p u b l i s h e d i n I E E E S M C 2 0 0 3 c o n f e r e n c e [ 1 4 ] T a b l e 1 : R e s u l t s o f M a t c h i n g R e t r o s p e c t i v e 1 8 7 P a t i e n t s t o C l i n i c a l T r i a l s C l i n i c a l T r i a l S a m e M a t c h e s N e w M a t c h e s M i s s i n g D a t a 1 0 8 2 2 1 0 5 0 1 0 8 4 0 0 1 9 3 1 1 0 7 2 4 8 2 6 1 9 1 1 3 7 8 4 1 9 3 1 1 9 9 2 5 6 0 1 2 1 0 0 8 2 0 1 3 1 2 1 0 1 2 0 3 0 0 T a b l e 1 s h o w s t h e n u m b e r o f p a t i e n t s t h a t w e r e e l i g i b l e f o r a p a r t i c u l a r t r i a l “ S a m e M a t c h e s ” c o l u m n i n d i c a t e s t h e p a t i e n t s w h o w e r e f o u n d e l i g i b l e b y t h e s y s t e m a n d w e r e a l s o f o u n d e l i g i b l e b y t h e c l i n i c i a n s T h e “ N e w M a t c h e s ” c o l u m n i n d i c a t e s t h e p a t i e n t s

PAGE 38

3 1 w h o w e r e f o u n d e l i g i b l e b y t h e s y s t e m b u t w e r e p o t e n t i a l l y m i s s e d b y t h e c l i n i c i a n s T h e “ M i s s i n g D a t a ” c o l u m n i n d i c a t e s t h e p a t i e n t s t h a t d i d n o t h a v e e n o u g h i n f o r m a t i o n t o d e t e r m i n e t h e i r e l i g i b i l i t y A l l t h e p a t i e n t s a r e n o t t e s t e d f o r a l l t h e c l i n i c a l t r i a l s a n d t h u s s o m e o f t h e m d o n o t h a v e s o m e t e s t s p e r f o r m e d t h a t a r e e s s e n t i a l t o d e t e r m i n e e l i g i b i l i t y f o r a s p e c i f i c c l i n i c a l t r i a l A l s o t h e d a t a w a s r e t r o s p e c t i v e t h u s t h e p a t i e n t s w e r e n o t u n d e r g o i n g t r e a t m e n t a t t h e M o f f i t t C a n c e r C e n t e r S o m e q u e s t i o n s w h i c h w e r e g e n e r a l l y c o n s e n t b a s e d q u e s t i o n s w e r e a n s w e r e d “ Y e s ” w h i l e p e r f o r m i n g t h e e x p e r i m e n t s a s w e h a d n o a c t u a l w a y t o d e t e r m i n e t h e i r a n s w e r s B e l o w a r e a f e w s u c h q u e s t i o n s : 1 I s t h e p a t i e n t w i l l i n g t o s i g n t h e c o n s e n t f o r m ? 2 D o e s t h e p a t i e n t h a v e a t l e a s t s i x t h g r a d e e d u c a t i o n ? 3 I s t h e p a t i e n t w i l l i n g t o u s e c o n t r a c e p t i v e s ? T h e n e x t s e t o f e x p e r i m e n t s w e r e d o n e o n 1 6 9 p a t i e n t s w h o w e r e g e t t i n g t r e a t m e n t a t M o f f i t t C a n c e r C e n t e r a t t h e t i m e o f e x p e r i m e n t s T h e r e s u l t s a r e s h o w n i n T a b l e 2 T a b l e 2 : R e s u l t s o f M a t c h i n g C u r r e n t 1 6 9 P a t i e n t s t o C l i n i c a l T r i a l s C l i n i c a l T r i a l N u m b e r o f T e s t e d P a t i e n t s S a m e M a t c h e s M i s s i n g I n f o N e w M a t c h e s 1 1 1 3 2 7 4 1 1 1 1 9 3 1 1 6 9 2 5 2 6 1 1 9 7 1 1 5 9 4 0 0 1 2 1 0 0 1 6 2 0 0 5 1 2 1 0 1 1 6 6 1 1 6 5 2 1 2 3 8 5 4 2 0 0 1 9 1 2 6 0 1 1 6 2 0 3 1 1 2 6 4 3 6 3 1 8 2 3 4 1 2 7 5 7 5 8 1 4 3 1 2 7 7 5 1 3 3 2 3 6 1 7

PAGE 39

3 2 T a b l e 3 : D e t a i l e d C l a s s i f i c a t i o n o f N e w M a t c h e s F o u n d C l i n i c a l T r i a l N e w M a t c h e s N e w M a t c h e s w i t h n o e n r o l l m e n t N e w M a t c h e s w i t h n o c o n f l i c t N e w M a t c h e s w i t h c o n f l i c t % o f A s s i g n a b l e N e w M a t c h e s o v e r n u m b e r o f c h e c k e d p a t i e n t s % o f A c t u a l E n r o l l m e n t o v e r n u m b e r o f c h e c k e d p a t i e n t s 1 1 1 3 2 1 0 1 0 1 4 2 9 % 5 7 1 4 % 1 1 9 3 1 2 6 1 5 1 1 0 1 5 3 8 % 1 7 8 % 1 1 9 7 1 0 0 0 0 0 0 0 % 2 5 2 % 1 2 1 0 0 5 4 1 0 3 0 9 % 0 0 0 % 1 2 1 0 1 5 2 3 3 6 1 3 2 3 4 9 % 6 6 3 % 1 2 3 8 5 1 9 9 2 8 2 6 1 9 % 0 0 0 % 1 2 6 0 1 1 1 0 0 0 6 2 % 0 0 0 % 1 2 6 4 3 3 4 2 4 1 0 0 5 3 9 7 % 3 0 1 6 % 1 2 7 5 7 3 2 1 0 5 1 7 % 1 7 2 % 1 2 7 7 5 1 7 1 1 3 3 1 0 5 3 % 1 8 8 0 % T a b l e 2 i s s i m i l a r t o T a b l e 1 w h i c h w a s e x p l a i n e d p r e v i o u s l y T a b l e 3 c a t e g o r i z e s t h e n e w m a t c h e s f o u n d b y t h e s y s t e m T h e t h i r d c o l u m n o f T a b l e 3 s p e c i f i e s t h e n u m b e r o f n e w m a t c h e s i n w h i c h t h e p a t i e n t w a s n o t e n r o l l e d i n a n y c l i n i c a l t r i a l T h u s t h i s n u m b e r r e p r e s e n t s t h e p a t i e n t s w h o w e r e f o u n d e l i g i b l e f o r s o m e c l i n i c a l t r i a l b y t h e s y s t e m b u t w e r e n e v e r e n r o l l e d i n a n y c l i n i c a l t r i a l b y t h e c l i n i c i a n s T h e f o u r t h c o l u m n i n d i c a t e s t h e n u m b e r o f m a t c h e s i n w h i c h t h e p a t i e n t w a s a s s i g n e d t o a c l i n i c a l t r i a l b u t t h e r e w a s s t i l l a c l i n i c a l t r i a l t o w h i c h s h e c o u l d b e a s s i g n e d M a n y c l i n i c a l t r i a l s a r e c o m p a t i b l e a n d t h u s a p a t i e n t c a n b e i n t w o c l i n i c a l t r i a l s a t o n c e S u c h c l i n i c a l t r i a l s a r e c a l l e d c o m p a t i b l e c l i n i c a l t r i a l s T h u s t h e n u m b e r s i n f o u r t h c o l u m n i n d i c a t e s t h e p a t i e n t s w h o w e r e a s s i g n e d t o a c l i n i c a l t r i a l b u t t h e r e w a s a n a v a i l a b l e c o m p a t i b l e c l i n i c a l t r i a l t o w h i c h t h e y w e r e n o t a s s i g n e d T h e f i f t h c o l u m n i n d i c a t e s t h e n u m b e r o f m a t c h e s f o u n d i n w h i c h t h e p a t i e n t w a s a l r e a d y e n r o l l e d i n a n i n c o m p a t i b l e t r i a l T h u s t h i s m a t c h h a s n o s i g n i f i c a n c e a s t h e p a t i e n t c o u l d n o t h a v e b e e n a s s i g n e d t o t h e m a t c h i n g t r i a l a n y w a y T h e s i x t h c o l u m n i n d i c a t e s t h e p e r c e n t a g e o f a s s i g n a b l e m a t c h e s f o u n d o v e r t h e n u m b e r

PAGE 40

3 3 o f p a t i e n t s c h e c k e d T h e n u m b e r o f a s s i g n a b l e m a t c h e s f o u n d i s t h e s u m m a t i o n o f t h e t h i r d a n d f o u r t h c o l u m n s T h i s i n d i c a t e s t h e m a t c h e s i n w h i c h t h e p a t i e n t c o u l d h a v e b e e n s a f e l y e n r o l l e d i n a n e w c l i n i c a l t r i a l t o w h i c h t h e p a t i e n t w a s n o t p r e v i o u s l y a s s i g n e d T h e l a s t c o l u m n i s t h e p e r c e n t a g e o f a c t u a l e n r o l l m e n t i n t h a t c l i n i c a l t r i a l N o t e t h a t i n t h e m a j o r i t y o f p r o t o c o l s t h e p e r c e n t a g e o f n e w a s s i g n a b l e m a t c h e s f o u n d i s g r e a t e r t h a n t h e a c t u a l e n r o l l m e n t T h e r e s u l t s c l e a r l y s h o w t h a t t h e s y s t e m w a s a b l e t o d e t e c t m a n y m a t c h e s w h i c h w e r e p o t e n t i a l l y m i s s e d b y c l i n i c i a n s G i v e n t h a t f a c t t h a t m a n y c l i n i c a l t r i a l s f a i l d u e t o u n d e r r e c r u i t i n g [ 1 1 2 2 3 3 ] t h e s y s t e m c a n p o t e n t i a l l y p l a y a c r u c i a l r o l e i n t h e s u c c e s s o f a c l i n i c a l t r i a l 5 2 C o s t S a v i n g E x p e r i m e n t s I n c a s e o f l a c k o f i n f o r m a t i o n t o d e t e r m i n e a p a t i e n t ’ s e l i g i b i l i t y f o r a c l i n i c a l t r i a l t h e c l i n i c i a n s o r d e r s p e c i f i c t e s t s t o b e p e r f o r m e d o n t h e p a t i e n t t o o b t a i n r e l e v a n t i n f o r m a t i o n R e s e a r c h s u g g e s t s t h a t t e s t c o s t s c a n b e s a v e d i f w e o p t i m i z e t h e t e s t o r d e r i n g [ 1 1 1 1 4 ] T h e s y s t e m ’ s r e o r d e r i n g a g e n t r e o r d e r s t h e q u e s t i o n s p r e s e n t e d b y t h e s y s t e m t o t h e u s e r T h i s i n t u r n r e s u l t s i n r e o r d e r i n g o f t h e t e s t s a s t e s t s n e e d s t o b e p e r f o r m e d t o o b t a i n a n s w e r s t o t h e q u e s t i o n s R e o r d e r i n g h e u r i s t i c s w e r e d e s i g n e d t o o p t i m i z e t h e c o s t a s e x p l a i n e d i n t h e s y s t e m d e s i g n s e c t i o n T a b l e s 4 a n d 5 s h o w t h e c o s t s a v i n g i n f o r m a t i o n f o r t h e r e t r o s p e c t i v e 1 8 3 p a t i e n t s a n d c u r r e n t 1 6 9 p a t i e n t s r e s p e c t i v e l y

PAGE 41

3 4 T a b l e 4 : A v e r a g e D o l l a r C o s t S a v i n g s f o r 1 8 7 R e t r o s p e c t i v e P a t i e n t s A v e r a g e D o l l a r C o s t C l i n i c a l T r i a l W i t h o u t T e s t R e o r d e r i n g W i t h T e s t R e o r d e r i n g 1 0 8 2 2 $ 7 0 $ 1 1 1 0 8 4 0 $ 0 $ 0 1 1 0 7 2 $ 2 0 9 $ 6 0 1 1 3 7 8 $ 3 5 $ 1 9 1 1 9 9 2 $ 0 $ 0 1 2 1 0 0 $ 0 $ 0 1 2 1 0 1 $ 0 $ 0 $ 0 $ 5 0 $ 1 0 0 $ 1 5 0 $ 2 0 0 $ 2 5 0 1 0 8 2 2 1 1 0 7 2 1 1 3 7 8 P r o t o c o l A v e r a g e C o s t W i t h o u t T e s t R e o r d e r i n g W i t h T e s t R e o r d e r i n g F i g u r e 1 6 : G r a p h S h o w i n g A v e r a g e D o l l a r C o s t S a v i n g s f o r R e t r o s p e c t i v e P a t i e n t s T a b l e 5 : A v e r a g e D o l l a r C o s t S a v i n g s f o r 1 6 9 C u r r e n t P a t i e n t s A v e r a g e D o l l a r C o s t C l i n i c a l T r i a l W i t h o u t T e s t R e o r d e r i n g W i t h T e s t R e o r d e r i n g 1 1 1 3 2 $ 0 $ 0 1 1 9 3 1 $ 0 $ 0 1 1 9 7 1 $ 1 9 2 $ 1 9 2 1 2 1 0 0 $ 0 $ 0 1 2 1 0 1 $ 0 $ 0 1 2 3 8 5 $ 0 $ 0 1 2 6 0 1 $ 3 6 $ 3 1 2 6 4 3 $ 0 $ 0 1 2 7 5 7 $ 1 0 7 $ 1 0 7 1 2 7 7 5 $ 0 $ 0

PAGE 42

3 5 $ 0 $ 5 0 $ 1 0 0 $ 1 5 0 $ 2 0 0 $ 2 5 0 1 1 9 7 1 1 2 6 0 1 1 2 7 5 7 P r o t o c o l A v e r a g e C o s t W i t h o u t T e s t R e o r d e r i n g W i t h T e s t R e o r d e r i n g F i g u r e 1 7 : G r a p h S h o w i n g A v e r a g e D o l l a r C o s t S a v i n g s f o r C u r r e n t P a t i e n t s 5 3 P r o b a b i l i s t i c E x p e r i m e n t s I t w a s n o t e d t h a t m e d i c a l t e s t r e s u l t s w e r e h i g h l y p r o b a b i l i s t i c i n n a t u r e M o s t t e s t r e s u l t s c a n b e e s t i m a t e d w i t h r e a s o n a b l e a c c u r a c y b e f o r e t h e t e s t i s p e r f o r m e d G i v e n e n o u g h d a t a t h i s k n o w l e d g e c a n b e u s e d t o r e o r d e r t e s t s a n d t o o p t i m i z e d a t a e n t r y n e e d e d t o d e t e r m i n e t h e e l i g i b i l i t y o f a p a t i e n t A l s o i t w a s n o t e d t h a t o v e r t i m e c l i n i c i a n s t y p i c a l l y g e t a g o o d e s t i m a t e o f w h a t i n f o r m a t i o n i s l i k e l y t o b e m o s t c r u c i a l i n d e t e r m i n i n g t h e e l i g i b i l i t y o f a p a t i e n t a n d p r e f e r t o g e t t h a t i n f o r m a t i o n f i r s t W e d e v e l o p e d a p r o b a b i l i s t i c k n o w l e d g e b a s e o n t h e s a m e p r i n c i p l e s W h e n e v e r a q u e s t i o n i s a n s w e r e d b y a u s e r t h e s y s t e m r e c o r d s i t I f a n s w e r i n g t h e q u e s t i o n m a d e a p a t i e n t i n e l i g i b l e f o r a c l i n i c a l t r i a l t h i s i s r e c o r d e d t o o T h u s w e g e t a b a s i c r a t i o o f t h e n u m b e r o f t i m e s a q u e s t i o n w a s a s k e d t o t h e n u m b e r o f t i m e s i t m a d e a p a t i e n t i n e l i g i b l e f o r a p a r t i c u l a r p r o t o c o l T r e a t i n g t h i s a s a p r o b a b i l i t y w e r e o r d e r t h e q u e s t i o n s w i t h t h e q u e s t i o n s h a v i n g a h i g h e r p r o b a b i l i t y o f r u l i n g a p a t i e n t o u t o f a c l i n i c a l t r i a l b e i n g a s k e d f i r s t T h e

PAGE 43

3 6 i d e a i s t h a t i f a p a t i e n t i s i n e l i g i b l e t h e n t h e q u e s t i o n w h i c h i s m o s t l i k e l y t o d e t e r m i n e s h e i s i n e l i g i b l e f r o m p a s t e x p e r i e n c e i s a s k e d f i r s t a n d t h i s w i l l r e d u c e d a t a e n t r y T h i s m e t h o d a l s o c l o s e l y m i m i c s t h e m e t h o d a d o p t e d b y c l i n i c i a n s a n d t h u s c a n i n c r e a s e a c c e p t a b i l i t y o f t h e s y s t e m b y m e d i c a l p e r s o n n e l T h e s y s t e m b e g i n s b y a s s i g n i n g a 5 0 % p r o b a b i l i t y t o a l l t h e q u e s t i o n s T h e p r o b a b i l i t y i s m o d i f i e d a s t h e s y s t e m s e e s n e w e v i d e n c e T o t e s t t h e e f f e c t i v e n e s s o f t h i s t e c h n i q u e w e d i d a t e n f o l d c r o s s v a l i d a t i o n W e r a n d o m l y s e l e c t e d 9 0 % o f t h e p a t i e n t s a n d t h e i r d a t a w a s u s e d t o g e n e r a t e a p r o b a b i l i s t i c k n o w l e d g e b a s e f o r t h e s y s t e m T h e r e m a i n i n g 1 0 % o f t h e p a t i e n t s w e r e t e s t e d u s i n g t h e s y s t e m w h i c h u s e d t h i s p r o b a b i l i s t i c k n o w l e d g e b a s e t o r e o r d e r t h e q u e s t i o n s T h i s p r o c e s s w a s r e p e a t e d t e n t i m e s w i t h e a c h 1 0 % o f t h e t e s t i n g p a t i e n t s b e i n g u n i q u e S i x c l i n i c a l t r i a l s w e r e u s e d i n t h e e x p e r i m e n t s T h e s e s i x c l i n i c a l t r i a l s w e r e s e l e c t e d o u t o f a b o u t 1 5 p o s s i b l e c l i n i c a l t r i a l s a s t h e s e t r i a l s w e r e i n “ o p e n ” s t a t u s f o r a l o n g e n o u g h d u r a t i o n d u r i n g t h e e x p e r i m e n t s t o h a v e a n a d e q u a t e n u m b e r o f p a t i e n t s b e i n g t e s t e d f o r t h o s e c l i n i c a l t r i a l s I n t h e p r o b a b i l i s t i c e x p e r i m e n t s i t w a s n e c e s s a r y t o t r a i n t h e s y s t e m o n a n a d e q u a t e n u m b e r o f p a t i e n t s b e f o r e i t c a n b e u s e d t o r e o r d e r q u e s t i o n s f o r o t h e r p a t i e n t s W e s e l e c t e d 9 0 p a t i e n t s a t r a n d o m f r o m o u r l i s t o f p a t i e n t s a n d u s e d t h e i r d a t a i n e x p e r i m e n t s A s m e n t i o n e d a b o v e a t e n f o l d c r o s s v a l i d a t i o n w a s c a r r i e d o u t s o t h a t t h e s y s t e m w a s t r a i n e d o n 8 1 p a t i e n t s a n d t h e r e m a i n i n g 9 p a t i e n t s w e r e t e s t e d u s i n g t h e s y s t e m T a b l e 6 s h o w s t h e r e s u l t s o f e a c h f o l d o f t h e c r o s s v a l i d a t i o n T a b l e 7 s h o w s r e s u l t s o f t h e c r o s s v a l i d a t i o n p e r c l i n i c a l t r i a l

PAGE 44

3 7 T a b l e 6 : I n d i v i d u a l T e s t R e s u l t s f o r T e n F o l d C r o s s V a l i d a t i o n T e n f o l d c r o s s v a l i d a t i o n A v e r a g e n u m b e r o f q u e s t i o n s T e s t N u m b e r P r o b a b i l i s t i c S y s t e m A n a l y t i c a l S y s t e m D i f f e r e n c e D i f f e r e n c e % 1 1 6 6 7 2 0 7 5 4 0 8 1 9 6 8 2 1 5 1 7 1 7 0 0 1 8 3 1 0 7 8 3 1 5 8 3 1 7 5 8 1 7 5 9 9 5 4 1 5 7 5 1 8 2 5 2 5 0 1 3 7 0 5 1 3 8 3 1 6 6 7 2 8 3 1 7 0 0 6 1 5 5 8 1 7 7 5 2 1 7 1 2 2 1 7 1 5 8 3 1 8 2 5 2 4 2 1 3 2 4 8 1 5 5 0 1 6 8 3 1 3 3 7 9 2 9 1 6 5 0 1 8 5 0 2 0 0 1 0 8 1 1 0 1 5 8 3 1 9 1 7 3 3 3 1 7 3 9 T o t a l 1 5 6 5 1 8 0 8 2 4 3 1 3 4 2 T a b l e 7 : R e s u l t s o f T e n F o l d C r o s s V a l i d a t i o n p e r P r o t o c o l T e n f o l d c r o s s v a l i d a t i o n A v e r a g e n u m b e r o f q u e s t i o n s P r o t o c o l P r o b a b i l i s t i c S y s t e m A n a l y t i c a l S y s t e m D i f f e r e n c e D i f f e r e n c e % 1 1 9 3 1 1 5 3 5 1 8 9 0 3 5 5 1 8 7 8 1 2 1 0 0 1 3 8 5 1 3 9 5 0 1 0 0 7 2 1 2 1 0 1 2 1 6 5 2 4 7 5 3 1 0 1 2 5 3 1 2 5 2 1 1 4 7 5 1 9 0 5 4 3 0 2 2 5 7 1 2 6 0 1 1 3 9 0 1 5 7 0 1 8 0 1 1 4 6 1 2 7 7 7 1 4 4 0 1 6 1 0 1 7 0 1 0 5 6 A v e r a g e 1 5 6 5 1 8 0 8 2 4 3 1 3 4 2 A s s e e n i n T a b l e 7 t h e p r o b a b i l i s t i c s y s t e m r e d u c e s d a t a e n t r y b y 1 3 4 2 % o n a v e r a g e a s c o m p a r e d t o t h e a n a l y t i c a l s y s t e m T h e a v e r a g e n u m b e r o f q u e s t i o n s a s k e d b y t h e s y s t e m i s r e d u c e d b y 2 4 3 O n e i m p o r t a n t o b s e r v a t i o n i s t h a t t h e p r o b a b i l i s t i c s y s t e m a l w a y s a s k s f e w e r q u e s t i o n s t h a n t h e a n a l y t i c a l s y s t e m f o r a l l t h e p a t i e n t s t e s t e d U s i n g t h e t t e s t t h e p r o b a b i l i s t i c s y s t e m i s s t a t i s t i c a l l y s i g n i f i c a n t l y b e t t e r a t t h e 9 9 9 9 % c o n f i d e n c e i n t e r v a l

PAGE 45

3 8 T a b l e 8 : S t a n d a r d D e v i a t i o n f o r T e n F o l d C r o s s V a l i d a t i o n S t a n d a r d d e v i a t i o n P r o t o c o l N e w S y s t e m N o C o s t V e r s i o n 1 1 9 3 1 7 4 4 6 1 1 1 2 1 0 0 1 3 9 1 6 1 1 2 1 0 1 7 4 4 6 1 1 1 2 5 2 1 5 3 9 6 5 4 1 2 6 0 1 3 6 7 5 5 5 1 2 7 7 7 5 6 9 7 2 6 A l s o n o t e t h a t a s s h o w n i n t h e s y s t e m ’ s i n t e r f a c e d e s i g n d i a g r a m s t h e s y s t e m a s k s 1 4 b a s i c q u e s t i o n s a f t e r o n e e n t e r s a p a t i e n t i n t o t h e s y s t e m T h e s e q u e s t i o n s a r e g e n e r a l q u e s t i o n s w h i c h a r e u s e d i n a l m o s t a l l t r i a l s l i k e p a t i e n t ’ s a g e s e x e t c I f t h e p a t i e n t ’ s e l i g i b i l i t y i s s t i l l n o t d e t e r m i n e d f o r a l l t h e t r i a l s f o r w h i c h h e r e l i g i b i l i t y i s t e s t e d t h e s y s t e m a s k s f o r f u r t h e r i n f o r m a t i o n T h u s t e c h n i c a l l y y o u a n s w e r a m i n i m u m o f 1 4 q u e s t i o n s f o r a p a t i e n t a s i t i s v e r y u n u s u a l t o n o t t o h a v e i n f o r m a t i o n a b o u t a n y o f t h o s e q u e s t i o n s F o r s u c h p a t i e n t s w h o g e t r u l e d o u t o f a c l i n i c a l t r i a l a f t e r t h e q u e s t i o n s o n t h e i n i t i a l p a g e t h e n u m b e r o f q u e s t i o n s a s k e d i n b o t h t h e s y s t e m s r e m a i n s t h e s a m e a s t h e r e i s n o r e o r d e r i n g o f q u e s t i o n s T a b l e 9 s h o w s t h e a v e r a g e n u m b e r o f q u e s t i o n s w h e n w e e x c l u d e s u c h p a t i e n t s f r o m o u r e x p e r i m e n t T h e p r o b a b i l i s t i c s y s t e m a s k s 3 6 9 f e w e r q u e s t i o n s o n a n a v e r a g e t h a n a n a l y t i c a l s y s t e m w h i c h i s 1 8 5 3 % l e s s t h e n a n a l y t i c a l s y s t e m I t s a v e s u p t o 3 3 % o f t h e d a t a e n t r y f o r 1 2 6 0 1 w h i c h i s t h e m a x i m u m

PAGE 46

3 9 T a b l e 9 : R e s u l t s E x c l u d i n g P a t i e n t s w h o w e r e I n e l i g i b l e b y I n i t i a l Q u e s t i o n s T e n f o l d c r o s s v a l i d a t i o n A v e r a g e n u m b e r o f q u e s t i o n s P r o t o c o l P r o b a b i l i s t i c S y s t e m A n a l y t i c a l S y s t e m D i f f e r e n c e D i f f e r e n c e % 1 1 9 3 1 1 6 7 1 2 1 7 9 5 0 7 2 3 2 8 1 2 1 0 0 1 4 7 5 1 5 2 5 0 5 0 3 2 8 1 2 1 0 1 2 2 0 5 2 5 3 2 3 2 6 1 2 8 9 1 2 5 2 1 1 4 7 5 1 9 0 5 4 3 0 2 2 5 7 1 2 6 0 1 1 4 6 0 2 1 8 0 7 2 0 3 3 0 3 1 2 7 7 7 1 4 4 2 1 6 2 1 1 7 9 1 1 0 4 A v e r a g e 1 6 2 1 1 9 9 0 3 6 9 1 8 5 3 5 4 E l i g i b i l i t y P r o b a b i l i t y A m a j o r d i s a d v a n t a g e o f u s i n g a n a n a l y t i c a l a p p r o a c h t o f i n d i n g e l i g i b i l i t y i s t h a t e v e n i n t h e a b s e n c e o f a s i n g l e p i e c e o f e v i d e n c e w e c a n n o t p r e d i c t a n y t h i n g a b o u t t h e e l i g i b i l i t y o f a p a t i e n t O n t h e o t h e r h a n d w i t h a p r o b a b i l i s t i c a p p r o a c h w e c a n m a k e s o m e p r e d i c t i o n s a b o u t t h e e l i g i b i l i t y P a p a c o n s t a n t i n o u [ 1 0 ] s h o w e d i n h i s e x p e r i m e n t t h a t b y u s i n g B a y e s i a n N e t w o r k s w e c a n d e t e r m i n e a p a t i e n t ’ s e l i g i b i l i t y i n t h e a b s e n c e o f s o m e e v i d e n c e I n o u r r u l e b a s e d s y s t e m w e t r i e d t o u s e t h e i n d e p e n d e n t p r o b a b i l i t i e s t h a t w e h a d f o r e a c h q u e s t i o n t o g e n e r a t e a p r e d i c t i o n a b o u t a p a t i e n t ’ s e l i g i b i l i t y p r o b a b i l i t y i n t h e a b s e n c e o f e v i d e n c e A s e x p l a i n e d b e f o r e i n t h e s y s t e m d e s i g n s e c t i o n w e a s s u m e t h a t a l l q u e s t i o n s a r e i n d e p e n d e n t s o t h e e l i g i b i l i t y p r o b a b i l i t y f o r a p r o t o c o l i s t h e p r o d u c t o f t h e i n d i v i d u a l p r o b a b i l i t i e s t h a t a q u e s t i o n d o e s n o t r u l e o u t a p a t i e n t o f a l l t h e q u e s t i o n s o f t h a t p r o t o c o l A s w e e n t e r m o r e i n f o r m a t i o n i n t h e s y s t e m i f t h e p a t i e n t i s r u l e d i n e l i g i b l e b y t h e s y s t e m h e r e l i g i b i l i t y i s 0 a n d i f s h e i s e l i g i b l e t h e n h e r e l i g i b i l i t y p r o b a b i l i t y i s 1 I f w e s t i l l n e e d m o r e i n f o r m a t i o n w e r e c a l c u l a t e t h e e l i g i b i l i t y p r o b a b i l i t y a s t h e p r o d u c t o f e l i g i b i l i t y p r o b a b i l i t y o f a l l t h e u n a n s w e r e d q u e s t i o n s

PAGE 47

4 0 O n e o f t h e u s e s o f t h e e l i g i b i l i t y p r o b a b i l i t y c a n b e t o t r y t o q u i c k l y a s s i g n a p a t i e n t t o a c l i n i c a l t r i a l T h i s c a n b e a c h i e v e d b y g e n e r a t i n g a n i n i t i a l e l i g i b i l i t y p r o b a b i l i t y f o r a l l t h e a v a i l a b l e t r i a l s f o r t h a t p a t i e n t W e t h e n c h e c k t h e e l i g i b i l i t y o f t h e p a t i e n t f o r t h e t r i a l w h i c h h a s t h e h i g h e s t e l i g i b i l i t y p r o b a b i l i t y A f t e r e v e r y p i e c e o f i n f o r m a t i o n t h e p r o b a b i l i t i e s a r e r e g e n e r a t e d a n d t h e s y s t e m a s k s f o r m o r e i n f o r m a t i o n a b o u t t h e t r i a l w i t h t h e h i g h e s t e l i g i b i l i t y p r o b a b i l i t y u n t i l t h e p a t i e n t i s f o u n d e l i g i b l e f o r a t r i a l o r i s d e t e r m i n e d i n e l i g i b l e f o r a l l t h e t r i a l s T h e s y s t e m s t o p s s e e k i n g f u r t h e r i n f o r m a t i o n a f t e r t h e p a t i e n t i s f o u n d e l i g i b l e f o r a c l i n i c a l t r i a l a s t h e p u r p o s e o f t h e s e e x p e r i m e n t s i s t o f i n d a s i n g l e m a t c h i n g p r o t o c o l w i t h l e a s t t h e n u m b e r o f q u e s t i o n s b e i n g a n s w e r e d T o t e s t t h e e f f e c t i v e n e s s o f t h i s a p p r o a c h w e d i d a t e n f o l d c r o s s v a l i d a t i o n o n t h e a v a i l a b l e p a t i e n t s u s i n g t h i s a p p r o a c h W e u s e d s i x c l i n i c a l t r i a l s W e c o m p a r e t h e r e s u l t s w i t h t h e a n a l y t i c a l s y s t e m i n w h i c h w e s t o p a n s w e r i n g q u e s t i o n s w h e n i t f i n d s a c l i n i c a l t r i a l f o r w h i c h t h e p a t i e n t i s e l i g i b l e R e s u l t s a r e s h o w n i n T a b l e 1 0

PAGE 48

4 1 T a b l e 1 0 : T e n F o l d C r o s s V a l i d a t i o n f o r H e u r i s t i c t h a t U s e s E l i g i b i l i t y P r o b a b i l i t y T e n f o l d c r o s s v a l i d a t i o n A v e r a g e n u m b e r o f q u e s t i o n s T e s t N u m b e r P r o b a b i l i s t i c S y s t e m A n a l y t i c a l S y s t e m D i f f e r e n c e D i f f e r e n c e % 1 2 2 3 3 2 8 6 7 6 3 3 2 2 0 9 2 3 0 6 7 3 4 3 3 3 6 7 1 0 6 8 3 3 1 3 3 2 4 3 3 7 0 0 2 8 7 7 4 3 0 0 0 3 3 0 0 3 0 0 9 0 9 5 1 9 6 7 2 5 0 0 5 3 3 2 1 3 3 6 2 0 6 7 3 1 6 7 1 1 0 0 3 4 7 4 7 2 8 3 3 3 3 0 0 4 6 7 1 4 1 4 8 2 4 0 0 3 6 6 7 1 2 6 7 3 4 5 5 9 2 1 6 7 2 2 6 7 1 0 0 4 4 1 1 0 1 7 6 7 2 4 3 3 6 6 7 2 7 4 0 A v e r a g e 2 4 6 3 2 9 3 7 4 7 3 1 6 1 2 A s s h o w n i n T a b l e 1 0 u s i n g t h e e l i g i b i l i t y p r o b a b i l i t y i n r e o r d e r i n g h e u r i s t i c s a v e s 1 6 1 2 % o f d a t a e n t r y F o r t h e t h i r d t e s t i n t e n f o l d c r o s s v a l i d a t i o n t h e p r o b a b i l i s t i c s y s t e m a s k s m o r e q u e s t i o n s t h e n t h e a n a l y t i c a l s y s t e m T h i s i s b e c a u s e t h e p r o t o c o l s f o r w h i c h t h e p a t i e n t i s m o r e l i k e l y t o b e e l i g i b l e a r e t e s t e d f i r s t i n t h e p r o b a b i l i s t i c s y s t e m a n d t h e p a t i e n t s w e r e i n e l i g i b l e f o r t h a t p r o t o c o l T h u s t h e n u m b e r o f q u e s t i o n s a s k e d i n c r e a s e s a s c o m p a r e d t o t h e a n a l y t i c a l s y s t e m U s i n g t h e t t e s t t h e p r o b a b i l i s t i c s y s t e m i s s t a t i s t i c a l l y s i g n i f i c a n t l y b e t t e r a t t h e 9 5 % c o n f i d e n c e i n t e r v a l A l t h o u g h t h e m e t h o d g a v e g o o d r e s u l t s i t h a d a n i n h e r e n t d r a w b a c k t h a t t h e p r o b a b i l i t i e s w e r e n o t n o r m a l i z e d a n d t h u s t h e r e s u l t a n t p r o b a b i l i t i e s w e r e a v e r y l o w n u m b e r t h a t w e r e i n a p p r o p r i a t e f o r p r o v i d i n g f e e d b a c k t o u s e r s A s d i s c u s s e d i n t h e “ S y s t e m D e s i g n ” s e c t i o n w e u s e d B a y e s p r o b a b i l i t i e s t o c o m p u t e p r o b a b i l i t i e s t h a t w e r e m o r e s u i t a b l e t o g i v e a p p r o p r i a t e f e e d b a c k T h e s a m e s e t o f 9 0 p a t i e n t s t h a t w e r e u s e d i n t h e p r e v i o u s e x p e r i m e n t s w e r e u s e d t o c o n d u c t 1 0 f o l d c r o s s v a l i d a t i o n e x p e r i m e n t s F i g u r e 1 1 s h o w s t h e r e s u l t s

PAGE 49

4 2 T a b l e 1 1 : T e n F o l d C r o s s V a l i d a t i o n f o r R e o r d e r i n g A g e n t t h a t U s e s t h e B a y e s M e t h o d t o C o m p u t e E l i g i b i l i t y P r o b a b i l i t y T e n f o l d c r o s s v a l i d a t i o n A v e r a g e n u m b e r o f q u e s t i o n s T e s t N u m b e r P r o b a b i l i s t i c S y s t e m A n a l y t i c a l S y s t e m D i f f e r e n c e D i f f e r e n c e % 1 2 0 6 7 2 8 6 7 8 0 0 2 7 9 1 2 2 9 0 0 3 4 3 3 5 3 3 1 5 5 3 3 3 1 6 7 2 4 3 3 7 3 3 3 0 1 4 4 2 6 3 3 3 3 0 0 6 6 7 2 0 2 0 5 2 2 3 3 2 5 0 0 2 6 7 1 0 6 7 6 1 8 6 7 3 1 6 7 1 3 0 0 4 1 0 5 7 2 5 6 7 3 3 0 0 7 3 3 2 2 2 2 8 2 2 6 7 3 6 6 7 1 4 0 0 3 8 1 8 9 1 9 3 3 2 2 6 7 3 3 3 1 4 7 1 1 0 1 7 3 3 2 4 3 3 7 0 0 2 8 7 7 A v e r a g e 2 3 3 7 2 9 3 7 6 0 0 2 0 4 3 T h e r e s u l t s s h o w t h a t B a y e s m e t h o d o f c o m p u t i n g e l i g i b i l i t y p r o b a b i l i t y a n d u s i n g i t i n r e o r d e r i n g t h e q u e s t i o n s r e d u c e s t h e d a t a e n t r y n e e d e d b y 2 0 4 3 % o n a n a v e r a g e A l s o t h e p r o b a b i l i t i e s g e n e r a t e d w e r e m o r e a p p r o p r i a t e f o r f e e d b a c k a s t h e p r o b a b i l i t i e s c o m p u t e d w e r e r e a l p r o b a b i l i t i e s u n l i k e t h e p r e v i o u s m e t h o d w h e r e t h e y w e r e n o t n o r m a l i z e d a n d t h u s w e r e v e r y s m a l l n u m b e r s U s i n g t h e t t e s t t h e p r o b a b i l i s t i c s y s t e m i s s t a t i s t i c a l l y s i g n i f i c a n t l y b e t t e r a t t h e 9 5 % c o n f i d e n c e i n t e r v a l A s s h o w n b y t h e r e s u l t s t h e r e o r d e r i n g a g e n t u s i n g B a y e s m e t h o d f o r c o m p u t i n g e l i g i b i l i t y p r o b a b i l i t y r e d u c e s d a t a e n t r y m o r e t h e n t h e r e o r d e r i n g a g e n t u s i n g t h e p r e v i o u s m e t h o d A l t h o u g h t h e B a y e s m e t h o d i s k n o w t o p r o v i d e w i t h m o r e a c c u r a t e p r o b a b i l i t y t h e p r e v i o u s m e t h o d w a s t r i e d a s i t h a d a n i m p o r t a n t f e a t u r e t h a t t h e e l i g i b i l i t y p r o b a b i l i t y w a s d e p e n d e n t o n t h e n u m b e r o f q u e s t i o n s i n t h e c l i n i c a l t r i a l A s t h e i n d i v i d u a l p r o b a b i l i t i e s o f e a c h q u e s t i o n w a s v e r y s m a l l n u m b e r t h e m o r e q u e s t i o n s i n t h e e l i g i b i l i t y p r o b a b i l i t y t h e l e s s e r t h e e l i g i b i l i t y p r o b a b i l i t y g e t s a s i t w a s t h e p r o d u c t o f i n d i v i d u a l p r o b a b i l i t y o f e a c h q u e s t i o n T h i s m e t h o d i s b i a s e d t o w a r d s t h e c l i n i c a l

PAGE 50

4 3 t r i a l s w i t h l e s s e r n u m b e r o f q u e s t i o n s w h i c h c a n h e l p o p t i m i z e d a t a e n t r y O u t o f t h e s i x c l i n i c a l t r i a l u s e d i n t h e e x p e r i m e n t s c l i n i c a l t r i a l n u m b e r 1 2 7 7 7 h a s f o u r q u e s t i o n s a n d c l i n i c a l t r i a l 1 2 5 2 1 h a v e 3 4 q u e s t i o n s I s s u c h a s c e n a r i o i t m i g h t b e o p t i m a l t o c h e c k t h e e l i g i b i l i t y o f c l i n i c a l t r i a l 1 2 7 7 7 b e f o r e 1 2 5 2 1 e v e n i f 1 2 5 2 1 h a s h i g h e r r a t e o r e n r o l l m e n t I f 1 2 5 2 1 h a v e b e t t e r r a t e o r e n r o l l m e n t t h e n 1 2 7 7 7 t h e n t h e r e o r d e r i n g a g e n t u s i n g B a y e s m e t h o d f o r c a l c u l a t i n g e l i g i b i l i t y p r o b a b i l i t y w i l l e s t i m a t e a h i g h e r e l i g i b i l i t y p r o b a b i l i t y f o r 1 2 5 2 1 a n d a s k f o r m o r e i n f o r m a t i o n a b o u t t h a t c l i n i c a l t r i a l W h e r e a s t h e r e o r d e r i n g a g e n t t h a t e s t i m a t e s e l i g i b i l i t y p r o b a b i l i t y b y p r o d u c t o f i n d i v i d u a l q u e s t i o n s w i l l m o s t c e r t a i n l y e s t i m a t e a h i g h e r e l i g i b i l i t y p r o b a b i l i t y f o r 1 2 7 7 7 T h e e x p e r i m e n t r e s u l t s s u g g e s t t h a t w h e n t h e r e o r d e r i n g a g e n t u s e s B a y e s m e t h o d t o e s t i m a t e e l i g i b i l i t y p r o b a b i l i t y i t r e s u l t s i n a m o r e d a t a e n t r y e f f i c i e n t a g e n t

PAGE 51

4 4 C h a p t e r 6 C o n c l u s i o n s a n d F u t u r e W o r k 6 1 C o n c l u s i o n s R e c r u i t i n g p a t i e n t s t o c l i n i c a l t r i a l s i s v e r y t i m e a n d l a b o r i n t e n s i v e w o r k M a n y c l i n i c a l t r i a l s f a i l d u e t o u n d e r r e c r u i t m e n t T h e s y s t e m p r e s e n t e d h e r e h a s f o u n d a s u b s t a n t i a l n u m b e r o f m a t c h e s p o t e n t i a l l y m i s s e d b y c l i n i c i a n s T h u s t h e s y s t e m c a n p l a y a c r i t i c a l p a r t i n t h e s u c c e s s o f a c l i n i c a l t r i a l A l s o t h e w e b b a s e d i n t e r f a c e o f t h e s y s t e m m a k e s i t p o s s i b l e t o h a v e a c e n t r a l s y s t e m w h i c h c a n b e a c c e s s e d b y c l i n i c a l p e r s o n n e l f r o m a n y m e d i c a l i n s t i t u t e a r o u n d t h e c o u n t r y A l l l a r g e r e s e a r c h c e n t e r s h a v e c l i n i c a l t r i a l s o f t h e i r o w n a n d i t i s v e r y h a r d t o e x c h a n g e t h e t r i a l i n f o r m a t i o n b e t w e e n t h e m a s t h e s a m e t r i a l s c a n b e i n t e r p r e t e d i n a d i f f e r e n t w a y b y d i f f e r e n t c l i n i c i a n s H a v i n g a n e l e c t r o n i c v e r s i o n o f t h e c l i n i c a l t r i a l s e n c o d e d u s i n g o u r k n o w l e d g e e n t r y s y s t e m c a n m a k e s h a r i n g o f c l i n i c a l t r i a l s b e t w e e n d i f f e r e n t h o s p i t a l s v e r y c o n v e n i e n t a n d e f f e c t i v e T h i s i n t u r n c a n i n c r e a s e a c c r u a l f o r c l i n i c a l t r i a l s a s t h e p o o l o f p o t e n t i a l p a r t i c i p a n t s i n c r e a s e s T h e s y s t e m a l s o e f f e c t i v e l y r e o r d e r s t h e t e s t s a n d r e d u c e s t h e c o s t i n c u r r e d i n d e t e r m i n i n g e l i g i b i l i t y W e d e v e l o p e d t h e p r o b a b i l i s t i c a g e n t w h i c h a c c u m u l a t e s p r o b a b i l i s t i c k n o w l e d g e o v e r t i m e D a t a e n t r y w a s s u c c e s s f u l l y o p t i m i z e d b y a s m u c h a s 3 0 % u s i n g t h e p r o b a b i l i s t i c r e o r d e r i n g a g e n t T h e t e s t i n g s y s t e m m a k e s i t p o s s i b l e t o

PAGE 52

4 5 e f f i c i e n t l y c h e c k t h e p e r f o r m a n c e o f d i f f e r e n t r e o r d e r i n g h e u r i s t i c s T h e s y s t e m a l s o m i m i c s h u m a n b e h a v i o r w h i c h m a y i n c r e a s e i t s a c c e p t a b i l i t y t o m e d i c a l p e r s o n n e l 6 2 F u t u r e W o r k T h e s y s t e m w a s d e s i g n e d t o m a t c h p a t i e n t s t o c l i n i c a l t r i a l s o f a n y k i n d b u t c u r r e n t l y o n l y b r e a s t c a n c e r c l i n i c a l t r i a l s a r e b e i n g i m p l e m e n t e d T h e s y s t e m c u r r e n t l y r e o r d e r s t o o p t i m i z e c o s t a n d d a t a e n t r y b u t i t a l s o h a s p r o v i s i o n s t o i n c o r p o r a t e p a i n m e a s u r e s f o r e a c h t e s t a n d r e o r d e r t o m i n i m i z e p a i n f o r t h e p a t i e n t s T h e s e o p t i o n s s t i l l n e e d t o b e e x p l o r e d T h e p r o b a b i l i s t i c r e o r d e r i n g a g e n t u s e i n d e p e n d e n t p r o b a b i l i t i e s o f e a c h q u e s t i o n a n d e s t i m a t e e l i g i b i l i t y p r o b a b i l i t y u s i n g B a y e s r u l e O t h e r p r o b a b i l i s t i c m e t h o d s n e e d t o b e e x p l o r e d t o t r y t o i m p r o v e t h e r e o r d e r i n g a n d s a v e m o r e d a t a e n t r y a n d c o s t s I n t h e e x p e r i m e n t s c o n d u c t e d t h e p r o b a b i l i s t i c a g e n t s w e r e t r a i n e d o n 8 1 p a t i e n t s T h e e f f e c t i v e n e s s o f t h e a g e n t s n e e d s t o b e i n v e s t i g a t e d w h e n d i f f e r e n t n u m b e r o f p a t i e n t s a r e u s e d i n t r a i n i n g T h e s y s t e m c u r r e n t l y i s a w e b b a s e d C G I a p p l i c a t i o n T h u s e v e r y t i m e t h e s y s t e m i s a c c e s s e d i t h a s t o r e g e n e r a t e a l l t h e g r a p h s a n d l o a d p a r t s o f k n o w l e d g e i n t o m e m o r y C u r r e n t l y w e a r e i m p l e m e n t i n g a p o r t l i s t e n i n g v e r s i o n o f t h e s y s t e m w h i c h k e e p s a l l t h e g r a p h s a n d n e e d e d k n o w l e d g e i n m e m o r y u n t i l n e e d e d T h i s w i l l e v e n t u a l l y i m p r o v e t h e r e s p o n s i v e n e s s o f t h e s y s t e m e v e n w h e n t h e p a t i e n t i s b e i n g t e s t e d f o r a l a r g e n u m b e r o f c l i n i c a l t r i a l s a t o n c e T h e r e o r d e r i n g h e u r i s t i c s e i t h e r u s e t h e p r o b a b i l i s t i c o r t h e a n a l y t i c a l a p p r o a c h H e u r i s t i c s t h a t u s e b o t h a p p r o a c h e s t o g e t h e r s t i l l n e e d t o b e i m p l e m e n t e d a n d t e s t e d

PAGE 53

4 6 R e f e r e n c e s [ 1 ] A H W u “ R e d u c i n g t h e i n a p p r o p r i a t e u t i l i z a t i o n o f c l i n i c a l l a b o r a t o r y t e s t s ” C o n n M e d 6 1 p p 1 5 2 1 1 9 9 7 [ 2 ] B e v e r l y J S m i t h a n d M i c h a e l D M c N e e l y T h e i n f l u e n c e o f a n e x p e r t s y s t e m f o r t e s t o r d e r i n g a n d i n t e r p r e t a t i o n o n l a b o r a t o r y i n v e s t i g a t i o n s C l i n i c a l C h e m i s t r y 4 5 ( 8 ) : 1 1 6 8 – 1 1 7 5 1 9 9 9 [ 3 ] B r i g g i t e S e r o u s s i J a c q u e s B o u a u d a n d E r i c C h a r l e s A n t o i n e E n h a n c i n g c l i n i c a l p r a c t i c e g u i d e l i n e c o m p l i a n c e b y i n v o l v i n g p h y s i c i a n s i n t h e d e c i s i o n p r o c e s s I n W e r n e r H o r n Y u v a l S h a h a r G r e g e r L i n d b e r g S t e e n A n d r e a s s e n a n d J e r e m y C W y a t t e d i t o r s A r t i f i c i a l I n t e l l i g e n c e i n M e d i c i n e p a g e s 7 6 – 8 5 S p r i n g e r V e r l a g B e r l i n G e r m a n y 1 9 9 9 [ 4 ] B r i g g i t e S e r o u s s i J a c q u e s B o u a u d a n d E r i c C h a r l e s A n t o i n e U s e r s ’ e v a l u a t i o n o f O N C O D O C a b r e a s t c a n c e r t h e r a p e u t i c g u i d e l i n e d e l i v e r e d a t t h e p o i n t o f c a r e J o u r n a l o f t h e A m e r i c a n M e d i c a l I n f o r m a t i c s A s s o c i a t i o n 6 ( 5 ) : 3 8 4 – 3 8 9 1 9 9 9 [ 5 ] B r i g g i t e S e r o u s s i J a c q u e s B o u a u d a n d E r i c C h a r l e s A n t o i n e O N C O D O C : A s u c c e s s f u l e x p e r i m e n t o f c o m p u t e r s u p p o r t e d g u i d e l i n e d e v e l o p m e n t a n d i m p l e m e n t a t i o n i n t h e t r e a t m e n t o f b r e a s t c a n c e r A r t i f i c i a l I n t e l l i g e n c e i n M e d i c i n e 2 2 ( 1 ) : 4 3 – 6 4 2 0 0 1 [ 6 ] B r i g g i t e S e r o u s s i J a c q u e s B o u a u d E r i c C h a r l e s A n t o i n e L a u r e n t Z e l e k a n d M a r c S p i e l m a n n U s i n g O N C O D O C a s a c o m p u t e r b a s e d e l i g i b i l i t y s c r e e n i n g s y s t e m t o i m p r o v e a c c r u a l o n t o b r e a s t c a n c e r c l i n i c a l t r i a l s I n W e r n e r H o r n Y u v a l S h a h a r G L i n d b e r g S t e e n A n d r e a s s e n a n d J W y a t t e d i t o r s A r t i f i c i a l I n t e l l i g e n c e i n M e d i c i n e p a g e s 4 1 3 – 4 3 0 S p r i n g e r V e r l a g B e r l i n G e r m a n y 2 0 0 1 [ 7 ] B r u c e G B u c h a n a n a n d E d w a r d H S h o r t l i f f e R u l e B a s e d E x p e r t S y s t e m s : T h e m y c i n E x p e r i m e n t s o f t h e S t a n f o r d H e u r i s t i c P r o g r a m m i n g P r o j e c t A d d i s o n W e s l e y R e a d i n g M S 1 9 8 4 [ 8 ] B r u c e G B u c h a n a n G e o r g i a L S u t h e r l a n d a n d E d w a r d A F e i g e n b a u m H e u r i s t i c d e n d r a l : A p r o g r a m f o r g e n e r a t i n g e x p l a n a t o r y h y p o t h e s e s i n o r g a n i c c h e m i s t r y I n

PAGE 54

4 7 B e r n a r d M e l t z e r a n d D o n a l d M i c h i e e d i t o r s M a c h i n e I n t e l l i g e n c e v o l u m e 4 p a g e s 2 0 9 2 5 4 E d i n b u r g h U n i v e r s i t y P r e s s E d i n b u r g h U n i t e d K i n g d o m 1 9 6 9 [ 9 ] C l a n c e y W J I n t e l l i g e n t t u t o r i n g s y s t e m s a t u t o r i a l s u r v e y U n i v e r s i t e d e L ’ E t a t B e l g i u m 1 9 8 6 [ 1 0 ] C o n s t a n t i n o s P a p a c o n s t a n t i n o u G e o r g i o s T h e o c h a r o u s a n d S r i d h a r M a h a d e v a n A n e x p e r t s y s t e m f o r a s s i g n i n g p a t i e n t s i n t o c l i n i c a l t r i a l s b a s e d o n B a y e s i a n n e t w o r k s J o u r n a l o f M e d i c a l S y s t e m s 2 2 ( 3 ) : 1 8 9 – 2 0 2 1 9 9 8 [ 1 1 ] C y r u s K o t w a l l L e o J M a h o n e y R o b e r t E M y e r s a n d L i n d a D e c o s t e R e a s o n s f o r n o n e n t r y i n r a n d o m i z e d c l i n i c a l t r i a l s f o r b r e a s t c a n c e r : A s i n g l e i n s t i t u t i o n a l s t u d y J o u r n a l o f S u r g i c a l O n c o l o g y 5 0 : 1 2 5 1 2 9 1 9 9 2 [ 1 2 ] D B a r e f o r d a n d A H a y l i n g I n a p p r o p r i a t e u s e o f l a b o r a t o r y s e r v i c e s : L o n g t e r m c o m b i n e d a p p r o a c h t o m o d i f y r e q u e s t p a t t e r n s B r i t i s h M e d i c a l J o u r n a l 3 0 1 ( 6 7 6 4 ) : 1 3 0 5 – 1 3 0 7 1 9 9 0 [ 1 3 ] E d w a r d H S h o r t l i f f e M Y C I N : A R u l e B a s e d C o m p u t e r P r o g r a m f o r A d v i s i n g P h y s i c i a n s R e g a r d i n g A n t i m i c r o b i a l T h e r a p y S e l e c t i o n P h D t h e s i s C o m p u t e r S c i e n c e D e p a r t m e n t S t a n f o r d U n i v e r s i t y 1 9 7 4 [ 1 4 ] E u g e n e F i n k L a w r e n c e O H a l l D m i t r y B G o l d g o f B h a v e s h D G o s w a m i M a t t h e w B o o n s t r a a n d J e f f r e y P K r i s c h e r E x p e r i m e n t s o n t h e a u t o m a t e d s e l e c t i o n o f p a t i e n t s f o r c l i n i c a l t r i a l s I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n S y s t e m s M a n a n d C y b e r n e t i c s 2 0 0 3 [ 1 5 ] F r a n c i s c o J D i e z J o s e M i r a E I t u r r a l d e a n d S Z u b i l l a g a D I A V A L a B a y e s i a n e x p e r t s y s t e m f o r e c h o c a r d i o g r a p h y A r t i f i c i a l I n t e l l i g e n c e i n M e d i c i n e 1 0 ( 1 ) : 5 9 – 7 3 1 9 9 7 [ 1 6 ] F r a n c o P e r r a r o P a o l o R o s s i C a r l o L i v a A d o l f o B u l f o n i G G a n z i n i a n d A d r i a n o G i u s t i n e l l i I n a p p r o p r i a t e e m e r g e n c y t e s t o r d e r i n g i n a g e n e r a l h o s p i t a l : P r e l i m i n a r y r e p o r t s Q u a l i t y A s s u r a n c e H e a l t h C a r e 4 : 7 7 – 8 1 1 9 9 2 [ 1 7 ] H e n r i k E r i k s s o n S p e c i f i c a t i o n a n d g e n e r a t i o n o f c u s t o m t a i l o r e d k n o w l e d g e a c q u i s i t i o n t o o l s I n P r o c e e d i n g s o f t h e T h i r t e e n t h I n t e r n a t i o n a l J o i n t C o n f e r e n c e o n A r t i f i c i a l I n t e l l i g e n c e v o l u m e 1 p a g e s 5 1 0 – 5 1 8 1 9 9 3

PAGE 55

4 8 [ 1 8 ] I a n R M o r r i s o n B A S c h a e f e r a n d B e v e r l y J S m i t h K n o w l e d g e a c q u i s i t i o n : T h e A C Q U I R E a p p r o a c h I n P r o c e e d i n g s o f t h e F i r s t S e m i A n n u a l C o n f e r e n c e i n P o l i c y M a k i n g a n d K n o w l e d g e S y s t e m s 1 9 9 1 [ 1 9 ] J a c q u e s B o u a u d B r i g g i t e S e r o u s s i E r i c C h a r l e s A n t o i n e M a r y G o z y D a v i d K h a y a t a n d J e a n F r a n s o i s B o i s v i e u x H y p e r t e x t u a l n a v i g a t i o n o p e r a t i o n a l i z i n g g e n e r i c c l i n i c a l p r a c t i c e g u i d e l i n e s f o r p a t i e n t s p e c i f i c t h e r a p e u t i c d e c i s i o n s J o u r n a l o f t h e A m e r i c a n M e d i c a l I n f o r m a t i c s A s s o c i a t i o n 5 ( s u p p l ) : 4 8 8 – 4 9 2 1 9 9 8 [ 2 0 ] J a c q u e s B o u a u d B r i g g i t e S e r o u s s i E r i c C h a r l e s A n t o i n e L a u r e n t Z e l e k a n d M a r c S p i e l m a n n R e u s i n g O N C O D O C a g u i d e l i n e b a s e d d e c i s i o n s u p p o r t s y s t e m a c r o s s i n s t i t u t i o n s : A s u c c e s s f u l e x p e r i m e n t i n s h a r i n g m e d i c a l k n o w l e d g e I n P r o c e e d i n g s o f t h e A m e r i c a n M e d i c a l I n f o r m a t i c s A s s o c i a t i o n A n n u a l S y m p o s i u m v o l u m e 7 2 0 0 0 [ 2 1 ] J i h i e K i m a n d Y o l a n d a G i l A c q u i r i n g p r o b l e m s o l v i n g k n o w l e d g e f r o m e n d u s e r s : P u t t i n g i n t e r d e p e n d e n c y m o d e l s t o t h e t e s t I n P r o c e e d i n g s o f t h e S e v e n t e e n t h N a t i o n a l C o n f e r e n c e o n A r t i f i c i a l I n t e l l i g e n c e p a g e s 2 2 3 – 2 2 9 2 0 0 0 [ 2 2 ] J i m B l y t h e J i h i e K i m S u r y a R a m a c h a n d r a n a n d Y o l a n d a G i l A n i n t e g r a t e d e n v i r o n m e n t f o r k n o w l e d g e a c q u i s i t i o n I n P r o c e e d i n g s o f t h e I n t e r n a t i o n a l C o n f e r e n c e o n I n t e l l i g e n t U s e r I n t e r f a c e s p a g e s 1 3 – 2 0 2 0 0 1 [ 2 3 ] J o h n H G e n n a r i a n d M a d h u R e d d y P a r t i c i p a t o r y d e s i g n a n d a n e l i g i b i l i t y s c r e e n i n g t o o l I n P r o c e e d i n g s o f t h e A m e r i c a n M e d i c a l I n f o r m a t i c s A s s o c i a t i o n A n n u a l F a l l S y m p o s i u m p a g e s 2 9 0 2 9 4 2 0 0 0 [ 2 4 ] J o s h u a L e d e r b e r g d e n d r a l 6 4 : A s y s t e m f o r c o m p u t e r c o n s t r u c t i o n e n u m e r a t i o n a n d n o t a t i o n o f o r g a n i c m o l e c u l e s a s t r e e s t r u c t u r e s a n d c y c l i c g r a p h s P a r t I I T e c h n i c a l R e p o r t N 6 6 1 4 0 7 4 n a s a S c i e n t i f i c a n d T e c h n i c a l A e r o s p a c e R e p o r t s 1 9 6 5 [ 2 5 ] J o s h u a L e d e r b e r g H o w d e n d r a l w a s c o n c e i v e d a n d b o r n I n P r o c e e d i n g o f t h e A C M S y m p o s i u m o n t h e H i s t o r y o f M e d i c a l I n f o r m a t i c s N a t i o n a l L i b r a r y o f M e d i c i n e 1 9 8 7 [ 2 6 ] J S A i k i n s e t a l P U F F : A n E x p e r t S y s t e m f o r I n t e r p r e t a t i o n o f P u l m o n a r y F u n c t i o n D a t a C o m p u t e r s a n d B i o m e d i c a l R e s e a r c h 1 6 ( 1 9 8 3 ) 1 9 9 2 0 8

PAGE 56

4 9 [ 2 7 ] K e n n e t h G K e p p e l J e f f r e y N P e a r c y a n d D i a n e K W a g e n e r T r e n d s i n r a c i a l a n d e t h n i c s p e c i f i c r a t e s f o r t h e h e a l t h s t a t u s i n d i c a t o r s : U n i t e d S t a t e s 1 9 9 0 – 9 8 H e a l t h y P e o p l e 2 0 0 0 S t a t i s t i c a l N o t e s 2 3 2 0 0 2 [ 2 8 ] L u c i l a O h n o M a c h a d o E d u a r d o P a r r a S u z a n n e B H e n r y S a m s o n W T u a n d M a r k A M u s e n A I D S : A d e c i s i o n s u p p o r t t o o l f o r d e c r e a s i n g p h y s i c i a n s ’ u n c e r t a i n t y r e g a r d i n g p a t i e n t e l i g i b i l i t y f o r H I V t r e a t m e n t p r o t o c o l s I n P r o c e e d i n g s o f t h e S e v e n t e e n t h A n n u a l S y m p o s i u m o n C o m p u t e r A p p l i c a t i o n s i n M e d i c a l C a r e p a g e s 4 2 9 – 4 3 3 1 9 9 3 [ 2 9 ] M a r k A M u s e n A u t o m a t e d g e n e r a t i o n o f m o d e l b a s e d k n o w l e d g e a c q u i s i t i o n t o o l s M o r g a n K a u f m a n n S a n M a t e o C A 1 9 8 9 [ 3 0 ] M a r k A M u s e n S a m s o n W T u A m a r K D a s a n d Y u v a l S h a h a r E O N : A c o m p o n e n t b a s e d a p p r o a c h t o a u t o m a t i o n o f p r o t o c o l d i r e c t e d t h e r a p y J o u r n a l o f t h e A m e r i c a n M e d i c a l I n f o r m a t i c s A s s o c i a t i o n 3 ( 6 ) : 3 6 7 – 3 8 8 1 9 9 6 [ 3 1 ] M i c h a e l D M c N e e l y a n d B e v e r l y J S m i t h A n i n t e r a c t i v e e x p e r t s y s t e m f o r t h e o r d e r i n g a n d i n t e r p r e t a t i o n o f l a b o r a t o r y t e s t s t o e n h a n c e d i a g n o s i s a n d c o n t r o l u t i l i z a t i o n C a n a d i a n M e d i c a l I n f o r m a t i c s 2 ( 3 ) : 1 6 – 1 9 1 9 9 5 [ 3 2 ] M K o r v e r a n d A R J a n s s e n s D e v e l o p m e n t a n d v a l i d a t i o n o f H E P A R a n e x p e r t s y s t e m f o r t h e d i a g n o s i s o f d i s o r d e r s o f t h e l i v e r a n d b i l i a r y t r a c t M e d i c a l I n f o r m a t i c s 1 6 ( 3 ) : 2 5 9 – 2 7 0 1 9 9 3 [ 3 3 ] P r i n c e t o n K K o k k u L a w r e n c e O H a l l D m i t r y B G o l d g o f E u g e n e F i n k a n d J e f f r e y P K r i s c h e r A c o s t e f f e c t i v e a g e n t f o r c l i n i c a l t r i a l a s s i g n m e n t I n P r o c e e d i n g s o f t h e I E E E I n t e r n a t i o n a l C o n f e r e n c e o n S y s t e m s M a n a n d C y b e r n e t i c s 2 0 0 2 [ 3 4 ] S a n j u c t a B h a n j a L y n n M F l e t c h e r L a w r e n c e O H a l l D i m t r y B G o l d g o f a n d J e f f r e y P K r i s c h e r A q u a l i t a t i v e e x p e r t s y s t e m f o r c l i n i c a l t r i a l a s s i g n m e n t I n P r o c e e d i n g s o f t h e E l e v e n t h I n t e r n a t i o n a l F l o r i d a A r t i f i c i a l I n t e l l i g e n c e R e s e a r c h S o c i e t y C o n f e r e n c e p a g e s 8 4 – 8 8 1 9 9 8 [ 3 5 ] S a l i m Y u s u f P e t e r H e l d K K T e o a n d E l i z a b e t h R T o r e t s k y S e l e c t i o n o f p a t i e n t s f o r r a n d o m i z e d c o n t r o l l e d t r i a l s : I m p l i c a t i o n s o f w i d e o r n a r r o w e l i g i b i l i t y c r i t e r i a S t a t i s t i c s i n M e d i c i n e 9 : 7 3 8 6 1 9 9 0

PAGE 57

5 0 [ 3 6 ] S a v v a s N i k i f o r o u S e l e c t i o n o f c l i n i c a l t r i a l s : K n o w l e d g e r e p r e s e n t a t o n a n d a c q u i s i t i o n M a s t e r ’ s t h e s i s D e p a r t m e n t o f C o m p u t e r S c i e n c e a n d E n g i n e e r i n g U n i v e r s i t y o f S o u t h F l o r i d a 2 0 0 2


xml version 1.0 encoding UTF-8 standalone no
record xmlns http:www.loc.govMARC21slim xmlns:xsi http:www.w3.org2001XMLSchema-instance xsi:schemaLocation http:www.loc.govstandardsmarcxmlschemaMARC21slim.xsd
leader nam Ka
controlfield tag 001 001447462
003 fts
006 m||||e|||d||||||||
007 cr mnu|||uuuuu
008 040114s2003 flua sbm s000|0 eng d
datafield ind1 8 ind2 024
subfield code a E14-SFE0000202
035
(OCoLC)54089570
9
AJN3906
b SE
SFE0000202
040
FHM
c FHM
090
QA76
1 100
Goswami, Bhavesh Dineshbhai.
0 245
Optimizing cost and data entry for assignment of patients to clinical trials using analytical and probabilistic web-based agents
h [electronic resource] /
by Bhavesh Dineshbhai Goswami.
260
[Tampa, Fla.] :
University of South Florida,
2003.
502
Thesis (M.S.C.S.)--University of South Florida, 2003.
504
Includes bibliographical references.
516
Text (Electronic thesis) in PDF format.
538
System requirements: World Wide Web browser and PDF reader.
Mode of access: World Wide Web.
500
Title from PDF of title page.
Document formatted into pages; contains 57 pages.
520
ABSTRACT: A clinical trial is defined as a study conducted on a group of patients to determine the effect of a treatment. Assignment of patients to clinical trials is a data and labor intensive task. Usually, medical personnel manually check the eligibility of a patient for a clinical trial based on the patient's medical history and current medical condition. According to studies, most clinical trials are under-enrolled which negatively affects their effectiveness. We have developed web-based agents that can test the eligibility of patients for many clinical trials at once. We have tested various heuristics for optimizing cost and data entry needed in assigning patients to clinical trials. Testing eligibility of a patient for many clinical trials is only feasible if it is cost and data entry efficient. Agents with different heuristics were then tested on data from current breast cancer patients at the Moffitt Cancer Center. Results with different heuristics are compared with each other and with that of the clinicians. It is shown that cost savings are possible in clinical trial assignment. Also, less data entry is needed when probabilistic agents are used to reorder questions.
590
Co-adviser: Goldgof, Dmitry B.
Co-adviser: Hall, Lawrence O.
653
expert system.
rule based system.
breast cancer..
690
Dissertations, Academic
z USF
x Computer Science
Masters.
773
t USF Electronic Theses and Dissertations.
4 856
u http://digital.lib.usf.edu/?e14.202