USF Libraries
USF Digital Collections

Symbolic regression of thermophysical model using genetic programming

MISSING IMAGE

Material Information

Title:
Symbolic regression of thermophysical model using genetic programming
Physical Description:
Book
Language:
English
Creator:
Zhang, Ying, 1973-
Publisher:
University of South Florida
Place of Publication:
Tampa, Fla.
Publication Date:

Subjects

Subjects / Keywords:
nonlinear regression
modeling
statistic analysis
function indentification
machine learning
Dissertations, Academic -- Chemical Engineering -- Masters -- USF   ( lcsh )
Genre:
government publication (state, provincial, terriorial, dependent)   ( marcgt )
bibliography   ( marcgt )
theses   ( marcgt )
non-fiction   ( marcgt )

Notes

Summary:
ABSTRACT: The symbolic regression problem is to find a function, in symbolic form, that fits a given data set. Symbolic regression provides a means for function identification. This research describes an adaptive hybrid system for symbolic function identification of thermo-physical model that combines the genetic programming and a modified Marquardt nonlinear regression algorithm. Genetic Programming (GP) system can extract knowledge from the data in the form of symbolic expressions, i.e. a tree structure, that are used to model and derive equation of state, mixing rules and phase behavior from the experimental data (properties estimation). During the automatic evolution process of GP, the function structure of generated individual module could be highly complicated. To ensure the convergence of the regression, a modified Marquardt regression algorithm is used. Two stop criteria are attached to the traditional Marquardt algorithm to enforce the algorithm repeat the regression process before it stops. Statistic analysis is applied to the fitted model. Residual plot is used to test the goodness of fit. The chi2-test is used to test the model's adequacy. Ten experiments are run with different form of input variables, number of data points, standard errors added to data set, and fitness functions. The results show that the system is able to find models and optimize for its parameters successfully.
Thesis:
Thesis (M.S.Ch.E.)--University of South Florida, 2004.
Bibliography:
Includes bibliographical references.
System Details:
System requirements: World Wide Web browser and PDF reader.
System Details:
Mode of access: World Wide Web.
Statement of Responsibility:
by Ying Zhang.
General Note:
Title from PDF of title page.
General Note:
Document formatted into pages; contains 95 pages.

Record Information

Source Institution:
University of South Florida Library
Holding Location:
University of South Florida
Rights Management:
All applicable rights reserved by the source institution and holding location.
Resource Identifier:
aleph - 001469406
oclc - 55731151
notis - AJR1160
usfldc doi - E14-SFE0000308
usfldc handle - e14.308
System ID:
SFS0025003:00001


This item is only available as the following downloads:


Full Text

PAGE 1

S y m b o l i c R e g r e s s i o n o f T h e r m o P h y s i c a l M o d e l U s i n g G e n e t i c P r o g r a m m i n g b y Y i n g Z h a n g A t h e s i s s u b m i t t e d i n p a r t i a l f u l f i l l m e n t o f t h e r e q u i r e m e n t s f o r t h e d e g r e e o f M a s t e r o f S c i e n c e i n C h e m i c a l E n g i n e e r i n g D e p a r t m e n t o f C h e m i c a l E n g i n e e r i n g C o l l e g e o f E n g i n e e r i n g U n i v e r s i t y o f S o u t h F l o r i d a M a j o r P r o f e s s o r : A y d i n K S u n o l P h D J o h n A L l e w e l l y n P h D S c o t t W C a m p b e l l P h D D a t e o f A p p r o v a l : A p r i l 6 2 0 0 4 K e y w o r d s : m a c h i n e l e a r n i n g f u n c t i o n i d e n t i f i c a t i o n s t a t i s t i c a n a l y s i s m o d e l i n g n o n l i n e a r r e g r e s s i o n C o p y r i g h t 2 0 0 4 Y i n g Z h a n g

PAGE 2

A C K N O W L E D G M E N T S I w o u l d l i k e t o t h a n k D r A y d i n K S u n o l f o r t h e o p p o r t u n i t y a n d s u p p o r t h e e x t e n d e d t o m e t h r o u g h o u t t h i s w o r k I w o u l d a l s o l i k e t o t h a n k D r J o h n A L l e w e l l y n a n d D r S c o t t W C a m p b e l l f o r b e i n g m y c o m m i t t e e m e m b e r s a n d t a k i n g t i m e f r o m t h e i r b u s y s c h e d u l e s L a s t l y I w o u l d l i k e t o t h a n k m y f a m i l y a n d f r i e n d s f o r t h e i r l o v e a n d u n c o n d i t i o n a l h e l p

PAGE 3

i T A B L E O F C O N T E N T S L I S T O F T A B L E S i i i L I S T O F F I G U R E S i v A B S T R A C T v i i C H A P T E R O N E : I N T R O D U C T I O N 1 C H A P T E R T W O : L I T E R A T U R E R E V I E W 6 2 1 A n O v e r v i e w o f D a t a M i n i n g 6 2 1 1 D a t a P r e p r o c e s s i n g 8 2 1 2 M i n i n g D a t a T e c h n i q u e s 9 2 2 A n O v e r v i e w o f E v o l u t i o n a r y A l g o r i t h m s 1 1 2 2 1 E v o l u t i o n a r y P r o g r a m m i n g 1 2 2 2 2 G e n e t i c A l g o r i t h m 1 3 2 2 3 G e n e t i c P r o g r a m m i n g 1 6 2 2 3 1 T e r m i n a l S e t F u n c t i o n S e t a n d I n i t i a l R e p r e s e n t a t i o n 1 9 2 2 3 2 G e n e t i c O p e r a t o r s 2 0 2 2 3 2 1 T h e R e p r o d u c t i o n a n d C r o s s o v e r O p e r a t i o n s 2 0 2 2 3 2 2 M u t a t i o n 2 4 2 2 3 3 F i t n e s s M e a s u r e 2 5 2 2 3 4 S e l e c t i o n S t r a t e g y 2 6 2 2 4 A p p l i c a t i o n o f I n t e l l i g e n t S y s t e m i n C h e m i c a l E n g i n e e r i n g 2 7 2 3 A n O v e r v i e w o f O p t i m i z a t i o n M e t h o d s a n d O b j e c t i v e F u n c t i o n s 3 0 2 4 T e s t o f M o d e l A d e q u a c y 3 5 2 4 1 R e s i d u a l s 3 6 2 4 2 G o o d n e s s o f F i t S t a t i s t i c s 3 7 C H A P T E R T H R E E : A H Y B R I D S Y S T E M F O R S T R U C T U R A L A N D P A R A M E T R I C O P T I M I Z A T I O N 3 9 3 1 S y s t e m S t r u c t u r e 3 9 3 2 D a t a a n d D a t a P r e p a r a t i o n 4 0 3 3 R e g r e s s i o n S t r a t e g y 4 1 3 4 I m p l e m e n t w i t h M A T L A B G e n e t i c S e a r c h T o o l b o x 4 3 3 4 1 T e r m i n a l S e t a n d F u n c t i o n S e t 4 5

PAGE 4

i i 3 4 2 P a r a m e t e r s f o r C o n t r o l l i n g R u n s 4 5 3 4 3 S e l e c t i o n S t r a t e g y 4 6 3 4 4 D e c i m a t i o n S t r a t e g y 4 7 3 4 5 R e s u l t D e s i g n a t i o n a n d T e r m i n a t i o n C r i t e r i a 4 7 C H A P T E R F O U R : R E S U L T S A N D D I S C U S S I O N S 4 8 4 1 R e s u l t s 4 8 4 2 D i s c u s s i o n s 7 3 C H A P T E R F I V E : C O N C L U S I O N S A N D R E C O M M E N D A T I O N S 7 8 5 1 C o n c l u s i o n s 7 8 5 2 R e c o m m e n d a t i o n s 7 9 R E F E R E N C E S 8 1

PAGE 5

i i i L I S T O F T A B L E S T a b l e 4 1 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I 4 8 T a b l e 4 2 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I I 5 1 T a b l e 4 3 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I I I 5 3 T a b l e 4 4 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I V 5 5 T a b l e 4 5 I n p u t a n d R e s u l t S u m m a r y f o r C a s e V 5 8 T a b l e 4 6 I n p u t a n d R e s u l t S u m m a r y f o r C a s e V I 6 0 T a b l e 4 7 I n p u t a n d R e s u l t S u m m a r y f o r C a s e V I I 6 3 T a b l e 4 8 I n p u t a n d R e s u l t S u m m a r y f o r C a s e V I I I 6 5 T a b l e 4 9 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I X 6 8 T a b l e 4 1 0 I n p u t a n d R e s u l t S u m m a r y f o r C a s e X 7 0 T a b l e 4 1 1 P a r a m e t e r C o m p a r i s o n b e t w e e n I U P A C a n d C a s e I I I 7 6

PAGE 6

i v L I S T O F F I G U R E S F i g u r e 2 1 D a t a M i n i n g P r o c e d u r e 8 F i g u r e 2 2 F l o w c h a r t o f G e n e t i c P r o g r a m m i n g 1 8 F i g u r e 2 3 F u n c t i o n a l R e p r e s e n t a t i o n o f a x b + U s i n g T r e e S t r u c t u r e 1 9 F i g u r e 2 4 E x a m p l e o f R e p r o d u c t i o n O p e r a t o r 2 1 F i g u r e 2 5 C r o s s o v e r O p e r a t i o n f o r A l g e b r a i c E q u a t i o n M a n i p u l a t i o n 2 3 F i g u r e 2 6 E x a m p l e o f M u t a t i o n O p e r a t i o n ( a ) T y p e I & ( b ) T y p e I I 2 4 F i g u r e 3 1 H y b r i d S y s t e m S t r u c t u r e f o r S t r u c t u r a l a n d P a r a m e t r i c O p t i m i z a t i o n 4 0 F i g u r e 3 2 F l o w c h a r t f o r M a r q u a r d t R e g r e s s i o n 4 2 F i g u r e 3 3 S c h e m a t i c D i a g r a m o f t h e G e n e t i c S e a r c h M e t h o d o l o g y 4 3 F i g u r e 3 4 F l o w c h a r t o f G e n e t i c S e a r c h 4 4 F i g u r e 4 1 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I 4 9 F i g u r e 4 2 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I 5 0 F i g u r e 4 3 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I 5 0 F i g u r e 4 4 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I I 5 1 F i g u r e 4 5 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I I 5 2 F i g u r e 4 6 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I I 5 3 F i g u r e 4 7 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I I I 5 4 F i g u r e 4 8 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I I I 5 4

PAGE 7

v F i g u r e 4 9 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I I I 5 5 F i g u r e 4 1 0 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I V 5 6 F i g u r e 4 1 1 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I V 5 7 F i g u r e 4 1 2 R e s i d u a l R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I V 5 8 F i g u r e 4 1 3 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e V 5 9 F i g u r e 4 1 4 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V 5 9 F i g u r e 4 1 5 R e s i d u a l R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V 6 0 F i g u r e 4 1 6 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e V I 6 1 F i g u r e 4 1 7 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I 6 2 F i g u r e 4 1 8 R e s i d u a l R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I 6 2 F i g u r e 4 1 9 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e V I I 6 4 F i g u r e 4 2 0 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I I 6 4 F i g u r e 4 2 1 R e s i d u a l R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I I 6 5 F i g u r e 4 2 2 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e V I I I 6 6 F i g u r e 4 2 3 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I I I 6 7 F i g u r e 4 2 4 R e s i d u a l R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I I I 6 7 F i g u r e 4 2 5 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I X 6 9

PAGE 8

v i F i g u r e 4 2 6 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I X 6 9 F i g u r e 4 2 7 R e s i d u a l R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I X 7 0 F i g u r e 4 2 8 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e X 7 1 F i g u r e 4 2 9 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e X 7 2 F i g u r e 4 3 0 R e s i d u a l R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e X 7 2

PAGE 9

v i i S Y M B O L I C R E G R E S S I O N O F T H E R M O P H Y S I C A L M O D E L U S I N G G E N E T I C P R O G R A M M I N G Y i n g Z h a n g A B S T R A C T T h e s y m b o l i c r e g r e s s i o n p r o b l e m i s t o f i n d a f u n c t i o n i n s y m b o l i c f o r m t h a t f i t s a g i v e n d a t a s e t S y m b o l i c r e g r e s s i o n p r o v i d e s a m e a n s f o r f u n c t i o n i d e n t i f i c a t i o n T h i s r e s e a r c h d e s c r i b e s a n a d a p t i v e h y b r i d s y s t e m f o r s y m b o l i c f u n c t i o n i d e n t i f i c a t i o n o f t h e r m o p h y s i c a l m o d e l t h a t c o m b i n e s t h e g e n e t i c p r o g r a m m i n g a n d a m o d i f i e d M a r q u a r d t n o n l i n e a r r e g r e s s i o n a l g o r i t h m G e n e t i c P r o g r a m m i n g ( G P ) s y s t e m c a n e x t r a c t k n o w l e d g e f r o m t h e d a t a i n t h e f o r m o f s y m b o l i c e x p r e s s i o n s i e a t r e e s t r u c t u r e t h a t a r e u s e d t o m o d e l a n d d e r i v e e q u a t i o n o f s t a t e m i x i n g r u l e s a n d p h a s e b e h a v i o r f r o m t h e e x p e r i m e n t a l d a t a ( p r o p e r t i e s e s t i m a t i o n ) D u r i n g t h e a u t o m a t i c e v o l u t i o n p r o c e s s o f G P t h e f u n c t i o n s t r u c t u r e o f g e n e r a t e d i n d i v i d u a l m o d u l e c o u l d b e h i g h l y c o m p l i c a t e d T o e n s u r e t h e c o n v e r g e n c e o f t h e r e g r e s s i o n a m o d i f i e d M a r q u a r d t r e g r e s s i o n a l g o r i t h m i s u s e d T w o s t o p c r i t e r i a a r e a t t a c h e d t o t h e t r a d i t i o n a l M a r q u a r d t a l g o r i t h m t o e n f o r c e t h e a l g o r i t h m r e p e a t t h e r e g r e s s i o n p r o c e s s b e f o r e i t s t o p s S t a t i s t i c a n a l y s i s i s a p p l i e d t o t h e f i t t e d m o d e l R e s i d u a l p l o t i s u s e d t o t e s t t h e g o o d n e s s o f f i t T h e 2 c t e s t i s u s e d t o t e s t t h e m o d e l ’ s a d e q u a c y

PAGE 10

v i i i T e n e x p e r i m e n t s a r e r u n w i t h d i f f e r e n t f o r m o f i n p u t v a r i a b l e s n u m b e r o f d a t a p o i n t s s t a n d a r d e r r o r s a d d e d t o d a t a s e t a n d f i t n e s s f u n c t i o n s T h e r e s u l t s s h o w t h a t t h e s y s t e m i s a b l e t o f i n d m o d e l s a n d o p t i m i z e f o r i t s p a r a m e t e r s s u c c e s s f u l l y

PAGE 11

1 C H A P T E R O N E I N T R O D U C T I O N T h e a p p r o a c h e s f o r m o d e l i n g o f c h e m i c a l p r o c e s s e s h a v e u n d e r g o n e s i g n i f i c a n t c h a n g e s i n t h e l a s t t h r e e d e c a d e s T h e s e a p p r o a c h e s a r e m a i n l y d i v i d e d i n t o t w o g e n e r i c c a t e g o r i e s O n e i s m e c h a n i s t i c m o d e l i n g w h e r e s u b s t a n t i a l a m o u n t o f f i r s t p r i n c i p l e s k n o w l e d g e i s u s e d a s t h e b a s i s T h e o t h e r o n e i s e m p i r i c a l m o d e l i n g i e d a t a d r i v e n m o d e l i n g w h e r e t h e m o d e l s t r u c t u r e a n d p a r a m e t e r s a r e s e l e c t e d s o a s t o r e p r e s e n t t h e p r o c e s s d a t a a c c u r a t e l y D a t a d r i v e n m o d e l i n g t e c h n i q u e s h a v e b e e n p o p u l a r f o r m a n y d e c a d e s T h e y a r e m o r e c o s t e f f e c t i v e c o m p a r e d t o t h e d e v e l o p m e n t o f m e c h a n i s t i c m o d e l s e s p e c i a l l y w h e n f i r s t p r i n c i p l e s a r e n o t s u f f i c i e n t t o r e p r e s e n t r e a l w o r l d p r o b l e m s F u r t h e r m o r e t h e s e m e c h a n i s t i c m o d e l s a r e h i g h l y n o n l i n e a r a n d c o m p l e x w h i c h m a k e s t h e m d i f f i c u l t t o i d e n t i f y [ R a m i r e z 1 9 8 9 ] C u r r e n t l y t h e m a j o r i t y o f d a t a d r i v e n m o d e l i n g m e t h o d s c a n b e f u r t h e r c a t e g o r i z e d u n d e r t w o h e a d i n g s [ P y h n e n 1 9 9 6 ] : s t a t i s t i c a l m e t h o d s a n d a r t i f i c i a l n e u r a l n e t w o r k s N e u r a l n e t w o r k s u s u a l l y p r o v i d e m o d e l s t h a t a r e a c c u r a t e i n r e p r e s e n t i n g t h e d a t a b u t t h e y d o n t g i v e a n y i n s i g h t i n t o t h e s t r u c t u r e o f t h e p r o c e s s T h e y a r e c o m m o n l y c l a s s i f i e d b l a c k b o x a n d o n e c a n n o t a b s t r a c t t h e u n d e r l y i n g p h y s i c a l r e l a t i o n s h i p s b e t w e e n i n p u t a n d o u t p u t d a t a I t i s o f t e n d e s i r a b l e t o g a i n s o m e i n s i g h t i n t o t h e u n d e r l y i n g p r o c e s s s t r u c t u r e s a s w e l l a s m a k e a c c u r a t e n u m e r i c p r e d i c t i o n s

PAGE 12

2 T h e r e f o r e t h e o b j e c t i v e o f t h i s w o r k i s t o p r o d u c e i n p u t o u t p u t m o d e l s w i t h r e l a t i v e l y s i m p l e t r a n s p a r e n t s t r u c t u r e s u s i n g a n o v e l a p p r o a c h w h i c h o f f e r s a u s e f u l a l t e r n a t i v e t o p o p u l a r d a t a b a s e d m o d e l i n g m e t h o d o l o g i e s A p r i m a r y c l a s s i f i c a t i o n u s e d f o r p r o p e r t y a n d p r o c e s s m o d e l s i n c h e m i c a l e n g i n e e r i n g i s a l g e b r a i c v e r s u s d i f f e r e n t i a l e q u a t i o n m o d e l s [ F r a n k s 1 9 6 7 ] T h e m a t h e m a t i c a l m o d e l s a r e e i t h e r c o m p r i s e d o f a s e t o f a l g e b r a i c e q u a t i o n s f o r s t e a d y s t a t e p r o p e r t i e s o r b y a s e t o f o r d i n a r y d i f f e r e n t i a l e q u a t i o n s ( O D E ) c o u p l e d w i t h a l g e b r a i c e q u a t i o n f o r d y n a m i c m o d e l s o r p a r t i a l d i f f e r e n t i a l e q u a t i o n s ( P D E ) f o r d i s t r i b u t e d m o d e l s T h e m a j o r i t y o f m a t h e m a t i c a l m o d e l s f o r p h y s i c a l o r e n g i n e e r e d s y s t e m s c a n b e c l a s s i f i e d i n o n e o f t h e s e t h r e e c a t e g o r i e s A l g e b r a i c e q u a t i o n m o d e l s m a y c o v e r m a n y c a s e s s u c h a s [ E n g l e z o s 2 0 0 1 ] : T y p e I : A m o d e l w i t h a s i n g l e d e p e n d e n t v a r i a b l e a n d a s i n g l e i n d e p e n d e n t v a r i a b l e F o r e x a m p l e h e a t c a p a c i t y m o d e l f o r i d e a l g a s i s a f u n c t i o n o f t e m p e r a t u r e T y p e I I : A m o d e l w i t h a d e p e n d e n t v a r i a b l e a n d s e v e r a l i n d e p e n d e n t v a r i a b l e s f o r e x a m p l e a s i n g l e p r e s s u r e e x p l i c i t e q u a t i o n o f s t a t e ( E O S ) w h i c h i s e m p l o y e d f o r t h e c a l c u l a t i o n o f f l u i d p h a s e e q u i l i b r i u m a n d t h e r m o p h y s i c a l p r o p e r t i e s r e q u i r e d i n t h e d e s i g n o f p r o c e s s e s i n v o l v i n g n o n i d e a l f l u i d m i x t u r e s M a t h e m a t i c a l l y a p r e s s u r e e x p l i c i t E O S e x p r e s s e s t h e r e l a t i o n s h i p a m o n g p r e s s u r e v o l u m e t e m p e r a t u r e a n d c o m p o s i t i o n f o r a f l u i d m i x t u r e

PAGE 13

3 T y p e I I I : T h e m o d e l w i t h m u l t i p l e d e p e n d e n t v a r i a b l e s a n d s e v e r a l i n d e p e n d e n t v a r i a b l e s F o r e x a m p l e i n t h e r m o p h y s i c a l m o d e l s t h e d e r i v e d t h e r m o p h y s i c a l p r o p e r t i e s s u c h a s E n t h a l p y ( H ) a n d e n t r o p y ( S ) a r e c o u p l e d w i t h p r e s s u r e e x p l i c i t E O S A n o t h e r e x a m p l e i s c h e m i c a l k i n e t i c s m o d e l s w h e r e m u l t i p l e r e a c t i o n s a r e c o u p l e d t h r o u g h c o n c e n t r a t i o n o f s p e c i e s T h e a i m o f t h i s w o r k i s t o d e v e l o p a m e t h o d o l o g y w h i c h u s e s g e n e t i c o p e r a t i o n s i n o r d e r t o f i n d a s y m b o l i c r e l a t i o n s h i p b e t w e e n a s i n g l e r e s p o n s e a n d s i n g l e i n d e p e n d e n t v a r i a b l e T y p e I t h a t d e s c r i b e s t h e r e l a t i o n s h i p b e t w e e n i n p u t a n d o u t p u t d a t a T h e s t r u c t u r e a n d h e n c e t h e c o m p l e x i t y o f t h e m o d e l o r t h e e q u a t i o n i s n o t s p e c i f i e d l i k e i n t h e c o n v e n t i o n a l r e g r e s s i o n w h i c h s e e k s t o f i n d t h e b e s t s e t o f p a r a m e t e r s f o r a p r e s p e c i f i e d m o d e l T h i s n e w t e c h n i q u e i s c a l l e d s y m b o l i c r e g r e s s i o n w h i c h i s s e e k i n g a m a t h e m a t i c a l e x p r e s s i o n i n s y m b o l i c f o r m w h i c h f i t s o r a p p r o x i m a t e s a g i v e n s a m p l e o f d a t a S y m b o l i c r e g r e s s i o n d i f f e r s f r o m c o n v e n t i o n a l r e g r e s s i o n m e t h o d i n t h e w a y t h a t t h e m o d e l i s s p e c i f i e d i n a d v a n c e b y t h e u s e r I n c o n v e n t i o n a l r e g r e s s i o n a g i v e n s e t o f v a l u e s o f v a r i o u s i n d e p e n d e n t v a r i a b l e ( s ) m o d e l a n d t h e c o r r e s p o n d i n g v a l u e s f o r t h e d e p e n d e n t v a r i a b l e ( s ) O n e f i n d s t h e b e s t s e t o f p a r a m e t e r s t h a t r e p r e s e n t t h e d a t a T h e m o d e l i s s e l e c t e d a p r i o r i a n d i t s a d e q u a c y i s t e s t e d t h r o u g h p o s t a n a l y s i s t h a t a l l o w s m o d e l d i s c r i m i n a t i o n G e n e t i c P r o g r a m m i n g a l l o w s o p t i m i z a t i o n o f a t r e e s t r u c t u r e o r f u n c t i o n s t r u c t u r e T h i s t r e e s t r u c t u r e i s o f v a r i a b l e l e n g t h a n d i s c o n s t r u c t e d o f n o d e s T h e t e r m i n a l n o d e s

PAGE 14

4 c a n b e i n p u t v a r i a b l e s p a r a m e t e r s o r c o n s t a n t s T h e n o n t e r m i n a l n o d e s a r e s t a n d a r d l i b r a r y f u n c t i o n s l i k e + , / E a c h s t r u c t u r e i s o n e p o s s i b l e d e s c r i p t i o n o f t h e e q u a t i o n G e n e t i c p r o g r a m m i n g w o r k s b y e m u l a t i n g n a t u r a l e v o l u t i o n t o g e n e r a t e a n o p t i m u m m o d e l s t r u c t u r e t h a t b e s t m a x i m i z e s s o m e f i t n e s s f u n c t i o n M o d e l s t r u c t u r e s e v o l v e t h r o u g h t h e a c t i o n o f o p e r a t o r s k n o w n a s r e p r o d u c t i o n c r o s s o v e r a n d m u t a t i o n C r o s s o v e r i n v o l v e s t h e b r a n c h e s f r o m t w o p a r e n t s t r u c t u r e s b e i n g i n t e r c h a n g e d M u t a t i o n m e a n s t h e c r e a t i o n o f a c o m p l e t e l y n e w b r a n c h d e t e r m i n e d a t r a n d o m A t e a c h g e n e r a t i o n a p o p u l a t i o n o f m o d e l s t r u c t u r e s u n d e r g o e s c r o s s o v e r m u t a t i o n a n d s e l e c t i o n a n d t h e n a f i t n e s s f u n c t i o n i s e v a l u a t e d T h e s e o p e r a t o r s i m p r o v e t h e g e n e r a l f i t n e s s o f t h e p o p u l a t i o n B a s e d o n f i t n e s s t h e n e x t g e n e r a t i o n i s s e l e c t e d f r o m t h e p o o l o f o l d a n d n e w s t r u c t u r e s T h e p r o c e s s r e p e a t s u n t i l s o m e c o n v e r g e n c e c r i t e r i o n i s s a t i s f i e d G e n e t i c P r o g r a m m i n g s y s t e m c a n e x t r a c t k n o w l e d g e f r o m t h e d a t a i n t h e f o r m o f s y m b o l i c e x p r e s s i o n s i e a t r e e s t r u c t u r e t h a t a r e u s e d t o m o d e l a n d d e r i v e e q u a t i o n o f s t a t e m i x i n g r u l e s a n d p h a s e b e h a v i o r f r o m t h e e x p e r i m e n t a l d a t a ( p r o p e r t i e s e s t i m a t i o n ) S y m b o l i c r e g r e s s i o n i s t h e p r o c e s s o f d i s c o v e r i n g b o t h t h e f u n c t i o n a l f o r m o f a t a r g e t f u n c t i o n a n d a l l o f i t s n e c e s s a r y c o e f f i c i e n t s o r a t l e a s t a n a p p r o x i m a t i o n t o t h e s e T h i s i s d i s t i n c t f r o m o t h e r f o r m s o f r e g r e s s i o n s u c h a s p o l y n o m i a l o f a p r e s p e c i f i e d o r d e r T h u s w i t h G P m e t h o d s y m b o l i c r e g r e s s i o n h a s t h e a d v a n t a g e t h a t n o a p r i o r i m o d e l i n g a s s u m p t i o n s h a v e t o b e m a d e f o r t h e u n k n o w n s y s t e m T h e t w o t i e r a p p r o a c h p r o p o s e d i n t h i s r e s e a r c h a l s o c o m b i n e s t h e e v o l u t i o n a r y s e a r c h o f s y m b o l i c r e g r e s s i o n u s i n g g e n e t i c p r o g r a m m i n g ( G P ) w i t h t h e p a r a m e t e r o p t i m i z a t i o n o f n u m e r i c a l r e g r e s s i o n m e t h o d M a r q u a r d t T h e i d e a o f t h e a l g o r i t h m i s t o

PAGE 15

5 e m b e d M a r q u a r d t m e t h o d i n t o G P w h e r e G P i s e m p l o y e d t o o p t i m i z e t h e s t r u c t u r e o f a m o d e l w h i l e M a r q u a r d t i s e m p l o y e d t o o p t i m i z e i t s p a r a m e t e r I n o t h e r w o r d s t h e a p p r o a c h m a i n l y c o n s i s t s o f t w o s t e p s : o n e i s t h e e v o l u t i o n a r y m o d e l i n g p r o c e s s u s e d t o o p t i m i z e t h e s t r u c t u r e o f m o d e l s b a s e d o n G P a n d t h e o t h e r i s t h e p a r a m e t e r o p t i m i z a t i o n p r o c e s s u s e d t o o p t i m i z e t h e p a r a m e t e r s o f a m o d e l b a s e d o n M a r q u a r d t T h e n u m b e r o f p a r a m e t e r s i s u n k n o w n a n d d e t e r m i n e d f o r e a c h s t e p w i t h i n t h e a l g o r i t h m C h a p t e r 2 g i v e s a n o v e r v i e w o n d a t a m i n i n g s t a t i s t i c a n a l y s i s n o n l i n e a r r e g r e s s i o n m e t h o d e v o l u t i o n a r y a l g o r i t h m s s p e c i f i c a l l y g e n e t i c p r o g r a m m i n g a n d t h e a p p l i c a t i o n o f i n t e l l i g e n t s y s t e m i n c h e m i c a l e n g i n e e r i n g C h a p t e r 3 d e s c r i b e s t h e s y s t e m s t r u c t u r e a n d t h e i m p l e m e n t p r o c e d u r e R e s u l t s a r e d e m o n s t r a t e d i n C h a p t e r 4 F i n a l l y c o n c l u s i o n a n d r e c o m m e n d a t i o n s a r e p r e s e n t e d i n C h a p t e r 5

PAGE 16

6 C H A P T E R T W O L I T E R A T U R E R E V I E W T h i s c h a p t e r i s d i v i d e d i n t o f o u r s e c t i o n s T h e f i r s t s e c t i o n b e g i n s w i t h a n o v e r v i e w o n d a t a m i n i n g T h e s e c o n d s e c t i o n d e s c r i b e s t h e d e v e l o p m e n t o f e v o l u t i o n a r y a l g o r i t h m s a n d c o m p a r i s o n o f d i f f e r e n t e v o l u t i o n a r y a l g o r i t h m s M o r e e m p h a s i s i s g i v e n t o g e n e t i c p r o g r a m m i n g A t t h e e n d o f t h i s s e c t i o n a b r i e f s u m m a r y o f a p p l i c a t i o n s o f i n t e l l i g e n t s y s t e m i n c h e m i c a l e n g i n e e r i n g i s g i v e n I n t h e t h i r d s e c t i o n s o m e p o p u l a r o p t i m i z a t i o n m e t h o d s a n d p e r t i n e n t o b j e c t i v e f u n c t i o n s ( c r i t e r i a ) a r e d e s c r i b e d I n t h e l a s t s e c t i o n o f t h i s c h a p t e r t h e s t a t i s t i c a n a l y s i s f o r m o d e l i d e n t i f i c a t i o n a n d d i s c r i m i n a t i o n i s g i v e n 2 1 A n O v e r v i e w o f D a t a M i n i n g D a t a m i n i n g i s t h e a n a l y s i s o f d a t a s e t s t o f i n d n e w a n d n o v e l r e l a t i o n s h i p s T h e y a r e u s e f u l i n c o n s o l i d a t i o n a n d s u m m a r y o f t h e d a t a i n a n e f f o r t t o e n a b l e t h e i r u n d e r s t a n d a b l e a n d u s e f u l r e p r e s e n t a t i o n B a s e d o n d i f f e r e n t o b j e c t i v e s i t c a n b e c a t e g o r i z e d i n t o t h e f o l l o w i n g t y p e s o f t a s k s [ H a n d e t a l 2 0 0 1 ] : E x p l o r a t o r y d a t a A n a l y s i s ( E D A ) — t h e g o a l h e r e i s s i m p l y t o e x p l o r e t h e d a t a w i t h o u t a n y c l e a r i d e a s o f w h a t w e a r e l o o k i n g f o r T y p i c a l l y E D A t e c h n i q u e s a r e i n t e r a c t i v e a n d v i s u a l a n d t h e r e a r e m a n y e f f e c t i v e

PAGE 17

7 g r a p h i c a l d i s p l a y m e t h o d s f o r r e l a t i v e l y s m a l l l o w d i m e n s i o n a l d a t a s e t s A s t h e d i m e n s i o n a l i t y i n c r e a s e s i t b e c o m e s m u c h m o r e d i f f i c u l t t o v i s u a l i z e t h e c l o u d o f p o i n t s i n n s p a c e S o t h e p r o j e c t i o n t e c h n i q u e s t h a t p r o d u c e i n f o r m a t i v e l o w d i m e n s i o n a l p r o j e c t i o n s o f t h e d a t a a r e n e e d e d D e s c r i p t i v e m o d e l i n g — T h e g o a l o f a d e s c r i p t i v e m o d e l i s t o d e s c r i b e a l l o f t h e d a t a E x a m p l e s o f s u c h d e s c r i p t i o n s i n c l u d e m o d e l s f o r t h e o v e r a l l p r o b a b i l i t y d i s t r i b u t i o n o f t h e d a t a ( d e n s i t y e s t i m a t i o n ) p a r t i t i o n i n g o f t h e n d i m e n s i o n a l s p a c e i n t o g r o u p s ( c l u s t e r a n a l y s i s a n d s e g m e n t a t i o n ) a n d m o d e l s d e s c r i b i n g t h e r e l a t i o n s h i p b e t w e e n v a r i a b l e s ( d e p e n d e n c y m o d e l i n g ) P r e d i c t i v e m o d e l i n g : C l a s s i f i c a t i o n a n d R e g r e s s i o n — T h e a i m h e r e i s t o b u i l d a m o d e l t h a t w i l l p e r m i t t h e v a l u e o f o n e v a r i a b l e t o b e p r e d i c t e d f r o m t h e k n o w n v a l u e s o f o t h e r v a r i a b l e s I n c l a s s i f i c a t i o n t h e v a r i a b l e b e i n g p r e d i c t e d i s c a t e g o r i c a l w h i l e i n r e g r e s s i o n t h e v a r i a b l e i s q u a n t i t a t i v e T h e k e y d i s t i n c t i o n b e t w e e n p r e d i c t i o n a n d d e s c r i p t i o n i s t h a t p r e d i c t i o n h a s a s i t s o b j e c t i v e a u n i q u e v a r i a b l e w h i l e i n d e s c r i p t i v e p r o b l e m s n o s i n g l e v a r i a b l e i s c e n t r a l t o t h e m o d e l D i s c o v e r i n g P a t t e r n s a n d R u l e s — t h e t h r e e t y p e s o f t a s k s l i s t e d a b o v e a r e c o n c e r n e d w i t h m o d e l b u i l d i n g O t h e r d a t a m i n i n g a p p l i c a t i o n s a r e c o n c e r n e d w i t h p a t t e r n d e t e c t i o n

PAGE 18

8 R e t r i e v a l b y C o n t e n t — h e r e t h e u s e r h a s a p a t t e r n o f i n t e r e s t a n d w i s h e s t o f i n d s i m i l a r p a t t e r n s i n t h e d a t a s e t T h i s t a s k i s m o s t o f t e n u s e d f o r t e s t a n d i m a g e d a t a s e t s D a t a m i n i n g i s a t h e p r o c e s s o f s e e k i n g r e l a t i o n s h i p s w i t h i n a d a t a s e t – o f s e e k i n g a c c u r a t e c o n v e n i e n t a n d u s e f u l s u m m a r y r e p r e s e n t a t i o n s o f s o m e a s p e c t o f t h e d a t a I t i n v o l v e s a n u m b e r o f s t e p s [ T h u r a i s i n g h a m 1 9 9 9 ] F o r t h e s a k e o f s i m p l i c i t y t h e s e s t e p s c a n b e r o u g h l y c a t e g o r i z e d i n t o : d a t a p r e p r o c e s s i n g m i n i n g d a t a a n d p o s t p r o c e s s i n g T h e s i m p l i f i e d f l o w c h a r t i s s h o w n i n F i g 2 1 r a w d a t a m o d e l O b j e c t i v e s F i g u r e 2 1 D a t a M i n i n g P r o c e d u r e 2 1 1 D a t a P r e p r o c e s s i n g G e n e r a l l y t h e d a t a t o b e m i n e d m a y b e c h a r a c t e r i z e d a s t h e h u g e v o l u m e i n c o m p l e t e o r i m p r e c i s e n o i s y m i s s i n g v a l u e s r e d u n d a n t o r i n s i g n i f i c a n t T o g e t a b e t t e r m i n i n g r e s u l t t h e d a t a w i l l b e p r e p r o c e s s e d t o e l i m i n a t e t h o s e d a t a p o i n t s I n o t h e r w o r d s D a t a M i n i n g T a s k s : E D A D e s c r i p t i v e m o d e l i n g P r e d i c t i v e m o d e l i n g D i s c o v e r i n g p a t t e r n s a n d r u l e s D a t a P r e p r o c e s s i n g T o c l e a n o u t : i n c o m p l e t e / i m p r e c i s e d a t a n o i s y d a t a M i s s i n g a t t r i b u t e v a l u e s R e d u n d a n t o r i n s i g n i f i c a n t d a t a D M t e c h n i q u e s : S t a t i s t i c s / r e g r e s s i o n / o p t i m i z a t i o n E v o l u t i o n a r y c o m p u t i n g N e u r a l n e t w o r k s M a c h i n e l e a r n i n g E x a m i n e r e s u l t s : M o d e l T e s t i n g & S t a t i s t i c s A n a l y s i s :

PAGE 19

9 p r e p r o c e s s i n g i s a s e q u e n c e o f o p e r a t i o n s c o n v e r t i n g r a w d a t a i n t o d a t a r e p r e s e n t a t i o n s u i t a b l e f o r p r o c e s s i n g t a s k s ( l i k e p r e d i c t i o n ) D a t a p r e p a r a t i o n i s o n e o f t h e m o s t i m p o r t a n t s t e p s i n t h e m o d e l d e v e l o p m e n t p r o c e s s F r o m t h e s i m p l e s t a n a l y s i s t o t h e m o s t c o m p l e x m o d e l t h e q u a l i t y o f t h e d a t a u s e d i s v i t a l t o t h e s u c c e s s o f t h e m o d e l i n g O n c e t h e d a t a i s c l e a n e d t h e n t h e d a t a s e t i s w o r t h y o f m o d e l i n g D a t a p r e p r o c e s s i n g i n c l u d e s t h e f o l l o w i n g s t e p s [ F r e i t a s 2 0 0 2 ] : D a t a i n t e g r a t i o n — t h i s i s n e c e s s a r y i f t h e d a t a t o b e m i n e d c o m e s f r o m s e v e r a l d i f f e r e n t s o u r c e s T h i s s t e p i n v o l v e s f o r i n s t a n c e r e m o v i n g i n c o n s i s t e n c i e s i n a t t r i b u t e n a m e s o r a t t r i b u t e v a l u e n a m e s b e t w e e n d a t a s e t s o f d i f f e r e n t s o u r c e s D a t a c l e a n i n g — i t i s i m p o r t a n t t o m a k e s u r e t h a t t h e d a t a t o b e m i n e d i s a s a c c u r a t e a s p o s s i b l e T h i s s t e p m a y i n v o l v e d e t e c t i n g a n d c o r r e c t i n g e r r o r s i n t h e d a t a f i l l i n g i n m i s s i n g v a l u e s e t c A t t r i b u t e s e l e c t i o n ( s e l e c t t h e v a r i a b l e ) — t h i s s t e p c o n s i s t s o f s e l e c t i n g a s u b s e t o f a t t r i b u t e s ( v a r i a b l e s ) r e l e v a n t f o r m i n i n g t h e d a t a a m o n g a l l o r i g i n a l a t t r i b u t e s 2 1 2 M i n i n g D a t a T e c h n i q u e s D a t a m i n i n g t e c h n i q u e s a r e n u m e r o u s T h e s e i n c l u d e B a y e s i a n m e t h o d m a c h i n e l e a r n i n g n e u r a l n e t w o r k e v o l u t i o n a r y t e c h n i q u e s a n d o t h e r s [ T h u r a i s i n g h a m 1 9 9 9 ] O n e p o p u l a r c l a s s o f d a t a m i n i n g t e c h n i q u e s h a s c o m e t o b e c a l l e d m a r k e t b a s k e t a n a l y s i s T h e s e a r e t e c h n i q u e s t h a t g r o u p i t e m s t o g e t h e r f o r e x a m p l e w h i c h i t e m s g o

PAGE 20

1 0 t o g e t h e r w h o t r a v e l s w i t h w h o m t o g e t h e r e t c T h e a c t u a l t e c h n i q u e s e m p l o y e d t o d o m a r k e t b a s k e t a n a l y s i s a r e i n t e l l i g e n t s e a r c h i n g a n d p r u n i n g t h e s e a r c h M a n y o f t h e i n t e l l i g e n t s e a r c h t e c h n i q u e s t h a t w e r e d e v e l o p e d f o r a r t i f i c i a l i n t e l l i g e n c e a r e b e i n g e m p l o y e d f o r m a r k e t b a s k e t a n a l y s i s A n o t h e r d a t a m i n i n g t e c h n i q u e i s d e c i s i o n t r e e s T h i s i s a m a c h i n e l e a r n i n g t e c h n i q u e a n d i s u s e d e x t e n s i v e l y f o r c l a s s i f i c a t i o n D a t a a r e d i v i d e d i n t o g r o u p s b a s e d o n s o m e a t t r i b u t e v a l u e S u b s e q u e n t l y a t r e e s t r u c t u r e i s f o r m e d w i t h l e a v e s a t t h e e n d ; t h e d e c i s i o n t r e e i s t h e n u s e d f o r t r a i n i n g S u b s e q u e n t l y a s n e w d a t a a p p e a r s t o b e a n a l y z e d t h e t r a i n i n g e x a m p l e s a r e u s e d t o c l a s s i f y t h e d a t a N e u r a l n e t w o r k s h a v e b e e n f o u n d t o b e u s e f u l b e c a u s e o f t h e i r l e a r n i n g a n d g e n e r a l i z a t i o n a b i l i t i e s N e u r a l n e t w o r k s a r e a n o t h e r p o p u l a r d a t a m i n i n g t e c h n i q u e t h a t h a s b e e n a r o u n d f o r w h i l e A n e u r a l n e t w o r k i s e s s e n t i a l l y a c o l l e c t i o n o f i n p u t s s i g n a l s n o d e s a n d o u t p u t s i g n a l s T h e s e s y s t e m s a r e f i r s t t r a i n e d w i t h t r a i n i n g s e t s a n d e x a m p l e s O n c e t h e l e a r n i n g i s o v e r n e w p a t t e r n s a r e g i v e n t o t h e n e t w o r k T h e n e t w o r k t h e n u s e s i t s t r a i n i n g e x p e r i e n c e t o a n a l y z e t h e n e w d a t a I t m a y b e u s e d f o r c l u s t e r i n g i d e n t i f y i n g e n t i t i e s d e v i a t i o n a n a l y s i s a n d v a r i o u s o t h e r d a t a m i n i n g t a s k s I n d u c t i v e l o g i c p r o g r a m m i n g i s a m a c h i n e l e a r n i n g t e c h n i q u e I t o r i g i n a t e d f r o m l o g i c p r o g r a m m i n g I n s t e a d o f d e d u c i n g n e w d a t a f r o m e x i s t i n g d a t a a n d r u l e s i n d u c t i v e l o g i c p r o g r a m m i n g i s a l l a b o u t i n d u c i n g r u l e s f r o m a n a l y z i n g d a t a T h e t h e o r y i s w e l l d e v e l o p e d I n d u c t i v e l o g i c p r o g r a m m i n g u s e s a v a r i a t i o n o f t h e r e s o l u t i o n p r i n c i p l e i n t h e o r e m p r o v i n g f o r d i s c o v e r i n g r u l e s

PAGE 21

1 1 S e v e r a l o t h e r d a t a m i n i n g t e c h n i q u e s a r e i n u s e t o d a y T h e y i n c l u d e a u t o m a t i c c l u s t e r d e t e c t i o n t e c h n i q u e s w h i c h a r e a c o l l e c t i o n o f t e c h n i q u e s t o f i n d c l u s t e r s ; n e a r e s t n e i g h b o r t e c h n i q u e s w h i c h a r e a c o l l e c t i o n o f t e c h n i q u e s t h a t a n a l y z e s n e w d a t a b a s e d o n i t s n e i g h b o r s E v o l u t i o n a r y t e c h n i q u e s a r e a n e s s e n t i a l t o o l f o r s t r u c t u r a l a n d p a r a m e t r i c o p t i m i z a t i o n T h e t h r e e i m p o r t a n t e v o l u t i o n a r y a l g o r i t h m s a r e : e v o l u t i o n a r y p r o g r a m m i n g [ F o g e l e t a l 1 9 6 6 ] g e n e t i c a l g o r i t h m [ H o l l a n d 1 9 7 5 ] a n d g e n e t i c p r o g r a m m i n g [ K o z a 1 9 9 2 ] T h e d e t a i l o f E v o l u t i o n a r y C o m p u t i n g w i l l b e g i v e n i n n e x t s e c t i o n 2 2 A n O v e r v i e w o f E v o l u t i o n a r y A l g o r i t h m s R e c e n t l y d u e t o t h e m e r i t s o f s e l f a d a p t a t i o n s e l f o r g a n i z a t i o n s e l f l e a r n i n g a n d g e n e r a l i t y e v o l u t i o n a r y a l g o r i t h m s ( E A s ) h a v e b e e n s u c c e s s f u l l y a p p l i e d i n a w i d e r a n g e o f e c o n o m i c e n g i n e e r i n g a n d s c i e n t i f i c c o m p u t a t i o n s [ G o l d b e r g 1 9 8 9 ; M i t c h e l l 1 9 9 6 ] E A s a r e a d a p t i v e m e t h o d s f o r s o l v i n g c o m p u t a t i o n a l p r o b l e m s i n m a n y f i e l d s w h i c h m i m i c t h e p r o c e s s o f b i o l o g i c a l e v o l u t i o n a n d t h e m e c h a n i s m s o f n a t u r a l s e l e c t i o n a n d g e n e t i c v a r i a t i o n T h e y u s e s u i t a b l e c o d i n g s t o r e p r e s e n t p o s s i b l e s o l u t i o n s t o a p r o b l e m a n d g u i d e t h e s e a r c h b y u s i n g s o m e g e n e t i c o p e r a t o r s a n d t h e p r i n c i p l e o f “ s u r v i v a l o f t h e f i t t e s t ” E A s o r i g i n a l l y c o n s i s t o f t w o n o t a b l e b r a n c h e s n a m e l y e v o l u t i o n a r y p r o g r a m m i n g ( E P ) [ F o g e l e t a l 1 9 6 6 ] a n d g e n e t i c a l g o r i t h m s ( G A s ) [ H o l l a n d 1 9 7 5 ] I n t h e 1 9 9 0 s a n e w b r a n c h c a l l e d g e n e t i c p r o g r a m m i n g ( G P ) w a s a d d e d t o t h e g r o u p w h i c h w a s i n t r o d u c e d b y J o h n K o z a [ K o z a 1 9 9 2 1 9 9 4 ] G P i s a n e x t e n s i o n o f J o h n H o l l a n d ’ s G A i n w h i c h t h e g e n e t i c p o p u l a t i o n c o n s i s t s o f c o m p u t e r p r o g r a m s o f v a r y i n g s i z e s a n d s h a p e s

PAGE 22

1 2 2 2 1 E v o l u t i o n a r y P r o g r a m m i n g E v o l u t i o n a r y P r o g r a m m i n g o r i g i n a l l y c o n c e i v e d b y L a w r e n c e J F o g e l i n 1 9 6 0 ’ s i s a s t o c h a s t i c o p t i m i z a t i o n s t r a t e g y s i m i l a r t o g e n e t i c a l g o r i t h m b u t i n s t e a d p l a c e s e m p h a s i s o n t h e b e h a v i o r a l l i n k a g e b e t w e e n p a r e n t s a n d t h e i r o f f s p r i n g r a t h e r t h a n s e e k i n g t o e m u l a t e s p e c i f i c g e n e t i c o p e r a t o r s a s o b s e r v e d i n n a t u r e F o r E P l i k e G A s t h e r e i s a n u n d e r l y i n g a s s u m p t i o n t h a t a f i t n e s s l a n d s c a p e c a n b e c h a r a c t e r i z e d i n t e r m s o f v a r i a b l e s a n d t h a t t h e r e i s a n o p t i m u m s o l u t i o n ( o r m u l t i p l e s u c h o p t i m a ) i n t e r m s o f t h o s e v a r i a b l e s T h e b a s i c E P m e t h o d i n v o l v e s 3 s t e p s ( R e p e a t u n t i l a t h r e s h o l d f o r i t e r a t i o n i s e x c e e d e d o r a n a d e q u a t e s o l u t i o n i s o b t a i n e d ) : C h o o s e a n i n i t i a l p o p u l a t i o n o f t r i a l s o l u t i o n s a t r a n d o m T h e n u m b e r o f s o l u t i o n s i n a p o p u l a t i o n i s h i g h l y r e l e v a n t t o t h e s p e e d o f o p t i m i z a t i o n b u t n o d e f i n i t e a n s w e r s a r e a v a i l a b l e a s t o h o w m a n y s o l u t i o n s a r e a p p r o p r i a t e a n d h o w m a n y s o l u t i o n s a r e j u s t w a s t e f u l E a c h s o l u t i o n i s r e p l i c a t e d i n t o a n e w p o p u l a t i o n E a c h o f t h e s e o f f s p r i n g s o l u t i o n s a r e m u t a t e d a c c o r d i n g t o a d i s t r i b u t i o n o f m u t a t i o n t y p e s r a n g i n g f r o m m i n o r t o e x t r e m e w i t h a c o n t i n u u m o f m u t a t i o n t y p e s b e t w e e n T h e s e v e r i t y o f m u t a t i o n i s j u d g e d o n t h e b a s i s o f t h e f u n c t i o n a l c h a n g e i m p o s e d o n t h e p a r e n t s

PAGE 23

1 3 E a c h o f f s p r i n g s o l u t i o n i s a s s e s s e d b y c o m p u t i n g i t s f i t n e s s T y p i c a l l y a s t o c h a s t i c t o u r n a m e n t i s h e l d t o d e t e r m i n e N s o l u t i o n s t o b e r e t a i n e d f o r t h e p o p u l a t i o n o f s o l u t i o n s a l t h o u g h t h i s i s o c c a s i o n a l l y p e r f o r m e d d e t e r m i n i s t i c a l l y T h e r e i s n o r e q u i r e m e n t t h a t t h e p o p u l a t i o n s i z e b e h e l d c o n s t a n t o r t h a t o n l y a s i n g l e o f f s p r i n g b e g e n e r a t e d f r o m e a c h p a r e n t T h e r e a r e t w o i m p o r t a n t w a y s i n w h i c h E P d i f f e r s f r o m G A s F i r s t t h e r e i s n o c o n s t r a i n t o n t h e r e p r e s e n t a t i o n T h e t y p i c a l G A a p p r o a c h i n v o l v e s e n c o d i n g t h e p r o b l e m s o l u t i o n s a s a s t r i n g o f r e p r e s e n t a t i v e t o k e n s t h e g e n o m e I n E P t h e r e p r e s e n t a t i o n f o l l o w s f r o m t h e p r o b l e m S e c o n d t h e m u t a t i o n o p e r a t i o n s i m p l y c h a n g e s a s p e c t s o f t h e s o l u t i o n a c c o r d i n g t o a s t a t i s t i c a l d i s t r i b u t i o n w h i c h w e i g h t s m i n o r v a r i a t i o n s i n t h e b e h a v i o r o f t h e o f f s p r i n g a s h i g h l y p r o b a b l e a n d s u b s t a n t i a l v a r i a t i o n s a s i n c r e a s i n g l y u n l i k e l y F u r t h e r t h e s e v e r i t y o f m u t a t i o n s i s o f t e n r e d u c e d a s t h e g l o b a l o p t i m u m i s a p p r o a c h e d 2 2 2 G e n e t i c A l g o r i t h m s G e n e t i c A l g o r i t h m s ( G A s ) a r e a d a p t i v e h e u r i s t i c s e a r c h a l g o r i t h m b a s e d o n t h e e v o l u t i o n a r y i d e a s o f n a t u r a l s e l e c t i o n a n d g e n e t i c s G A s s i m u l a t e t h e s u r v i v a l o f t h e f i t t e s t a m o n g i n d i v i d u a l s o v e r c o n s e c u t i v e g e n e r a t i o n f o r s o l v i n g a p r o b l e m E a c h g e n e r a t i o n c o n s i s t s o f a p o p u l a t i o n o f c h a r a c t e r s t r i n g s t h a t a r e a n a l o g o u s t o t h e c h r o m o s o m e t h a t w e s e e i n o u r D N A E a c h i n d i v i d u a l r e p r e s e n t s a p o i n t i n a s e a r c h s p a c e a n d a p o s s i b l e s o l u t i o n T h e i n d i v i d u a l s i n t h e

PAGE 24

1 4 p o p u l a t i o n a r e t h e n m a d e t o g o t h r o u g h a p r o c e s s o f e v o l u t i o n G A s a r e b a s e d o n a n a n a l o g y w i t h t h e g e n e t i c s t r u c t u r e a n d b e h a v i o r o f c h r o m o s o m e s w i t h i n a p o p u l a t i o n o f i n d i v i d u a l s u s i n g t h e f o l l o w i n g f o u n d a t i o n s : I n d i v i d u a l s i n a p o p u l a t i o n c o m p e t e f o r r e s o u r c e s a n d m a t e s T h o s e i n d i v i d u a l s m o s t s u c c e s s f u l i n e a c h c o m p e t i t i o n w i l l p r o d u c e m o r e o f f s p r i n g t h a n t h o s e i n d i v i d u a l s t h a t p e r f o r m p o o r l y G e n e s f r o m ` g o o d i n d i v i d u a l s p r o p a g a t e t h r o u g h o u t t h e p o p u l a t i o n s o t h a t t w o g o o d p a r e n t s w i l l s o m e t i m e s p r o d u c e o f f s p r i n g s t h a t a r e b e t t e r t h a n e i t h e r p a r e n t T h u s e a c h s u c c e s s i v e g e n e r a t i o n w i l l b e c o m e m o r e s u i t e d t o t h e i r e n v i r o n m e n t A p o p u l a t i o n o f i n d i v i d u a l s i s m a i n t a i n e d w i t h i n s e a r c h s p a c e f o r a G A e a c h r e p r e s e n t i n g a p o s s i b l e s o l u t i o n t o a g i v e n p r o b l e m E a c h i n d i v i d u a l i s c o d e d a s a f i x e d l e n g t h v e c t o r o f c o m p o n e n t s o r v a r i a b l e s i n t e r m s o f s o m e a l p h a b e t u s u a l l y t h e b i n a r y a l p h a b e t { 0 1 } A l t h o u g h a s u b s t a n t i a l a m o u n t o f r e s e a r c h h a v e b e e n p e r f o r m e d o n v a r i a b l e l e n g t h s t r i n g s a n d o t h e r s t r u c t u r e s T h e m a j o r i t y o f w o r k w i t h g e n e t i c a l g o r i t h m s i s f o c u s e d o n f i x e d l e n g t h o n e s T o c o n t i n u e t h e g e n e t i c a n a l o g y t h e s e i n d i v i d u a l s a r e a n a l o g o u s t o c h r o m o s o m e s a n d t h e v a r i a b l e s a r e a n a l o g o u s t o g e n e s T h u s a c h r o m o s o m e ( s o l u t i o n ) i s c o m p o s e d o f s e v e r a l g e n e s ( v a r i a b l e s ) A f i t n e s s s c o r e i s a s s i g n e d t o e a c h s o l u t i o n r e p r e s e n t i n g t h e a b i l i t i e s o f a n i n d i v i d u a l t o ` c o m p e t e T h e

PAGE 25

1 5 i n d i v i d u a l w i t h t h e o p t i m a l ( o r g e n e r a l l y n e a r o p t i m a l ) f i t n e s s s c o r e i s s o u g h t T h e G A a i m s t o u s e s e l e c t i v e ` b r e e d i n g o f t h e s o l u t i o n s t o p r o d u c e ` o f f s p r i n g b e t t e r t h a n t h e p a r e n t s b y c o m b i n i n g i n f o r m a t i o n f r o m t h e c h r o m o s o m e s T h e G A m a i n t a i n s a p o p u l a t i o n o f n c h r o m o s o m e s ( s o l u t i o n s ) w i t h a s s o c i a t e d f i t n e s s v a l u e s P a r e n t s a r e s e l e c t e d t o m a t e o n t h e b a s i s o f t h e i r f i t n e s s p r o d u c i n g o f f s p r i n g v i a a r e p r o d u c t i v e p l a n C o n s e q u e n t l y h i g h l y f i t s o l u t i o n s a r e g i v e n m o r e o p p o r t u n i t i e s t o r e p r o d u c e s o t h a t o f f s p r i n g i n h e r i t s c h a r a c t e r i s t i c s f r o m e a c h p a r e n t A s p a r e n t s m a t e a n d p r o d u c e o f f s p r i n g r o o m m u s t b e m a d e f o r t h e n e w a r r i v a l s s i n c e t h e p o p u l a t i o n i s k e p t a t a s t a t i c s i z e I n d i v i d u a l s i n t h e p o p u l a t i o n d i e a n d a r e r e p l a c e d b y t h e n e w s o l u t i o n s e v e n t u a l l y t h e a l g o r i t h m c r e a t e s a n e w g e n e r a t i o n o n c e a l l m a t i n g o p p o r t u n i t i e s i n t h e o l d p o p u l a t i o n h a v e b e e n e x h a u s t e d I n t h i s w a y i t i s h o p e d t h a t o v e r s u c c e s s i v e g e n e r a t i o n s b e t t e r s o l u t i o n s w i l l t h r i v e w h i l e t h e l e a s t f i t s o l u t i o n s d i e o u t N e w g e n e r a t i o n s o f s o l u t i o n s a r e p r o d u c e d c o n t a i n i n g o n a v e r a g e m o r e o f t h e g o o d g e n e s t h a n o f a t y p i c a l s o l u t i o n f r o m p r e v i o u s g e n e r a t i o n s E a c h s u c c e s s i v e g e n e r a t i o n w i l l c o n t a i n m o r e g o o d ` p a r t i a l s o l u t i o n s t h a n p r e v i o u s g e n e r a t i o n s E v e n t u a l l y o n c e t h e p o p u l a t i o n h a s c o n v e r g e d a n d i s n o t p r o d u c i n g o f f s p r i n g n o t i c e a b l y d i f f e r e n t f r o m t h o s e i n p r e v i o u s g e n e r a t i o n s t h e a l g o r i t h m i t s e l f i s s a i d t o h a v e c o n v e r g e d t o a s e t o f s o l u t i o n s t o t h e p r o b l e m a t h a n d

PAGE 26

1 6 2 2 3 G e n e t i c P r o g r a m m i n g G e n e t i c p r o g r a m m i n g ( G P ) i s a n e x t e n s i o n o f t h e g e n e t i c a l g o r i t h m i n w h i c h t h e g e n e t i c p o p u l a t i o n c o n s i s t s o f c o m p u t e r p r o g r a m s ( t h a t i s c o m p o s i t i o n s o f p r i m i t i v e f u n c t i o n s a n d t e r m i n a l s ) G P d i f f e r s f r o m G A s b y u t i l i z i n g t h e f o l l o w i n g : T r e e s t r u c t u r e v a r i a b l e l e n g t h c h r o m o s o m e s r a t h e r t h a n G A s ’ c h r o m o s o m e s o f f i x e d l e n g t h a n d s t r u c t u r e T h e o u t p u t o f t h e g e n e t i c a l g o r i t h m i s a q u a n t i t y w h i l e t h e o u t p u t o f t h e g e n e t i c p r o g r a m m i n g i s a n o t h e r c o m p u t e r p r o g r a m C h r o m o s o m e s c o d e d i n a p r o b l e m s p e c i f i c f a s h i o n t h a t c a n u s u a l l y b e e x e c u t e d i n t h e i r c u r r e n t f r o m r a t h e r t h a n b i n a r y s t r i n g s K o z a [ 1 9 9 2 ] d e m o n s t r a t e d a s u r p r i s i n g a n d c o u n t e r i n t u i t i v e r e s u l t n a m e l y t h a t c o m p u t e r s c a n b e p r o g r a m m e d b y m e a n s o f n a t u r a l s e l e c t i o n S p e c i f i c a l l y g e n e t i c p r o g r a m m i n g i s c a p a b l e o f e v o l v i n g a c o m p u t e r p r o g r a m f o r s o l v i n g o r a p p r o x i m a t e l y s o l v i n g a s u r p r i s i n g v a r i e t y o f p r o b l e m s f r o m a w i d e v a r i e t y o f f i e l d s T o a c c o m p l i s h t h i s g e n e t i c p r o g r a m m i n g s t a r t s w i t h a p o o l o f r a n d o m l y g e n e r a t e d c o m p u t e r p r o g r a m s c o m p o s e d o f a v a i l a b l e p r o g r a m m a t i c i n g r e d i e n t s a n d g e n e t i c a l l y b r e e d s t h e p o p u l a t i o n u s i n g t h e D a r w i n i a n p r i n c i p l e o f s u r v i v a l o f t h e f i t t e s t a n d a n a n a l o g o f n a t u r a l l y o c c u r r i n g g e n e t i c c r o s s o v e r ( s e x u a l r e c o m b i n a t i o n ) o p e r a t i o n I n o t h e r w o r d s g e n e t i c p r o g r a m m i n g p r o v i d e s a w a y t o s e a r c h t h e s p a c e o f p o s s i b l e c o m p u t e r p r o g r a m s t o f i n d a p r o g r a m t h a t s o l v e s o r a p p r o x i m a t e l y s o l v e s a p r o b l e m

PAGE 27

1 7 G e n e t i c p r o g r a m m i n g i s a d o m a i n i n d e p e n d e n t m e t h o d t h a t g e n e t i c a l l y b r e e d s p o p u l a t i o n s o f c o m p u t e r p r o g r a m s t o s o l v e p r o b l e m s b y e x e c u t i n g t h e f o l l o w i n g t h r e e s t e p s : G e n e r a t e a n i n i t i a l p o p u l a t i o n o f r a n d o m c o m p u t e r p r o g r a m s c o m p o s e d o f t h e p r i m i t i v e f u n c t i o n s a n d t e r m i n a l s o f t h e p r o b l e m I t e r a t i v e l y p e r f o r m t h e f o l l o w i n g s u b s t e p s u n t i l t h e t e r m i n a t i o n c r i t e r i o n h a s b e e n s a t i s f i e d : o E x e c u t e e a c h p r o g r a m i n t h e p o p u l a t i o n a n d a s s i g n i t a f i t n e s s v a l u e a c c o r d i n g t o h o w w e l l i t s o l v e s t h e p r o b l e m o C r e a t e a n e w p o p u l a t i o n o f p r o g r a m s b y a p p l y i n g t h e f o l l o w i n g t h r e e p r i m a r y o p e r a t i o n s T h e o p e r a t i o n s a r e a p p l i e d t o p r o g r a m ( s ) i n t h e p o p u l a t i o n s e l e c t e d w i t h a p r o b a b i l i t y b a s e d o n f i t n e s s ( i e t h e f i t t e r t h e p r o g r a m t h e m o r e l i k e l y i t i s t o b e s e l e c t e d ) R e p r o d u c t i o n : C o p y a n e x i s t i n g p r o g r a m t o t h e n e w p o p u l a t i o n C r o s s o v e r : C r e a t e t w o n e w o f f s p r i n g p r o g r a m s f o r t h e n e w p o p u l a t i o n b y g e n e t i c a l l y r e c o m b i n i n g r a n d o m l y c h o s e n p a r t s o f t w o e x i s t i n g p r o g r a m s T h e g e n e t i c c r o s s o v e r ( s e x u a l r e c o m b i n a t i o n ) o p e r a t i o n ( d e s c r i b e d b e l o w ) o p e r a t e s o n t w o p a r e n t a l c o m p u t e r p r o g r a m s a n d p r o d u c e s t w o o f f s p r i n g p r o g r a m s u s i n g p a r t s o f e a c h p a r e n t M u t a t i o n : r a n d o m l y a l t e r a t i o n i n e x i s t i n g p r o g r a m s a n d p r o d u c e s o n e o f f s p r i n g p r o g r a m s

PAGE 28

1 8 T h e s i n g l e b e s t c o m p u t e r p r o g r a m i n t h e p o p u l a t i o n p r o d u c e d d u r i n g t h e r u n i s d e s i g n a t e d a s t h e r e s u l t o f t h e r u n o f g e n e t i c p r o g r a m m i n g T h i s r e s u l t m a y b e s o l u t i o n ( o r a p p r o x i m a t e s o l u t i o n ) t o t h e p r o b l e m A f l o w c h a r t s h o w i n g t h e a b o v e s t e p s i s g i v e n i n F i g 2 2 F i g u r e 2 2 F l o w c h a r t o f G e n e t i c P r o g r a m m i n g T h e u s e o f a u t o m a t i c a l l y d e f i n e d f u n c t i o n s i n g e n e t i c p r o g r a m m i n g i s d i s c u s s e d i n K o z a [ 1 9 9 2 1 9 9 4 1 9 9 9 ] A d v a n c e s i n g e n e t i c p r o g r a m m i n g a r e d e s c r i b e d i n K i n n e a r C r e a t e I n i t i a l P o p u l a t i o n D o n e T e r m i n a t e ? C r o s s o v e r N = N + 2 R e p r o d u c t i o n N = N + 1 M u t a t i o n N = N + 1 N = P o p u l a t i o n S i z e ? G e n = 0 G e n = G e n + 1 E v a l u a t e f i t n e s s o f e a c h i n d i v i d u a l i n p o p u l a t i o n N = 0 S e l e c t G e n e t i c O p e r a t i o n P r o b a b i l i s t i c a l l y Y Y

PAGE 29

1 9 [ 1 9 9 4 1 9 9 9 ] T h e n u m e r o u s r e c e n t a p p l i c a t i o n s o f g e n e t i c p r o g r a m m i n g w e r e i l l u s t r a t e d i n Q u a g l i a r e l l a [ 1 9 9 8 ] a n d M i e t t i n e n [ 1 9 9 9 ] T h e d e s c r i p t i o n o n G P ’ s c o m p o n e n t s w i l l b e g i v e n i n t h e f o l l o w i n g s u b s e c t i o n s w h i c h i n c l u d e s t e r m i n a l s e t f u n c t i o n s e t g e n e t i c o p e r a t o r s a n d f i t n e s s f u n c t i o n 2 2 3 1 T e r m i n a l S e t F u n c t i o n S e t a n d I n i t i a l R e p r e s e n t a t i o n T h e t e r m i n a l a n d f u n c t i o n s e t s a r e i m p o r t a n t c o m p o n e n t s o f g e n e t i c p r o g r a m m i n g T h e t e r m i n a l a n d f u n c t i o n s e t s a r e t h e a l p h a b e t o f t h e p r o g r a m s t o b e m a d e T h e t e r m i n a l s e t c o n s i s t s o f t h e v a r i a b l e s a n d c o n s t a n t s o f t h e p r o g r a m s T h e f u n c t i o n s a r e s e v e r a l m a t h e m a t i c a l f u n c t i o n s s u c h a s a d d i t i o n s u b t r a c t i o n d i v i s i o n m u l t i p l i c a t i o n a n d o t h e r m o r e c o m p l e x f u n c t i o n s A n y c o m p u t e r p r o g r a m c a n b e d e p i c t e d g r a p h i c a l l y a s a r o o t e d p o i n t l a b e l e d t r e e i n a p l a n e w h o s e i n t e r n a l p o i n t s a r e l a b e l e d w i t h f u n c t i o n s w h o s e e x t e r n a l p o i n t s ( l e a v e s ) a r e l a b e l e d w i t h t e r m i n a l s a n d w h o s e r o o t i s l a b e l e d w i t h t h e f u n c t i o n a p p e a r i n g j u s t i n s i d e t h e o u t e r m o s t l e f t p a r e n t h e s i s T h e t r e e c o r r e s p o n d i n g t o t h e c o m p u t e r p r o g r a m f o r t h e e q u a t i o n a x b + i s s h o w n i n F i g 2 3 F i g u r e 2 3 F u n c t i o n a l R e p r e s e n t a t i o n o f a x b + U s i n g T r e e S t r u c t u r e + a x b

PAGE 30

2 0 I n t h i s g r a p h i c a l d e p i c t i o n t h e t w o i n t e r n a l p o i n t s o f t h e t r e e a r e l a b e l e d w i t h f u n c t i o n s ( + a n d ) T h e t h r e e e x t e r n a l p o i n t s ( l e a v e s ) o f t h e t r e e a r e l a b e l e d w i t h t e r m i n a l s w h e r e a a n d b a r e c o n s t a n t a n d x i s t h e i n d e p e n d e n t v a r i a b l e T h e c l o s u r e p r o p e r t y o f t h e f u n c t i o n s e t a n d t e r m i n a l s e t r e q u i r e s t h a t e a c h o f t h e f u n c t i o n s i n t h e f u n c t i o n s e t b e a b l e t o a c c e p t a s i t s a r g u m e n t s a n y v a l u e a n d d a t a t y p e t h a t m a y p o s s i b l y b e r e t u r n e d b y a n y f u n c t i o n i n t h e f u n c t i o n s e t a n d a n y v a l u e a n d d a t a t y p e t h a t m a y p o s s i b l y b e a s s u m e d b y a n y t e r m i n a l i n t h e t e r m i n a l s e t T h a t i s e a c h f u n c t i o n i n t h e f u n c t i o n s e t s h o u l d b e w e l l d e f i n e d a n d c l o s e d f o r a n y c o m b i n a t i o n o f a r g u m e n t s t h a t i t m a y e n c o u n t e r T h e s u f f i c i e n c y p r o p e r t y r e q u i r e s t h a t t h e s e t o f t e r m i n a l s a n d t h e s e t o f p r i m i t i v e f u n c t i o n s b e c a p a b l e o f e x p r e s s i n g a s o l u t i o n t o t h e p r o b l e m 2 2 3 2 G e n e t i c O p e r a t o r s I n t h i s s u b s e c t i o n t h r e e g e n e t i c o p e r a t o r s w i l l b e d e s c r i b e d i n d e t a i l I n t h e f i r s t s e c t i o n r e p r o d u c t i o n a n d c r o s s o v e r w i l l b e i n t r o d u c e d a s t w o p r i m a r y o p e r a t i o n s a n d t h e m u t a t i o n i n c l u d i n g i t s t w o d i f f e r e n t t y p e s w i l l b e i n t r o d u c e d a s a s e c o n d a r y o p e r a t i o n 2 2 3 2 1 T h e R e p r o d u c t i o n a n d C r o s s o v e r O p e r a t i o n s T h e t w o p r i m a r y g e n e t i c o p e r a t i o n s f o r m o d i f y i n g t h e s t r u c t u r e s u n d e r g o i n g a d a p t a t i o n a r e D a r w i n i a n f i t n e s s p r o p o r t i o n a t e r e p r o d u c t i o n ( F i g 2 4 ) a n d c r o s s o v e r ( F i g 2 5 ) T h e y a r e d e s c r i b e d b e l o w

PAGE 31

2 1 T h e o p e r a t i o n o f f i t n e s s p r o p o r t i o n a t e r e p r o d u c t i o n f o r t h e g e n e t i c p r o g r a m m i n g p a r a d i g m i s t h e b a s i c e n g i n e o f D a r w i n i a n r e p r o d u c t i o n a n d s u r v i v a l o f t h e f i t t e s t I t i s a n a s e x u a l o p e r a t i o n i n t h a t i t o p e r a t e s o n o n l y o n e p a r e n t a l p r o g r a m T h e r e s u l t o f t h i s o p e r a t i o n i s o n e o f f s p r i n g p r o g r a m I n t h i s o p e r a t i o n i f f ( i t ) i s t h e f i t n e s s o f a n i n d i v i d u a l i i n t h e p o p u l a t i o n M a t g e n e r a t i o n t, t h e i n d i v i d u a l i w i l l b e c o p i e d i n t o t h e n e x t g e n e r a t i o n w i t h p r o b a b i l i t y = M jt j f t i f1) ( ) ( ( 2 1 ) N o t e t h a t t h e o p e r a t i o n o f f i t n e s s p r o p o r t i o n a t e r e p r o d u c t i o n d o e s n o t c r e a t e a n y t h i n g n e w i n t h e p o p u l a t i o n I t i n c r e a s e s o r d e c r e a s e s t h e n u m b e r o f o c c u r r e n c e s o f i n d i v i d u a l s a l r e a d y i n t h e p o p u l a t i o n I t i m p r o v e s t h e a v e r a g e f i t n e s s o f t h e p o p u l a t i o n ( a t t h e e x p e n s e o f t h e g e n e t i c d i v e r s i t y o f t h e p o p u l a t i o n ) T o t h e e x t e n t t h a t i t i n c r e a s e s t h e n u m b e r o f o c c u r r e n c e s o f m o r e f i t i n d i v i d u a l s a n d d e c r e a s e s t h e n u m b e r o f o c c u r r e n c e s o f l e s s f i t i n d i v i d u a l s P a r e n t : a x b + O f f s p r i n g : a x b + F i g u r e 2 4 E x a m p l e o f R e p r o d u c t i o n O p e r a t o r + a x b + a x b

PAGE 32

2 2 T h e c r o s s o v e r ( r e c o m b i n a t i o n ) o p e r a t i o n f o r t h e g e n e t i c p r o g r a m m i n g p a r a d i g m i s a s e x u a l o p e r a t i o n t h a t s t a r t s w i t h t w o p a r e n t a l p r o g r a m s B o t h p a r e n t s a r e s e l e c t e d f r o m t h e p o p u l a t i o n w i t h a p r o b a b i l i t y e q u a l t o i t s n o r m a l i z e d f i t n e s s T h e r e s u l t o f t h e c r o s s o v e r o p e r a t i o n i s t w o o f f s p r i n g p r o g r a m s U n l i k e f i t n e s s p r o p o r t i o n a t e r e p r o d u c t i o n t h e c r o s s o v e r o p e r a t i o n c r e a t e s n e w i n d i v i d u a l s i n t h e p o p u l a t i o n s T h e o p e r a t i o n b e g i n s b y r a n d o m l y a n d i n d e p e n d e n t l y s e l e c t i n g o n e p o i n t i n e a c h p a r e n t u s i n g a s p e c i f i e d p r o b a b i l i t y d i s t r i b u t i o n ( d i s c u s s e d b e l o w ) N o t e t h a t t h e n u m b e r o f p o i n t s i n t w o p a r e n t s t y p i c a l l y i s n o t e q u a l t o e a c h o t h e r A s w i l l b e s e e n t h e c r o s s o v e r o p e r a t i o n i s w e l l d e f i n e d f o r a n y t w o p r o g r a m s T h a t i s f o r a n y t w o p r o g r a m s a n d a n y t w o c r o s s o v e r p o i n t s t h e r e s u l t i n g o f f s p r i n g s a r e a l w a y s v a l i d c o m p u t e r p r o g r a m s O f f s p r i n g c o n t a i n s s o m e t r a i t s f r o m e a c h p a r e n t T h e c r o s s o v e r f r a g m e n t f o r a p a r t i c u l a r p a r e n t i s t h e r o o t e d s u b t r e e w h o s e r o o t i s t h e c r o s s o v e r p o i n t f o r t h a t p a r e n t a n d w h e r e t h e s u b t r e e c o n s i s t s o f t h e e n t i r e s u b t r e e l y i n g b e l o w t h e c r o s s o v e r p o i n t ( i e m o r e d i s t a n t f r o m t h e r o o t o f t h e o r i g i n a l t r e e ) T h e f i r s t o f f s p r i n g i s p r o d u c e d b y d e l e t i n g t h e c r o s s o v e r f r a g m e n t o f t h e f i r s t p a r e n t f r o m t h e f i r s t p a r e n t a n d t h e n i m p r e g n a t i n g t h e c r o s s o v e r f r a g m e n t o f t h e s e c o n d p a r e n t a t t h e c r o s s o v e r p o i n t o f t h e f i r s t p a r e n t I n p r o d u c i n g t h i s f i r s t o f f s p r i n g t h e f i r s t p a r e n t a c t s a s t h e b a s e p a r e n t ( t h e f e m a l e p a r e n t ) a n d t h e s e c o n d p a r e n t a c t s a s t h e i m p r e g n a t i n g p a r e n t ( t h e m a l e p a r e n t ) T h e s e c o n d o f f s p r i n g i s p r o d u c e d i n a s y m m e t r i c m a n n e r S i n c e e n t i r e s u b t r e e s a r e s w a p p e d t h i s g e n e t i c c r o s s o v e r ( r e c o m b i n a t i o n ) o p e r a t i o n p r o d u c e s s y n t a c t i c a l l y a n d s e m a n t i c a l l y v a l i d c o m p u t e r p r o g r a m s a s o f f s p r i n g r e g a r d l e s s o f w h i c h p o i n t i s s e l e c t e d i n e i t h e r p a r e n t

PAGE 33

2 3 F o r e x a m p l e c o n s i d e r t h e p a r e n t a l c o m p u t e r p r o g r a m a x b + a n db a x +2. T h e s e t w o c o m p u t e r p r o g r a m s c a n b e d e p i c t e d g r a p h i c a l l y a s r o o t e d p o i n t l a b e l e d t r e e s w i t h o r d e r e d b r a n c h e s T h e t w o p a r e n t a l c o m p u t e r p r o g r a m s a r e s h o w n i n F i g u r e 2 5 S u p p o s e t h a t t h e c r o s s o v e r p o i n t s a r e r a n d o m l y s e l e c t e d f o r e a c h p a r e n t i n d i v i d u a l a s s h o w n i n f i g u r e 3 3 T h e c r o s s o v e r p o i n t s a r e t h e r e f o r e t h e i n t h e f i r s t p a r e n t a n d t h e + i n t h e s e c o n d p a r e n t C r o s s o v e r p o i n t C r o s s o v e r p o i n t P a r e n t 1 : a x b + P a r e n t 2 : b a x +2 O f f s p r i n g 1 : b x a + 2 O f f s p r i n g 2 : b a x + F i g u r e 2 5 C r o s s o v e r O p e r a t i o n f o r A l g e b r a i c E q u a t i o n M a n i p u l a t i o n + a x b + ^ 2 x b a + x b a + a ^ 2 x b

PAGE 34

2 4 T h e p l a c e s f r o m w h i c h t h e c r o s s o v e r f r a g m e n t s w e r e r e m o v e d a r e i d e n t i f i e d w i t h d a s h l i n e 2 2 3 2 2 M u t a t i o n M u t a t i o n i s a n o t h e r i m p o r t a n t f e a t u r e o f g e n e t i c p r o g r a m m i n g T w o t y p e s o f m u t a t i o n s a r e p o s s i b l e I n t h e f i r s t k i n d a f u n c t i o n c a n o n l y r e p l a c e a f u n c t i o n o r a t e r m i n a l c a n o n l y r e p l a c e a t e r m i n a l I n t h e s e c o n d k i n d a n e n t i r e s u b t r e e c a n r e p l a c e a n o t h e r s u b t r e e F i g 2 6 a & b e x p l a i n s t h e c o n c e p t o f m u t a t i o n : P a r e n t : b x a + 2 O f f s p r i n g : a a x + + ) 2 ( ( a ) P a r e n t : b x a + 2 ( b ) O f f s p r i n g : a x b + F i g u r e 2 6 E x a m p l e o f M u t a t i o n O p e r a t i o n ( a ) T y p e I & ( b ) T y p e I I + a ^ 2 x b + a + 2 x a + a x b + a ^ 2 x b

PAGE 35

2 5 2 2 3 3 T h e F i t n e s s M e a s u r e T h e m o s t d i f f i c u l t a n d m o s t i m p o r t a n t c o n c e p t o f g e n e t i c p r o g r a m m i n g i s t h e f i t n e s s f u n c t i o n T h e f i t n e s s f u n c t i o n d e t e r m i n e s h o w w e l l a p r o g r a m i s a b l e t o s o l v e t h e p r o b l e m E a c h i n d i v i d u a l i n a p o p u l a t i o n i s a s s i g n e d a f i t n e s s v a l u e a s a r e s u l t o f i t s i n t e r a c t i o n w i t h t h e e n v i r o n m e n t F i t n e s s i s t h e d r i v i n g f o r c e o f D a r w i n i a n n a t u r a l s e l e c t i o n a n d g e n e t i c a l g o r i t h m s F i t n e s s c a s e s p r o v i d e a b a s i s f o r e v a l u a t i n g a p a r t i c u l a r p r o g r a m T h e r a w f i t n e s s o f a n y c o m p u t e r p r o g r a m i s t h e s u m o v e r t h e f i t n e s s c a s e s o f t h e s q u a r e s o f t h e d i s t a n c e s ( t a k e n o v e r a l l t h e f i t n e s s c a s e s ) b e t w e e n t h e p o i n t i n t h e s o l u t i o n s p a c e ( w h i c h i s r e a l v a l u e d ) r e t u r n e d b y t h e i n d i v i d u a l p r o g r a m f o r a g i v e n s e t o f a r g u m e n t s a n d t h e c o r r e c t p o i n t i n t h e s o l u t i o n s p a c e I n p a r t i c u l a r t h e r a w f i t n e s s r ( i t ) o f a n i n d i v i d u a l c o m p u t e r p r o g r a m i i n t h e p o p u l a t i o n o f s i z e M a t a n y g e n e r a t i o n t i s [ ]==eN jj C j i S t i r1 2) ( ) ( ) ( ( 2 2 ) w h e r e S ( i j ) i s t h e v a l u e r e t u r n e d b y p r o g r a m i f o r f i t n e s s c a s e j ( o f Ne f i t n e s s c a s e s ) a n d C ( j ) i s t h e c o r r e c t v a l u e f o r f i t n e s s c a s e j. T h e c l o s e r t h i s s u m o f d i s t a n c e s i s t o z e r o t h e b e t t e r t h e p r o g r a m E a c h r a w f i t n e s s v a l u e i s t h e n a d j u s t e d ( s c a l e d ) t o p r o d u c e a n a d j u s t e d f i t n e s s m e a s u r e a ( i t ). T h e a d j u s t e d f i t n e s s v a l u e i s ) ) ( 1 ( 1 ) ( t i r t i a + = ( 2 3 ) w h e r e r ( i t ) i s t h e r a w f i t n e s s f o r i n d i v i d u a l i a t g e n e r a t i o n t. U n l i k e r a w f i t n e s s t h e

PAGE 36

2 6 a d j u s t e d f i t n e s s i s l a r g e r f o r b e t t e r i n d i v i d u a l s i n t h e p o p u l a t i o n M o r e o v e r t h e a d j u s t e d f i t n e s s l i e s b e t w e e n 0 a n d 1 E a c h s u c h a d j u s t e d f i t n e s s v a l u e a ( i t ) i s t h e n n o r m a l i z e d T h e n o r m a l i z e d f i t n e s s v a l u e n ( i t ) i s ==M jt j a t i a t i n1) ( ) ( ) ( ( 2 4 ) T h e n o r m a l i z e d f i t n e s s n o t o n l y r a n g e s b e t w e e n 0 a n d 1 a n d i s l a r g e r f o r b e t t e r i n d i v i d u a l s i n t h e p o p u l a t i o n b u t t h e s u m o f t h e n o r m a l i z e d f i t n e s s v a l u e s i s 1 T h u s n o r m a l i z e d f i t n e s s i s a p r o b a b i l i t y v a l u e I n a g e n e t i c s e a r c h e a c h m e m b e r o f a p o p u l a t i o n n e e d s t o b e e v a l u a t e d a n d a s s i g n e d a f i t n e s s v a l u e O b v i o u s l y t h e m i n i m i z a t i o n p r o b l e m i s a p p l i e d i n t h e w h o l e t h e s i s I n t h i s r e s e a r c h t h e r a w f i t n e s s v a l u e i s u s e d 2 2 3 4 S e l e c t i o n S t r a t e g y T h e r e a r e m a n y d i f f e r e n t s e l e c t i o n m e t h o d s b a s e d o n f i t n e s s T h e m o s t p o p u l a r i s f i t n e s s p r o p o r t i o n a t e s e l e c t i o n w h i c h i s t h e m e t h o d u s e d t h r o u g h o u t t h i s r e s e a r c h I f f ( i t ) i s t h e f i t n e s s o f i n d i v i d u a l i i n t h e p o p u l a t i o n a t g e n e r a t i o n t, t h e n u n d e r f i t n e s s p r o p o r t i o n a t e s e l e c t i o n t h e p r o b a b i l i t y t h a t i n d i v i d u a l i w i l l b e s e l e c t e d t o p r o c e s s g e n e t i c o p e r a t i o n i s :

PAGE 37

2 7 = M jt j f t i f1) ( ) ( ( 2 5 ) w h e r e M i s t h e p o p u l a t i o n s i z e A m o n g t h e a l t e r n a t i v e s e l e c t i o n m e t h o d s a r e t o u r n a m e n t s e l e c t i o n a n d r a n k s e l e c t i o n [ G o l d b e r g 1 9 8 9 ] I n r a n k s e l e c t i o n s e l e c t i o n i s b a s e d o n t h e r a n k ( n o t t h e n u m e r i c a l v a l u e ) o f t h e f i t n e s s v a l u e s o f t h e i n d i v i d u a l s i n t h e p o p u l a t i o n R a n k s e l e c t i o n r e d u c e s t h e p o t e n t i a l l y d o m i n a t i n g e f f e c t s o f c o m p a r a t i v e l y h i g h f i t n e s s i n d i v i d u a l s i n t h e p o p u l a t i o n b y e s t a b l i s h i n g a p r e d i c t a b l e l i m i t e d a m o u n t o f s e l e c t i o n p r e s s u r e i n f a v o r o f s u c h i n d i v i d u a l s A t t h e s a m e t i m e r a n k s e l e c t i o n e x a g g e r a t e s t h e d i f f e r e n c e b e t w e e n c l o s e l y c l u s t e r e d f i t n e s s v a l u e s s o t h a t t h e b e t t e r o n e s c a n b e s a m p l e d m o r e I n t o u r n a m e n t s e l e c t i o n a s p e c i f i e d g r o u p o f i n d i v i d u a l s ( t y p i c a l l y t w o ) a r e c h o s e n a t r a n d o m f r o m t h e p o p u l a t i o n a n d t h e o n e w i t h t h e b e t t e r f i t n e s s ( i e t h e l o w e r s t a n d a r d i z e d f i t n e s s ) i s t h e n s e l e c t e d W h e n t w o b u l l s f i g h t o v e r t h e r i g h t t o m a t e w i t h a g i v e n c o w t o u r n a m e n t s e l e c t i o n i s o c c u r r i n g 2 2 4 A p p l i c a t i o n s o f I n t e l l i g e n t S y s t e m i n C h e m i c a l E n g i n e e r i n g D e v e l o p m e n t o f I n t e l l i g e n t S y s t e m s i n p r o c e s s e n g i n e e r i n g [ S t e p h a n o p o u l o s 1 9 8 7 1 9 9 4 ] h a s b e e n m a i n l y f o c u s e d i n t h e f o l l o w i n g s i x a r e a s : P r o c e s s d e s i g n : d e s i g n i n g p r o c e s s e s s e l e c t i n g a n d e s t i m a t i n g p h y s i c a l a n d t h e r m o d y n a m i c p r o p e r t i e s [ F r i e s e 1 9 9 8 ] d e v e l o p i n g f l o w s h e e t s

PAGE 38

2 8 s p e c i f y i n g e q u i p m e n t e n s u r i n g p r o c e s s s a f e t y a s s e s s i n g p r o c e s s f l e x i b i l i t y a n d e s t i m a t i n g c o s t F a u l t d i a g n o s i s : p r o c e s s t r o u b l e s h o o t i n g i e d e t e r m i n i n g t h e o r i g i n s o f p r o c e s s p r o b l e m s a n d r e c o m m e n d i n g s o l u t i o n s [ F r a n k 1 9 9 7 R u i z e t a l 2 0 0 0 ] P r o c e s s c o n t r o l : i m p r o v i n g p r o c e s s c o n t r o l t h r o u g h u t i l i z a t i o n o f q u a l i t a t i v e p r o c e s s i n f o r m a t i o n t r e n d a n a l y s i s n e u r a l n e t w o r k s e t c P l a n n i n g a n d o p e r a t i o n s : s c h e d u l i n g d e v e l o p i n g p r o c e d u r e s a s s e s s i n g s a f e t y c o n c e r n s e x e c u t i n g c o m p l e x i n t e r r e l a t e d p r o c e d u r e s a n d a i d i n g m a i n t e n a n c e [ C s u k a s 1 9 9 8 ] M o d e l i n g a n d s i m u l a t i o n : u s i n g q u a l i t a t i v e r e a s o n i n g a n d s y m b o l i c c o m p u t i n g t o m o d e l a n d s i m u l a t e c h e m i c a l p r o c e s s e s [ C a o e t a l 1 9 9 9 M c K a y e t a l 1 9 9 7 C s u k a s 1 9 9 8 G r e e f f 1 9 9 8 G a o e t a l 2 0 0 1 ] P r o d u c t d e s i g n d e v e l o p m e n t a n d s e l e c t i o n : r e c o m m e n d i n g c h e m i c a l f o r m u l a t i o n s c o m p o s i t i o n s m a t e r i a l s p r o c e s s p r o c e d u r e s e t c r e q u i r e d t o d e s i g n d e v e l o p o r s e l e c t a n e w o r e x i s t i n g p r o d u c t t h a t a c h i e v e s s p e c i f i e d o b j e c t i v e s T h e g o a l o f p r o c e s s d e s i g n i s t o c o n f i g u r e a n i n d u s t r i a l c h e m i c a l p r o c e s s t h a t a c h i e v e s t e c h n i c a l a n d e c o n o m i c a l o b j e c t i v e s I n t e l l i g e n t s y s t e m c a n b e a p p l i e d t o p r o c e s s d e s i g n i n a n u m b e r o f a r e a s I n g e n e r a l t h e y c a n b e u s e d t o [ Q u a n t r i l l e e t a l 1 9 9 1 ] :

PAGE 39

2 9 S e l e c t t h e r m o d y n a m i c m o d e l s a n d e s t i m a t e p h y s i c a l p r o p e r t i e s : s e l e c t t h e b e s t t h e r m o d y n a m i c m o d e l ( s ) f o r t h e p r o b l e m [ F r e d e n s l u n d 1 9 8 0 B a n a r e s A l c a n t a r a e t a l 1 9 8 5 G a n i 1 9 8 9 ] I f n o e x p l i c i t m o d e l s a r e a v a i l a b l e t h e s y s t e m c o u l d s e l e c t a m e t h o d a n d e s t i m a t e t h e v a l u e o f t h e p h y s i c a l p r o p e r t y D e v e l o p f l o w s h e e t s : u t i l i z e e n g i n e e r i n g k n o w l e d g e t o s y n t h e s i z e t h e p r o c e s s [ B a m i c k i 1 9 9 0 C s u k a s 1 9 9 8 ] S e l e c t m e t h o d s : u s e p r o c e s s d a t a w i t h e n g i n e e r i n g h e u r i s t i c s t o r e c o m m e n d t h e o p t i m a l p r o c e s s i n g m e t h o d f o r t h e t a s k a t h a n d [ B a m i c k i 1 9 9 0 ] A u t o m a t e t h e d e s i g n p r o c e s s : l i n k p r o c e s s s y n t h e s i s w i t h m e t h o d s e l e c t i o n a n d r i g o r o u s C A D p r o g r a m s [ S t e p h a n o p o u l o s 1 9 8 7 ] S e l e c t m a t e r i a l s : d e t e r m i n e t h e a p p r o p r i a t e m a t e r i a l s o f c o n s t r u c t i o n b a s e d o n p r o c e s s a n d e n v i r o n m e n t a l c o n d i t i o n s [ K i n g 1 9 8 6 ] T h e f o u n d a t i o n o f a c c u r a t e c h e m i c a l p r o c e s s d e s i g n a n d s i m u l a t i o n i s a c o r r e c t e s t i m a t e o f p h y s i c a l a n d t h e r m o d y n a m i c p r o p e r t i e s V o l u m e t r i c E q u a t i o n o f S t a t e ( E O S ) a n d H e a t C a p a c i t y D a t a ( Cp) a r e t h e m i n i m u m a m o u n t o f i n f o r m a t i o n n e e d e d t o e v a l u a t e t h e r m o d y n a m i c p r o p e r t i e s o f r e a l s u b s t a n c e a c c o m p a n y i n g a c h a n g e o f s t a t e i e c o m p u t e t h e c h a n g e s i n s u b s t a n c e ’ s i n t e r n a l e n e r g y e n t h a l p y a n d e n t r o p y f o r a n y c h a n g e o f s t a t e I n t h i s e x p l o r a t o r y p r o j e c t a n a u t o m a t i c p r o c e d u r e w i l l b e d e v e l o p e d t o i d e n t i f y a t h e r m o p h y s i c a l m o d e l f r o m a s e t o f g i v e n d a t a T h i s m o d e l i s e x p e c t e d t o b e u s e d i n

PAGE 40

3 0 f u r t h e r i n v e s t i g a t i o n o f t h e p h y s i c a l s y s t e m o r t o v a l i d a t e t h e s t r u c t u r e o f a n e x i s t i n g m o d e l d e v e l o p e d i n s o m e o t h e r w a y 2 3 A n O v e r v i e w o f O p t i m i z a t i o n M e t h o d s a n d O b j e c t i v e F u n c t i o n s O p t i m i z a t i o n t e c h n i q u e s a r e u s e d t o f i n d a s e t o f d e s i g n v a r i a b l e s t h a t c a n i n s o m e w a y b e d e f i n e d a s o p t i m a l I n p a r a m e t e r e s t i m a t i o n t h e o p t i m u m p a r a m e t e r v a l u e w i l l b e s e a r c h e d b y a s e l e c t e d o p t i m i z a t i o n m e t h o d t o m i n i m i z e o r m a x i m i z e a w e l l d e f i n e d o b j e c t i v e f u n c t i o n t h a t i s d e p e n d e n t o n p a r a m e t e r T h e w i d e l y u s e d o b j e c t i v e f u n c t i o n i n p a r a m e t e r r e g r e s s i o n i s l e a s t s q u a r e e s t i m a t i o n F o r) ( b x f Y = w h i c h i s a r e l a t i o n t h a t i s n o n l i n e a r w i t h r e s p e c t t o t h e p a r a m e t e r s T h e s u m o f s q u a r e d r e s i d u a l s i s : ) ( ) ( *Y Y Y Y = = Fe e ( 2 6 ) w h e r e Y* i s v e c t o r o f e x p e r i m e n t a l o b s e r v a t i o n s o f t h e d e p e n d e n t v a r i a b l e G a u s s m e t h o d c a n b e u s e d t o c o n v e r t n o n l i n e a r p r o b l e m i n t o a l i n e a r o n e b y a p p r o x i m a t i n g t h e f u n c t i o n Y b y a T a y l o r s e r i e s e x p a n s i o n a r o u n d a n e s t i m a t e d v a l u e o f t h e p a r a m e t e r v e c t o r b : b J Y b b Y b x Y b b x Y b x Ymb m mD + = D + = D + = ) ( ) ( ) ( ( 2 7 ) w h e r e t h e T a y l o r s e r i e s h a s b e e n t r u n c a t e d a f t e r t h e s e c o n d t e r m E q ( 2 7 ) i s l i n e a r i n b D

PAGE 41

3 1 T h e r e f o r e t h e p r o b l e m h a s b e e n t r a n s f o r m e d f r o m f i n d i n g b t o t h a t o f f i n d i n g t h e c o r r e c t i o n t o b t h a t i s b D w h i c h m u s t b e a d d e d t o a n e s t i m a t e o f b t o m i n i m i z e t h e s u m o f s q u a r e d r e s i d u a l s . . . . . . . . . . . . . . .1 1 1 1 =k n n kb Y b Y b Y b Y J ( 2 8 ) a n d ) ( ) (* 1Y Y J J J b = D( 2 9 ) b b bm mD + =+ 1 ( 2 1 0 ) w h e r e m i s t h e i t e r a t i o n c o u n t e r I n G a u s s m e t h o d t h e d r a w b a c k i s t h e f a c t t h a t t h e i n c r e m e n t a l c h a n g e s n a m e l y t h e b D s a s d e s c r i b e d p r e v i o u s l y c a n b e e s t i m a t e d v e r y p o o r l y d u e t o c o m p u t a t i o n o f t h e p a r t i a l d e r i v a t i v e m a t r i x ( J ’ J )1 w h e n i t ’ s c l o s e t o s i n g u l a r T h e r e s u l t i s t h a t t h e c o n v e r g e n c e m a y b e v e r y s l o w w i t h a l a r g e n u m b e r o f i t e r a t i o n s b e i n g r e q u i r e d E v e n w r o n g s i g n s m a y o c c u r o n t h e b D s a n d t h e n t h e p r o c e d u r e w i l l m o v e i n t h e w r o n g d i r e c t i o n T h e n t h e m e t h o d m a y n o t c o n v e r g e a t a l l w i t h t h e r e s i d u a l s u m o f s q u a r e s c o n t i n u i n g t o i n c r e a s e A l s o t h e c l o s e r a m o d e l i s t o b e h a v i n g l i k e a l i n e a r m o d e l t h e m o r e l i k e l y i t i s t o c o n v e r g e i n a s m a l l n u m b e r o f i t e r a t i o n s f r o m a r e a s o n a b l e s t a r t i n g p o i n t a n d m o r e i m p o r t a n t t h e z o n e o f c o n v e r g i b i l i t y i s g r e a t e r f o r a c l o s e t o l i n e a r m o d e l t h a n a f a r f r o m l i n e a r o n e S i n c e t h i s o b j e c t i v e f u n c t i o n i s a q u a d r a t i c o n e i n n a t u r e s o G a u s s m e t h o d i s s u s c e p t i b l e

PAGE 42

3 2 T h e i d e a f o r s t e e p e s t d e s c e n t m e t h o d i s t h a t t h e g r a d i e n t o f a s c a l a r f u n c t i o n i s a v e c t o r t h a t g i v e s t h e d i r e c t i o n o f t h e g r e a t e s t d e c r e a s e o f t h e f u n c t i o n a t a n y p o i n t t o r e a c h a l o w e r f u n c t i o n v a l u e T h e r e f o r e i n t h i s m e t h o d t h e i n i t i a l v e c t o r o f p a r a m e t e r e s t i m a t e d i s c o r r e c t e d i n t h e d i r e c t i o n o f t h e n e g a t i v e g r a d i e n t o f F n r F = D b K b ( 2 1 1 ) w h e r e F i s t h e s u m o f s q u a r e d r e s i d u a l s a n d K i s a s u i t a b l e c o n s t a n t f a c t o r a n d b D i s t h e c o r r e c t i o n v e c t o r t o b e a p p l i e d t o t h e e s t i m a t e d v a l u e o f b t o o b t a i n a n e w e s t i m a t e o f t h e p a r a m e t e r v e c t o r s a m e a s b e f o r e : b b bm mD + =+ 1 ( 2 1 2 ) w h e r e m i s t h e i t e r a t i o n c o u n t e r T h e n b D c a n b e c a l c u l a t e d f r o m : ) ( 2*Y Y K J b = D ( 2 1 3 ) w h e r e J i s t h e J a c o b i a n m a t r i x o f p a r t i a l d e r i v a t i v e s o f Y w i t h r e s p e c t t o b e v a l u a t e d a t a l l n p o i n t s w h e r e e x p e r i m e n t a l o b s e r v a t i o n s a r e a v a i l a b l e a s s h o w n i n G a u s s m e t h o d T h e s t e e p e s t d e s c e n t m e t h o d h a s t h e a d v a n t a g e t h a t g u a r a n t e e s m o v i n g t o w a r d t h e m i n i m u m s u m o f s q u a r e s w i t h o u t d i v e r g i n g p r o v i d e d t h a t t h e v a l u e o f K w h i c h d e t e r m i n e s t h e s t e p s i z e i s s m a l l e n o u g h T h e v a l u e o f K m a y b e a c o n s t a n t t h r o u g h o u t t h e c a l c u l a t i o n s w h i c h m a y c h a n g e a t c a l c u l a t i o n s t e p H o w e v e r t h e r a t e o f c o n v e r g e n c e t o t h e m i n i m u m d e c r e a s e s a s t h e s e a r c h a p p r o a c h e s t h i s m i n i m u m

PAGE 43

3 3 M a r q u a r d t M e t h o d i s a n i n t e r p o l a t i o n t e c h n i q u e b e t w e e n t h e G a u s s a n d t h e s t e e p e s t d e s c e n t m e t h o d s T h i s i n t e r p o l a t i o n i s a c h i e v e d b y a d d i n g t h e d i a g o n a l m a t r i x ) (I l t o t h e m a t r i x ( J ’ J ) i n t h e f u n c t i o n o f b D i n G a u s s m e t h o d a b o v e : ) ( ) (* 1Y Y J I J J b + = D-l ( 2 1 4 ) T h e v a l u e o f l i s c h o s e n a t e a c h i t e r a t i o n s o t h a t t h e c o r r e c t e d p a r a m e t e r v e c t o r w i l l r e s u l t i n a l o w e r s u m o f s q u a r e s i n t h e f o l l o w i n g i t e r a t i o n W e c a n s e e f r o m b D e q u a t i o n a b o v e i f l i s s m a l l t h e n M a r q u a r d t m e t h o d a p p r o a c h e s t h e G a u s s m e t h o d ; w h e n l i s v e r y l a r g e t h i s m e t h o d i s i d e n t i c a l t o s t e e p e s t d e s c e n t w i t h t h e e x c e p t i o n o f a s c a l e f a c t o r t h a t d o e s n o t a f f e c t t h e d i r e c t i o n o f t h e p a r a m e t e r c o r r e c t i o n v e c t o r b u t t h a t g i v e s a s m a l l s t e p s i z e F r o m t h i s a s p e c t b y s e l e c t i n g a p p r o p r i a t e v a l u e o f l a n i n d i c a t o r o f c o m p r o m i s i n g b e t w e e n G a u s s a n d S t e e p e s t D e s c e n t m e t h o d M a r q u a r d t m e t h o d c a n c o m b i n e t h e b e s t f e a t u r e o f t h o s e t w o m e t h o d s : a l m o s t a l w a y s c o n v e r g e s a n d d o e s n o t “ s l o w d o w n ” [ D r a p e r e t a l 1 9 8 1 ] H o w e v e r a l l o f t h e s e m e t h o d s a r e l o c a l m e t h o d s t h a t p r o v i d i n g g l o b a l m i n i m u m o n l y f o r c o n v e x c a s e s T h e a b o v e d e s c r i p t i o n o f o p t i m i z a t i o n m e t h o d s i s b a s e d o n l e a s t s q u a r e s a s t h e o b j e c t i v e f u n c t i o n O t h e r t h a n l e a s t s q u a r e s m a x i m u m l i k e l i h o o d e s t i m a t i o n i s a l s o p o p u l a r l y u s e d a s a n o b j e c t i v e f u n c t i o n f o r p a r a m e t e r e s t i m a t i o n p u r p o s e w h i c h i s b a s e d o n s t a t i s t i c a l p r i n c i p l e s a n d a c c o u n t o f d a t a q u a l i t y I n g e n e r a l s t a t i s t i c a l l y b a s e d p a r a m e t e r e s t i m a t i o n r e d u c e s t h e p r o b l e m o f t h e d e t e r m i n a t i o n o f p a r a m e t e r s i n t h e m e c h a n i s t i c m o d e l t o a s s e s s i n g t h e c o r r e s p o n d e n c e

PAGE 44

3 4 b e t w e e n t h e r e s i d u a l s g e n e r a t e d b y a p a r t i c u l a r s e t o f p a r a m e t e r v a l u e s a n d t h e a s s u m p t i o n s m a d e a b o u t t h e r e s i d u a l d i s t r i b u t i o n I t i s a s s u m e d t h a t e v e r y v e c t o r o f r e s i d u a l s e f o r a n e x p e r i m e n t i s a r a n d o m v e c t o r f o l l o w i n g a p r o b a b i l i t y d e n s i t y f u n c t i o n o f s p e c i f i e d f o r m) ( b pi ie, w h e r e b i s t h e u n k n o w n v e c t o r o f p a r a m e t e r s T h e e x p e r i m e n t a l o u t c o m e o f a iev e c t o r i s r e g a r d e d a s a r a n d o m s a m p l e o u t o f t h e d i s t r i b u t i o n d e f i n e d b yip. T h e c o m b i n a t i o n o f a l l ipf o r a l l ier e s u l t s i n t h e L i k e l i h o o d F u n c t i o n : . ) , ; (3 2 1e e eb L w h i c h f o r c o r r e c t s p e c i f i c a t i o n o f t h e j o i n t p r o b a b i l i t y d e n s i t y f u n c t i o n f o r a l l e ’ s a n d k n o w n t r u e b v a l u e s r e p r e s e n t s t h e p r o b a b i l i t y d e n s i t y o f g e t t i n g j u s t t h a t s e t o f iev e c t o r s o b t a i n e d e x p e r i m e n t a l l y I n t h e p a r a m e t e r e s t i m a t i o n s i t u a t i o n b i s n o t k n o w n S o i n M a x i m u m L i k e l i h o o d E s t i m a t i o n t h o s e u n k n o w n v a l u e s a r e s e a r c h e d b y a n o p t i m i z a t i o n m e t h o d w h i c h m a x i m i z e t h i s f u n c t i o n L. T h i s m e a n s t h a t t h e “ o p t i m a l ” v a l u e s b o b t a i n e d a r e t h o s e p a r a m e t e r v a l u e s w h i c h g e n e r a t e t h e r e s i d u a l p a t t e r n f o r w h i c h t h e p r o b a b i l i t y d e n s i t y i s h i g h e s t M a x i m u m L i k e l i h o o d ( M L ) m e t h o d c a n b e u s e d w i t h a n y j o i n t p r o b a b i l i t y d e n s i t y f u n c t i o n a l f o r m o f r e s i d u a l s w h i l e o n e s p e c i f i c d i s t r i b u t i o n p r o p e r t i e s o f r e s i d u a l s h a s t o b e a s s u m e d b e f o r e M L m e t h o d i s a p p l i e d I n m o s t o f a p p l i c a t i o n s t h e n o r m a l d i s t r i b u t i o n i s u s e d H o w e v e r o f t e n t h e s e a s s u m p t i o n s a r e n o t f u l f i l l e d a t o p t i m a l p a r a m e t e r v a l u e s d e t e r m i n e d d u e t o r a n d o m m e a s u r e m e n t e r r o r s s y s t e m a t i c m e a s u r e m e n t e r r o r s s u c h a s

PAGE 45

3 5 d r i f t c a l i b r a t i o n m e a s u r e m e n t t e c h n i q u e d e t e r m i n i s t i c m o d e l i n a d e q u a c i e s e r r o r s i n v a l u e s a s s u m e d t o b e p r e c i s e l y k n o w n d e p e n d e n t v a r i a b l e O t h e r t h a n t h e s e m e a s u r e m e n t e r r o r s t h e r e a r e t h r e e t y p e s o f c o m p u t a t i o n r e l a t e d e r r o r s : t h e t r u n c a t i o n e r r o r t h e r o u n d o f f e r r o r a n d t h e p r o p a g a t i o n e r r o r T h e t r u n c a t i o n e r r o r i s a f u n c t i o n o f t h e n u m b e r o f t e r m s t h a t a r e r e t a i n e d i n t h e a p p r o x i m a t i o n o f t h e s o l u t i o n f r o m t h e i n f i n i t e s e r i e s e x p a n s i o n S i n c e c o m p u t e r s c a r r y n u m b e r u s i n g a f i n i t e n u m b e r o f s i g n i f i c a n t f i g u r e s a r o u n d o f f e r r o r i s i n t r o d u c e d i n t h e c a l c u l a t i o n w h e n t h e c o m p u t e r r o u n d s u p o r d o w n ( o r j u s t c h o p s ) t h e n u m b e r t o n s i g n i f i c a n t f i g u r e s M e a n w h i l e t h e t r u n c a t i o n a n d r o u n d o f f e r r o r s m a y a c c u m u l a t e a n d p r o p a g a t e c r e a t i n g t h e p r o p a g a t i o n e r r o r w h i c h m a y g r o w i n e x p o n e n t i a l o r o s c i l l a t o r y p a t t e r n T h u s t h e s e e r r o r s m a y c a u s e t h e c a l c u l a t e d s o l u t i o n t o d e v i a t e d r a s t i c a l l y f r o m t h e c o r r e c t s o l u t i o n A l l e r r o r s e x p l a i n e d a b o v e m a y a f f e c t t h e d i s t r i b u t i o n p r o p e r t i e s o f r e s i d u a l s i n o t h e r w o r d s t h e a s s u m p t i o n s m a d e o n t h e p r o b a b i l i t y d e n s i t y f u n c t i o n o f t h e r e s i d u a l s m a y b e v i o l a t e d I n t h i s c a s e t h e o p t i m a l p a r a m e t e r v a l u e s m a y b e n o t t r u s t a b l e M a r q u a r d t o p t i m i z a t i o n m e t h o d w i t h L S a s t h e o b j e c t i v e f u n c t i o n i s w e l l d e v e l o p e d i n M a t l a b c o d e w h i c h i s u s e d t h r o u g h o u t t h i s r e s e a r c h 2 4 T e s t o f M o d e l A d e q u a c y A f t e r f i t t i n g d a t a w i t h o n e o r m o r e m o d e l s y o u s h o u l d e v a l u a t e t h e g o o d n e s s o f f i t A v i s u a l e x a m i n a t i o n o f t h e f i t t e d c u r v e d i s p l a y e d s h o u l d b e t h e f i r s t s t e p B e y o n d t h a t s o m e m e a s u r e s o n g o o d n e s s o f f i t a r e p r o v i d e d [ E n g l e z o s e t a l 2 0 0 1 ] :

PAGE 46

3 6 R e s i d u a l s G o o d n e s s o f f i t s t a t i s t i c s T h e m e a s u r e s c a n b e g r o u p e d i n t o t w o t y p e s g r a p h i c a l a n d n u m e r i c a l T h e r e s i d u a l s a n d p r e d i c t i o n b o u n d s a r e g r a p h i c a l m e a s u r e s w h i l e t h e g o o d n e s s o f f i t s t a t i s t i c s a n d c o n f i d e n c e b o u n d s a r e n u m e r i c a l m e a s u r e s 2 4 1 R e s i d u a l s A l l o f t h e i n f o r m a t i o n o n l a c k o f f i t i s c o n t a i n e d i n t h e r e s i d u a l s T h e r e s i d u a l s f r o m a f i t t e d m o d e l a r e d e f i n e d a s t h e d i f f e r e n c e s b e t w e e n t h e r e s p o n s e d a t a a n d t h e f i t t o t h e r e s p o n s e d a t a a t e a c h p r e d i c t e d v a l u e R e s i d u a li = d a t ai – f i ti M a t h e m a t i c a l l y t h e r e s i d u a l f o r a s p e c i f i c p r e d i c t e d v a l u e i s t h e d i f f e r e n c e b e t w e e n t h e r e s p o n s e v a l u e y a n d t h e p r e d i c t e d r e s p o n s e v a l u e ,^y. ^y y r = ( 2 1 5 ) A s s u m i n g t h e m o d e l y o u f i t t o t h e d a t a i s c o r r e c t t h e r e s i d u a l s a p p r o x i m a t e t h e r a n d o m e r r o r s T h e r e f o r e i f t h e r e s i d u a l s a p p e a r t o b e h a v e r a n d o m l y i t s u g g e s t s t h a t t h e m o d e l f i t s t h e d a t a w e l l H o w e v e r i f t h e r e s i d u a l s d i s p l a y a s y s t e m a t i c p a t t e r n i t i s a c l e a r s i g n t h a t t h e m o d e l h a s a b i a s i n r e p r e s e n t i n g d a t a I f t h e r e s i d u a l s a p p e a r r a n d o m l y s c a t t e r e d a r o u n d z e r o t h e m o d e l d e s c r i b e s t h e d a t a a c c u r a t e l y a n d w i t h o u t s y s t e m a t i c b i a s

PAGE 47

3 7 2 4 2 G o o d n e s s o f F i t S t a t i s t i c s T h e r e i s a p l e t h o r a o f m o d e l a d e q u a c y t e s t s t h a t c a n b e e m p l o y e d t o d e c i d e w h e t h e r t h e a s s u m e d m a t h e m a t i c a l m o d e l i s i n d e e d a d e q u a t e G e n e r a l l y s p e a k i n g t h e s e t e s t s a r e b a s e d o n t h e c o m p a r i s o n o f t h e e x p e r i m e n t a l e r r o r v a r i a n c e f o r t h e m o d e l t o t h a t o b t a i n e d e x p e r i m e n t a l l y o r t h r o u g h o t h e r m e a n s F o r s i n g l e r e s p o n s e m o d e l t w o c a s e s h a v e t o b e c o n s i d e r e d O n e i s t h a t w e k n o w p r e c i s e l y t h e v a l u e o f t h e e x p e r i m e n t a l e r r o r v a r i a n c e a n d t h e o t h e r w h e n w e h a v e a n e s t i m a t e o f i t S i n c e o u r d a t a i s f r o m t h e I U P A C C O2 d a t a w e m a y a s s u m e t h a t w e k n o w t h e e x p e r i m e n t a l e r r o r v a r i a n c e p r e c i s e l y a n d i n t r o d u c e n o i s e o u r s e l f t o t e s t t h e m o d e l i n c e r a t i n i n s t a n c e s T o t e s t w h e t h e r t h e m o d e l i s a d e q u a t e w e s i m p l y n e e d t o t e s t t h e h y p o t h e s i s Ho: 2 2es s=m d l H1: 2 2es s>m d l a t a n y d e s i r a b l e l e v e l o f s i g n i f i c a n c e i e = 0 0 5 H e r e 2 m d ls i s t h e e r r o r v a r i a n c e o f t h e m o d e l e q u a t i o n s t h a t i s e s t i m a t e d t o b e 2 e s S i n c e 2 e s i s k n o w n e x a c t l y ( i e t h e r e i s n o u n c e r t a i n t y i n i t s v a l u e i t ’ s a g i v e n n u m b e r ) t h e a b o v e h y p o t h e s i s t e s t i s d o n e t h r o u g h a 2 c t e s t

PAGE 48

3 8 N a m e l y I f 2 2 ( ) 1 d a t a v N m pac c= > R e j e c t Ho, w h e r e 2 2 ^ 2 ^ 2 2) ( ) (e es s s c= = y y p Nm d a t a ( 2 1 6 ) a n d 2 ( ) 1 v N m p a c = i s o b t a i n e d f r o m t h e t a b l e s o f t h e 2 c d i s t r i b u t i o n w i t h d e g r e e s o f f r e e d o m ) ( p N vm= Nm i s t h e t o t a l n u m b e r o f m e a s u r e m e n t s p i s t h e n u m b e r o f p a r a m e t e r s

PAGE 49

3 9 C H A P T E R T H R E E A H Y B R I D S Y S T E M F O R S T R U C T U R A L A N D P A R A M E T R I C O P T I M I Z A I T O N T h i s c h a p t e r h a s f o u r s e c t i o n s I n t h e f i r s t s e c t i o n t h e s t r u c t u r e o f h y b r i d s y s t e m i s g i v e n T h e d a t a u s e d t h r o u g h o u t t h i s r e s e a r c h i s g i v e n i n t h e s e c o n d s e c t i o n T h e r e g r e s s i o n s t r a t e g y i s g i v e n i n t h e t h i r d s e c t i o n T h e f o u r t h s e c t i o n d e s c r i b e s t h e f e a t u r e s o f M A T L A B g e n e t i c s e a r c h t o o l b o x a n d t h e s e t u p o f a l g o r i t h m c o n t r o l l i n g p a r a m e t e r s 3 1 S y s t e m S t r u c t u r e T h e p u r p o s e o f t h i s r e s e a r c h i s t o i n v e s t i g a t e t h e f e a s i b i l i t y o f d e s i g n i n g a g e n e r a l p u r p o s e m a c h i n e f u n c t i o n i d e n t i f i c a t i o n s y s t e m w h i c h c a n a u t o m a t i c a l l y b u i l d a f u n c t i o n m o d e l t o f i t t h e g i v e n e x p e r i m e n t a l d a t a T h e m e t h o d t o s o l v e t h e f u n c t i o n i d e n t i f i c a t i o n p r o b l e m s i s t o c o m b i n e a s y m b o l i c c o m p u t i n g m e t h o d ( G e n e t i c P r o g r a m m i n g ) a n d a n u m e r i c c o m p u t i n g m e t h o d ( t h e L e v e n b e r g M a r q u a r d t n o n l i n e a r r e g r e s s i o n a l g o r i t h m ) T h e t w o l a y e r s t r u c t u r e i s s h o w n i n F i g 3 1 T h e M a r q u a r d t n o n l i n e a r r e g r e s s i o n i s e m b e d d e d i n t h e g e n e t i c p r o g r a m m i n g a s a n i n n e r l a y e r T h e m a c h i n e f u n c t i o n i d e n t i f i c a t i o n s y s t e m s e a r c h e s t h e s p a c e o f f u n c t i o n m o d e l s d y n a m i c a l l y c r e a t e s n e w g e n e r a t i o n o f f u n c t i o n m o d e l s u s i n g g e n e t i c p r o g r a m m i n g a n d o p t i m i z e s t h e c o e f f i c i e n t s o f t h e f u n c t i o n m o d e l s u s i n g t h e L e v e n b e r g M a r q u a r d t n o n l i n e a r r e g r e s s i o n a l g o r i t h m

PAGE 50

4 0 a n d t r i e s t o m a k e t h e f u n c t i o n m o d e l s “ b e s t ” f i t t h e g i v e n s a m p l e d a t a p o i n t s T h e c o m p l e t e p r o c e d u r e e n d s w i t h a s t a t i s t i c a l a n a l y s i s w h i c h i s u s e d t o t e s t m o d e l ’ s a d e q u a c y O u t e r l a y e r : r a w d a t a d a t a m o d e l f i n a l m o d e l w i t h o p t i m a l p a r a m e t e r C a n d i d a t e S t r u c t u r e P a r a m e t e r V a l u e I n n e r l a y e r : F i g u r e 3 1 H y b r i d S y s t e m S t r u c t u r e f o r S t r u c t u r a l a n d P a r a m e t r i c O p t i m i z a t i o n 3 2 D a t a a n d D a t a P r e p a r a t i o n F o r r e a l g a s H e a t C a p a c i t y Cp i s a f u n c t i o n o f T a n d P B y g i v e n v o l u m e t r i c e q u a t i o n o f s t a t e Cp f o r r e a l g a s c a n b e c a l c u l a t e d b y E q ( 3 1 ) d P T V T T C T P CP T P T P i d p p= n r =, 0 2 2) ( ) ( ( 3 1 ) w h e r e i d PC i s i d e a l g a s h e a t c a p a c i t y t h a t i s t h e f u n c t i o n o f T o n l y S i n c e t h i s s t u d y i s t o e x p l o r e t h e a p p l i c a t i o n o f G e n e t i c p r o g r a m m i n g i n d e v e l o p i n g i d e a l g a s h e a t c a p a c i t y m o d e l T h e d a t a i s f r o m I U P A C a s e t o f w e l l m o d e l e d F u n c t i o n i d e n t i f i c a t i o n s y m b o l i c r e g r e s s i o n M o d e l T e s t i n g & S t a t i s t i c s A n a l y s i s P a r a m e t e r R e g r e s s i o n ( L e v e n b e r g M a r q u a r d t ) D a t a P r e p a r i n g

PAGE 51

4 1 d a t a s o w e a s s u m e t h a t t h e d a t a i s f r e e o f o u t l i e r s a n d m i s s i n g v a l u e a n d t h e d a t a s e t i s r e a d y f o r m o d e l i n g w i t h o u t t h e p r e p r o c e s s s t e p I U P A C m o d e l i s a s f o l l o w s : n n n i d pR Ct g==7 0/ ( 3 2 ) w h e r e T K/ 2 3 0 4 = t 1 01 0 7 6 9 4 4 1 2 4 6 0 =g 0 11 0 2 4 9 6 1 0 7 6 6 0 =g 2 21 0 2 5 4 0 0 0 3 9 7 0 =g 2 31 0 6 5 1 1 0 2 2 0 1 0 =g 2 41 0 8 2 0 8 6 3 6 2 4 0 =g 2 51 0 5 7 4 1 4 8 4 5 0 0 =g 2 61 0 2 1 2 1 8 4 2 4 3 0 =g 1 71 0 3 2 3 3 6 2 1 5 3 0 =g 3 3 R e g r e s s i o n S t r a t e g y T h e e v o l u t i o n o f t h e m o d e l i s a n a u t o m a t i c p r o c e s s T h e i n d i v i d u a l m o d u l e s g e n e r a t e d i n t h e p r o c e s s c a n b e v e r y c o m p l i c a t e d a n d i t s s t r u c t u r e i s n e i t h e r p r e d i c t e d n o r e a s i l y s i m p l i f i e d T h i s i n c r e a s e s t h e d i f f i c u l t y i n c o n v e r g e n c e d u r i n g p a r a m e t e r r e g r e s s i o n s t a g e A b a d i n i t i a l g u e s s e s f o r p a r a m e t e r v a l u e m a y a l s o c a u s e t h e f a i l u r e t o c o n v e r g e

PAGE 52

4 2 T o e n s u r e c o n v e r g e n c e o f p a r a m e t e r r e g r e s s i o n r o b u s t l y a n d m o r e p r e c i s e l y a n a u t o m a t e d r e s t a r t o p e r a t i o n a n d t w o s t o p c r i t e r i a a r e i m p l e m e n t e d w h i c h e n f o r c e t h e a l g o r i t h m r e p e a t t h e r e g r e s s i o n p r o c e s s b e f o r e i t s t o p s T h e a u t o m a t e d r e s t a r t o p e r a t i o n i s t h a t t h e p a r a m e t e r v a l u e g o t a t t h e c u r r e n t i t e r a t i o n w i l l b e a u t o m a t i c a l l y a s s i g n e d a s t h e i n i t i a l g u e s s e s f o r t h e n e x t i t e r a t i o n T w o s t o p c r i t e r i a a r e : t h e r e l a t i v e c h a n g e o f s u m o f t h e l e a s t s q u a r e i s l e s s t h a n a s e t u p v a l u e o r t h e n u m b e r o f i t e r a t i o n s e x c e e d s a p r e d e f i n e d n u m b e r T h e f l o w c h a r t i s s h o w n a s F i g 3 2 : S t a r t N o Y e s F i g u r e 3 2 F l o w c h a r t f o r M a r q u a r d t R e g r e s s i o n N o t e : ‘ i ’ i s t h e i t e r a t i o n n u m b e r ‘ x0’ i s t h e i n i t i a l v a l u e f o r p a r a m e t e r s ‘ x ’ i s t h e p a r a m e t e r v a l u e s o b t a i n e d f r o m M a r q u a r d t m e t h o d ‘ r e s n o r m ’ i s s u m o f t h e l e a s t s q u a r e a t ( i + 1 ) t h i t e r a t i o n ‘ o l d r e s n o r m ’ i s s u m o f l e a s t s q u a r e a t i t h i t e r a t i o n ‘ l s q n o n l i n ’ i s M A T L A B n o n l i n e a r r e g r e s s i o n f u n c t i o n M a r q u a r d t x0 i n i t i a l v a l u e i = 1 o l d r e s n o r m = 0 C a l l M A T L A B f u n c t i o n ‘ l s q n o n l i n ’ t o g e t r e s n o r m a n d x C a l c u l a t e t h e f i t n e s s a n d r e t u r n p a r a m e t e r v a l u e t o m a i n f u n c t i o n i = i + 1 x0 x C a l l l s q n o n l i n t o g e t n e w r e s n o r m a n d x I f a b s ( r e s n o r m o l d r e s n o r m ) / o l d r e s n o r m > 0 0 0 1 a n d i < 2 0 0

PAGE 53

4 3 3 4 I m p l e m e n t a t i o n w i t h M A T L A B G e n e t i c S e a r c h T o o l b o x T h e G e n e t i c S e a r c h T o o l b o x p r o v i d e s a n i n t e g r a t e d e n v i r o n m e n t f o r p e r f o r m i n g a l l a s p e c t s o f a g e n e t i c s e a r c h i n c l u d i n g a c o l l e c t i o n o f o p e r a t i o n s f o u n d t o b e t h e m o s t u s e f u l i n i m p l e m e n t i n g g e n e t i c s e a r c h m e t h o d s i n c o m m o n a p p l i c a t i o n s A s c h e m a t i c r e p r e s e n t a t i o n o f t h e g e n e t i c s e a r c h p r o c e s s i s s h o w n i n F i g 3 3 I m p o r t a n t f u n c t i o n a l e l e m e n t s o f a g e n e t i c s e a r c h a r e : a p o p u l a t i o n w i t h a n a s s o c i a t e d f i t n e s s e v a l u a t i o n m e t h o d o l o g y o n e o r m o r e s e l e c t i o n a n d c r e a t i o n s t r a t e g i e s a n d a d e c i m a t i o n s t r a t e g y I n i t i a l P o p u l a t i o n O u t F i g u r e 3 3 S c h e m a t i c D i a g r a m o f t h e G e n e t i c S e a r c h M e t h o d o l o g y T h e g e n e t i c s e a r c h t o o l b o x c a n i m p l e m e n t t h e g e n e t i c s e a r c h p r o c e s s i n t h e f o l l o w i n g m a n n e r s O n e o r t w o n e w o f f s p r i n g s a r e c r e a t e d w i t h c r o s s o v e r o r m u t a t i o n e a c h g e n e r a t i o n I n t h e s e c o n d m a n y n e w o f f s p r i n g s a r e c r e a t e d e a c h g e n e r a t i o n ; o n e g e n e r a t i o n m a y r e p r e s e n t a l m o s t c o m p l e t e p o p u l a t i o n t u r n o v e r ( s o m e m e m b e r s m a y b e r e t a i n e d u n m o d i f i e d t h r o u g h t h e r e p r o d u c t i o n l o o p ) T h i s s e c o n d a p p r o a c h i s o n e t h a t i s P o p u l a t i o n C r e a t i o n S e l e c t i o n D e c i m a t i o n F i t n e s s E v a l u a t i o n

PAGE 54

4 4 a d o p t e d i n m u c h p u b l i s h e d l i t e r a t u r e S i n c e s e q u e n t i a l c o m p u t a t i o n s a r e u s e d i n d i g i t a l c o m p u t e r s h o w e v e r t h e s e c o n d a p p r o a c h i s w a s t e f u l T h u s i n t h i s t h e s i s t h e t e r m g e n e r a t i o n w i l l r e f e r t o a s i n g l e i t e r a t i o n o f c r e a t i n g o n e o r t w o n e w o f f s p r i n g a s s h o w n i n F i g 3 4 N o Y e s F i g u r e 3 4 F l o w c h a r t o f G e n e t i c S e a r c h C r e a t e I n i t i a l P o p u l a t i o n E v a l u a t e F i t n e s s S e l e c t P a r e n t C h r o m o s o m e s E v a l u a t e F i t n e s s P e r f o r m g e n e t i c o p e r a t i o n S e l e c t g e n e t i c o p e r a t i o n P o p u l a t i o n R e d u c t i o n ? S u b r o u t i n e : r e g r e s s i o n S e l e c t c h r o m o s o m e s a n d d e l e t e f r o m p o p u l a t i o n S u b r o u t i n e : r e g r e s s i o n

PAGE 55

4 5 3 4 1 T e r m i n a l S e t a n d F u n c t i o n S e t A t t h e h e a r t o f e v e r y g e n e t i c s e a r c h i s t h e p o p u l a t i o n T h e G e n e t i c S e a r c h T o o l b o x c a n h a n d l e a n y n u m b e r o f s e p a r a t e p o p u l a t i o n s T h e p o p u l a t i o n s c a n c o n t a i n t h r e e t y p e s o f c h r o m o s o m e s : a l g e b r a i c s p a c e s e p a r a t e d a n d b i n a r y s t r i n g s A l g e b r a i c c h r o m o s o m e s a r e a l g e b r a i c e x p r e s s i o n s w h i c h w i l l b e a p p l i e d i n t h i s p r o b l e m T h e c h r o m o s o m e s c a n c o n t a i n M A T L A B f u n c t i o n s o r o t h e r u s e r d e f i n e d f u n c t i o n s w r i t t e n i n t h e M A T L A B e n v i r o n m e n t ; i n t e r p r e t a t i o n o f t h e c h r o m o s o m e i s p r o b l e m s p e c i f i c a n d i s u p t o t h e u s e r T h e g e n e t i c p r o g r a m m i n g m o d u l e s t a r t s w i t h a s e t o f p r i m i t i v e f u n c t i o n s l i k e + , / % e x p s q u a r e r o o t ( s q r t ) l o g … a t e r m i n a l s e t c o n s i s t i n g o f t e m p e r a t u r e p r e s s u r e e t c I t p e r f o r m s s y m b o l i c r e g r e s s i o n o n t h e e x p e r i m e n t a l d a t a t o e x t r a c t f u n c t i o n a l r e p r e s e n t a t i o n o f t h e d a t a B a s e d o n t h e p r e k n o w l e d g e o n h e a t c a p a c i t y Cp, w e b e l i e v e t h a t s o m e c o m p o s i t i o n o f t h e f u n c t i o n s a n d t e r m i n a l s s u p p l i e d h e r e c a n y i e l d a s o l u t i o n t o t h e p r o b l e m 3 4 2 P a r a m e t e r s f o r C o n t r o l l i n g R u n s T h e g e n e t i c p r o g r a m m i n g p a r a d i g m i s c o n t r o l l e d b y t w o m a j o r n u m e r i c a l p a r a m e t e r s i e t h e p o p u l a t i o n s i z e a n d t h e m a x i m u m n u m b e r o f g e n e r a t i o n s T h e s e t w o p a r a m e t e r s d e p e n d o n t h e d i f f i c u l t y o f t h e p r o b l e m i n v o l v e d O t h e r m i n o r n u m e r i c a l p a r a m e t e r s i n c l u d e t h e p r o b a b i l i t y o f c r o s s o v e r r e p r o d u c t i o n a n d m u t a t i o n T h e p o p u l a t i o n s i z e i s 5 0 0 T h e m a x i m u m n u m b e r o f g e n e r a t i o n s G t o b e r u n i s 5 1 ( i e a n i n i t i a l r a n d o m p o p u l a t i o n c a l l e d g e n e r a t i o n 0 a n d 5 0 a d d i t i o n a l g e n e r a t i o n s )

PAGE 56

4 6 C r o s s o v e r i s p e r f o r m e d o n 8 0 % o f t h e p o p u l a t i o n T h a t i s i f t h e p o p u l a t i o n s i z e i s 5 0 0 t h e n 2 0 0 p a i r s o f i n d i v i d u a l s f r o m e a c h g e n e r a t i o n a r e s e l e c t e d ( w i t h r e s e l e c t i o n a l l o w e d ) f r o m t h e p o p u l a t i o n w i t h a p r o b a b i l i t y e q u a l t o t h e i r n o r m a l i z e d a d j u s t e d f i t n e s s I n a d d i t i o n f i t n e s s p r o p o r t i o n a t e r e p r o d u c t i o n i s p e r f o r m e d o n 2 0 % o f t h e p o p u l a t i o n o n e a c h g e n e r a t i o n T h a t i s 1 0 0 i n d i v i d u a l s f r o m e a c h g e n e r a t i o n a r e s e l e c t e d ( w i t h r e s e l e c t i o n a l l o w e d ) f r o m t h e p o p u l a t i o n w i t h a p r o b a b i l i t y e q u a l t o t h e i r n o r m a l i z e d a d j u s t e d f i t n e s s N o t e t h a t t h e p a r e n t s r e m a i n i n t h e p o p u l a t i o n a n d c a n o f t e n r e p e a t e d l y p a r t i c i p a t e i n o t h e r o p e r a t i o n s d u r i n g t h e c u r r e n t g e n e r a t i o n S e v e r a l m i n o r p a r a m e t e r s a r e u s e d t o c o n t r o l t h e c o m p u t e r i m p l e m e n t a t i o n o f t h e a l g o r i t h m a s d e s c r i b e d i n K o z a [ 1 9 9 2 ] T h e t o o l b o x p r o v i d e s s e v e r a l g e n e t i c o p e r a t i o n s w i t h w h i c h t o c r e a t e n e w m e m b e r s o f t h e p o p u l a t i o n a l g e b r a i c c h r o m o s o m e s c a n u n d e r g o c r o s s o v e r o r m u t a t i o n T h e c r o s s o v e r o p e r a t i o n s p r o d u c e t w o o f f s p r i n g c h r o m o s o m e s a n d t h e m u t a t i o n p r o d u c e o n e T h e n e w c h r o m o s o m e s a r e a u t o m a t i c a l l y a d d e d t o t h e p o p u l a t i o n 3 4 3 S e l e c t i o n S t r a t e g y I n a g e n e t i c s e a r c h e a c h m e m b e r o f a p o p u l a t i o n n e e d s t o b e e v a l u a t e d a n d a s s i g n e d a f i t n e s s v a l u e I n t h e t o o l b o x e n v i r o n m e n t t h i s f i t n e s s c a n b e a n y f u n c t i o n t h a t c a n b e c a l c u l a t e d w i t h i n M A T L A B I t c a n b e n o n l i n e a r d i s c o n t i n u o u s o r n o n s m o o t h T h e f i t n e s s c a n b e e i t h e r m a x i m i z e d o r m i n i m i z e d d u r i n g a s e a r c h O b v i o u s l y t h e m i n i m i z a t i o n p r o b l e m i s a p p l i e d i n t h e w h o l e t h e s i s A t t h e e n d o f t h e e a c h G P r u n v a r i o u s p o p u l a t i o n f i t n e s s s t a t i s t i c s ( s u c h a s t h e m e a n a n d v a r i a n c e o f t h e f i t n e s s ) i s c o m p u t e d

PAGE 57

4 7 M e m b e r s o f a p o p u l a t i o n c a n b e s e l e c t e d f o r e x a m i n a t i o n o r f o r g e n e t i c o p e r a t i o n s t h r o u g h a v a r i e t y o f c r i t e r i a I n g e n e r a l m e m b e r s w i t h t h e h i g h e s t o r l o w e s t f i t n e s s c a n b e s e l e c t e d M e m b e r s c a n b e s e l e c t e d r a n d o m l y M e m b e r s c a n b e s e l e c t e d i n a r a n d o m i z e d f a s h i o n w i t h t h e p r o b a b i l i t y p r o p o r t i o n a l o r i n v e r s e l y p r o p o r t i o n a l t o f i t n e s s T h e y c a n b e s e l e c t e d w i t h p r o b a b i l i t y d e p e n d e n t o n t h e i r f i t n e s s r a n k s ( t h e r a n k o f t h e c h r o m o s o m e i f a l l t h e c h r o m o s o m e s i n t h e p o p u l a t i o n a r e n u m b e r e d i n o r d e r o f f i t n e s s ) T h e y c a n a l s o b e s e l e c t e d u s i n g t o u r n a m e n t s e l e c t i o n i n w h i c h a g r o u p o f c h r o m o s o m e s i s c h o s e n a t r a n d o m f r o m t h e p o p u l a t i o n a n d t h e b e s t o r w o r s t c h r o m o s o m e s f r o m t h a t g r o u p a r e t h e n s e l e c t e d d e t e r m i n i s t i c a l l y f o r f u r t h e r g e n e t i c o p e r a t i o n s I n t h i s p r o b l e m r a n d o m s e l e c t i o n b a s e d o n f i t n e s s i s u s e d 3 4 4 D e c i m a t i o n S t r a t e g y I n o r d e r t o m a n a g e t h e s i z e o f t h e p o p u l a t i o n i n a g e n e t i c s e a r c h i t i s p r u d e n t t o m a k e s o m e p r o v i s i o n f o r d e l e t i n g m e m b e r s o f t h e p o p u l a t i o n I n a d d i t i o n i t m a y b e d e s i r a b l e t o d e l e t e c h r o m o s o m e s t o k e e p t h e b e t t e r c h r o m o s o m e s i n t h e p o p u l a t i o n T h e d e c i m a t i o n s t r a t e g y u s e d h e r e i s t o s e t a m a x p o p u l a t i o n s i z e i f t h e p o p u l a t i o n s i z e i s b i g g e r t h a n t h i s l i m i t t h e n t h e c h r o m o s o m e s w i t h w o r s t f i t n e s s w i l l b e d e l e t e d f r o m t h e p o p u l a t i o n 3 4 5 R e s u l t D e s i g n a t i o n a n d T e r m i n a t i o n C r i t e r i o n T h e s i n g l e i n d i v i d u a l w i t h t h e b e s t v a l u e o f f i t n e s s o v e r a l l t h e g e n e r a t i o n s ( t h e s o c a l l e d b e s t s o f a r i n d i v i d u a l ) i s d e s i g n a t e d a s t h e r e s u l t o f a r u n E a c h r u n i s t e r m i n a t e d a f t e r r u n n i n g G = 5 1 g e n e r a t i o n s

PAGE 58

4 8 C H A P T E R F O U R R E S U L T S A N D D I S C U S S I O N S T h e r e a r e t w o s e c t i o n s i n t h i s c h a p t e r T e n e x p e r i m e n t s a r e r u n w i t h d i f f e r e n t f o r m s o f i n p u t v a r i a b l e s n u m b e r o f d a t a p o i n t s s t a n d a r d e r r o r s a d d e d t o d a t a s e t a n d f i t n e s s f u n c t i o n s I n t h e f i r s t s e c t i o n i n p u t a n d r e s u l t a r e s u m m a r i z e d f o r e a c h c a s e ( T a b l e s 4 1 4 1 0 ) i n c l u d i n g m o d e l f i t a n d t h e r e s i d u a l s ( F i g u r e s 4 1 4 3 0 ) I n t h e s e c o n d s e c t i o n t h e r e s u l t s w i l l b e c o m p a r e d a n d d i s c u s s e d b a s e d o n t h e s c a l i n g a b i l i t y t o c o p e w i t h s i t u a t i o n s w i t h n o i s e p a r s i m o n y a n d l o c a l v s g l o b a l o p t i m i z a t i o n f o r p a r a m e t e r 4 1 R e s u l t s I n c a s e I 3 9 d a t a p o i n t s a r e g e n e r a t e d f r o m t h e o r i g i n a l I U P A C m o d e l t h e d a t a s t a n d e r r o r i s 0 T a b l e 4 1 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I I n p u t : F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : T ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a t e m p e r a t u r e r a n g e : 2 1 0 t o 9 7 0 K s t e p l e n g t h : 2 0 K 3 9 p o i n t s i n t o t a l

PAGE 59

4 9 2 0 0 3 0 0 4 0 0 5 0 0 6 0 0 7 0 0 8 0 0 9 0 0 1 0 0 0 1 1 0 0 3 0 3 5 4 0 4 5 5 0 5 5 6 0 T ( K ) C p J / K m o l g i v e n d a t a c a l c u l a t e d d a t a g i v e n d a t a p r e d i c t e d v a l u e T a b l e 4 1 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I ( C o n t i n u e d ) T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a t e m p e r a t u r e r a n g e 9 7 0 t o 1 1 0 0 K s t e p l e n g t h : 1 0 K 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 4 3 2 1) e x p (v T v v T v Cp + = P a r a m e t e r s : v1 =0 0 0 1 8 v2 = 3 8 4 8 7 2 v3= 4 3 3 6 3 8 7 v4 = 2 7 5 7 9 3 F i g u r e 4 1 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I

PAGE 60

5 0 2 0 0 3 0 0 4 0 0 5 0 0 6 0 0 7 0 0 8 0 0 9 0 0 1 0 0 0 0 0 3 0 0 2 0 0 1 0 0 0 1 0 0 2 0 0 3 0 0 4 0 0 5 T ( K ) R e s i d u a l J / K m o l F i g u r e 4 2 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I 9 6 0 9 8 0 1 0 0 0 1 0 2 0 1 0 4 0 1 0 6 0 1 0 8 0 1 1 0 0 0 0 4 0 0 6 0 0 8 0 1 0 1 2 0 1 4 0 1 6 0 1 8 T ( K ) R e s i d u a l J / K m o l F i g u r e 4 3 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I

PAGE 61

5 1 I n c a s e I I t h e e x p o n e n t i a l f u n c t i o n a n d l o g a r i t h m i c f u n c t i o n a r e r e m o v e d f r o m f u n c t i o n s e t T a b l e 4 2 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I I I n p u t : F u n c t i o n S e t : + , / T e r m i n a l S e t : T ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a t e m p e r a t u r e r a n g e : 2 1 0 t o 9 7 0 K s t e p l e n g t h : 2 0 K 3 9 p o i n t s i n t o t a l T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a t e m p e r a t u r e r a n g e 9 7 0 t o 1 1 0 0 K s t e p l e n g t h : 1 0 K 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 1 8 1 7 8 6 7 5 6 4 5 3 4 2 3 2 11== + + + + + + + =n r n n r r r r r r r pT v T v T v T v T v T v T v T v v C P a r a m e t e r s : v1= 6 5 4 0 5 1 v2= 1 1 5 1 6 e + 0 0 4 v3= 1 1 9 5 4 e + 0 0 6 v4= 1 8 3 2 8 e + 0 0 9 v5= 7 0 2 9 2 e + 0 1 1 v6= 1 4 9 5 6 e + 0 1 4 v7= 1 6 8 1 4 e + 0 1 6 v8= 7 7 9 4 8 e + 0 1 7

PAGE 62

5 2 F i g u r e 4 4 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I I 2 0 0 3 0 0 4 0 0 5 0 0 6 0 0 7 0 0 8 0 0 9 0 0 1 0 0 0 0 4 0 3 0 2 0 1 0 0 1 0 2 0 3 0 4 0 5 0 6 T ( K ) R e s i d u a l J / K m o l F i g u r e 4 5 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I I 2 0 0 3 0 0 4 0 0 5 0 0 6 0 0 7 0 0 8 0 0 9 0 0 1 0 0 0 1 1 0 0 3 0 3 5 4 0 4 5 5 0 5 5 6 0 T ( K ) C p J / K m o l g i v e n d a t a c a l c u l a t e d d a t a p r e d i c t e d v a l u e

PAGE 63

5 3 9 6 0 9 8 0 1 0 0 0 1 0 2 0 1 0 4 0 1 0 6 0 1 0 8 0 1 1 0 0 0 5 4 0 5 2 0 5 0 4 8 0 4 6 0 4 4 0 4 2 0 4 0 3 8 0 3 6 0 3 4 T ( K ) R e s i d u a l J / K m o l F i g u r e 4 6 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f T e m p e r a t u r e f o r C a s e I I I n c a s e I I I t h e c o m p l e t e f u n c t i o n s e t a n d t h e o r i g i n a l I U P A C d a t a a r e u s e d T h e s t a n d a r d e r r o r o f d a t a i s z e r o T h e t e m p e r a t u r e T i s s c a l e d t o r e d u c e d t e m p e r a t u r e Tr ( T / T c ) w h e r e Tc i s t h e c r i t i c a l t e m p e r a t u r e o f C O2, a c o n s t a n t o f 3 0 4 2 K T a b l e 4 3 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I I I I n p u t: F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : r e d u c e d T e m p e r a t u r e Tr ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 6 5 3 9 p o i n t s i n t o t a l

PAGE 64

5 4 T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 3 1 8 9 t o 3 6 1 6 s t e p l e n g t h : 0 0 3 3 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 1 8 1 7 8 6 7 5 6 4 5 3 4 2 3 2 11== + + + + + + + =n r n n r r r r r r r pT v T v T v T v T v T v T v T v v C P a r a m e t e r s : v1 = 6 9 5 9 3 4 v2 = 5 9 8 5 9 3 v3 = 3 0 1 1 2 9 v4 = 9 9 3 8 2 v5 = 1 3 8 1 1 9 v6 = 5 3 2 7 3 v7 = 9 4 6 5 7 v8 = 2 6 9 7 9 F i g u r e 4 7 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I I I 0 5 1 1 5 2 2 5 3 3 5 4 3 0 3 5 4 0 4 5 5 0 5 5 6 0 T r C p J / K m o l g i v e n d a t a c a l c u l a t e d d a t a g i v e n d a t a p r e d i c t e d v a l u e

PAGE 65

5 5 0 5 1 1 5 2 2 5 3 3 5 0 0 1 5 0 0 1 0 0 0 5 0 0 0 0 5 0 0 1 0 0 1 5 T r R e s i d u a l J / K m o l F i g u r e 4 8 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I I I 3 1 5 3 2 3 2 5 3 3 3 3 5 3 4 3 4 5 3 5 3 5 5 3 6 3 6 5 0 0 1 0 0 2 0 0 3 0 0 4 0 0 5 0 0 6 0 0 7 T r R e s i d u a l J / K m o l F i g u r e 4 9 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I I I

PAGE 66

5 6 I n c a s e I V t h e c o m p l e t e f u n c t i o n s e t a n d r e d u c e d t e m p e r a t u r e Tr a r e u s e d n o r m a l d i s t r i b u t e d a n d r a n d o m l y g e n e r a t e d e r r o r w i t h s t a n d a r d d e v i a t i o n o f 0 0 5 i s a d d e d t o t h e o r i g i n a l I U P A C d a t a T a b l e 4 4 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I V I n p u t: F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : r e d u c e d T e m p e r a t u r e Tr ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 6 5 3 9 p o i n t s i n t o t a l s t a n d a r d e r r o r 0 0 5 T a b l e 4 4 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I V ( C o n t i n u e d ) T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a t e m p e r a t u r e r a n g e 9 7 0 t o 1 1 0 0 K s t e p l e n g t h : 1 0 K 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 1 8 1 7 8 6 7 5 6 4 5 3 4 2 3 2 11== + + + + + + + =n r n n r r r r r r r pT v T v T v T v T v T v T v T v v C P a r a m e t e r s : v1 = 6 9 4 4 6 0 v2 = 5 8 7 7 5 8 v3 = 2 7 7 7 1 2 v4 = 1 0 9 6 3 1 v5 = 1 2 4 8 0 3 v6 = 5 7 5 5 5 v7 = 8 3 8 5 0 v8 = 2 1 5 7 5 M o d e l A d e q u a c y T e s t i n g : m d l c = 2 8 7 2 3 5 e x p c = 4 4 9 8 5 3 e x pc c
PAGE 67

5 7 F i g u r e 4 1 0 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I V 0 5 1 1 5 2 2 5 3 3 5 0 1 0 0 8 0 0 6 0 0 4 0 0 2 0 0 0 2 0 0 4 0 0 6 0 0 8 T r R e s i d u a l J / K m o l 0 5 1 1 5 2 2 5 3 3 5 4 3 0 3 5 4 0 4 5 5 0 5 5 6 0 T r C p J / K m o l g i v e n d a t a c a l c u l a t e d d a t a g i v e n d a t a p r e d i c t e d v a l u e

PAGE 68

58 Figure 4.11 Residual of Model Testing as a Function of Reduced Temperature Tr for Case IV 315 32 325 33 335 34 345 35 355 36 365 0.02 0 0.02 0.04 006 0.08 0.1 Tr Residual, J/K-mol Figure 4.12 Residual of Model Prediction as a Function of Reduced Temperature Tr for Case IV In case V, the complete function set and reduced temperature Tr (T/Tc) are used, where T is from 210 K to 970 K, and Tc is the critical temperature of CO2, a constant of 304.2 K. An error with standard deviation of 0.25 is applied to the original IUPAC data. Table 4.5 Input and Result Summary for Case V Input: Function Set: +, -, *, /, sqrt, power, log, exp Terminal Set: reduced Temperature Tr (independent variable), parameter v1-v8 (eight parameters maximum) Maximum Population Size: 500 Maximum Number of Generations: 51 Probability of Crossover: 80% Probability of Mutation: 20% Method of Decimation: maximum population size Selection Rule: randomly selection, fitness based

PAGE 69

5 9 T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 6 5 3 9 p o i n t s i n t o t a l s t a n d a r d e r r o r 0 2 5 T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 3 1 8 9 t o 3 6 1 6 s t e p l e n g t h : 0 0 3 3 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 1 8 1 7 8 6 7 5 6 4 5 3 4 2 3 2 11== + + + + + + + =n r n n r r r r r r r pT v T v T v T v T v T v T v T v v C P a r a m e t e r s : v1 = 6 8 4 2 0 9 v2 = 5 4 7 8 3 7 v3 = 2 6 1 2 8 0 v4 = 7 1 6 0 9 v 5= 1 3 5 4 4 2 v6 = 3 0 7 2 2 v7 = 1 1 3 6 7 9 v8 = 4 4 0 2 5 M o d e l A d e q u a c y T e s t i n g : m d lc= 2 4 7 4 8 7 e x p c = 4 4 9 8 5 3 e x pc c
PAGE 70

60 0.5 1 1.5 2 2.5 3 35 0.4 0.3 0.2 0.1 0 0.1 0.2 0.3 0.4 0.5 0.6 Tr Residual, J/K-mol Figure 4.14 Residual of Model Testing as a Function of Reduced Temperature Tr for Case V 3.15 3.2 3.25 3.3 3.35 3.4 3.45 3.5 3.55 3.6 3.65 0.3 0.2 0.1 0 0.1 0.2 0.3 0.4 0.5 0.6 Tr Residual, J/K-mol Figure 4.15 Residual of Model Prediction as a Function of Reduced Temperature Tr for Case V

PAGE 71

6 1 I n c a s e V I t h e c o m p l e t e f u n c t i o n s e t o r i g i n a l d a t a a n d r e d u c e d T e m p e r a t u r e Tr ( T / Tc) a r e u s e d w h e r e T i s 2 1 0 : 1 : 9 7 0 K Tc i s t h e c r i t i c a l p o i n t o f C O2, a c o n s t a n t o f 3 0 4 2 K T a b l e 4 6 I n p u t a n d R e s u l t S u m m a r y f o r C a s e V I I n p u t : F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : r e d u c e d T e m p e r a t u r e Tr ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 0 3 3 7 6 1 p o i n t s i n t o t a l T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 3 1 8 9 t o 3 6 1 6 s t e p l e n g t h : 0 0 3 3 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 T a b l e 4 6 I n p u t a n d R e s u l t S u m m a r y f o r C a s e V I ( C o n t i n u e d ) R e s u l t : E v o l u t i o n a r y M o d e l : 1 8 1 7 8 6 7 5 6 4 5 3 4 2 3 2 11== + + + + + + + =n r n n r r r r r r r pT v T v T v T v T v T v T v T v v C P a r a m e t e r s : v1 = 6 8 4 7 4 2 v2 = 5 8 3 4 1 7 v3 = 2 8 6 7 4 3 v4 = 1 1 1 8 5 2 v5 = 1 4 2 0 4 3 v6 = 6 0 5 8 4 v7 = 1 0 1 3 8 7 v8 = 2 8 2 6 1

PAGE 72

6 2 0 5 1 1 5 2 2 5 3 3 5 4 3 0 3 5 4 0 4 5 5 0 5 5 6 0 T r C p g i v e n d a t a c a l c u l a t e d d a t a g i v e n d a t a p r e d i c t e d v a l u e F i g u r e 4 1 6 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e V I

PAGE 73

6 3 0 5 1 1 5 2 2 5 3 3 5 0 0 4 0 0 3 0 0 2 0 0 1 0 0 0 1 0 0 2 T r R e s i d u a l J / K m o l F i g u r e 4 1 7 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I 3 1 5 3 2 3 2 5 3 3 3 3 5 3 4 3 4 5 3 5 3 5 5 3 6 3 6 5 0 0 0 5 0 0 1 0 0 1 5 0 0 2 0 0 2 5 0 0 3 0 0 3 5 0 0 4 0 0 4 5 T r R e s i d u a l J / K m o l F i g u r e 4 1 8 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I

PAGE 74

6 4 I n c a s e V I I t h e c o m p l e t e f u n c t i o n s e t a n d r e d u c e d t e m p e r a t u r e Tr ( T / T c ) a r e u s e d w h e r e T i s 2 1 0 : 1 : 9 7 0 K A n o r m a l d i s t r i b u t e d r a n d o m g e n e r a t e d s t a n d a r d e r r o r 0 0 5 i s a d d e d t o o r i g i n a l d a t a T a b l e 4 7 I n p u t a n d R e s u l t S u m m a r y f o r C a s e V I I I n p u t: F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : r e d u c e d T e m p e r a t u r e Tr ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 0 3 3 7 6 1 p o i n t s i n t o t a l s t a n d a r d e r r o r 0 0 5 T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 3 1 8 9 t o 3 6 1 6 s t e p l e n g t h : 0 0 3 3 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 1 8 1 7 8 6 7 5 6 4 5 3 4 2 3 2 11== + + + + + + + =n r n n r r r r r r r pT v T v T v T v T v T v T v T v v C P a r a m e t e r s : v1 = 6 9 5 1 8 0 v2 = 5 9 3 9 4 9 v3 = 2 8 9 8 4 6 v4 = 1 1 2 0 2 5 v5 = 1 4 1 0 0 1 v6 = 6 0 7 5 5 v7 = 1 0 1 4 1 4 v8 = 2 8 6 6 3 M o d e l A d e q u a c y T e s t i n g : m d lc= 7 9 2 7 2 5 4 e x p c = 8 1 7 9 4 8 8 e x pc c
PAGE 75

65 0.5 1 1.5 2 2.5 3 3.5 4 30 35 40 45 50 55 60 Tr Cp, J/K-mol given data calculated data given data predicted value Figure 4.19 Heat Capacity Cp Model Fit for Case VII 0.5 1 1.5 2 2.5 3 35 0.2 0.15 0.1 0.05 0 0.05 0.1 0.15 Tr Residual J/K-mol Figure 4.20 Residual of Model Testing as a Function of Reduced Temperature Tr for Case VII

PAGE 76

6 6 3 1 5 3 2 3 2 5 3 3 3 3 5 3 4 3 4 5 3 5 3 5 5 3 6 3 6 5 0 1 0 0 5 0 0 0 5 0 1 0 1 5 T r R e s i d u a l J / K m o l F i g u r e 4 2 1 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I I I n c a s e V I I I t h e c o m p l e t e f u n c t i o n s e t a n d r e d u c e d t e m p e r a t u r e Tr ( T / T c ) a r e u s e d w h e r e T i s 2 1 0 : 1 : 9 7 0 K Tc i s t h e c r i t i c a l p o i n t o f C O2, a c o n s t a n t o f 3 0 4 2 K A n o r m a l d i s t r i b u t e d r a n d o m l y g e n e r a t e d e r r o r w i t h s t a n d a r d d e v i a t i o n o f 0 2 5 i s a p p l i e d t o t h e o r i g i n a l d a t a T a b l e 4 8 I n p u t a n d R e s u l t S u m m a r y f o r V I I I I n p u t: F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : r e d u c e d T e m p e r a t u r e Tr ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e

PAGE 77

6 7 T a b l e 4 8 I n p u t a n d R e s u l t S u m m a r y f o r V I I I ( C o n t i n u e d ) S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 0 3 3 7 6 1 p o i n t s i n t o t a l s t a n d a r d e r r o r 0 2 5 T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 3 1 8 9 t o 3 6 1 6 s t e p l e n g t h : 0 0 3 3 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 1 8 1 7 8 6 7 5 6 4 5 3 4 2 3 2 11== + + + + + + + =n r n n r r r r r r r pT v T v T v T v T v T v T v T v v C P a r a m e t e r s : v1 = 6 9 8 4 3 2 v2 = 6 0 5 5 3 9 v3 = 2 9 9 8 6 9 v4 = 1 1 3 7 3 1 v5 = 1 4 4 0 5 1 v6 = 6 2 1 1 8 v7 = 1 0 1 6 9 2 v8 = 2 8 0 5 8 M o d e l A d e q u a c y T e s t i n g : m d lc = 7 9 1 2 6 2 3 e x p c = 8 1 7 9 4 8 8 e x pc c
PAGE 78

6 8 0 5 1 1 5 2 2 5 3 3 5 0 8 0 6 0 4 0 2 0 0 2 0 4 0 6 0 8 T r R e s i d u a l J / K m o l F i g u r e 4 2 3 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I I I 3 1 5 3 2 3 2 5 3 3 3 3 5 3 4 3 4 5 3 5 3 5 5 3 6 3 6 5 0 4 0 3 0 2 0 1 0 0 1 0 2 0 3 0 4 T r R e s i d u a l J / K m o l F i g u r e 4 2 4 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e V I I I

PAGE 79

6 9 I n c a s e I X t h e c o m p l e t e f u n c t i o n s e t a n d r e d u c e d t e m p e r a t u r e Tr ( T / Tc, ) a r e u s e d w h e r e T i s f r o m 2 1 0 K t o 9 7 0 K A n o r m a l d i s t r i b u t e d r a n d o m l y g e n e r a t e d e r r o r w i t h s t a n d a r d d e v i a t i o n o f 0 0 5 i s a d d e d t o t h e o r i g i n a l d a t a M o d e l c o m p l e x i t y i s a l s o a d d e d t o t h e f i t n e s s f u n c t i o n T a b l e 4 9 I n p u t a n d R e s u l t S u m m a r y f o r C a s e I X I n p u t : F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : r e d u c e d T e m p e r a t u r e Tr ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 6 5 3 9 p o i n t s i n t o t a l s t a n d a r d e r r o r i s 0 0 5 T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 3 1 8 9 t o 3 6 1 6 s t e p l e n g t h : 0 0 3 3 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 4 3 2 1) e x p ( v T v v T v Cp + = P a r a m e t e r s : v1 = 0 8 4 4 4 v2 = 3 7 1 9 4 9 v3 = 1 3 6 9 4 v4 = 2 7 0 9 8 5 M o d e l A d e q u a c y T e s t i n g : m d lc= 3 7 8 2 7 2 e x p c = 4 9 8 0 1 8 e x pc c
PAGE 80

7 0 0 5 1 1 5 2 2 5 3 3 5 4 3 0 3 5 4 0 4 5 5 0 5 5 6 0 T r C p J / K m o l g i v e n d a t a c a l c u l a t e d d a t a g i v e n d a t a p r e d i c t e d v a l u e F i g u r e 4 2 5 H e a t C a p a c i t y Cp M o d e l F i t f o r C a s e I X 0 5 1 1 5 2 2 5 3 3 5 0 1 0 0 5 0 0 0 5 0 1 0 1 5 T r R e s i d u a l J / K m o l F i g u r e 4 2 6 R e s i d u a l o f M o d e l T e s t i n g a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I X

PAGE 81

7 1 3 1 5 3 2 3 2 5 3 3 3 3 5 3 4 3 4 5 3 5 3 5 5 3 6 3 6 5 0 0 0 5 0 1 0 1 5 0 2 0 2 5 0 3 0 3 5 T r R e s i d u a l J / K m o l F i g u r e 4 2 7 R e s i d u a l o f M o d e l P r e d i c t i o n a s a F u n c t i o n o f R e d u c e d T e m p e r a t u r e Tr f o r C a s e I X I n c a s e X t h e r e d u c e d t e m p e r a t u r e Tr ( T / T c ) i s u s e d w h e r e T i s 2 1 0 : 1 : 9 7 0 K R a n d o m l y g e n e r a t e d e r r o r n o r m a l l y d i s t r i b u t e d w i t h s t a n d a r d d e v i a t i o n o f 0 0 5 i s a p p l i e d t o t h e o r i g i n a l I U P A C d a t a T h e m o d e l c o m p l e x i t y i s a d d e d t o f i t n e s s f u n c t i o n T a b l e 4 1 0 I n p u t a n d R e s u l t S u m m a r y f o r C a s e X I n p u t : F u n c t i o n S e t : + , / s q r t p o w e r l o g e x p T e r m i n a l S e t : r e d u c e d T e m p e r a t u r e Tr ( i n d e p e n d e n t v a r i a b l e ) p a r a m e t e r v 1 v 8 ( e i g h t p a r a m e t e r s m a x i m u m ) M a x i m u m P o p u l a t i o n S i z e : 5 0 0 M a x i m u m N u m b e r o f G e n e r a t i o n s : 5 1 P r o b a b i l i t y o f C r o s s o v e r : 8 0 % P r o b a b i l i t y o f M u t a t i o n : 2 0 % M e t h o d o f D e c i m a t i o n : m a x i m u m p o p u l a t i o n s i z e S e l e c t i o n R u l e : r a n d o m l y s e l e c t i o n f i t n e s s b a s e d

PAGE 82

7 2 T a b l e 4 1 0 I n p u t a n d R e s u l t S u m m a r y f o r C a s e X ( C o n t i n u e d ) T r a i n i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 0 6 9 0 t o 3 1 8 9 s t e p l e n g t h : 0 0 0 3 3 7 6 1 p o i n t s i n t o t a l s t a n d a r d e r r o r : 0 0 5 T e s t i n g D a t a : I U P A C m o d e l g e n e r a t e d d a t a r e d u c e d t e m p e r a t u r e r a n g e : 3 1 8 9 t o 3 6 1 6 s t e p l e n g t h : 0 0 3 3 1 4 p o i n t s i n t o t a l R e g r e s s i o n C o n v e r s i o n C r i t e r i a : 1 e 8 R e s u l t : E v o l u t i o n a r y M o d e l : 4 3 2 1) e x p ( v T v v T v Cp + = P a r a m e t e r s : v1 = 0 6 9 1 1 v2 = 3 7 8 2 6 7 v3 = 1 4 1 3 2 v4 = 2 7 4 9 0 8 M o d e l A d e q u a c y T e s t i n g : m d lc= 7 7 9 0 6 2 9 e x p c = 8 2 2 1 1 8 2 e x pc c
PAGE 83

73 0.5 1 1.5 2 2.5 3 35 0.2 0.15 0.1 0.05 0 0.05 0.1 0. 15 Tr Residual J/K-mol Figure 4.29 Residual of Model Testing as a Function of Reduced Temperature Tr for Case X 3.15 3.2 3.25 3.3 3.35 3.4 3.45 3.5 3.55 3.6 3.65 0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2 Tr Residual J/K-mol Figure 4.30 Residual of Model Prediction as a Function of Reduced Temperature Tr for Case X

PAGE 84

7 4 4 2 D i s c u s s i o n s I n C a s e I a s i m p l e r m o d e l w h i c h c o n t a i n s a n e x p o n e n t i a l t e r m i s o b t a i n e d T h e s t r u c t u r e o f t h e n e w m o d e l i s d i f f e r e n t f r o m t h e g i v e n I U P A C m o d e l w h i c h i s a p o l y n o m i a l e q u a t i o n w i t h e i g h t p a r a m e t e r s I n F i g 4 1 i t i s s h o w n t h a t t h e e x p o n e n t i a l m o d e l f i t s t h e d a t a w e l l I n C a s e I I t h e e x p o n e n t i a l f u n c t i o n i s r e m o v e d f r o m t h e f u n c t i o n s e t a n d t h e s a m e p o l y n o m i a l e q u a t i o n a s I U P A C m o d e l i s o b t a i n e d h o w e v e r t h e p a r a m e t e r s a r e i n t h e f o r m o f : n n) 2 3 0 4 (g ( 4 1 ) w h e r e ngr e p r e s e n t s t h e e i g h t p a r a m e t e r s i n I U P A C m o d e l n: 0 7 W i t h i n c r e a s i n g p o w e r o f n, t h e v a l u e o f p a r a m e t e r s i n C a s e I I i n c r e a s e s s i g n i f i c a n t l y I n t h i s c a s e s c a l i n g p r o b l e m m a y a r i s e w h i c h c a u s e s t h e m a t r i x o f p a r t i a l d e r i v a t i v e s w i t h r e s p e c t t o t h e e i g h t p a r a m e t e r s b e c o m e n e a r s i n g u l a r I n t h i s c a s e t h e p a r a m e t e r s c a n n o t b e e s t i m a t e d a c c u r a t e l y W h e n w e c o m p a r e t h e r e s i d u a l s p l o t s o f C a s e I a n d C a s e I I ( F i g 4 2 a n d F i g 4 5 ) i t c a n b e s e e n t h a t t h e s i m p l e r e x p o n e n t i a l m o d e l w i t h t h e m a g n i t u d e o f 1 E 2 h a s s i g n i f i c a n t l y r e d u c e d r e s i d u a l s t h a n t h e p o l y n o m i a l m o d e l T h e r e f o r e t h e s o l u t i o n w i t h t h e G P a l g o r i t h m w i l l e v o l v e t o w a r d s t h e e x p o n e n t i a l s t r u c t u r e I n C a s e I I I t h e r e d u c e d t e m p e r a t u r e T / Tc i s u s e d a s t h e i n d e p e n d e n t v a r i a b l e B y p r o p e r l y s c a l i n g t h e i n p u t v a r i a b l e t h e s a m e I U P A C m o d e l s t r u c t u r e i s o b t a i n e d M e a n w h i l e t h e r e s i d u a l s a r e r e d u c e d f u r t h e r ( F i g 4 8 ) T h e g r o u p o f C a s e I I I & I I I s h o w s t h a t p r o p e r s c a l i n g o r t r a n s f o r m a t i o n o f i n p u t v a r i a b l e s m a y i n c r e a s e t h e a c c u r a c y o f r e g r e s s i o n s i g n i f i c a n t l y w h i c h h e l p G P a l g o r i t h m e v o l v e t o w a r d s t h e c o r r e c t m o d e l

PAGE 85

7 5 s t r u c t u r e T h e r e s i d u a l p l o t s o f C a s e I I I & I I I i e F i g 4 2 F i g 4 5 a n d F i g 4 8 w h i c h a r e u s e d t o t e s t t h e m o d e l a d e q u a c y e x h i b i t a p a t t e r n T h e s a m e i s t r u e f o r C a s e V I i n w h i c h t h e n u m b e r o f d a t a p o i n t s i s i n c r e a s e d t o 7 6 1 p o i n t s w h i l e o t h e r i n p u t s a r e k e p t s a m e a s t h o s e i n C a s e I I I A s m e n t i o n e d e a r l i e r i f t h e m o d e l f i t t o t h e d a t a i s c o r r e c t t h e r e s i d u a l s s h o u l d b e r a n d o m l y d i s t r i b u t e d A s y s t e m a t i c p a t t e r n i s a s i g n t h a t t h e m o d e l p r o b a b l y h a s a b i a s i n r e p r e s e n t i n g d a t a B u t o t h e r t h a n m o d e l i n a d e q u a c y d i f f e r e n t t y p e s o f e r r o r s s u c h a s r a n d o m m e a s u r e m e n t e r r o r s s y s t e m a t i c m e a s u r e m e n t e r r o r s a n d c o m p u t a t i o n r e l a t e d e r r o r s m a y a f f e c t t h e d i s t r i b u t i o n o f r e s i d u a l s a n d m a k e t h e r e s i d u a l s d i s p l a y a s y s t e m a t i c p a t t e r n T h e r e s i d u a l s w h i c h a r e a b o u t 0 0 1 % a r e w e l l w i t h i n t h e t o l e r a b l e c o m p u t a t i o n a n d e x p e r i m e n t a l e r r o r l i m i t s W e b e l i e v e t h a t t h e b i a s i s d u e t o d i f f e r e n c e b e t w e e n t h e I U P A C m o d e l a n d t h e p r o p o s e d m o d e l s I n t h i s r e s e a r c h t h e I U P A C d a t a i s u s e d w h i c h i s a w e l l m o d e l e d s m o o t h l y f i t t e d d a t a s e t w i t h n o e r r o r I n a n e f f o r t t o s e e w h e t h e r t h e a p p r o a c h c o u l d b e e x t e n d e d t o i n s t a n c e s w i t h e x p e r i m e n t a l e r r o r e r r o r w a s i n t r o d u c e d t o t h e d a t a b y u s i n c a s e s I V a n d V C a s e I V a n d V h a v e e r r o r s w i t h d i f f e r e n t s t a n d a r d d e v i a t i o n 0 0 5 a n d 0 2 5 r e s p e c t i v e l y a d d e d t o t h e o r i g i n a l I U P A C d a t a T h e s a m e I U P A C m o d e l s t r u c t u r e i s o b t a i n e d a n d t h e a p p r o a c h w a s s u c c e s s f u l l y v a l i d a t e d F o r t h e s e c a s e s o n e s h o u l d p o i n t o u t t h a t t h e s y s t e m a t i c p a t t e r n m a y b e b u r i e d i n t h e r e s i d u a l s p l o t s F i g 4 1 1 a n d F i g 4 1 4 T h i s i s d u e t o r e l a t i v e m a g n i t u d e o f t h e n o i s e i n t r o d u c e d T h e g o o d n e s s o f f i t i s a l s o t e s t e d b y 2 c t e s t a n d f u r t h e r d e m o n s t r a t e t h e a d e q u a c y o f m o d e l o b t a i n e d b y G P

PAGE 86

7 6 I n t h i s g r o u p o f t e s t s w i t h d i f f e r e n t s t a n d a r d e r r o r s a r e a d d e d t o t h e I U P A C d a t a G P c a n s e a r c h i n i t s d o m a i n o f c a n d i d a t e m o d e l s i n a n e f f i c i e n t w a y a n d f i n a l l y t h e e v o l u t i o n p r o c e s s m o v e s t o t h e t a r g e t m o d e l s u c c e s s f u l l y I t s h o w s t h a t G P i s a r o b u s t a n d e f f i c i e n t m e t h o d t h a t c a n h a n d l e n o i s e i n t h e d a t a I n t h i s r e s e a r c h t h e e f f e c t o f n u m b e r o f d a t a p o i n t s o n G P e v o l u t i o n p r o c e s s i s a l s o t e s t e d I n g r o u p o f C a s e V I V I I a n d V I I I t h e n u m b e r o f d a t a p o i n t s a r e i n c r e a s e d t o 7 6 1 p o i n t s i n s t e a d o f 3 9 p o i n t s i n t h e g r o u p o f C a s e I I I t h r o u g h V w i t h t h e c o r r e s p o n d i n g e r r o r i n t h e d a t a T h e s a m e I U P A C m o d e l i s o b t a i n e d i n t h e s e t h r e e c a s e s T h e r e s i d u a l s d i s p l a y a r a n d o m d i s t r i b u t i o n i f t h e n o i s e a n d / o r e r r o r a r e a d d e d t o t h e o r i g i n a l I U P A C d a t a ( S e e F i g 4 1 7 F i g 4 2 0 a n d F i g 2 3 ) T h e a d e q u a c y o f m o d e l i s p r o v e d b y 2 c t e s t C o m p a r e d w i t h C a s e I I I t h r o u g h V i t s h o w s t h a t t h e r e i s n o o b v i o u s i m p r o v e m e n t o n r e g r e s s i o n a c c u r a c y a n d t h e s t r u c t u r e o f m o d e l H o w e v e r i n c r e a s i n g t h e d a t a p o i n t s w i l l o v e r l o a d t h e m a t r i x c o m p u t a t i o n t h e n s l o w d o w n t h e e v o l u t i o n s p e e d o f G P I n m y G P p r o b l e m i t ’ s i m p o r t a n t t o k e e p t h e t r e e s t r u c t u r e i e t h e m o d e l s t r u c t u r e s i m p l e f o r t h e r m o d y n a m i c s c o m p u t a t i o n a n d a n a l y s i s i n l a t e r w o r k M e a n w h i l e t h e c o m p l e x m o d e l m a y b r i n g o v e r f i t t i n g p r o b l e m G e n e r a l l y s p e a k i n g t h e s i m p l e r t h e s o l u t i o n i s t h e h i g h e r t h e p r o b a b i l i t y t h a t i t c a n b e g e n e r a l i z e d S o e m b e d d i n g p a r s i m o n y c o n c e p t i n t o t h e m e a s u r e o f G P f i t n e s s m a y f u l f i l l t h e s e p u r p o s e s P a r s i m o n y c a n b e i n c l u d e d a s a f a c t o r i n f i t n e s s f u n c t i o n F o r e x a m p l e t h e s t a n d a r d f i t n e s s f u n c t i o n i s t h e s u m o f l e a s t s q u a r e s T h e n t h e m o d i f i e d f i t n e s s c o u l d b e s t a n d a r d f i t n e s s f u n c t i o n p l u s

PAGE 87

7 7 t h e s t r u c t u r a l c o m p l e x i t y m e a s u r e w h i c h i s t h e t o t a l n u m b e r o f f u n c t i o n p o i n t s a n d t e r m i n a l p o i n t s S i m p l e r m o d e l w i l l h a v e t h e b e t t e r ( i e s m a l l e r i n t h i s c a s e ) v a l u e o f f i t n e s s I n C a s e I X a n d X p a r s i m o n y i s c o n s i d e r e d a n d a d d e d t o t h e f i t n e s s f u n c t i o n T h e s i z e o f s a m p l i n g d a t a i s 3 9 p o i n t s a n d 7 6 1 p o i n t s r e s p e c t i v e l y T h e e x p o n e n t i a l m o d e l o b t a i n e d i s s a m e a s t h e o n e o b t a i n e d i n C a s e I T h i s r e s u l t s h o w s G P ’ s c o m p e t e n c y o n d i s c o v e r i n g t h e m o d e l s t r u c t u r e e v e n s e a r c h i n g b e y o n d t h e s c o p e o f t r a d i t i o n a l p o l y n o m i a l s t r u c t u r e T h i s e x p o n e n t i a l m o d e l s t r u c t u r e h a s a n e w l o o k a n d c o u l d b e a n a l t e r n a t i v e t o p o l y n o m i a l m o d e l S o m e d r a w b a c k s i n t r a d i t i o n a l m o d e l i n g a n d r e g r e s s i o n a l s o e x i s t i n t h i s d e v e l o p e d m e t h o d o l o g y s u c h a s e x t r a p o l a t i o n p r o b l e m a n d l o c a l m i n i m u m p r o b l e m f o r p a r a m e t e r r e g r e s s i o n T h r o u g h o u t t h e s e t e n e x p e r i m e n t s a l l r e s i d u a l p l o t s f o r m o d e l p r e d i c t i o n d i s p l a y a t r e n d w h e r e t h e d e v i a t i o n o f t h e m o d e l f r o m d a t a i n c r e a s e s w i t h e x t r a p o l a t i o n I t ’ s i n t e r e s t i n g t o s e e t h a t a l t h o u g h t h e s a m e m o d e l s t r u c t u r e i s o b t a i n e d b u t t h e p a r a m e t e r v a l u e s r e g r e s s e d b y M a r q u a r d t m e t h o d a r e d i f f e r e n t f r o m t h o s e p r o v i d e d b y I U P A C F o r e x a m p l e t h e c o m p a r i s o n b e t w e e n t h e p a r a m e t e r s o b t a i n e d i n C a s e I I I a n d I U P A C p a r a m e t e r s a r e d i f f e r e n t a s c a n b e s e e n i n T a b l e 4 1 1 : T a b l e 4 1 1 P a r a m e t e r C o m p a r i s o n b e t w e e n I U P A C a n d C a s e I I I I U P A C C a s e I I I I U P A C C a s e I I I 0 6 3 9 7 1 3 6 9 5 9 3 4 4 6 8 2 4 6 6 0 1 3 8 1 1 9 1 2 0 7 5 3 5 9 8 5 9 3 5 4 7 7 3 4 7 0 5 3 2 7 3 2 2 1 1 1 7 5 9 3 0 1 1 2 9 6 1 7 6 4 1 0 0 9 4 6 5 7 3 5 4 1 3 2 6 4 9 9 3 8 2 7 2 6 8 8 4 3 2 6 9 7 9

PAGE 88

7 8 W h e n T a b l e 4 1 1 i s e x a m i n e d o n e c a n c o n c l u d e t h a t t h e s o l u t i o n s r e a c h e d a r e l o c a l a s o p p o s e d t o g l o b a l p a r a m e t e r v a l u e F u r t h e r m o r e o n e s h o u l d h a v e a r o b u s t a l g o r i t h m t h a t c o n v e r g e s a l l t h e t i m e s i n c e p a r a m e t e r o p t i m i z a t i o n i s i n t e g r a l p a r t o f e a c h f i t n e s s f u n c t i o n e v a l u a t i o n T h e r e f o r e t h e p e r f o r m a n c e o f t h e a p p r o a c h w i l l i m p r o v e s i g n i f i c a n t l y w h e n a g l o b a l o p t i m i z e r i s u s e d i n s t e a d

PAGE 89

7 9 C H A P T E R F I V E C O N C L U S I O N S A N D R E C O M M E N D A T I O N S I n t h i s c h a p t e r t h e c o n c l u s i o n s w i l l b e s u m m a r i z e d i n t h e f i r s t s e c t i o n a n d r e c o m m e n d a t i o n s o n f u t u r e w o r k w i l l b e g i v e n i n t h e s e c o n d s e c t i o n 5 1 C o n c l u s i o n s T o e x p l o r e t h e a p p l i c a t i o n o f e v o l u t i o n a r y a l g o r i t h m i n m o d e l i n g t h i s r e s e a r c h p r o p o s e s a h y b r i d e v o l u t i o n a r y m o d e l i n g a l g o r i t h m t o b u i l d t h e r m o d y n a m i c m o d e l a u t o m a t i c a l l y i e t h e a p p l i c a t i o n o f g e n e t i c p r o g r a m m i n g t o t h e d e v e l o p m e n t o f Cp m o d e l h a s b e e n c o n s i d e r e d T h e m a i n i d e a o f t h e a l g o r i t h m i s t o e m b e d M a q u a r d t n o n l i n e a r r e g r e s s i o n i n t o g e n e t i c p r o g r a m m i n g w h e r e G P i s e m p l o y e d t o o p t i m i z e t h e s t r u c t u r e o f a m o d e l w h i l e M a q u a r d t i s e m p l o y e d t o o p t i m i z e i t s p a r a m e t e r s A d i s t i n c t a d v a n t a g e o f t h i s m e t h o d i s t h a t n o a p r i o r i a s s u m p t i o n s h a v e t o b e m a d e a b o u t t h e a c t u a l m o d e l f o r m : t h e s t r u c t u r e a n d c o m p l e x i t y o f t h e m o d e l e v o l v e a s p a r t o f t h e p r o b l e m s o l u t i o n U s i n g t h e d a t a o r i g i n a l l y g e n e r a t e d b y I U P A C m o d e l t e n e x p e r i m e n t s w e r e r a n w i t h d i f f e r e n t s e t s o f i n p u t v a r i a b l e e r r o r s a d d e d t o t h e o r i g i n a l d a t a v a r y i n g n u m b e r o f d a t a p o i n t s a n d d i f f e r e n t f i t n e s s f u n c t i o n s

PAGE 90

8 0 T h e r e s u l t s r e v e a l e d t h a t i n e a c h c a s e t h e h y b r i d s y s t e m i s a b l e t o f i n d t h e n e w e x p o n e n t i a l m o d e l t h a t c l o s e l y a p p r o x i m a t e d t h e d a t a e v e n f i n d i n g t h e s a m e f u n c t i o n m o d e l s t r u c t u r e t h a t g e n e r a t e d t h e d a t a F r o m t h e r e s u l t s w e a l s o s e e t h a t t h e p r o p e r l y s c a l e d i n p u t v a r i a b l e s m a y i m p r o v e t h e a c c u r a c y o f t h e r e g r e s s i o n a n d a r o b u s t r e g r e s s i o n m e t h o d e n s u r e t h a t w e g e t a n a c c u r a t e m o d e l T h e r o b u s t n e s s a n d e f f e c t i v e n e s s o f t h e a l g o r i t h m w a s t e s t e d o n d a t a b y a d d i n g n o r m a l l y d i s t r i b u t e d e r r o r w i t h d i f f e r e n t s t a n d a r d d e v i a t i o n s t o I U P A C d a t a T h e r e s u l t s s h o w t h a t t h e Cp m o d e l b u i l t b y u s i n g t h e h y b r i d s y s t e m c a n g e n e r a t e s a t i s f a c t o r y f i t t i n g v a l u e s I n s o m e c a s e s p a r s i m o n y p r i n c i p l e w a s i n c o r p o r a t e d t h r o u g h t h e f i t n e s s f u n c t i o n T h e r e s u l t s s h o w t h a t a s i m p l e r s t r u c t u r e b u t l e s s a c c u r a c y c a n b e o b t a i n e d T h e p r e l i m i n a r y r e s u l t s p r e s e n t e d i n t h i s r e s e a r c h i n d i c a t e t h e p o t e n t i a l o f G P f o r d e v e l o p i n g t h e r m o p h y s i c a l m o d e l I n c o n c l u s i o n g e n e t i c p r o g r a m m i n g i s a r o b u s t a n d e f f i c i e n t p a r a d i g m f o r d i s c o v e r i n g m o d e l s t r u c t u r e u s i n g t h e e x p r e s s i v e n e s s o f s y m b o l i c r e p r e s e n t a t i o n 5 2 R e c o m m e n d a t i o n s A s s t a t e d b e f o r e Cp m o d e l w a s a s i n g l e d e p e n d e n t v a r i a b l e a n d a s i n g l e i n d e p e n d e n t v a r i a b l e T h i s i s o n e o f t h e s i m p l e s t m o d e l s t r u c t u r e s p o s s i b l e A p p l y i n g G P a l g o r i t h m t o m o r e c o m p l i c a t e d p r o b l e m s s h o u l d b e s t u d i e d f u r t h e r F o r e x a m p l e d e v e l o p m e n t o f a p r e s s u r e e x p l i c i t E q u a t i o n o f S t a t e w h i c h i s a m o d e l w i t h o n e e x p l i c i t

PAGE 91

8 1 d e p e n d e n t v a r i a b l e ( P r e s s u r e ) b u t m a n y i m p l i c i t d e p e n d e n t v a r i a b l e s ( f u g a c i t y e n t h a l p y e n t r o p y d e n s i t y ) a n d f e w i n d e p e n d e n t v a r i a b l e s w i l l b e s t u d i e d n e x t I n t h i s r e s e a r c h M a r q u a r d t n o n l i n e a r r e g r e s s i o n m e t h o d i s u s e d t o g e t t h e p a r a m e t e r v a l u e s f o r a g i v e n m o d e l s t r u c t u r e T h i s m e t h o d r e s u l t s i n l o c a l a s o p p o s e d t o g l o b a l s o l u t i o n s T h e G P a s w e l l a s o t h e r e v o l u t i o n a r y m e t h o d s w o u l d t e r m i n a t e e a r l y o r c o n v e r g e t o i n c o r r e c t s o l u t i o n w h e n t h e p a r a m e t e r s r e g r e s s e d u s i n g l o c a l s o l v e r s a r e n o t a d e q u a t e T h e r e f o r e a g l o b a l o p t i m i z a t i o n m e t h o d w i l l r e s o l v e t h e l o c a l o p t i m i z a t i o n p r o b l e m a s w e l l a s e n s u r i n g a r o b u s t h y b r i d s y m b o l i c r e g r e s s i o n s c h e m e A p p l y i n g p a r s i m o n y p r i n c i p l e m a y b r i n g a s i m p l e r m o d e l s t r u c t u r e t o o v e r c o m e o v e r f i t t i n g p r o b l e m b u t a t a c o s t o f l o s i n g a c c u r a c y o f t h e m o d e l I n o r d e r t o k e e p a g o o d b a l a n c e b e t w e e n s i m p l e r s t r u c t u r e s a n d a c c u r a c y o f a m o d e l Z h a n g [ 2 0 0 0 ] u s i n g B a y e s i a n m e t h o d a n d a c o n c e p t f r o m i n f o r m a t i o n t h e o r y d e v e l o p e d a t h e o r e t i c a l f o u n d a t i o n a n d r e l a t i o n f o r s e a r c h i n g t h e o p t i m u m p o i n t b e t w e e n s i m p l e r s t r u c t u r e a n d a c c u r a c y H o w e v e r h o w t o f o r m u l a t e t h e p r a c t i c a l p r o b l e m i n t o t h e f o r m u l a d e v e l o p e d b y Z h a n g i s a n e w c h a l l e n g e b r o u g h t b y t h i s m e t h o d A l t h o u g h u p t o d a t e n o o t h e r p a p e r g i v e s a d e e p s t u d y o n t h i s i s s u e i t i s s t i l l a n i n t e r e s t i n g t o p i c w o r t h y o f s t u d y f u r t h e r

PAGE 92

8 2 R E F E R E N C E S B a m i c k i S D a n d F a i r J R ( 1 9 9 0 ) S e p a r a t i o n s y n t h e s i s : a k n o w l e d g e b a s e d a p p r o a c h 1 L i q u i d M i x t u r e s e p a r a t i o n s I n d E n g C h e m R e s 2 9 : 4 2 1 4 3 5 B a n a r e s A l c a n t a r a R W e s t e r b e r g A W a n d R y c h e n e r M D ( 1 9 8 5 ) D e v e l o p m e n t o f a n e x p e r t s y s t e m f o r p h y s i c a l p r o p e r t y p r e d i c t i o n s C o m p u t e r s C h e m E n g n g 9 : 1 2 7 1 4 2 C a o H Y u J K a n g L a n d C h e n Y ( 1 9 9 9 ) T h e K i n e t i c e v o l u t i o n a r y m o d e l i n g o f c o m p l e x s y s t e m s o f c h e m i c a l r e a c t i o n s C o m p u t e r s & C h e m i s t r y 2 3 : 1 4 3 1 5 1 C s u k a s B a n d B a l o g h S ( 1 9 9 8 ) C o m b i n i n g g e n e t i c p r o g r a m m i n g w i t h g e n e r i c s i m u l a t i o n m o d e l s i n e v o l u t i o n a r y s y n t h e s i s C o m p u t e r s i n I n d u s t r y 3 6 : 1 8 1 1 9 7 D r a p e r N R a n d S m i t h H ( 1 9 8 1 ) A p p l i e d r e g r e s s i o n a n a l y s i s J o h n W i l e y N Y E n g l e z o s P a n d K a l o g e r a k i s N ( 2 0 0 1 ) A p p l i e d p a r a m e t e r e s t i m a t i o n f o r c h e m i c a l e n g i n e e r s M a r c e l D e k k e r N Y F o g e l L J O w e n s A J a n d W a l s h M J ( 1 9 6 6 ) A r t i f i c i a l i n t e l l i g e n c e t h r o u g h s i m u l a t e d e v o l u t i o n. J o h n W i l e y N Y F r a n k P a n d K p p e n S e l i g e r B ( 1 9 9 7 ). N e w d e v e l o p m e n t s u s i n g A I i n f a u l t d i a g n o s i s. E n g i n e e r i n g A p p l i c a t i o n s o f A r t i f i c i a l I n t e l l i g e n c e 1 0 : 3 1 4 F r a n k s R G ( 1 9 6 7 ) M a t h e m a t i c a l m o d e l i n g i n c h e m i c a l e n g i n e e r i n g W i l e y N e w Y o r k F r e d e n s l u n d A R a s m u s s e n O a n d M o l l e r u p J ( 1 9 8 0 ) T h e r m o p h y s i c a l a n d t r a n s p o r t p r o p e r t i e s f o r c h e m i c a l p r o c e s s d e s i g n I n F o u n d a t i o n s o f C o m p u t e r a i d e d P r o c e s s D e s i g n. F r e i t a s A A ( 2 0 0 2 ) A s u r v e y o f e v o l u t i o n a r y a l g o r i t h m s f o r d a t a m i n i n g a n d k n o w l e d g e d i s c o v e r y T o a p p e a r i n : A G h o s h a n d S T s u t s u i ( E d s ) A d v a n c e s i n E v o l u t i o n a r y C o m p u t a t i o n S p r i n g e r V e r l a g

PAGE 93

8 3 F r i e s e T U l b i g P a n d S c h u l z S ( 1 9 9 8 ) U s e o f e v o l u t i o n a r y a l g o r i t h m s f o r t h e c a l c u l a t i o n o f g r o u p c o n t r i b u t i o n p a r a m e t e r s i n o r d e r t o p r e d i c t t h e r m o d y n a m i c p r o p e r t i e s P a r t I : G e n e t i c A l g o r i t h m s C o m p u t e r s C h e m E n g n g 2 2 : 1 5 5 9 1 5 7 2 G a n i R a n d O ’ C o n n e l l J P ( 1 9 8 9 ) A k n o w l e d g e b a s e d s y s t e m f o r t h e s e l e c t i o n o f t h e r m o d y n a m i c m o d e l s C o m p u t e r s C h e m E n g n g 1 3 : 3 9 7 4 0 4 G a o L a n d L o n e y N W ( 2 0 0 1 ) E v o l u t i o n a r y p o l y m o r p h i c n e u r a l n e t w o r k i n c h e m i c a l p r o c e s s m o d e l i n g C o m p u t e r s C h e m E n g n g 2 5 : 1 4 0 3 1 4 1 0 G o l d b e r g D E ( 1 9 8 9 ) G e n e t i c a l g o r i t h m s i n s e a r c h o p t i m i z a t i o n a n d m a c h i n e l e a r n i n g A d d i s o n W e s l e y R e a d i n g M A G r e e f f D J a n d A l d r i c h C ( 1 9 9 8 ) E m p i r i c a l m o d e l l i n g o f c h e m i c a l p r o c e s s s y s t e m s w i t h e v o l u t i o n a r y p r o g r a m m i n g, C o m p u t e r s C h e m E n g n g 2 2 : 9 9 5 1 0 0 5 H a n d D M a n n i l a H a n d S m y t h P ( 2 0 0 1 ) P r i n c i p l e s o f d a t a m i n i n g M I T P r e s s C a m b r i d g e M A H o l l a n d J H ( 1 9 7 5 ) A d a p t a t i o n i n n a t u r a l a n d a r t i f i c i a l s y s t e m U n i v e r s i t y o f M i c h i g a n P r e s s A n n A r b o r M I K i n g R A ( 1 9 8 6 ) E x p e r t s y s t e m s f o r m a t e r i a l s s e l e c t i o n a n d c o r r o s i o n T h e C h e m i c a l E n g i n e e r D e c e m b e r 4 2 5 7 K i n n e a r K E J r ( e d i t o r ) ( 1 9 9 9 ) A d v a n c e s i n g e n e t i c p r o g r a m m i n g I I I T h e M I T P r e s s C a m b r i d g e M A K i n n e a r K E J r ( e d i t o r ) ( 1 9 9 4 ) A d v a n c e s i n g e n e t i c p r o g r a m m i n g T h e M I T P r e s s C a m b r i d g e M A K i r k w o o d R L L o c k e M H a n d D o u g l a s J M ( 1 9 8 8 ) A p r o t o t y p e e x p e r t s y s t e m f o r s y n t h e s i z i n g c h e m i c a l p r o c e s s f l o w s h e e t C o m p u t e r s C h e m E n g n g 1 2 : 3 2 9 3 4 1 K o z a J R ( 1 9 9 9 ) G e n e t i c p r o g r a m m i n g I I I : d a r w i n i a n i n v e n t i o n a n d p r o b l e m s o l v i n g M I T p r e s s C a m b r i d g e M A K o z a J R ( 1 9 9 4 ) G e n e t i c p r o g r a m m i n g I I : a u t o m a t i c d i s c o v e r y o f r e u s a b l e p r o g r a m s M I T p r e s s C a m b r i d g e M A K o z a J R ( 1 9 9 2 ) G e n e t i c p r o g r a m m i n g : o n t h e p r o g r a m m i n g o f c o m p u t e r s b y m e a n s o f n a t u r a l s e l e c t i o n M I T p r e s s C a m b r i d g e M A

PAGE 94

8 4 M c K a y B W i l l i s M a n d B a r t o n G ( 1 9 9 7 ) S t e a d y s t a t e m o d e l l i n g o f c h e m i c a l p r o c e s s s y s t e m s u s i n g g e n e t i c p r o g r a m m i n g C o m p u t e r s C h e m E n g n g 2 1 : 9 8 1 9 9 6 M i e t t i n e n K ( e d i t o r ) ( 1 9 9 9 ) E v o l u t i o n a r y a l g o r i t h m s i n e n g i n e e r i n g a n d c o m p u t e r s c i e n c e : r e c e n t a d v a n c e s i n g e n e t i c a l g o r i t h m s e v o l u t i o n s t r a t e g i e s e v o l u t i o n a r y p r o g r a m m i n g g e n e t i c p r o g r a m m i n g a n d i n d u s t r i a l a p p l i c a t i o n s W i l e y N Y M i t c h e l l M ( 1 9 9 6 ) A n i n t r o d u c t i o n t o g e n e t i c a l g o r i t h m s M I T P r e s s C a m b r i d g e M A M i t c h e l l T ( 1 9 9 7 ) M a c h i n e L e a r n i n g M c G r a w H i l l N Y P y h n e n H O a n d S a v i c D A ( 1 9 9 6 ) S y m b o l i c R e g r e s s i o n U s i n g O b j e c t O r i e n t e d G e n e t i c P r o g r a m m i n g ( i n C + + ) C e n t r e F o r S y s t e m s A n d C o n t r o l E n g i n e e r i n g R e p o r t N o 9 6 / 0 4 S c h o o l o f E n g i n e e r i n g U n i v e r s i t y o f E x e t e r E x e t e r U n i t e d K i n g d o m 7 2 8 4 Q u a g l i a r e l l a D ( e d i t o r ) ( 1 9 9 8 ) G e n e t i c a l g o r i t h m s a n d e v o l u t i o n s t r a t e g y i n e n g i n e e r i n g a n d c o m p u t e r s c i e n c e : r e c e n t a d v a n c e s a n d i n d u s t r i a l a p p l i c a t i o n s J o h n W i l e y & S o n s N e w Y o r k Q u a n t r i l l e T E a n d L i u Y A ( 1 9 9 1 ) A r i t i f i c i a l I n t e l l i g e n c e i n c h e m i c a l e n g i n e e r i n g. A c a d e m i c P r e s s I n c S a n D i e g o R a m i r e z F ( 1 9 8 9 ) C o m p u t a t i o n a l m e t h o d s f o r p r o c e s s s i m u l a t i o n B u t t e r w o r t h s M A R u i z D N o u g u s J C a l d e r n Z E s p u a A a n d P u i g j a n e r L ( 2 0 0 0 ) N e u r a l n e t w o r k b a s e d f r a m e w o r k f o r f a u l t d i a g n o s i s i n b a t c h c h e m i c a l p l a n t s. C o m p u t e r s & C h e m i c a l E n g i n e e r i n g .2 4 : 7 7 7 7 8 4 S t e p h a n o p o u l o s G ( 1 9 8 7 ) T h e f u t u r e o f e x p e r t s y s t e m s i n c h e m i c a l e n g i n e e r i n g C h e m E n g n g P r o g 8 3 : 4 4 5 1 S t e p h a n o p o u l o s G a n d H a n C ( 1 9 9 4 ) I n t e l l i g e n t s y s t e m s i n p r o c e s s e n g i n e e r i n g : a r e v i e w I n P r o c 5t h I n t l S y m p o n P r o c e s s S y s t e m s E n g i n e e r i n g K y o n g j u K o r e a. S t e p h a n o p o u l o s G J o h n s t o n J a n d K r i t i c o s T ( 1 9 8 7 ) D e s i g n k i t : a n o b j e c t o r i e n t e d e n v i r o n m e n t f o r p r o c e s s e n g i n e e r i n g C o m p u t e r s C h e m E n g n g 1 1 ( 6 ) : 6 5 5 6 7 8

PAGE 95

8 5 T h u r a i s i n g h a m B ( 1 9 9 9 ) D a t a m i n i n g t e c h n o l o g i e s t e c h n i q u e s t o o l s a n d t r e n d s C R C P r e s s N Y Z h a n g B T ( 2 0 0 0 ) B a y e s i a n m e t h o d s f o r e f f i c i e n t G P G e n e t i c P r o g r a m m i n g a n d e v o l v a b l e m a c h i n e l e a r n i n g 1 2 1 7 2 4 2 .


xml version 1.0 encoding UTF-8 standalone no
record xmlns http:www.loc.govMARC21slim xmlns:xsi http:www.w3.org2001XMLSchema-instance xsi:schemaLocation http:www.loc.govstandardsmarcxmlschemaMARC21slim.xsd
leader nam Ka
controlfield tag 001 001469406
003 fts
006 m||||e|||d||||||||
007 cr mnu|||uuuuu
008 040524s2004 flua sbm s000|0 eng d
datafield ind1 8 ind2 024
subfield code a E14-SFE0000308
035
(OCoLC)55731151
9
AJR1160
b SE
SFE0000308
040
FHM
c FHM
090
TP145
1 100
Zhang, Ying,
d 1973-
0 245
Symbolic regression of thermophysical model using genetic programming
h [electronic resource] /
by Ying Zhang.
260
[Tampa, Fla.] :
University of South Florida,
2004.
502
Thesis (M.S.Ch.E.)--University of South Florida, 2004.
504
Includes bibliographical references.
516
Text (Electronic thesis) in PDF format.
538
System requirements: World Wide Web browser and PDF reader.
Mode of access: World Wide Web.
500
Title from PDF of title page.
Document formatted into pages; contains 95 pages.
520
ABSTRACT: The symbolic regression problem is to find a function, in symbolic form, that fits a given data set. Symbolic regression provides a means for function identification. This research describes an adaptive hybrid system for symbolic function identification of thermo-physical model that combines the genetic programming and a modified Marquardt nonlinear regression algorithm. Genetic Programming (GP) system can extract knowledge from the data in the form of symbolic expressions, i.e. a tree structure, that are used to model and derive equation of state, mixing rules and phase behavior from the experimental data (properties estimation). During the automatic evolution process of GP, the function structure of generated individual module could be highly complicated. To ensure the convergence of the regression, a modified Marquardt regression algorithm is used. Two stop criteria are attached to the traditional Marquardt algorithm to enforce the algorithm repeat the regression process before it stops. Statistic analysis is applied to the fitted model. Residual plot is used to test the goodness of fit. The [chi]2-test is used to test the model's adequacy. Ten experiments are run with different form of input variables, number of data points, standard errors added to data set, and fitness functions. The results show that the system is able to find models and optimize for its parameters successfully.
590
Adviser: Sunol, Aydin K.
653
nonlinear regression.
modeling.
statistic analysis.
function indentification.
machine learning.
690
Dissertations, Academic
z USF
x Chemical Engineering
Masters.
773
t USF Electronic Theses and Dissertations.
4 856
u http://digital.lib.usf.edu/?e14.308