ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ
ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ
ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ 
ΑΝΑΛΟΓΙΣΤΙΚΩΝ-ΧΡΗΜΑΤΟΟΙΚΟΝΟΜΙΚΩΝ ΜΑΘΗΜΑΤΙΚΩΝ

ΒΕΛΤΙΣΤΕΣ ΜΟΝΟΤΟΝΕΣ ΠΟΛΙΤΙΚΕΣ ΣΕ ΠΡΟΒΛΗΜΑΤΑ ΕΛΕΓΧΟΥ ΣΤΟΧΑΣΤΙΚΩΝ ΔΙΑΔΙΚΑΣΙΩΝ

Θεοδόσης Δημητρίου Δημητράκος

ΔΙΔΑΚΤΟΡΙΚΗ ΔΙΑΤΡΙΒΗ

ΣΑΜΟΣ 2005

 Στους γονείς μου και στα αδέλφια μου,
 Βασιλική και Κώστα.

ΠΕΡΙΛΗΨΗ

   Στην παρούσα διατριβή μελετώνται διάφορα προβλήματα βέλτιστου ελέγχου στοχαστικών διαδικασιών τα οποία μπορούν να περιγραφούν με κατάλληλα Μαρκοβιανά ή ημι-Μαρκοβιανά μοντέλα αποφάσεων. Τα προβλήματα σχετίζονται με το βέλτιστο έλεγχο μιας διδιάστατης επιδημικής διαδικασίας, με τη βέλτιστη προληπτική συντήρηση ενός συστήματος παραγωγής, με τη βέλτιστη επισκευή ή αντικατάσταση ενός μηχανήματος και με το βέλτιστο έλεγχο ενός πληθυσμού παρασίτων. Ο κύριος στόχος είναι η εύρεση της πολιτικής η οποία, για κάθε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί τη μέση τιμή μιας προκαθορισμένης συνάρτησης του μελλοντικού κόστους.
   Σε μερικά προβλήματα αποδεικνύουμε ότι η βέλτιστη πολιτική είναι μονότονη, δηλαδή θέτει σε λειτουργία το μηχανισμό ελέγχου της διαδικασίας αν και μόνο αν η κατάσταση της διαδικασίας (π.χ. αριθμός φορέων μιας ασθένειας, βαθμός επιδείνωσης ή ηλικία ενός μηχανήματος, πληθυσμιακό μέγεθος παρασίτων) είναι ίση ή υπερβαίνει μία κρίσιμη τιμή. Σε κάποιες περιπτώσεις είναι δυνατόν να βρεθεί η βέλτιστη κρίσιμη τιμή.
   Σε άλλα προβλήματα κατασκευάζουμε κατάλληλους αλγορίθμους οι οποίοι αποσκοπούν στην εύρεση της βέλτιστης πολιτικής. Σε ορισμένες περιπτώσεις αποδεικνύουμε ότι ο αλγόριθμος συγκλίνει στη βέλτιστη πολιτική ενώ σε άλλες περιπτώσεις υπάρχουν ισχυρές αριθμητικές ενδείξεις ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι βέλτιστη.     

ΠΕΡΙΕΧΟΜΕΝΑ

ΠΕΡΙΛΗΨΗ											          3

ΠΕΡΙΕΧΟΜΕΝΑ										          4

ΕΥΧΑΡΙΣΤΙΕΣ										          7

ΚΕΦΑΛΑΙΟ 1. Εισαγωγή									          8       

ΚΕΦΑΛΑΙΟ 2. Στοιχεία της θεωρίας των Μαρκοβιανών διαδικασιών αποφάσεων             
   2.1   Εισαγωγή										        14                                                                                
   2.2   Μαρκοβιανές διαδικασίες αποφάσεων σε διακριτό χρόνο				        15
   2.3   Προβλήματα πεπερασμένου χρονικού ορίζοντα					        17 
   2.4   Προβλήματα άπειρου χρονικού ορίζοντα						        18
           2.4.1   Ελαχιστοποίηση συνολικού αναμενόμενου αποπληθωρισμένου κόστους	        18 
           2.4.2   Ελαχιστοποίηση μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα   
                      χρόνου										        20
2.5	  Ημι-Μαρκοβιανές διαδικασίες αποφάσεων και Μαρκοβιανές διαδικασίες αποφάσεων  
σε συνεχή χρόνο									        25
2.6	  Η προσεγγιστική μέθοδος της Sennott						        31

ΚΕΦΑΛΑΙΟ 3. Βέλτιστος έλεγχος δύο ανταγωνιζομένων ασθενειών ή ειδών 
   3.1   Εισαγωγή										        33
   3.2   Αλγόριθμοι δυναμικού προγραμματισμού για τα Προβλήματα 1, 3 και 4		        38
   3.3   Ντετερμινιστική επιδημική διαδικασία						        45
   3.4   Αβεβαιότητα στις τιμές των παραμέτρων						        56 

ΚΕΦΑΛΑΙΟ 4. Βέλτιστη προληπτική συντήρηση ενός συστήματος παραγωγής
   4.1   Εισαγωγή										        60
   4.2   Περιγραφή του μοντέλου								        64
   4.3   Η μορφή της βέλτιστης πολιτικής							        69
   4.4   Στάσιμη επιδείνωση του μηχανισμού							        78
   4.5   Ένας αλγόριθμος όταν οι χρόνοι προληπτικής συντήρησης και επισκευής 
     ακολουθούν τη Γεωμετρική κατανομή						        80
4.6	  Δύο γενικεύσεις του μοντέλου								        90
   4.7   Οι χρόνοι προληπτικής συντήρησης και επισκευής είναι συνεχείς τυχαίες μεταβλητές    92
   4.8   Ένας αλγόριθμος όταν οι χρόνοι προληπτικής συντήρησης και επισκευής είναι 
           συνεχείς τυχαίες μεταβλητές								        97  

ΚΕΦΑΛΑΙΟ 5. Ένας αλγόριθμος για τον υπολογισμό της βέλτιστης πολιτικής επισκευής                                
              ή αντικατάστασης ενός συστήματος
   5.1   Εισαγωγή										      107
   5.2   Κατασκευή του μοντέλου								      109
   5.3   Ο αλγόριθμος										      113
   5.4   Αριθμητικά παραδείγματα								      120

ΚΕΦΑΛΑΙΟ 6. Υπολογισμός της βέλτιστης πολιτικής για τον έλεγχο μιας σύνθετης 
                            διαδικασίας μετανάστευσης με την εισαγωγή ολοκληρωτικών
                            καταστροφών
6.1	Εισαγωγή										      123 
6.2	Η μορφή της βέλτιστης πολιτικής							      126
6.3	Η μορφή της συνάρτησης του μέσου κόστους υπό τον έλεγχο μιας μονότονης 
πολιτικής										      132
6.4	Ο υπολογισμός της βέλτιστης πολιτικής						      148
6.5	Διωνυμικές καταστροφές								      157

ΚΕΦΑΛΑΙΟ 7. Υπολογισμός της βέλτιστης πολιτικής για τον έλεγχο μιας απλής 
                            διαδικασίας μετανάστευσης με την εισαγωγή ενός αρπακτικού
7.1	Εισαγωγή										      159 
7.2	Ο υπολογισμός της βέλτιστης πολιτικής						      162 
7.3	Η σύγκλιση του αλγορίθμου								      165

ΠΑΡΑΡΤΗΜΑ										      169

ΒΙΒΛΙΟΓΡΑΦΙΑ										      179

     

       

ΕΥΧΑΡΙΣΤΙΕΣ

   Η παρούσα διδακτορική διατριβή εκπονήθηκε στο Τμήμα Στατιστικής και Αναλογιστικών-Χρηματοοικονομικών Μαθηματικών του Πανεπιστημίου Αιγαίου. Στο σημείο αυτό νιώθω την ανάγκη να εκφράσω τις ευχαριστίες μου στους ανθρώπους που συνετέλεσαν στην πραγματοποίησή της.
   Ευχαριστώ θερμά τον κ. Αθανάσιο Γιαννακόπουλο, Αναπληρωτή Καθηγητή του Τμήματος Στατιστικής και Αναλογιστικών-Χρηματοοικονομικών Μαθηματικών του Πανεπιστημίου Αιγαίου, ο οποίος με τίμησε αποδεχόμενος την επίβλεψη της διατριβής. Θα ήθελα επίσης να τον ευχαριστήσω για το διαρκές ενδιαφέρον του και την υποστήριξή του.
   Θέλω να εκφράσω την ευγνωμοσύνη μου στο δάσκαλό μου, κ. Επαμεινώνδα Κυριακίδη, Αναπληρωτή Καθηγητή του Τμήματος Μηχανικών Οικονομίας και Διοίκησης του Πανεπιστημίου Αιγαίου, ο οποίος στάθηκε δίπλα μου σε όλα τα στάδια αυτής της εργασίας, από την πρόταση του θέματός της μέχρι την παρουσίασή της. Χωρίς τις χρήσιμες συμβουλές του, τις υποδείξεις του και τη συνεχή συμπαράστασή του, θα ήταν αδύνατον να ολοκληρωθεί αυτή η διατριβή. 
   Θα ήθελα επίσης να ευχαριστήσω τα μέλη της επιτροπής κρίσης της διατριβής, που δέχτηκαν να αφιερώσουν κάποιο από τον πολύτιμο χρόνο τους για την αξιολόγηση της εργασίας.
   Θέλω να ευχαριστήσω το διδακτικό και διοικητικό προσωπικό του Τμήματος Στατιστικής και Αναλογιστικών-Χρηματοοικονομικών Μαθηματικών του Πανεπιστημίου Αιγαίου για τη βοήθεια και την υποστήριξη που μου προσέφεραν σε όλη τη διάρκεια εκπόνησης της διατριβής.
   Θα ήταν παράλειψή μου να μην ευχαριστήσω τον κ. Χρήστο Ευθυμιόπουλο, μέλος της ερευνητικής ομάδας του Τομέα Αστροφυσικής, Αστρονομίας και Μηχανικής του Τμήματος Φυσικής του Πανεπιστημίου Αθηνών καθώς και τον κ. Χρήστο Τσαγγάρη, που ανήκει στο Ειδικό Εργαστηριακό Διδακτικό Προσωπικό του Τμήματος Μαθηματικών του Πανεπιστημίου Αιγαίου, οι οποίοι με βοήθησαν στα πρώτα προβλήματα που συνάντησα στο υπολογιστικό μέρος της εργασίας.
   Τέλος, θα ήθελα να ευχαριστήσω με όλη μου την καρδιά, τους γονείς μου, την αδελφή μου Βασιλική και τον αδελφό μου Κώστα, για την αγάπη τους και τη συμπαράστασή τους. Το λιγότερο που μπορώ να κάνω είναι να τους αφιερώσω αυτή τη διατριβή.     

ΚΕΦΑΛΑΙΟ 1
Εισαγωγή

   Θεωρούμε το πρόβλημα του βέλτιστου ελέγχου μιας στοχαστικής διαδικασίας. Ο έλεγχος της διαδικασίας πραγματοποιείται από έναν υποτιθέμενο ελεγκτή ο οποίος σε συγκεκριμένες χρονικές στιγμές επιλέγει μία ενέργεια από ένα σύνολο εναλλακτικών ενεργειών. Σε κάθε χρονική στιγμή ελέγχου της διαδικασίας, η επιλογή μιας ενέργειας επιφέρει ένα κόστος. Μία πολιτική είναι ένας κανόνας σύμφωνα με τον οποίον επιλέγονται οι ενέργειες σε κάθε χρονική στιγμή ελέγχου της διαδικασίας. Η βέλτιστη πολιτική είναι εκείνη η πολιτική η οποία ελαχιστοποιεί μία προκαθορισμένη συνάρτηση κόστους για κάθε αρχική κατάσταση της διαδικασίας. 
   Το πρόβλημα της εύρεσης της βέλτιστης πολιτικής παρουσιάζει ιδιαίτερο ενδιαφέρον και εμφανίζεται στη βιβλιογραφία με διάφορες μορφές. Αποτελεί το αντικείμενο έρευνας πολλών ερευνητών σε διάφορα πεδία της επιστήμης, όπως για παράδειγμα, στην Επιχειρησιακή Έρευνα, στην Οικολογία, στη Βιολογία και στην Πληροφορική. Ειδικότερα, η βέλτιστη πολιτική αναζητείται σε προβλήματα συντήρησης και αντικατάστασης μηχανημάτων, σε προβλήματα ελέγχου αποθεμάτων, σε προβλήματα ελέγχου ουρών αναμονής, σε προβλήματα ελέγχου βιολογικών πληθυσμών και σε προβλήματα διαχείρισης δικτύων και τηλεπικοινωνιών.
   Σε πολλές περιπτώσεις, η μαθηματική διατύπωση, η ανάλυση και η επίλυση του προβλήματος είναι εφικτή μέσω της κατασκευής ενός κατάλληλου μοντέλου, που είναι γνωστό ως Μαρκοβιανό μοντέλο αποφάσεων. Το Μαρκοβιανό μοντέλο αποφάσεων επινοήθηκε από τον Bellman (1957) και είναι ένα κατάλληλο μαθηματικό μοντέλο που χρησιμοποιείται συχνά για την περιγραφή μιας στοχαστικής διαδικασίας η οποία μπορεί να ελεγχθεί από μία ακολουθία ενεργειών.
   Σε πολλά προβλήματα Μαρκοβιανών μοντέλων αποφάσεων έχει αποδειχθεί ότι η βέλτιστη πολιτική είναι μονότονη, δηλαδή ο ελεγκτής επεμβαίνει στην εξέλιξη της διαδικασίας αν και μόνο αν η κατάσταση της διαδικασίας (π.χ. ο βαθμός επιδείνωσης ή η ηλικία ενός μηχανήματος, το πλήθος των πελατών σε μία ουρά αναμονής, το μέγεθος ενός βιολογικού πληθυσμού) είναι μεγαλύτερη ή ίση με μία κρίσιμη τιμή (βλέπε π.χ. Blackburn (1972), Kawai (1983), So (1992), Douer and Yechiali (1994), Van der Duyn Schouten and Vanneste (1995), Federgruen and So (1989, 1990, 1991), Benyamini and Yechiali (1999), Kyriakidis (1999a, 2004)). Το γεγονός ότι μία μονότονη πολιτική είναι βέλτιστη επιταχύνει σημαντικά τον υπολογισμό της. Αναφέρουμε τις εργασίες των Abakuks (1979), Federgruen and So (1989) και Love et al. (2000) στις οποίες σχεδιάστηκαν αποδοτικοί αλγόριθμοι για τον υπολογισμό μιας βέλτιστης μονότονης πολιτικής. 
   Στην παρούσα διατριβή μελετώνται διάφορα προβλήματα βέλτιστου ελέγχου στοχαστικών διαδικασιών τα οποία μπορούν να περιγραφούν με τη χρήση κατάλληλων Μαρκοβιανών μοντέλων αποφάσεων. Αναζητείται η βέλτιστη πολιτική και αποδεικνύεται σε κάποια από αυτά τα προβλήματα ότι η βέλτιστη πολιτική είναι μονότονη. Σε άλλα προβλήματα, στα οποία φαίνεται δύσκολο να αποδειχθεί ότι η βέλτιστη πολιτική είναι μονότονη, κατασκευάζονται κατάλληλοι αλγόριθμοι για την εύρεση της βέλτιστης πολιτικής. Τα αριθμητικά αποτελέσματα των αλγορίθμων παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική είναι μονότονη. 
   Στο Κεφάλαιο 2 παρουσιάζονται με συνοπτικό τρόπο τα βασικά στοιχεία της θεωρίας των Μαρκοβιανών μοντέλων αποφάσεων τα περισσότερα των οποίων θα χρησιμοποιηθούν στα επόμενα κεφάλαια. Η παρουσίαση βασίζεται στα διάφορα κριτήρια βελτιστοποίησης που καθορίζονται από την επιλογή της συνάρτησης του κόστους. Ιδιαίτερη έμφαση δίνεται στο κριτήριο της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου που χρησιμοποιείται σε όλα τα κεφάλαια της διατριβής εκτός από το Κεφάλαιο 3 στο οποίο χρησιμοποιείται το κριτήριο της ελαχιστοποίησης του συνολικού αναμενόμενου κόστους. 
   Στο Κεφάλαιο 3 μελετάται το πρόβλημα του βέλτιστου ελέγχου μιας διδιάστατης επιδημικής διαδικασίας. Υποτίθεται ότι ένας πληθυσμός ατόμων είναι δυνατόν να προσβληθεί από δύο μεταδοτικές ασθένειες, την ασθένεια 1 και την ασθένεια 2. Θεωρούμε ότι η ασθένεια 1 είναι μία σοβαρή ασθένεια και ότι η ασθένεια 2 είναι μία ήπια ασθένεια. Η παρουσία ενός ατόμου που έχει προσβληθεί από τη σοβαρή ασθένεια 1 επιφέρει κάποιο κόστος ενώ η παρουσία ενός ατόμου που έχει προσβληθεί από την ήπια ασθένεια 2 δεν επιφέρει κάποιο κόστος. Θεωρούνται πολιτικές, οι οποίες εμβολιάζουν με την ήπια ασθένεια 2 τα επιδεκτικά άτομα που έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες, ή απομονώνουν τα άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1. Υποτίθεται ότι ο εμβολιασμός των επιδεκτικών και η απομόνωση των προσβληθέντων ατόμων επιφέρουν αντίστοιχα κόστη. Γενικεύονται τα μοντέλα που επινοήθηκαν από τον Kyriakidis (1995, 1999c). Ορίζεται μία στοχαστική επιδημική διαδικασία στην οποία οι ρυθμοί προσβολής εξαρτώνται από μία δύναμη του αριθμού των προσβληθέντων ατόμων. Κατασκευάζονται κατάλληλοι αλγόριθμοι του δυναμικού προγραμματισμού για τον αριθμητικό υπολογισμό της βέλτιστης πολιτικής. Για την αντίστοιχη ντετερμινιστική επιδημική διαδικασία η μορφή της βέλτιστης πολιτικής αποδεικνύεται αναλυτικά σε δύο περιπτώσεις και συγκρίνεται αριθμητικά με τη βέλτιστη πολιτική της στοχαστικής επιδημικής διαδικασίας. Επίσης παρουσιάζεται μία τροποποίηση της στοχαστικής επιδημικής διαδικασίας στην οποία θεωρείται ότι το πηλίκο δύο παραμέτρων είναι μία τυχαία μεταβλητή που ακολουθεί μία γνωστή κατανομή. Η βέλτιστη πολιτική υπολογίζεται αριθμητικά για την τροποποιημένη διαδικασία και συγκρίνεται με την αντίστοιχη βέλτιστη πολιτική της στοχαστικής επιδημικής διαδικασίας. 
   Στο Κεφάλαιο 4 προτείνεται μία γενίκευση του μοντέλου που επινοήθηκε από τους Van der Duyn Schouten and Vanneste (1995). Υποτίθεται ότι ένα σύστημα παραγωγής αποτελείται από ένα μηχανισμό τροφοδοσίας, μία μονάδα παραγωγής και έναν ενδιάμεσο αποθηκευτικό χώρο. Ο μηχανισμός τροφοδοτεί τη μονάδα παραγωγής με ένα ακατέργαστο υλικό. Στο μοντέλο των Van der Duyn Schouten and Vanneste θεωρείται ότι η επιδείνωση του μηχανισμού είναι στάσιμη υπό την έννοια ότι οι πιθανότητες μετάβασης εξαρτώνται μόνο από το βαθμό επιδείνωσης του μηχανισμού. Στο προτεινόμενο μοντέλο θεωρείται ότι η επιδείνωση του μηχανισμού δεν είναι στάσιμη διότι εξαρτάται από το βαθμό επιδείνωσης και από την ηλικία του μηχανισμού. Υποτίθεται ότι η λειτουργία του μηχανισμού, μία προληπτική συντήρησή του ή μία επισκευή του επιφέρουν αντίστοιχα κόστη για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός λειτουργεί, συντηρείται προληπτικά ή επισκευάζεται. Υποτίθεται επίσης ότι υπάρχει ένα κόστος αποθήκευσης του ακατέργαστου υλικού στον αποθηκευτικό χώρο και ένα κόστος όταν ο αποθηκευτικός χώρος είναι κενός. Ορίζονται κατάλληλες συνθήκες οι οποίες αφορούν τα κόστη της λειτουργίας, τα κόστη της προληπτικής συντήρησης, τα κόστη της επισκευής, τις πιθανότητες μετάβασης, τους αναμενόμενους χρόνους της προληπτικής συντήρησης και τους αναμενόμενους χρόνους της επισκευής του μηχανισμού. Αποδεικνύεται αναλυτικά ότι η βέλτιστη πολιτική είναι μονότονη διότι, για σταθερό περιεχόμενο του αποθηκευτικού χώρου και σταθερή ηλικία του μηχανισμού, θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή. Στην περίπτωση της στάσιμης επιδείνωσης του μηχανισμού επισημαίνεται ότι η βέλτιστη πολιτική είναι επίσης μονότονη για σταθερό περιεχόμενο του αποθηκευτικού χώρου. Σχεδιάζεται ένας αποδοτικός αλγόριθμος βελτίωσης των πολιτικών για την περίπτωση αυτή ο οποίος παράγει μία ακολουθία βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Υπάρχει ισχυρή ένδειξη, βάσει αριθμητικών αποτελεσμάτων, ότι η τελική πολιτική που παράγει ο αλγόριθμος είναι βέλτιστη. Μελετώνται ακόμα δύο γενικεύσεις του στάσιμου μοντέλου στις οποίες υπολογίζεται αριθμητικά η βέλτιστη πολιτική. Παρουσιάζεται επίσης μία τροποποίηση του στάσιμου μοντέλου στην οποία υποθέτουμε ότι οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού είναι συνεχείς τυχαίες μεταβλητές. Σχεδιάζεται ένας αποδοτικός αλγόριθμος βελτίωσης των πολιτικών για το τροποποιημένο μοντέλο ο οποίος εφαρμόζεται στο σύνολο των μονότονων πολιτικών και παράγει μία ακολουθία βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Υπάρχει πάλι ισχυρή ένδειξη ότι η τελική πολιτική που παράγει ο αλγόριθμος είναι βέλτιστη.
   Στο Κεφάλαιο 5 μελετάται ένα μοντέλο που επινοήθηκε από τους Kijima et al. (1988) και γενικεύτηκε από τους Makis and Jardine (1993). Υποτίθεται ότι ένα σύστημα επιδεινώνεται με την πάροδο του χρόνου και ότι η λειτουργία του διακόπτεται εξαιτίας ενδεχόμενων βλαβών. Υποτίθεται επίσης ότι, όταν το σύστημα έχει υποστεί μία βλάβη, μπορεί να επισκευαστεί ή να αντικατασταθεί από ένα καινούργιο σύστημα. Η επισκευή και η αντικατάσταση του συστήματος επιφέρουν αντίστοιχα κόστη. Οι Makis and Jardine όρισαν κατάλληλες συνθήκες οι οποίες αφορούν τα κόστη της επισκευής, τα κόστη της αντικατάστασης και το ρυθμό επιδείνωσης του συστήματος. Απέδειξαν ότι η βέλτιστη πολιτική είναι μονότονη διότι αντικαθιστά το σύστημα όταν έχει υποστεί την οστή βλάβη αν και μόνο αν η ηλικία του είναι μεγαλύτερη ή ίση με μία κρίσιμη τιμή η οποία εξαρτάται από τον αριθμό  Σχεδιάζουμε έναν αποδοτικό αλγόριθμο βελτίωσης των πολιτικών ο οποίος εφαρμόζεται στο σύνολο των μονότονων πολιτικών και παράγει μία ακολουθία βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Ο αλγόριθμος είναι κατά πολύ ταχύτερος ενός παρόμοιου αλγορίθμου που αναπτύχθηκε από τους Love et al. (2000). Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι ο αλγόριθμος συγκλίνει στη βέλτιστη πολιτική. 
   Στο Κεφάλαιο 6 επεκτείνεται ένα μοντέλο που επινοήθηκε από τον Economou (2003). Ο Economou υπέθεσε ότι ένας πληθυσμός παρασίτων αναπτύσσεται στοχαστικά σύμφωνα με μία σύνθετη διαδικασία Poisson και μπορεί να ελεγχθεί από ένα μηχανισμό ο οποίος, όταν τίθεται σε λειτουργία, καταστρέφει ολοκληρωτικά τον πληθυσμό. Υπέθεσε επίσης ότι ο ρυθμός του κόστους για τη λειτουργία του μηχανισμού της καταστροφής είναι σταθερός και ότι ο ρυθμός του κόστους που προξενούν τα παράσιτα είναι μία αύξουσα συνάρτηση ως προς το πληθυσμιακό τους μέγεθος. Χρησιμοποίησε την τεχνική της ομοιομορφοποίησης (βλέπε π.χ. Sennott (1999)) και απέδειξε ότι, όταν τα κόστη είναι άνω φραγμένα, η βέλτιστη πολιτική είναι μονότονη διότι θέτει σε λειτουργία το μηχανισμό της καταστροφής αν και μόνο αν το μέγεθος του πληθυσμού των παρασίτων είναι μεγαλύτερο ή ίσο με μία κρίσιμη τιμή. Στην παρούσα διατριβή χρησιμοποιούμε τη μέθοδο των διαδοχικών προσεγγίσεων (βλέπε π.χ. Ross (1992)) και δίνουμε μία διαφορετική απόδειξη του αποτελέσματος του Economou το οποίο γενικεύεται για την περίπτωση κατά την οποία τα κόστη δεν είναι άνω φραγμένα. Αποδεικνύουμε επίσης ότι το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου, υπό τον έλεγχο μιας μονότονης πολιτικής, είναι μία μονοκόρυφη συνάρτηση ως προς την κρίσιμη τιμή. Το αποτέλεσμα αυτό επιτρέπει την εφαρμογή δύο αποδοτικών αλγορίθμων για τον αριθμητικό υπολογισμό της βέλτιστης μονότονης πολιτικής, δηλαδή της μεθόδου της διχοτόμησης και ενός κατάλληλου αλγορίθμου που παράγει βελτιωμένες μονότονες πολιτικές. Προτείνεται επίσης μία μέθοδος για τον ακριβή υπολογισμό των στάσιμων πιθανοτήτων, υπό τον έλεγχο μιας μονότονης πολιτικής. Επιπλέον μελετάμε ένα γενικότερο μοντέλο στο οποίο, όταν ο μηχανισμός τίθεται σε λειτουργία, προξενεί μία διωνυμική καταστροφή αντί μιας ολοκληρωτικής καταστροφής του πληθυσμού των παρασίτων. Κατασκευάζεται ένας κατάλληλος αλγόριθμος για τον αριθμητικό υπολογισμό της βέλτιστης πολιτικής ο οποίος βασίζεται στην προσεγγιστική μέθοδο της Sennott (1997). Πολλά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική, για το μοντέλο με τις διωνυμικές καταστροφές, είναι επίσης μονότονη.
   Στο Κεφάλαιο 7 προτείνεται μία τροποποίηση του μοντέλου που επινοήθηκε από τον Kyriakidis (2003). Ο Kyriakidis υπέθεσε ότι ένας πληθυσμός παρασίτων αναπτύσσεται στοχαστικά σε ένα βιότοπο σύμφωνα με μία απλή διαδικασία Poisson και μπορεί να ελεγχθεί με την εισαγωγή ενός αρπακτικού. Υπέθεσε επίσης ότι ο ρυθμός του κόστους για την εισαγωγή του αρπακτικού στο βιότοπο είναι σταθερός και ότι ο ρυθμός του κόστους που προξενούν τα παράσιτα είναι μία αύξουσα συνάρτηση ως προς το πληθυσμιακό τους μέγεθος. Θεώρησε ότι το αρπακτικό μπορεί να αποδημήσει από το βιότοπο μόνο όταν έχει εξοντώσει όλα τα παράσιτα. Στο προτεινόμενο μοντέλο υποτίθεται ότι το αρπακτικό μπορεί να αποδημήσει από το βιότοπο πριν εξοντώσει όλα τα παράσιτα. Κατασκευάζεται ένας κατάλληλος αλγόριθμος για τον αριθμητικό υπολογισμό της βέλτιστης πολιτικής ο οποίος βασίζεται στην προσεγγιστική μέθοδο της Sennott (1997). Επαληθεύονται οι συνθήκες που εγγυώνται τη σύγκλιση του αλγορίθμου στη βέλτιστη πολιτική. Πολλά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική είναι μονότονη διότι εισάγει το αρπακτικό στο βιότοπο αν και μόνο αν το μέγεθος του πληθυσμού των παρασίτων είναι μεγαλύτερο ή ίσο με μία κρίσιμη τιμή.        
   Σημειώνεται ότι οι αλγόριθμοι της παρούσας διατριβής υλοποιήθηκαν με χρήση του μαθηματικού πακέτου Matlab και εκτελέστηκαν σε υπολογιστή τύπου Acer Aspire 1605DLC.

ΚΕΦΑΛΑΙΟ 2
 Στοιχεία της θεωρίας των Μαρκοβιανών διαδικασιών αποφάσεων

2.1 Εισαγωγή
   Στις αρχές του 20ου αιώνα ο Ρώσος Μαθηματικός A. A. Markov στην προσπάθειά του να ερμηνεύσει την «αβεβαιότητα» στην εναλλαγή φωνηέντων και συμφώνων γραμμάτων στο ποίημα «Onegin» του Pushkin εισήγαγε τη θεωρία των Μαρκοβιανών διαδικασιών.
   Ο Bellman (1957) εισήγαγε τη θεωρία του δυναμικού προγραμματισμού. Ανέπτυξε μία αναδρομική διαδικασία η οποία υπολογίζει βέλτιστες τιμές συναρτήσεων κέρδους ή κόστους μέσω μιας κατάλληλης συναρτησιακής εξίσωσης. Ο δυναμικός προγραμματισμός χρησιμοποιείται σε προβλήματα πεπερασμένου ή άπειρου χρονικού ορίζοντα στα οποία μία στοχαστική διαδικασία ελέγχεται από μία ακολουθία ενεργειών. Ο κύριος στόχος είναι η εύρεση ενός κανόνα επιλογής των ενεργειών που ελέγχει τη διαδικασία με το βέλτιστο τρόπο. Ο Howard (1960) συνδύασε ιδέες του δυναμικού προγραμματισμού με στοιχεία της θεωρίας των στοχαστικών διαδικασιών και κατασκεύασε έναν αλγόριθμο βελτίωσης των πολιτικών για να υπολογίσει τη βέλτιστη πολιτική σε προβλήματα ελέγχου διαδικασιών σε άπειρο χρονικό ορίζοντα.   
   Οι Μαρκοβιανές διαδικασίες αποφάσεων εισήχθησαν από τον Bellman (1957) και ήταν αποτέλεσμα του συνδυασμού της θεωρίας των Μαρκοβιανών διαδικασιών και του δυναμικού προγραμματισμού. Κατά τη διάρκεια των τελευταίων τεσσάρων δεκαετιών αποτελούν το αντικείμενο έρευνας πολλών ερευνητών. Έχουν βρει εφαρμογή σε διάφορα πεδία της επιστήμης, όπως για παράδειγμα στην Επιχειρησιακή Έρευνα, στη Βιολογία, στην Οικολογία και στην Πληροφορική. Ειδικότερα, έχουν αποδειχθεί πολύ χρήσιμες σε προβλήματα βέλτιστου ελέγχου αποθεμάτων, βέλτιστου ελέγχου ουρών αναμονής και βιολογικών πληθυσμών, βέλτιστης συντήρησης και αντικατάστασης μηχανημάτων, βέλτιστης διαχείρισης δικτύων και τηλεπικοινωνιών.
   Στα βιβλία των Ross (1983, 1992), Puterman (1994), Sennott (1999) και Bather (2000) παρουσιάζονται με λεπτομέρεια βασικά αποτελέσματα της θεωρίας των Μαρκοβιανών διαδικασιών απoφάσεων. Οι αλγόριθμοι του δυναμικού προγραμματισμού και οι βελτιώσεις τους παρουσιάζονται λεπτομερώς με διάφορες εφαρμογές τους στα βιβλία των Puterman (1994), Tijms (1994) και Heyman and Sobel (2004).  
   Στο παρόν κεφάλαιο θα παρουσιάσουμε με συνοπτικό τρόπο στοιχεία της θεωρίας των Μαρκοβιανών διαδικασιών αποφάσεων, τα περισσότερα των οποίων θα χρησιμοποιηθούν στα επόμενα κεφάλαια. Στο Εδάφιο 2.2 περιγράφουμε τις Μαρκοβιανές διαδικασίες αποφάσεων σε διακριτό χρόνο και εισάγουμε βασικές έννοιες. Στα Εδάφια 2.3 και 2.4 αναφέρουμε γνωστά αποτελέσματα για τα προβλήματα του πεπερασμένου και του άπειρου χρονικού ορίζοντα, αντίστοιχα. Στο Εδάφιο 2.5 παρουσιάζουμε τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων και μία υποκατηγορία τους, τις Μαρκοβιανές διαδικασίες αποφάσεων σε συνεχή χρόνο. Στο Εδάφιο 2.6 περιγράφουμε με συνοπτικό τρόπο την προσεγγιστική μέθοδο της Sennott (1997). 

2.2 Μαρκοβιανές διαδικασίες αποφάσεων σε διακριτό χρόνο
   Έστω μία στοχαστική διαδικασία  όπου η τυχαία μεταβλητή  αναπαριστά την κατάσταση ενός συστήματος τη χρονική στιγμή  Το σύνολο των καταστάσεων του συστήματος είναι πεπερασμένο ή άπειρο αριθμήσιμο. Χάριν απλότητας, στο παρόν κεφάλαιο μπορούμε να υποθέσουμε ότι είναι το σύνολο των μη-αρνητικών ακεραίων αριθμών . Το σύστημα επιθεωρείται τις χρονικές στιγμές  οι οποίες θεωρούμε ότι ισαπέχουν μεταξύ τους. Η κατάσταση του συστήματος παρατηρείται σε κάθε χρονική στιγμή επιθεώρησης και μία ενέργεια επιλέγεται από ένα σύνολο εναλλακτικών ενεργειών. Έστω ότι σε κάποια χρονική στιγμή επιθεώρησης  το σύστημα βρίσκεται στην κατάσταση  και η ενέργεια  επιλέγεται από ένα σύνολο εναλλακτικών ενεργειών  Υποθέτουμε ότι το σύνολο  είναι πεπερασμένο.
   Το σύστημα που περιγράψαμε παραπάνω είναι μία Μαρκοβιανή διαδικασία αποφάσεων σε διακριτό χρόνο, αν:

(α) Υπάρχει ένα κόστος  το οποίο εξαρτάται μόνον από την κατάσταση  και την ενέργεια  ως οικονομική συνέπεια της επιλογής της ενέργειας  τη χρονική στιγμή κατά την οποία το σύστημα βρίσκεται στην κατάσταση 
(β) Την επόμενη χρονική στιγμή η κατάσταση του συστήματος είναι η κατάσταση  με πιθανότητα  η οποία εξαρτάται μόνον από την ενέργεια  και τις καταστάσεις  και 
 
   Ο όρος «Μαρκοβιανή» δικαιολογείται από το γεγονός ότι το κόστος  και η πιθανότητα μετάβασης  εξαρτώνται από το «παρελθόν» της διαδικασίας μόνο μέσω της τρέχουσας κατάστασης  της διαδικασίας και της ενέργειας  που επιλέγεται στην κατάσταση 
   Μία πολιτική  είναι ένας κανόνας με τον οποίον επιλέγονται οι ενέργειες κατά τις χρονικές στιγμές . Έστω  το σύνολο όλων των πολιτικών. Υπάρχουν διάφορα είδη πολιτικών (βλέπε σελ. 22 του βιβλίου του Puterman (1994)). Η ταξινόμησή τους εξαρτάται από το αν είναι ή όχι «τυχαιοποιημένες» καθώς και από το αν εξαρτώνται από την «ιστορία» της διαδικασίας. Με τον όρο «τυχαιοποιημένη» θεωρούμε εκείνη την πολιτική σύμφωνα με την οποία, όταν η διαδικασία βρίσκεται στην κατάσταση  μία ενέργεια  επιλέγεται με πιθανότητα   σε κάποια χρονική στιγμή επιλογής των ενεργειών. Στην παρούσα διατριβή θα μας απασχολήσουν οι Μαρκοβιανές πολιτικές καθώς επίσης και μία σημαντική υποκατηγορία τους, οι στάσιμες πολιτικές. 
   Μία Μαρκοβιανή πολιτική είναι μία πολιτική σύμφωνα με την οποία η επιλογή μιας ενέργειας σε κάθε χρονική στιγμή  εξαρτάται μόνον από τη χρονική στιγμή  και από την κατάσταση της διαδικασίας σ’ αυτή τη χρονική στιγμή.
   Μία στάσιμη πολιτική είναι μία πολιτική σύμφωνα με την οποία η επιλογή μιας ενέργειας σε κάθε χρονική στιγμή  εξαρτάται μόνον από την κατάσταση της διαδικασίας σ’ αυτή τη χρονική στιγμή. Επομένως μία στάσιμη πολιτική  καθορίζεται πλήρως από μία ακολουθία   όπου  είναι η ενέργεια που επιλέγεται οποτεδήποτε η διαδικασία βρίσκεται στην κατάσταση  σε μία χρονική στιγμή επιλογής ενέργειας. 
   Στη γενική του μορφή το πρόβλημα που θα μας απασχολήσει είναι η εύρεση της πολιτικής η οποία, για κάθε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί μία προκαθορισμένη συνάρτηση κόστους. 
   Η συνάρτηση του κόστους ορίζει το κριτήριο βελτιστοποίησης του προβλήματος. Τα κριτήρια βελτιστοποίησης τα οποία χρησιμοποιούνται πιο συχνά είναι η ελαχιστοποίηση του συνολικού αναμενόμενου αποπληθωρισμένου κόστους και η ελαχιστοποίηση του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου. Επίσης θα μας απασχολήσει το κριτήριο της ελαχιστοποίησης του συνολικού αναμενόμενου κόστους. 
   Αν υπάρχει ένας σταθερός ακέραιος αριθμός  τέτοιος ώστε οι ενέργειες για τον έλεγχο μιας Μαρκοβιανής διαδικασίας αποφάσεων σε διακριτό χρόνο επιλέγονται τις χρονικές στιγμές  και η διαδικασία σταματά τη χρονική στιγμή  τότε το πρόβλημα είναι πεπερασμένου χρονικού ορίζοντα  βημάτων. Διαφορετικά, αν το σύνολο των χρονικών στιγμών επιλογής ενέργειας είναι άπειρο, το πρόβλημα είναι άπειρου χρονικού ορίζοντα.  

2.3 Προβλήματα πεπερασμένου χρονικού ορίζοντα
   Έστω  η ενέργεια που επιλέγεται τη χρονική στιγμή  Το συνολικό αναμενόμενο αποπληθωρισμένο κόστος  όταν απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας, υπό τον έλεγχο της πολιτικής  δοθέντος ότι η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  ορίζεται ως εξής:

,

όπου,  αναπαριστά την υπό-συνθήκη αναμενόμενη τιμή, δοθέντος ότι η πολιτική  έχει υιοθετηθεί για τον έλεγχο της διαδικασίας. Η συνάρτηση  είναι μία γνωστή μη-αρνητική συνάρτηση κόστους η οποία ορίζεται στο χώρο καταστάσεων της διαδικασίας και αντιπροσωπεύει ένα τελικό κόστος  όταν η διαδικασία σταματά τη χρονική στιγμή  Η σταθερά  είναι ο αποπληθωριστικός παράγοντας. 
   Για κάθε κατάσταση  της διαδικασίας, η βέλτιστη συνάρτηση  του αναμενόμενου αποπληθωρισμένου κόστους όταν απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας, ορίζεται ως εξής: 

   Το παρακάτω θεώρημα παρέχει μία εξίσωση που υπολογίζει αναδρομικά τη βέλτιστη συνάρτηση για κάθε κατάσταση της διαδικασίας.

Θεώρημα 2.1. Η ποσότητα   ικανοποιεί για κάθε  την εξίσωση:

					                (2.1)

όπου, 
Επιπλέον υπάρχει μία βέλτιστη Μαρκοβιανή πολιτική η οποία, οποτεδήποτε η διαδικασία βρίσκεται στην κατάσταση  επιλέγει εκείνη την ενέργεια  που ελαχιστοποιεί το δεξιό μέλος της εξίσωσης (2.1).     

   Η εξίσωση (2.1) είναι γνωστή ως εξίσωση βελτιστοποίησης για το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους σε πεπερασμένο χρονικό ορίζοντα. Το Θεώρημα 2.1 μπορεί να αποδειχθεί με επαγωγή ως προς  και η απόδειξη βρίσκεται στις σελ. 37-39 του βιβλίου της Sennott (1999).
   Στην περίπτωση κατά την οποία ο αποπληθωριστικός παράγοντας  είναι ίσος με τη μονάδα έχουμε το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου κόστους σε πεπερασμένο χρονικό ορίζοντα. Για το πρόβλημα αυτό οι προαναφερθέντες ορισμοί και το Θεώρημα 2.1 ισχύουν, αν θέσουμε  

2.4 Προβλήματα άπειρου χρονικού ορίζοντα
2.4.1 Ελαχιστοποίηση συνολικού αναμενόμενου αποπληθωρισμένου κόστους
   Στο παρόν εδάφιο υποθέτουμε ότι ο αποπληθωριστικός παράγοντας  είναι γνησίως μικρότερος της μονάδας. Επίσης θεωρούμε ότι υπάρχει ένας θετικός πραγματικός αριθμός  τέτοιος ώστε για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, ισχύει ότι: 
   Το συνολικό αναμενόμενο αποπληθωρισμένο κόστος  σε άπειρο χρονικό ορίζοντα, υπό τον έλεγχο της πολιτικής  δοθέντος ότι η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  ορίζεται ως εξής:

Οι παραπάνω υποθέσεις εξασφαλίζουν ότι:  
   Για κάθε κατάσταση  της διαδικασίας, η βέλτιστη συνάρτηση  του αναμενόμενου αποπληθωρισμένου κόστους σε άπειρο χρονικό ορίζοντα, ορίζεται ως εξής:

   Το Θεώρημα 2.2 παρέχει μία εξίσωση η οποία ικανοποιείται από τη βέλτιστη συνάρτηση  

Θεώρημα 2.2. Η ποσότητα   ικανοποιεί την εξίσωση:

                                                                                  (2.2)  

Επιπλέον υπάρχει μία βέλτιστη στάσιμη πολιτική   η οποία, οποτεδήποτε η διαδικασία βρίσκεται στην κατάσταση  επιλέγει εκείνη την ενέργεια  που ελαχιστοποιεί το δεξιό μέλος της εξίσωσης (2.2) και ικανοποιεί τη σχέση     

   Η εξίσωση (2.2) είναι γνωστή ως εξίσωση βελτιστοποίησης για το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους σε άπειρο χρονικό ορίζοντα. Η απόδειξη του Θεωρήματος 2.2 βρίσκεται στις σελ. 121 και 124 του βιβλίου του Ross (1992). 
   Το Θεώρημα Σταθερού Σημείου για συστολές προσφέρει μία διαφορετική προσέγγιση για τον υπολογισμό της βέλτιστης συνάρτησης   Με χρήση γνωστών αποτελεσμάτων αυτής της θεωρίας (βλέπε σελ. 125-128 του βιβλίου του Ross (1992)) αποδεικνύεται ότι, για κάθε κατάσταση  της διαδικασίας, η βέλτιστη συνάρτηση  είναι η μοναδική λύση της εξίσωσης βελτιστοποίησης (2.2). 
   Με βάση το παρακάτω θεώρημα υπολογίζουμε, για κάθε κατάσταση  της διαδικασίας, τη βέλτιστη συνάρτηση  σε άπειρο χρονικό ορίζοντα μέσω της βέλτιστης συνάρτησης  όταν απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας. Η μέθοδος υπολογισμού είναι γνωστή ως μέθοδος των διαδοχικών προσεγγίσεων.

Θεώρημα 2.3. Έστω ότι η μη-αρνητική συνάρτηση κόστους  η οποία ορίζεται στο χώρο καταστάσεων της διαδικασίας είναι φραγμένη. Τότε ισχύει ότι:     

   Η απόδειξη του Θεωρήματος 2.3 βρίσκεται στη σελ. 128 του βιβλίου του Ross (1992). Το θεώρημα είναι αρκετά χρήσιμο καθώς σε πολλές περιπτώσεις μας δίνει τη δυνατότητα να αντιμετωπίσουμε το πρόβλημα του άπειρου χρονικού ορίζοντα μέσω του αντίστοιχου προβλήματος σε πεπερασμένο χρονικό ορίζοντα. Αποτελέσματα τα οποία σχετίζονται με τη βέλτιστη συνάρτηση  σε άπειρο χρονικό ορίζοντα αποδεικνύονται με τη χρήση του Θεωρήματος 2.3, αφού πρώτα έχουν αποδειχθεί για την αντίστοιχη βέλτιστη συνάρτηση   όταν απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας.
   Ο αλγόριθμος βελτίωσης των πολιτικών, ο αλγόριθμος των διαδοχικών προσεγγίσεων ο οποίος βασίζεται στο Θεώρημα 2.3 και η μέθοδος του γραμμικού προγραμματισμού αποτελούν τις βασικές υπολογιστικές τεχνικές για την εύρεση της βέλτιστης στάσιμης πολιτικής στο πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους σε άπειρο χρονικό ορίζοντα. Στα βιβλία των Puterman (1994), Tijms (1994) και Heyman and Sobel (2004) παρουσιάζονται αναλυτικά αυτές οι υπολογιστικές τεχνικές με πολλές αριθμητικές εφαρμογές τους.     

2.4.2 Ελαχιστοποίηση μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου
   Το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  δοθέντος ότι η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  ορίζεται ως εξής:

Για κάθε κατάσταση  της διαδικασίας, μία πολιτική  είναι βέλτιστη, αν:

   Σε αντίθεση με το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου (αποπληθωρισμένου) κόστους, στο πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου, η ύπαρξη μιας βέλτιστης πολιτικής δεν είναι βέβαιη. Υπάρχουν προβλήματα ελέγχου μιας στοχαστικής διαδικασίας στα οποία η βέλτιστη πολιτική είτε δεν υπάρχει είτε και αν ακόμη υπάρχει δεν είναι μία στάσιμη πολιτική. Παραδείγματα τέτοιων περιπτώσεων αναφέρονται στις σελ. 141-144 του βιβλίου του Ross (1992) και στις σελ. 128-132 του βιβλίου της Sennott (1999).
   Πολλοί ερευνητές έχουν ασχοληθεί με το θέμα της κατασκευής κατάλληλων υποθέσεων οι οποίες εξασφαλίζουν την ύπαρξη μιας βέλτιστης στάσιμης πολιτικής. Στο Κεφάλαιο 7 του βιβλίου της Sennott (1999) γίνεται μία αναλυτική παρουσίαση των πρόσφατων αποτελεσμάτων σχετικά με το θέμα αυτό με αρκετές αναφορές σε προηγούμενες εργασίες. 
   Στο παρόν εδάφιο υποθέτουμε πάλι ότι υπάρχει ένας θετικός πραγματικός αριθμός  τέτοιος ώστε για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, ισχύει ότι:  
   Το Θεώρημα 2.4 παρέχει μία ικανή συνθήκη για την ύπαρξη μιας βέλτιστης στάσιμης πολιτικής.

Θεώρημα 2.4. Έστω ότι υπάρχει μία άνω φραγμένη ακολουθία αριθμών   και μία σταθερά  έτσι ώστε:

                                                                               (2.3)                                                                          

Τότε υπάρχει μία βέλτιστη στάσιμη πολιτική   η οποία, οποτεδήποτε η διαδικασία βρίσκεται στην κατάσταση  επιλέγει εκείνη την ενέργεια  που ελαχιστοποιεί το δεξιό μέλος της εξίσωσης (2.3). Επιπλέον η σταθερά  είναι ίση με      

   Η εξίσωση (2.3) είναι γνωστή ως εξίσωση βελτιστοποίησης για το πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου και οι τιμές ,  είναι γνωστές ως οι σχετικές τιμές της βέλτιστης στάσιμης πολιτικής. Η απόδειξη του Θεωρήματος 2.4 βρίσκεται στη σελ. 144 του βιβλίου του Ross (1992). 
   Για κάθε κατάσταση  της διαδικασίας, το παρακάτω θεώρημα παρέχει μία συνθήκη η οποία εγγυάται την ύπαρξη της ακολουθίας των σχετικών τιμών  μέσω της βέλτιστης συνάρτησης  

Θεώρημα 2.5. Έστω ότι για μία κατάσταση της διαδικασίας (π.χ. για την κατάσταση 0) υπάρχει μία σταθερά  τέτοια ώστε:

                                                                                                                    (2.4)

για κάθε  και κάθε  Τότε: 
(α) Υπάρχει μία φραγμένη ακολουθία αριθμών   και μία σταθερά  που ικανοποιούν την εξίσωση βελτιστοποίησης (2.3).
(β) Υπάρχει μία ακολουθία αριθμών  τέτοια ώστε  για την οποία ισχύει ότι:  και
(γ)     
   
   Η απόδειξη του Θεωρήματος 2.5 βρίσκεται στις σελ. 146-149 του βιβλίου του Ross (1992) στο οποίο περιέχονται επίσης αποτελέσματα που παρέχουν ικανές συνθήκες τέτοιες ώστε να ισχύει η ανισότητα (2.4).
   Στο πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου, η ακόλουθη Υπόθεση UC χρειάζεται να εισαχθεί έτσι ώστε να είναι εφικτός ο υπολογισμός μιας βέλτιστης στάσιμης πολιτικής. 

Υπόθεση UC: Για κάθε στάσιμη πολιτική  υπάρχει μία κατάσταση  (η οποία μπορεί να εξαρτάται από την πολιτική ) τέτοια ώστε ο αναμενόμενος χρόνος και το αναμενόμενο κόστος που απαιτούνται για τη μετάβαση στην κατάσταση  από οποιαδήποτε αρχική κατάσταση της διαδικασίας, υπό τον έλεγχο της πολιτικής  είναι πεπερασμένα.  

   Η Υπόθεση UC εξασφαλίζει επίσης ότι το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου οποιασδήποτε στάσιμης πολιτικής που υιοθετείται για τον έλεγχο της διαδικασίας είναι ανεξάρτητο της αρχικής κατάστασης της διαδικασίας.
   Όπως στο πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους έτσι και στο πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου, ο αλγόριθμος βελτίωσης των πολιτικών, ο αλγόριθμος των διαδοχικών προσεγγίσεων και η μέθοδος του γραμμικού προγραμματισμού συνιστούν τις βασικές υπολογιστικές τεχνικές. Στα βιβλία των Puterman (1994), Tijms (1994) και Heyman and Sobel (2004) περιέχεται το θεωρητικό υπόβαθρο αυτών των υπολογιστικών τεχνικών καθώς και αρκετές εφαρμογές τους. Ο αλγόριθμος βελτίωσης των πολιτικών βασίζεται στα ακόλουθα Θεωρήματα 2.6 και 2.7 τα οποία με τις αποδείξεις τους βρίσκονται στις σελ. 191-217 του βιβλίου του Tijms (1994).

Θεώρημα 2.6. Έστω ότι υπάρχει μία κατάσταση  η οποία ικανοποιεί την Υπόθεση UC. Έστω  το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου, υπό τον έλεγχο της στάσιμης πολιτικής   και

                                                                                                (2.5)

όπου,  και  είναι ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, που απαιτούνται μέχρι η διαδικασία να επιστρέψει στην κατάσταση  αν αρχικά βρισκόταν στην κατάσταση  και η πολιτική  έχει υιοθετηθεί για τον έλεγχο της διαδικασίας. 
Τότε:
Οι ποσότητες   και  είναι η μοναδική λύση του ακόλουθου συστήματος των γραμμικών εξισώσεων με αγνώστους  και  

 						                (2.6)

     

Θεώρημα 2.7. Έστω ότι υπάρχει μία κατάσταση  η οποία ικανοποιεί την Υπόθεση UC. Έστω  και  τα μακροπρόθεσμα αναμενόμενα μέσα κόστη ανά μονάδα χρόνου, υπό τον έλεγχο των στάσιμων πολιτικών  και   αντίστοιχα. Υποθέτουμε ότι:

                                                                        (2.7) 

όπου οι ποσότητες   έχουν οριστεί μέσω της εξίσωσης (2.5). Τότε:

                                                                                                                                    (2.8)

Το θεώρημα ισχύει και στην περίπτωση κατά την οποία οι ανισότητες (2.7) και (2.8) έχουν αντίθετη φορά. Επίσης η ανισότητα (2.8) ισχύει αυστηρά όταν η ανισότητα (2.7) ισχύει αυστηρά για μία τουλάχιστον κατάσταση  της διαδικασίας η οποία είναι έμμονη θετική υπό τον έλεγχο της πολιτικής     

   Οι ποσότητες   όπως έχουν οριστεί στην εξίσωση (2.5) είναι γνωστές ως οι σχετικές τιμές της πολιτικής 

2.5 Ημι-Μαρκοβιανές διαδικασίες αποφάσεων και Μαρκοβιανές διαδικασίες αποφάσεων σε συνεχή χρόνο
   Σε αντίθεση με το Εδάφιο 2.2, στο παρόν εδάφιο θεωρούμε ότι για τον έλεγχο του συστήματος οι ενέργειες επιλέγονται σε τυχαίες χρονικές στιγμές. Έστω  η κατάσταση του συστήματος τη χρονική στιγμή   και   το χρονικό διάστημα που μεσολαβεί μεταξύ των χρονικών στιγμών  και  Υποθέτουμε ότι  και ότι τη χρονική στιγμή  το σύστημα βρίσκεται στην κατάσταση  στην οποία η ενέργεια  επιλέγεται από ένα σύνολο εναλλακτικών ενεργειών 
   Το σύστημα είναι μία ημι-Μαρκοβιανή διαδικασία αποφάσεων, αν:

(α) Την επόμενη χρονική στιγμή η κατάσταση του συστήματος είναι η κατάσταση  με πιθανότητα  η οποία εξαρτάται μόνον από την ενέργεια  και τις καταστάσεις  και 
(β) Δοθέντος ότι την επόμενη χρονική στιγμή η κατάσταση του συστήματος είναι η κατάσταση  το χρονικό διάστημα που μεσολαβεί μέχρι το σύστημα να μεταβεί από την κατάσταση  στην κατάσταση  είναι μία τυχαία μεταβλητή με συνάρτηση πιθανότητας 
(γ) Δοθέντος ότι η μετάβαση του συστήματος από την κατάσταση  στην κατάσταση  διαρκεί  χρονικές μονάδες, υπάρχει ένα άμεσο κόστος ίσο με  και ένα κόστος ίσο με  ανά μονάδα χρόνου με αποτέλεσμα το συνολικό κόστος να είναι ίσο με  ως οικονομική συνέπεια της επιλογής της ενέργειας  τη χρονική στιγμή κατά την οποία το σύστημα βρίσκεται στην κατάσταση  
  
   Υποθέτουμε ότι για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, το άμεσο κόστος  και το κόστος  ανά μονάδα χρόνου είναι φραγμένα.
   Στην παρούσα διατριβή οι ημι-Μαρκοβιανές διαδικασίες αποφάσεων θα μας απασχολήσουν στο πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους σε άπειρο χρονικό ορίζοντα καθώς επίσης στο πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου.
   Δοθέντος ότι η διαδικασία βρίσκεται στην κατάσταση  και η ενέργεια  επιλέγεται, ο αναμενόμενος χρόνος  και το αναμενόμενο αποπληθωρισμένο κόστος  μέχρι την επόμενη χρονική στιγμή επιλογής ενέργειας, ορίζονται αντίστοιχα, ως εξής:

     

όπου,  είναι ο αποπληθωριστικός παράγοντας. Ορίζουμε  και θεωρούμε ότι υπάρχει ένας θετικός πραγματικός αριθμός  τέτοιος ώστε για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, ισχύει ότι: 
   Το συνολικό αναμενόμενο αποπληθωρισμένο κόστος  όταν απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας, το συνολικό αναμενόμενο αποπληθωρισμένο κόστος  σε άπειρο χρονικό ορίζοντα και το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  δοθέντος ότι η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  ορίζονται αντίστοιχα, ως εξής:

   
   Η ποσότητα  αντιπροσωπεύει ένα τελικό κόστος όταν η διαδικασία σταματά τη χρονική στιγμή  όπου  είναι μία γνωστή μη-αρνητική συνάρτηση κόστους η οποία ορίζεται στο χώρο καταστάσεων της διαδικασίας. 
   
   Στην περίπτωση των ημι-Μαρκοβιανών διαδικασιών αποφάσεων τα Θεωρήματα 2.1-2.7 ισχύουν με τις παρακάτω τροποποιήσεις.

(α) Για κάθε κατάσταση  της διαδικασίας, η εξίσωση βελτιστοποίησης για το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους όταν απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας είναι (βλέπε σελ. 202 του βιβλίου των Heyman and Sobel (2004)):

(β) Για κάθε κατάσταση  της διαδικασίας, η εξίσωση βελτιστοποίησης για το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους σε άπειρο χρονικό ορίζοντα είναι (βλέπε σελ. 157 του βιβλίου του Ross (1992)):

(γ) Για κάθε κατάσταση  της διαδικασίας, η εξίσωση βελτιστοποίησης για το πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου είναι (βλέπε σελ. 162 του βιβλίου του Ross (1992)):

(δ) Αν ισχύουν οι υποθέσεις του Θεωρήματος 2.5, τα αποτελέσματα (β) και (γ) του θεωρήματος διαμορφώνονται ως εξής (βλέπε σελ. 163 του βιβλίου του Ross (1992)):

Υπάρχει μία ακολουθία αριθμών  τέτοια ώστε  για την οποία ισχύει ότι: 

   και       

(ε) Στις εξισώσεις (2.6) του Θεωρήματος 2.6 η σταθερά  αντικαθίσταται από το γινόμενο  και στις ανισότητες (2.7) του Θεωρήματος 2.7 η σταθερά  αντικαθίσταται από το γινόμενο     
   
   Για περισσότερες λεπτομέρειες σχετικά με τις τροποποιήσεις των Θεωρημάτων 2.6 και 2.7 στην περίπτωση των ημι-Μαρκοβιανών διαδικασιών αποφάσεων παραπέμπουμε στις σελ. 220-223 του βιβλίου του Tijms (1994).
   Τα αποτελέσματα που παρουσιάζονται στο βιβλίο του Ross (1992) αφορούν την περίπτωση κατά την οποία, για κάθε ενέργεια  και κάθε κατάσταση  μιας ημι-Μαρκοβιανής διαδικασίας αποφάσεων, τo κόστος  είναι φραγμένο. 
   Στην περίπτωση κατά την οποία, για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, το κόστος  δεν είναι άνω φραγμένο, κατάλληλες υποθέσεις χρειάζεται να εισαχθούν οι οποίες εγγυώνται την ύπαρξη μιας βέλτιστης στάσιμης πολιτικής στο πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου.       
   Για το σκοπό αυτό η Sennott (1989) κατασκεύασε πέντε υποθέσεις. Οι δύο πρώτες υποθέσεις παρουσιάζονται παρακάτω.

Υπόθεση 1: Για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, υπάρχουν  και  έτσι ώστε με πιθανότητα τουλάχιστον  ο χρόνος μετάβασης της διαδικασίας από την κατάσταση  σε μία οποιαδήποτε κατάσταση  είναι μεγαλύτερος από 

Υπόθεση 2: Για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, υπάρχει ένας θετικός πραγματικός αριθμός  τέτοιος ώστε: 

Οι υπόλοιπες τρεις υποθέσεις σχετίζονται με ιδιότητες της βέλτιστης συνάρτησης   Σε πολλές περιπτώσεις οι υποθέσεις αυτές είναι δύσκολο να αποδειχθούν. Η Sennott (1989) κατασκεύασε την παρακάτω Συνθήκη SEN η οποία εξασφαλίζει την ισχύ αυτών των τριών υποθέσεων.       
  
Συνθήκη SEN: Έστω  ο χώρος καταστάσεων της διαδικασίας και έστω ότι   Για κάθε κατάσταση  υπάρχει μία στάσιμη πολιτική  υπό τον έλεγχο της οποίας, τo μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου είναι ίσο με  Επιπλέον η στάσιμη πολιτική  έχει τις ακόλουθες ιδιότητες:

Ιδιότητα 1: H πολιτική  ορίζει μία ανάγωγη, απεριοδική, έμμονη θετική Μαρκοβιανή αλυσίδα στο χώρο καταστάσεων  και 

   και   

όπου,   είναι η στάσιμη κατανομή της Μαρκοβιανής αλυσίδας υπό τον έλεγχο της πολιτικής  

Ιδιότητα 2: Υπάρχει  και ένα πεπερασμένο υποσύνολο  του χώρου καταστάσεων  τέτοιο ώστε  για κάθε κατάσταση  Επιπλέον για κάθε κατάσταση  υπάρχει μία στάσιμη πολιτική  τέτοια ώστε  όπου  αναπαριστά το αναμενόμενο κόστος για την πρώτη μετάβαση της διαδικασίας από την κατάσταση 0 στην κατάσταση  υπό τον έλεγχο της πολιτικής 

   Μία υποκατηγορία των ημι-Μαρκοβιανών διαδικασιών αποφάσεων είναι οι Μαρκοβιανές διαδικασίες αποφάσεων σε συνεχή χρόνο. Σε μία Μαρκοβιανή διαδικασία αποφάσεων σε συνεχή χρόνο, το χρονικό διάστημα  που μεσολαβεί μεταξύ των χρονικών στιγμών  και   στις οποίες επιλέγεται μία ενέργεια, είναι μία τυχαία μεταβλητή η οποία ακολουθεί την Εκθετική κατανομή.
   Στις περιπτώσεις των ημι-Μαρκοβιανών διαδικασιών αποφάσεων και των Μαρκοβιανών διαδικασιών αποφάσεων σε συνεχή χρόνο, η τεχνική της ομοιομορφοποίησης, η οποία επινοήθηκε από τον Schweitzer (1971), διαμορφώνει κατάλληλα τον αλγόριθμο των διαδοχικών προσεγγίσεων ώστε να είναι εφικτός ο υπολογισμός μιας βέλτιστης στάσιμης πολιτικής για το πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου. 
   Η τεχνική της ομοιομορφοποίησης μετατρέπει την ημι-Μαρκοβιανή διαδικασία αποφάσεων (ή τη Μαρκοβιανή διαδικασία αποφάσεων σε συνεχή χρόνο) σε μία ισοδύναμη Μαρκοβιανή διαδικασία αποφάσεων σε διακριτό χρόνο έτσι ώστε, υπό τον έλεγχο οποιασδήποτε στάσιμης πολιτικής, το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου να είναι το ίδιο στις δύο διαδικασίες. Οι δύο διαδικασίες έχουν τον ίδιο χώρο καταστάσεων και για κάθε κατάσταση  έχουν τα ίδια σύνολα εναλλακτικών ενεργειών  Διαφέρουν μόνο στα κόστη και στις πιθανότητες μετάβασης.
   Έστω ότι υπάρχει ένας αριθμός  τέτοιος ώστε:  Τα κόστη και οι πιθανότητες μετάβασης  της ισοδύναμης Μαρκοβιανής διαδικασίας αποφάσεων σε διακριτό χρόνο, ορίζονται αντίστοιχα, ως εξής:

         

   Η τεχνική της ομοιομορφοποίησης παρουσιάζεται λεπτομερώς στις σελ. 221-222 του βιβλίου του Tijms (1994) και στις σελ. 242-248 του βιβλίου της Sennott (1999). 
   Στα βιβλία των Ross (1992), Puterman (1994), Tijms (1994), Sennott (1999) και Heyman and Sobel (2004) παρουσιάζονται οι ημι-Μαρκοβιανές διαδικασίες αποφάσεων και οι Μαρκοβιανές διαδικασίες αποφάσεων σε συνεχή χρόνο. Αναφέρονται διεξοδικά οι υπολογιστικές τεχνικές για την εύρεση μιας βέλτιστης στάσιμης πολιτικής με αρκετά παραδείγματα.

2.6 Η προσεγγιστική μέθοδος της Sennott
   Όταν ο χώρος καταστάσεων μιας διαδικασίας είναι άπειρος, ο αλγόριθμος βελτίωσης των πολιτικών, ο αλγόριθμος των διαδοχικών προσεγγίσεων και η μέθοδος του γραμμικού προγραμματισμού δεν είναι δυνατόν να εφαρμοστούν για να υπολογιστεί μία βέλτιστη στάσιμη πολιτική. Διάφοροι ερευνητές έχουν επινοήσει προσεγγιστικές μεθόδους ώστε να αντιμετωπίσουν τη δυσκολία στην εύρεση μιας βέλτιστης στάσιμης πολιτικής η οποία οφείλεται στον άπειρο χώρο καταστάσεων. Ενδεικτικά αναφέρουμε τις εργασίες των White (1980) και Thomas and Stengos (1985). 
   Η Sennott (1997) επινόησε μία προσεγγιστική μέθοδο η οποία υπολογίζει μία βέλτιστη στάσιμη πολιτική στην περίπτωση κατά την οποία μία Μαρκοβιανή διαδικασία αποφάσεων έχει άπειρο χώρο καταστάσεων και μη-φραγμένα κόστη. Η μέθοδος παρουσιάζεται αναλυτικά για τα διάφορα κριτήρια βελτιστοποίησης στο βιβλίο της Sennott (1999). 
   Στο παρόν εδάφιο υποθέτουμε ότι για κάθε ενέργεια  και κάθε κατάσταση  της διαδικασίας, το κόστος  δεν είναι άνω φραγμένο. Η μέθοδος της Sennott (1997) παρουσιάζεται παρακάτω με συνοπτικό τρόπο.
   Θεωρούμε μία Μαρκοβιανή διαδικασία αποφάσεων με άπειρο χώρο καταστάσεων  η οποία προσεγγίζεται μέσω μιας ακολουθίας Μαρκοβιανών διαδικασιών αποφάσεων με πεπερασμένο χώρο καταστάσεων  όπου  ακέραιος αριθμός τέτοιος ώστε:  Για κάθε τιμή του  κάθε κατάσταση  και κάθε ενέργεια  τα κόστη  και τα σύνολα των εναλλακτικών ενεργειών  κάθε Μαρκοβιανής διαδικασίας αποφάσεων της ακολουθίας συμπίπτουν με εκείνα της Μαρκοβιανής διαδικασίας αποφάσεων με τον άπειρο χώρο καταστάσεων. Διαφέρουν μόνο οι πιθανότητες μετάβασης.  
   Για τις διάφορες τιμές του  ο αλγόριθμος των διαδοχικών προσεγγίσεων χρησιμοποιείται για να υπολογίσει τη βέλτιστη στάσιμη πολιτική κάθε διαδικασίας της ακολουθίας. Κατά την εκτέλεση του αλγορίθμου ο αριθμός  αυξάνεται, παίρνει μεγάλες τιμές και καθώς τείνει στο άπειρο, οι βέλτιστες στάσιμες πολιτικές των Μαρκοβιανών διαδικασιών αποφάσεων της ακολουθίας συγκλίνουν σε μία βέλτιστη στάσιμη πολιτική της Μαρκοβιανής διαδικασίας αποφάσεων με τον άπειρο χώρο καταστάσεων. 
   Πρέπει να εισαχθούν κατάλληλες συνθήκες οι οποίες εγγυώνται τη σύγκλιση του αλγορίθμου των διαδοχικών προσεγγίσεων σε μία βέλτιστη στάσιμη πολιτική της Μαρκοβιανής διαδικασίας αποφάσεων με τον άπειρο χώρο καταστάσεων. Στην εργασία και στο βιβλίο της Sennott (1997, 1999) παρουσιάζονται αναλυτικά αυτές οι συνθήκες με διάφορες εφαρμογές της μεθόδου.
   Στα Εδάφια 6.5 και 7.2 της παρούσας διατριβής, η μέθοδος της Sennott (1997) εφαρμόζεται κατάλληλα σε δύο διαφορετικά προβλήματα βέλτιστου ελέγχου ενός πληθυσμού παρασίτων.  

ΚΕΦΑΛΑΙΟ 3
 Βέλτιστος έλεγχος δύο ανταγωνιζομένων ασθενειών ή ειδών       

3.1 Εισαγωγή
   Θεωρούμε έναν πληθυσμό ατόμων τα οποία είναι δυνατόν να προσβληθούν από δύο μεταδοτικές ασθένειες. Υποθέτουμε ότι το συνολικό μέγεθος του πληθυσμού είναι ίσο με  και ότι σε κάθε χρονική στιγμή  το πολύ ένα άτομο μπορεί να προσβληθεί από μία από τις δύο ασθένειες. Θεωρούμε ότι οι δύο ασθένειες είναι ανταγωνιζόμενες υπό την έννοια ότι αν ένα άτομο προσβληθεί από την ασθένεια   παραμένει προσβεβλημένο από αυτήν την ασθένεια και δεν μπορεί να προσβληθεί από την άλλη.        
   Έστω η διδιάστατη Μαρκοβιανή διαδικασία σε συνεχή χρόνο  Οι τυχαίες μεταβλητές  και   αναπαριστούν την κατάσταση της επιδημικής διαδικασίας τη χρονική στιγμή  Η τυχαία μεταβλητή  αναπαριστά τον αριθμό των ατόμων που έχουν προσβληθεί από την ασθένεια 1 και η τυχαία μεταβλητή  αναπαριστά τον αριθμό των ατόμων που έχουν προσβληθεί από την ασθένεια 2, αντίστοιχα, τη χρονική στιγμή  Υποθέτουμε ότι οι πιθανότητες ένα άτομο να προσβληθεί από τις ασθένειες 1 και 2 σε ένα χρονικό διάστημα  καθώς  δοθέντος ότι  και  είναι ίσες με  και  αντίστοιχα, όπου  Η συνάρτηση  είναι τέτοια ώστε  καθώς  Όλες οι υπόλοιπες μεταβάσεις της διαδικασίας έχουν πιθανότητα ίση με  καθώς  Η διαδικασία σταματά όταν ο συνολικός αριθμός των ατόμων που έχουν προσβληθεί από τις ασθένειες 1 και 2 γίνει ίσος με  το οποίο θεωρούμε ότι σχεδόν σίγουρα θα συμβεί σε πεπερασμένο χρόνο. Οι μεταβάσεις του τυχαίου περίπατου της επιδημικής διαδικασίας (βλέπε π.χ. σελ. 68 του βιβλίου του Ross (1992)) είναι:

   με πιθανότητα                                                                      (3.1)

   με πιθανότητα                                                                      (3.2)

Αν  η διαδικασία συμπίπτει με την απλή διδιάστατη επιδημική διαδικασία την οποία εισήγαγαν οι Billard et al. (1979). Γενίκευσαν την απλή μονοδιάστατη επιδημική διαδικασία η οποία επινοήθηκε από τον Bailey (1950). 
   Στους θετικούς πραγματικούς αριθμούς  και  μπορούμε να αποδώσουμε τον όρο «μολυσματική ισχύς» των ασθενειών 1 και 2, αντίστοιχα, και να τον δικαιολογήσουμε ως εξής. Αν η εξάπλωση μιας μεταδοτικής ασθένειας σε έναν πληθυσμό επιδεκτικών ατόμων εξαρτάται περισσότερο από το κατά πόσο ένα επιδεκτικό άτομο είναι επιρρεπές στην ασθένεια και λιγότερο από το κατά πόσο ένα άτομο που έχει προσβληθεί από την ασθένεια μπορεί να τη μεταδώσει στον υπόλοιπο πληθυσμό, τότε ο ρυθμός με τον οποίο νέα άτομα θα προσβληθούν από την ασθένεια δεν εξαρτάται ιδιαίτερα από τον αριθμό των ατόμων που ήδη έχουν προσβληθεί από την ασθένεια. Σε αυτή την περίπτωση μπορούμε να θεωρήσουμε ότι η μολυσματική ισχύς των ασθενειών 1 και 2 είναι μικρή και οι θετικοί πραγματικοί αριθμοί  και  παίρνουν τιμές κοντά στο μηδέν. Στην αντίθετη περίπτωση κατά την οποία, η μολυσματική ισχύς των ασθενειών 1 και 2 είναι μεγάλη, μπορούμε να θεωρήσουμε ότι οι παράμετροι  και  παίρνουν τιμές μεγαλύτερες της μονάδας. Σε αυτή την περίπτωση οι επιδημίες εξαπλώνονται στον πληθυσμό με πολύ γρήγορους ρυθμούς. 
   Η έννοια της μολυσματικής ισχύος επινοήθηκε από τον Severo (1969) o οποίος γενίκευσε την απλή επιδημική διαδικασία και υπολόγισε τις πιθανότητες μετάβασης της. 
   Στις εργασίες των Saunders (1980a, b), Gleissner (1988), Ball and O’ Neil (1993), O’ Neil (1997) και Clancy (1999a, b) μελετώνται διάφορες επιδημικές διαδικασίες στις οποίες ο ρυθμός προσβολής των επιδεκτικών από μία μεταδοτική ασθένεια δεν είναι σταθερός αλλά εξαρτάται από το πλήθος των επιδεκτικών και των προσβληθέντων ατόμων.
   Υποθέτουμε ότι η ασθένεια 1 προξενεί σοβαρά συμπτώματα σε ένα άτομο που έχει προσβληθεί από αυτήν και μειώνει την παραγωγικότητά του. Η παρουσία ενός ατόμου που έχει προσβληθεί από την ασθένεια 1 επιφέρει κάποιο κόστος στην κοινωνία το οποίο θεωρούμε ότι είναι σταθερό και ίσο με τη μονάδα. Υποθέτουμε ότι η ασθένεια 2, σε σύγκριση με την ασθένεια 1, είναι λιγότερο επιβλαβής για ένα άτομο που έχει προσβληθεί από αυτήν. Θεωρούμε ότι η παρουσία ενός ατόμου που έχει προσβληθεί από την ασθένεια 2 δεν επιφέρει κανένα κόστος στην κοινωνία. 
   Ο έλεγχος της επιδημικής διαδικασίας σε κάθε χρονική στιγμή μπορεί να πραγματοποιηθεί με την επιλογή μιας ενέργειας. Θεωρούμε ότι μία ενέργεια, η οποία μπορεί να ελέγξει τη διαδικασία σε κάθε χρονική στιγμή, είναι ο εμβολιασμός με την ήπια ασθένεια 2 οποιουδήποτε αριθμού επιδεκτικών ατόμων έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες. Θεωρούμε ότι ο εμβολιασμός ενός ατόμου με την ήπια ασθένεια 2 επιφέρει ένα κόστος το οποίο είναι ίσο με      
   Μία άλλη ενέργεια η οποία επίσης θεωρούμε ότι μπορεί να ελέγξει την επιδημική διαδικασία σε κάθε χρονική στιγμή είναι η απομόνωση κάποιων ή όλων των ατόμων που έχουν προσβληθεί από τη σοβαρή ασθένεια 1. Υποθέτουμε ότι η απομόνωση ενός ατόμου που έχει προσβληθεί από τη σοβαρή ασθένεια 1 επιφέρει ένα κόστος το οποίο είναι ίσο με  
   Μία πολιτική είναι ένας κανόνας ο οποίος σε κάθε χρονική στιγμή καθορίζει την ενέργεια που επιλέγεται για τον έλεγχο της διαδικασίας. Στο παρόν κεφάλαιο θα μας απασχολήσει το πρόβλημα της εύρεσης εκείνης της πολιτικής η οποία, για οποιαδήποτε αρχική κατάσταση της επιδημικής διαδικασίας, ελαχιστοποιεί το συνολικό αναμενόμενο κόστος. Επειδή η διαδικασία θεωρούμε ότι σταματά όταν ο συνολικός αριθμός των ατόμων που έχουν προσβληθεί από τις ασθένειες 1 και 2 γίνει ίσος με  το πρόβλημα της εύρεσης της βέλτιστης πολιτικής είναι ένα πρόβλημα πεπερασμένου χρονικού ορίζοντα. 
   Όπως αναφέρεται στην εργασία του Kyriakidis (1995) η επιδημική διαδικασία που περιγράψαμε στο παρόν εδάφιο βρίσκει πιθανή εφαρμογή στην περίπτωση της γνωστής ασθένειας του νωτιαίου μυελού, πολιομυελίτιδας. Η ασθένεια 1 μπορεί να θεωρηθεί ότι είναι η σοβαρή μορφή της πολιομυελίτιδας ενώ η ασθένεια 2 μπορεί να θεωρηθεί ότι είναι η ήπια μορφή της. 
   Σύμφωνα με τον Kyriakidis (1995) στην επιδημική διαδικασία μπορεί επίσης να αποδοθεί η ακόλουθη οικολογική ερμηνεία. Θεωρούμε δύο είδη ζωντανών οργανισμών τα οποία αναπτύσσονται σε ένα βιότοπο που έχει μέγιστη χωρητικότητα ίση με  Το είδος 1 θεωρούμε ότι είναι ένα παράσιτο, η παρουσία του οποίου είναι βλαβερή. Η παρουσία ενός παρασίτου επιφέρει κάποιο κόστος το οποίο είναι σταθερό και ίσο με τη μονάδα. Το είδος 2 θεωρούμε ότι είναι ένα ήπιο είδος, η παρουσία του οποίου είναι ακίνδυνη. Η παρουσία ενός ήπιου είδους δεν επιφέρει κανένα κόστος. Θεωρούμε πολιτικές οι οποίες σε κάθε χρονική στιγμή ελέγχουν την ανάπτυξη των ζωντανών οργανισμών στο βιότοπο είτε με τη σκόπιμη εισαγωγή ήπιων ειδών είτε με την απομόνωση ή την απομάκρυνση από το βιότοπο οποιουδήποτε αριθμού παρασίτων. Η σκόπιμη εισαγωγή ενός ήπιου είδους επιφέρει ένα κόστος ίσο με  ενώ η απομόνωση ή η απομάκρυνση ενός παρασίτου επιφέρει ένα κόστος ίσο με     
   Για την επιδημική διαδικασία θεωρούμε τα παρακάτω τέσσερα προβλήματα βελτιστοποίησης.

Πρόβλημα 1. Εύρεση εκείνης της πολιτικής η οποία, για οποιαδήποτε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί το συνολικό αναμενόμενο κόστος, αν η διαδικασία σε κάθε χρονική στιγμή είναι δυνατόν να ελεγχθεί μέσω του εμβολιασμού με την ήπια ασθένεια 2 οποιουδήποτε αριθμού επιδεκτικών ατόμων έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες.

Πρόβλημα 2. Εύρεση εκείνης της πολιτικής η οποία, για οποιαδήποτε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί το συνολικό αναμενόμενο κόστος, αν η διαδικασία σε κάθε χρονική στιγμή είναι δυνατόν να ελεγχθεί μέσω της απομόνωσης οποιουδήποτε αριθμού ατόμων που έχουν προσβληθεί από τη σοβαρή ασθένεια 1.

Πρόβλημα 3. Εύρεση εκείνης της πολιτικής η οποία, για οποιαδήποτε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί το συνολικό αναμενόμενο κόστος, αν η διαδικασία σε κάθε χρονική στιγμή είναι δυνατόν να ελεγχθεί μέσω της απομόνωσης κανενός ή όλων των ατόμων που έχουν προσβληθεί από τη σοβαρή ασθένεια 1.

Πρόβλημα 4. Εύρεση εκείνης της πολιτικής η οποία, για οποιαδήποτε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί το συνολικό αναμενόμενο κόστος, αν η διαδικασία σε κάθε χρονική στιγμή είναι δυνατόν να ελεγχθεί είτε μέσω του εμβολιασμού με την ήπια ασθένεια 2 οποιουδήποτε αριθμού επιδεκτικών ατόμων έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες είτε μέσω της απομόνωσης κανενός ή όλων των ατόμων που έχουν προσβληθεί από τη σοβαρή ασθένεια 1.

   Σε δύο προηγούμενες εργασίες του Kyriakidis (1995, 1999c) κατάλληλοι αλγόριθμοι του δυναμικού προγραμματισμού έχουν κατασκευαστεί για τα Προβλήματα 1 και 3 στην περίπτωση κατά την οποία  Οι αντίστοιχες ντετερμινιστικές επιδημικές διαδικασίες έχουν μελετηθεί και οι βέλτιστες πολιτικές τους έχουν βρεθεί αναλυτικά και έχουν συγκριθεί αριθμητικά με τις βέλτιστες πολιτικές των αντίστοιχων στοχαστικών επιδημικών διαδικασιών.  
   Τα παραπάνω τέσσερα προβλήματα βελτιστοποίησης σχετίζονται με δύο παρόμοια προβλήματα που μελετήθηκαν από τον Abakuks (1973, 1974). Στα προβλήματα αυτά μελετήθηκε ο έλεγχος μιας γενικής επιδημικής διαδικασίας. Ο Abakuks θεώρησε ότι η εξάπλωση μιας επιδημίας σε έναν πληθυσμό μπορεί να ελεγχθεί σε κάθε χρονική στιγμή με την επιλογή μιας ενέργειας η οποία είτε απομονώνει τα άτομα που έχουν προσβληθεί από την ασθένεια είτε ανοσοποιεί τα άτομα που δεν έχουν προσβληθεί από την ασθένεια, αντίστοιχα. Δοθέντος ενός αριθμού επιδεκτικών ατόμων αποδείχθηκε ότι η βέλτιστη πολιτική απομονώνει τους προσβληθέντες ή ανοσοποιεί τους επιδεκτικούς αν και μόνο αν ο αριθμός των προσβληθέντων από την ασθένεια είναι μικρότερος μιας κρίσιμης τιμής ή υπερβαίνει μία κρίσιμη τιμή, αντίστοιχα. Ο Clancy (1999a) γενίκευσε τα αποτελέσματα του Abakuks για τη γενική επιδημική διαδικασία στην περίπτωση κατά την οποία ο ρυθμός προσβολής των επιδεκτικών από μία μεταδοτική ασθένεια εξαρτάται από τους αριθμούς των επιδεκτικών και των προσβληθέντων ατόμων.
   Στο επόμενο εδάφιο κατάλληλοι αλγόριθμοι του δυναμικού προγραμματισμού κατασκευάζονται για τα Προβλήματα 1, 3 και 4. Τα αριθμητικά αποτελέσματα των αλγορίθμων οδηγούν σε εικασίες σχετικά με τη μορφή της βέλτιστης πολιτικής. Στο Εδάφιο 3.3 μελετούμε την αντίστοιχη ντετερμινιστική επιδημική διαδικασία. Η μορφή της βέλτιστης πολιτικής αποδεικνύεται αναλυτικά για το Πρόβλημα 1 στην περίπτωση κατά την οποία  και  καθώς επίσης για το Πρόβλημα 2 στην περίπτωση κατά την οποία  και  Οι βέλτιστες πολιτικές των ντετερμινιστικών επιδημικών διαδικασιών συγκρίνονται αριθμητικά με τις βέλτιστες πολιτικές των αντίστοιχων στοχαστικών επιδημικών διαδικασιών. Στο Εδάφιο 3.4, σε αντίθεση με το Εδάφιο 3.2, θεωρούμε ότι η ποσότητα  δεν είναι ένας σταθερός θετικός πραγματικός αριθμός αλλά μία τυχαία μεταβλητή η οποία ακολουθεί μία γνωστή κατανομή. Κατάλληλοι αλγόριθμοι του δυναμικού προγραμματισμού κατασκευάζονται για τα Προβλήματα 1 και 3. Οι βέλτιστες πολιτικές συγκρίνονται αριθμητικά με τις βέλτιστες πολιτικές των αντίστοιχων επιδημικών διαδικασιών του Εδαφίου 3.2.
   Τα αποτελέσματα των Εδαφίων 3.2 και 3.3 έχουν δημοσιευτεί στην εργασία των Kyriakidis and Dimitrakos (2002).

3.2 Αλγόριθμοι δυναμικού προγραμματισμού για τα Προβλήματα 1, 3 και 4
   Η κατάσταση της διδιάστατης στοχαστικής επιδημικής διαδικασίας που περιγράψαμε στο προηγούμενο εδάφιο μπορεί να αναπαρασταθεί σε κάθε χρονική στιγμή με το ζεύγος των μεταβλητών  όπου  και 
   Κατάλληλοι αλγόριθμοι του δυναμικού προγραμματισμού κατασκευάζονται για κάθε ένα από τα Προβλήματα 1, 3 και 4 ώστε να βρεθεί η μορφή της βέλτιστης πολιτικής.

Πρόβλημα 1. Σε κάθε κατάσταση  της διαδικασίας τέτοια ώστε  μπορούμε να επιλέξουμε μία από τις δύο παρακάτω ενέργειες:

(i) να αφήσουμε τη διαδικασία να μεταβεί στις καταστάσεις  και  σύμφωνα με τον τυχαίο περίπατο με πιθανότητες οι οποίες δίνονται από τις (3.1), (3.2) και κόστος ίσο με 1 και 0, αντίστοιχα, ή  
(ii) να εμβολιάσουμε με την ήπια ασθένεια 2 και με κόστος ίσο με  ένα από τα επιδεκτικά άτομα που έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες. 

   Αν  μία ακολουθία από  επιλογές της ενέργειας (ii) θα έχει ως επακόλουθο τον εμβολιασμό  επιδεκτικών ατόμων. Κατά αυτόν τον τρόπο έχουμε την ακαριαία μετάβαση 
   Για κάθε κατάσταση  της επιδημικής διαδικασίας, έστω  το ελάχιστο αναμενόμενο κόστος και  το ελάχιστο αναμενόμενο κόστος όταν η διαδικασία πραγματοποιήσει μία μετάβαση σύμφωνα με τον τυχαίο περίπατο με πιθανότητες οι οποίες δίνονται από τις (3.1), (3.2) και στη συνέχεια υιοθετηθεί η βέλτιστη πολιτική. Επειδή η διαδικασία σταματά όταν  η εξίσωση βελτιστοποίησης (2.1) στη σελ. 18 της παρούσας διατριβής, για το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου κόστους σε πεπερασμένο χρονικό ορίζοντα, παίρνει την ακόλουθη μορφή:

                                                           (3.3)

όπου,

                    (3.4)

και

                                                                                                        (3.5)

   Όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει η ανισότητα  τότε η βέλτιστη πολιτική επιλέγει την ενέργεια (ii), δηλαδή εμβολιάζει με την ήπια ασθένεια 2 ένα από τα επιδεκτικά άτομα που έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες. Στην περίπτωση αυτή η διαδικασία μεταβαίνει στην κατάσταση      
   Όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει η ανισότητα  τότε η βέλτιστη πολιτική επιλέγει την ενέργεια (i), δηλαδή δεν επεμβαίνει στην εξέλιξη της επιδημικής διαδικασίας.
   Οι εξισώσεις (3.3)-(3.5) μας επιτρέπουν να υπολογίσουμε αριθμητικά το ελάχιστο αναμενόμενο κόστος  για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  Επιπλέον προσδιορίζουν την ενέργεια που επιλέγεται από τη βέλτιστη πολιτική για κάθε κατάσταση  
   Το ελάχιστο αναμενόμενο κόστος υπολογίζεται διαδοχικά για τις καταστάσεις          από τις εξισώσεις (3.3)-(3.5) με αναδρομικό τρόπο.
   Ένα αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία  Η βέλτιστη πολιτική για αυτές τις τιμές των παραμέτρων παρουσιάζεται στο ακόλουθο Σχήμα 3.1, όπου για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  η ενέργεια (i) αναπαριστάται με “0” και η ενέργεια (ii) αναπαριστάται με “1”. Στο σχήμα παρατηρούμε ότι δεν υπάρχει κανένα “1” το οποίο βρίσκεται πάνω από ένα “0”.

          
Σχήμα 3.1. Η βέλτιστη πολιτική όταν 
   
   Πολλά αριθμητικά παραδείγματα για διάφορες τιμές των παραμέτρων παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική έχει πάντα αυτήν την ιδιότητα. Έτσι οδηγούμαστε στην ακόλουθη εικασία σχετικά με τη μορφή της βέλτιστης πολιτικής.

Εικασία για το Πρόβλημα 1. Για κάθε ακέραιο αριθμό   υπάρχουν δύο περιπτώσεις.           
Περίπτωση 1. Η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας σε όλες τις καταστάσεις  για τις οποίες ισχύει ότι 
Περίπτωση 2. Υπάρχει ένας ακέραιος αριθμός   τέτοιος ώστε η βέλτιστη πολιτική επιλέγει την ενέργεια (ii) σε όλες τις καταστάσεις  για τις οποίες ισχύει ότι  και επιλέγει την ενέργεια (i), δηλαδή δεν επεμβαίνει στην εξέλιξη της διαδικασίας, σε όλες τις καταστάσεις  για τις οποίες ισχύει ότι 

   Στην Περίπτωση 2 της παραπάνω εικασίας μπορούμε να θεωρήσουμε ότι η βέλτιστη πολιτική είναι μονότονη. Για κάθε κατάσταση  της διαδικασίας η κρίσιμη τιμή  χαρακτηρίζει τη μονότονη μορφή της βέλτιστης πολιτικής. 

Πρόβλημα 3. Σε κάθε κατάσταση  της διαδικασίας τέτοια ώστε  μπορούμε να επιλέξουμε μία από τις δύο παρακάτω ενέργειες: 

(i) να αφήσουμε τη διαδικασία να μεταβεί στις καταστάσεις  και  σύμφωνα με τον τυχαίο περίπατο με πιθανότητες οι οποίες δίνονται από τις (3.1), (3.2) και κόστος ίσο με 1 και 0, αντίστοιχα, ή  
(ii) να απομονώσουμε όλα τα άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1 με κόστος ίσο με  

Η εξίσωση βελτιστοποίησης (2.1) παίρνει τώρα την ακόλουθη μορφή:

                                                                              (3.6)

   Όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει η ανισότητα  τότε η βέλτιστη πολιτική επιλέγει την ενέργεια (ii), δηλαδή απομονώνει τα  άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1. Στην περίπτωση αυτή η διαδικασία μεταβαίνει στην κατάσταση  
   Όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει η ανισότητα  τότε η βέλτιστη πολιτική επιλέγει την ενέργεια (i), δηλαδή δεν επεμβαίνει στην εξέλιξη της επιδημικής διαδικασίας.
   Ένα αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία  Η βέλτιστη πολιτική για αυτές τις τιμές των παραμέτρων παρουσιάζεται στο ακόλουθο Σχήμα 3.2, όπου για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  η ενέργεια (i) αναπαριστάται με “0” και η ενέργεια (ii) αναπαριστάται με “2”. Στο σχήμα παρατηρούμε ότι δεν υπάρχει κανένα “2” το οποίο βρίσκεται δεξιά από ένα “0”. 

Σχήμα 3.2. Η βέλτιστη πολιτική όταν 

   Πολλά αριθμητικά παραδείγματα για διάφορες τιμές των παραμέτρων παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική έχει πάντα αυτήν την ιδιότητα. Έτσι οδηγούμαστε στην ακόλουθη εικασία σχετικά με τη μορφή της βέλτιστης πολιτικής.
 
Εικασία για το Πρόβλημα 3. Για κάθε ακέραιο αριθμό   υπάρχουν δύο περιπτώσεις.
Περίπτωση 1. Η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας σε όλες τις καταστάσεις  για τις οποίες ισχύει ότι 
Περίπτωση 2. Υπάρχει ένας ακέραιος αριθμός   τέτοιος ώστε η βέλτιστη πολιτική επιλέγει την ενέργεια (ii) σε όλες τις καταστάσεις  για τις οποίες ισχύει ότι  και επιλέγει την ενέργεια (i), δηλαδή δεν επεμβαίνει στην εξέλιξη της διαδικασίας, σε όλες τις καταστάσεις  για τις οποίες ισχύει ότι    

   Στην Περίπτωση 2 της παραπάνω εικασίας μπορούμε να θεωρήσουμε ότι η βέλτιστη πολιτική είναι μονότονη. Για κάθε κατάσταση  της διαδικασίας η κρίσιμη τιμή  χαρακτηρίζει τη μονότονη μορφή της βέλτιστης πολιτικής. 

Πρόβλημα 4. Σε κάθε κατάσταση  της διαδικασίας τέτοια ώστε  μπορούμε να επιλέξουμε μία από τις τρεις παρακάτω ενέργειες:

(i) να αφήσουμε τη διαδικασία να μεταβεί στις καταστάσεις  και  σύμφωνα με τον τυχαίο περίπατο με πιθανότητες οι οποίες δίνονται από τις (3.1), (3.2) και κόστος ίσο με 1 και 0, αντίστοιχα, ή 
(ii) να εμβολιάσουμε με την ήπια ασθένεια 2 και με κόστος ίσο με  ένα από τα επιδεκτικά άτομα που έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες, ή
(iii) να απομονώσουμε όλα τα άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1 με κόστος ίσο με  

Η εξίσωση βελτιστοποίησης (2.1) παίρνει τώρα την ακόλουθη μορφή:

   Όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύουν οι ανισότητες  και  τότε η βέλτιστη πολιτική επιλέγει την ενέργεια (ii), δηλαδή εμβολιάζει με την ήπια ασθένεια 2 ένα από τα επιδεκτικά άτομα που έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες. Στην περίπτωση αυτή η διαδικασία μεταβαίνει στην κατάσταση  
   Όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύουν οι ανισότητες  και  τότε η βέλτιστη πολιτική επιλέγει την ενέργεια (iii), δηλαδή απομονώνει τα  άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1. Στην περίπτωση αυτή η διαδικασία μεταβαίνει στην κατάσταση 
   Όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει η ανισότητα  τότε η βέλτιστη πολιτική επιλέγει την ενέργεια (i), δηλαδή δεν επεμβαίνει στην εξέλιξη της επιδημικής διαδικασίας. 

Σχήμα 3.3. Η βέλτιστη πολιτική όταν 

   Ένα αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία  Η βέλτιστη πολιτική για αυτές τις τιμές των παραμέτρων παρουσιάζεται στο παραπάνω Σχήμα 3.3, όπου για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  η ενέργεια (i) αναπαριστάται με “0”, η ενέργεια (ii) αναπαριστάται με “1” και η ενέργεια (iii) αναπαριστάται με “2”. Στο σχήμα παρατηρούμε ότι εμφανίζονται τρεις ξεχωριστές περιοχές οι οποίες αποτελούνται από “0”, “1” και “2”. Δεν υπάρχει κανένα “2” το οποίο βρίσκεται δεξιά από ένα “0” και δεν υπάρχει κανένα “1” ή κανένα “2” το οποίo βρίσκεται πάνω από ένα “0”. 
   Πολλά αριθμητικά παραδείγματα για διάφορες τιμές των παραμέτρων παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική έχει πάντα αυτές τις ιδιότητες. Μία αναλυτική απόδειξη φαίνεται δύσκολη.
   Σημειώνεται ότι η κατασκευή κατάλληλου αλγορίθμου του δυναμικού προγραμματισμού για το Πρόβλημα 2 δεν φαίνεται δυνατή.
  
3.3 Ντετερμινιστική επιδημική διαδικασία
   Στην αντίστοιχη ντετερμινιστική επιδημική διαδικασία αναπαριστούμε με  και   τον αριθμό των ατόμων που έχουν προσβληθεί από τις ασθένειες 1 και 2, αντίστοιχα, τη χρονική στιγμή  Σε αντίθεση με το προηγούμενο εδάφιο στο οποίο οι αριθμοί  και  είναι δυνατόν να πάρουν μόνο ακέραιες τιμές, στο παρόν εδάφιο θεωρούμε ότι είναι συνεχείς μεταβλητές που ικανοποιούν τις ακόλουθες διαφορικές εξισώσεις:

                                                                           (3.7)

Η επιδημική διαδικασία σταματά όταν  Όπως στην περίπτωση της στοχαστικής επιδημικής διαδικασίας του Εδαφίου 3.1, υποθέτουμε ότι η παρουσία ενός ατόμου που έχει προσβληθεί από τη σοβαρή ασθένεια 1 επιφέρει κάποιο κόστος στην κοινωνία το οποίο είναι σταθερό και ίσο με τη μονάδα. 
   Θεωρούμε πολιτικές οι οποίες σε κάθε χρονική στιγμή  μπορούν να ελέγξουν τη ντετερμινιστική διαδικασία είτε μέσω του εμβολιασμού με την ήπια ασθένεια 2 οποιουδήποτε αριθμού επιδεκτικών ατόμων έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες είτε μέσω της απομόνωσης οποιουδήποτε αριθμού ατόμων που έχουν προσβληθεί από τη σοβαρή ασθένεια 1. Ο εμβολιασμός ενός επιδεκτικού ατόμου με την ήπια ασθένεια 2 επιφέρει ένα κόστος ίσο με  και η απομόνωση ενός ατόμου που έχει προσβληθεί από τη σοβαρή ασθένεια 1 επιφέρει ένα κόστος ίσο με 
   Στη συνέχεια θα παρουσιάσουμε αναλυτικές λύσεις για το Πρόβλήμα 1 στην περίπτωση κατά την οποία  και  καθώς επίσης για το Πρόβλημα 2 στην περίπτωση κατά την οποία  και  

Πρόβλημα 1, αν  
   Υποθέτουμε ότι η κατάσταση  είναι η αρχική κατάσταση της διαδικασίας. Από τις εξισώσεις (3.7) προκύπτει ότι η διδιάστατη ντετερμινιστική επιδημική διαδικασία βρίσκεται στην καμπύλη:

όπου,  και  είναι η μοναδική ρίζα της ακόλουθης εξίσωσης ως προς  στο διάστημα 

                                                                               (3.8)

   Αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  τέτοια ώστε  η επιδημική διαδικασία βρίσκεται στην ευθεία   Στην περίπτωση αυτή δεν χρειάζεται να επέμβουμε στην εξέλιξη της διαδικασίας.
   Αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  τέτοια ώστε  το κόστος  μέχρι το τερματισμό της διαδικασίας, αν επιλέξουμε να μην επέμβουμε ποτέ στην εξέλιξη της, θα είναι ίσο με τον αριθμό των ατόμων που έχουν προσβληθεί από τη σοβαρή ασθένεια 1. Επομένως θα ισχύει ότι:

 
   Υποθέτουμε ότι όταν η επιδημική διαδικασία βρίσκεται στην κατάσταση  επιλέγουμε εκείνη την πολιτική σύμφωνα με την οποία, εμβολιάζουμε  επιδεκτικά άτομα με την ήπια ασθένεια 2 και στη συνέχεια δεν επεμβαίνουμε περαιτέρω στην εξέλιξη της διαδικασίας. 
   Το κόστος αυτής της πολιτικής είναι ίσο με  το οποίο είναι μικρότερο από  αν:

Αν θεωρήσουμε ότι ο αριθμός  είναι πολύ μικρός, η παραπάνω ανισότητα είναι κατά προσέγγιση ισοδύναμη με την ανισότητα:

   Τα παραπάνω μας οδηγούν να εικάσουμε ότι, όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει ότι  η βέλτιστη πολιτική εμβολιάζει με την ήπια ασθένεια 2 κάποια από τα επιδεκτικά άτομα που έχουν απομείνει στον πληθυσμό και δεν έχουν προσβληθεί από καμία από τις δύο ασθένειες, ενώ όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει ότι  η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας. 
   Η εικασία αποδεικνύεται με παρόμοιο τρόπο όπως στην εργασία του Kyriakidis (1995) ο οποίος απέδειξε την εικασία για την περίπτωση κατά την οποία  Στη συνέχεια θα παρουσιάσουμε με συνοπτικό τρόπο ένα βασικό σημείο της απόδειξης.   
   Έστω   η πολιτική σύμφωνα με την οποία, όταν η επιδημική διαδικασία βρίσκεται στην κατάσταση  εμβολιάζουμε αμέσως  επιδεκτικά άτομα με την ήπια ασθένεια 2 και δεν επεμβαίνουμε περαιτέρω στην εξέλιξη της διαδικασίας.               Ορίζουμε τη συνάρτηση: 

όπου,  είναι μία κατάσταση της διαδικασίας τέτοια ώστε  και  

Η συνάρτηση  ικανοποιεί την εξίσωση:

   Αν παραγωγίσουμε την παραπάνω εξίσωση ως προς  παίρνουμε μία θετική έκφραση για την ποσότητα  Επομένως η συνάρτηση  είναι αύξουσα ως προς  και ένα παρόμοιο αποτέλεσμα με αυτό του Λήμματος 4.1 στην εργασία του Kyriakidis (1995) μπορεί να αποδειχθεί. Σύμφωνα με το αποτέλεσμα αυτό, αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  ανάμεσα σε όλες τις πολιτικές οι οποίες επιλέγουν τον εμβολιασμό  συνολικά επιδεκτικών ατόμων με την ήπια ασθένεια 2, η πολιτική  είναι η βέλτιστη. 
   Το θεώρημα που παρουσιάζουμε παρακάτω αντιστοιχεί στην εικασία του Προβλήματος 1 για τη στοχαστική επιδημική διαδικασία του Εδαφίου 3.2 και είναι παρόμοιο με το Θεώρημα 4.3 στην εργασία του Kyriakidis (1995).

Θεώρημα 3.1. (α) Αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  και ισχύει ότι  τότε η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας.
(β) Υποθέτουμε ότι η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  και ισχύει ότι  Διακρίνουμε δύο περιπτώσεις:
Περίπτωση 1. Αν υπάρχει μία κατάσταση  τέτοια ώστε  τότε η πολιτική  είναι βέλτιστη.
Περίπτωση 2. Αν δεν υπάρχει κατάσταση  τέτοια ώστε  τότε η πολιτική  είναι βέλτιστη.   

   Αν θέσουμε  και παραγωγίσουμε την εξίσωση (3.8) ως προς  παίρνουμε την ακόλουθη έκφραση για την ποσότητα 

                (3.9)

Αν παραγωγίσουμε την εξίσωση (3.9) ως προς  μπορούμε να επαληθεύσουμε ότι για κάθε   η μερική παράγωγος  είναι αύξουσα ως προς  Αν  ή ισοδύναμα,

                                                                                           (3.10)

από τη μονοτονία της  προκύπτει ότι  για κάθε  τέτοιο ώστε  Έτσι, σύμφωνα με το Θεώρημα 3.1(α), αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση   η συνθήκη (3.10) συνεπάγεται ότι η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας. 
   Αν  ή ισοδύναμα,

                                                                                                          (3.11)

πάλι από τη μονοτονία της  προκύπτει ότι  για κάθε  τέτοιο ώστε  Έτσι, σύμφωνα με το Θεώρημα 3.1(β), αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση   η συνθήκη (3.11) συνεπάγεται ότι η πολιτική  είναι βέλτιστη. 
   Στην περίπτωση κατά την οποία οι συνθήκες (3.10) και (3.11) δεν ισχύουν, η κρίσιμη τιμή  η οποία αναφέρεται στο Θεώρημα 3.1(β), ικανοποιεί την εξίσωση  και μπορεί να υπολογιστεί αριθμητικά για κάθε   με τη βοήθεια του παρακάτω αλγορίθμου.

Αλγόριθμος για τον υπολογισμό της κρίσιμης τιμής    
Βήμα 1. Θέτουμε 
Βήμα 2. Θέτουμε  όπου  είναι ένας μικρός θετικός αριθμός (π.χ. 
Βήμα 3. Υπολογίζουμε τον αριθμό  λύνοντας αριθμητικά την εξίσωση (3.8) ως προς 
Βήμα 4. Αν  τότε  Διαφορετικά, επιστρέφουμε στο Βήμα 2. 
   
   Στο Βήμα 3 του αλγορίθμου, η εξίσωση (3.8) επιλύθηκε αριθμητικά χρησιμοποιώντας τη μέθοδο της διχοτόμησης.
   Στην περίπτωση κατά την οποία η συνθήκη (3.10) ισχύει, πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική της αντίστοιχης στοχαστικής επιδημικής διαδικασίας του Εδαφίου 3.2 δεν επεμβαίνει στην εξέλιξη της διαδικασίας. 
   Στην περίπτωση κατά την οποία η συνθήκη (3.11) ισχύει, πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η κρίσιμη τιμή  της αντίστοιχης στοχαστικής επιδημικής διαδικασίας του Εδαφίου 3.2 είναι ίση με 
   Στην περίπτωση κατά την οποία και οι δύο συνθήκες (3.10) και (3.11) δεν ισχύουν, πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι  Έτσι οδηγούμαστε στην ενδιαφέρουσα εικασία σύμφωνα με την οποία η κρίσιμη τιμή  της στοχαστικής επιδημικής διαδικασίας είναι πάντοτε μικρότερη από την αντίστοιχη κρίσιμη τιμή  της ντετερμινιστικής επιδημικής διαδικασίας. Η ίδια εικασία είχε εμφανιστεί και στην εργασία του Kyriakidis (1995) στην περίπτωση κατά την οποία  
   Θα παρουσιάσουμε ένα αριθμητικό παράδειγμα. Στον Πίνακα 3.1 παρουσιάζονται οι κρίσιμες τιμές  και  όταν  για κάθε  τέτοιο ώστε  Το σύμβολο “” υποδηλώνει ότι ισχύει η Περίπτωση 1 της εικασίας του Προβλήματος 1 για τη στοχαστική επιδημική διαδικασία.

Πίνακας 3.1. Τιμές των  και 
	1	2	3	4	5	6	7	8	9	
	2	3	3	2	2	2	1	0		
	4.56	4.71	4.15	3.49	2.83	2.21	1.61	1.05	0.51	

   Επισημαίνουμε ότι φαίνεται δύσκολο να επιλυθεί αναλυτικά το Πρόβλημα 1 για τη ντετερμινιστική επιδημική διαδικασία στην περίπτωση κατά την οποία  και  ή στην περίπτωση κατά την οποία  και  

Πρόβλημα 2, αν 
   Υποθέτουμε ότι η κατάσταση  είναι η αρχική κατάσταση της διαδικασίας. Στο πρόβλημα αυτό είναι προτιμότερο να εκφράσουμε τη μεταβλητή  ως συνάρτηση της μεταβλητής  Από τις εξισώσεις (3.7) προκύπτει ότι η διδιάστατη ντετερμινιστική επιδημική διαδικασία βρίσκεται στην καμπύλη:

όπου,  και  είναι η μοναδική ρίζα της ακόλουθης εξίσωσης ως προς  στο διάστημα 

                                                                           (3.12)      

   Αρχικά θεωρούμε δύο ειδικές περιπτώσεις. Αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση   τότε η επιδημική διαδικασία βρίσκεται στην ευθεία   Στην περίπτωση αυτή το κόστος της διαδικασίας θα είναι ίσο με μηδέν διότι η παρουσία ενός ατόμου που έχει προσβληθεί από την ήπια ασθένεια 2 δεν επιφέρει κάποιο κόστος στην κοινωνία. 
   Αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση   τότε η επιδημική διαδικασία βρίσκεται στην ευθεία   Στην περίπτωση αυτή μπορούμε να επαληθεύσουμε εύκολα ότι αν  τότε η βέλτιστη πολιτική επιλέγει στην αρχική κατάσταση της διαδικασίας και μέχρι το τερματισμό της, την απομόνωση όλων των ατόμων που έχουν προσβληθεί από τη σοβαρή ασθένεια 1. Αν αντιθέτως ισχύει ότι  τότε η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας. 
   Αν η αρχική κατάσταση της επιδημικής διαδικασίας είναι η κατάσταση  τέτοια ώστε  και  τότε το κόστος  μέχρι το τερματισμό της διαδικασίας, αν επιλέξουμε να μην επέμβουμε ποτέ στην εξέλιξη της, είναι:

   Υποθέτουμε ότι όταν η επιδημική διαδικασία βρίσκεται στην κατάσταση  επιλέγουμε εκείνη την πολιτική σύμφωνα με την οποία, απομονώνουμε  άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1 και στη συνέχεια δεν επεμβαίνουμε περαιτέρω στην εξέλιξη της διαδικασίας.
   Το κόστος αυτής της πολιτικής είναι ίσο με  το οποίο είναι μικρότερο από  αν: 

Αν θεωρήσουμε ότι ο αριθμός  είναι πολύ μικρός, η παραπάνω ανισότητα είναι κατά προσέγγιση ισοδύναμη με την ανισότητα:

   Τα παραπάνω μας οδηγούν να εικάσουμε ότι, όταν η διαδικασία βρίσκεται στην κατάσταση  και ισχύει ότι  η βέλτιστη πολιτική απομονώνει κάποια ή όλα τα άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1.
   Η εικασία αποδεικνύεται με παρόμοιο τρόπο όπως στην εργασία του Kyriakidis (1999c) ο οποίος απέδειξε την εικασία για την περίπτωση κατά την οποία  Στη συνέχεια θα παρουσιάσουμε με συνοπτικό τρόπο ένα βασικό σημείο της απόδειξης.
   Έστω   η πολιτική σύμφωνα με την οποία, όταν η επιδημική διαδικασία βρίσκεται στην κατάσταση  απομονώνουμε αμέσως  άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1 και δεν επεμβαίνουμε περαιτέρω στην εξέλιξη της διαδικασίας.
   Ορίζουμε τη συνάρτηση:

όπου,  είναι μία κατάσταση της διαδικασίας τέτοια ώστε  και 

Η συνάρτηση  ικανοποιεί την εξίσωση:

   Αν παραγωγίσουμε την παραπάνω εξίσωση ως προς  παίρνουμε μία αρνητική έκφραση για την ποσότητα  Επομένως η συνάρτηση  είναι φθίνουσα ως προς  και ένα παρόμοιο αποτέλεσμα με αυτό του Λήμματος 1 στην εργασία του Kyriakidis (1999c) μπορεί να αποδειχθεί. Σύμφωνα με το αποτέλεσμα αυτό, αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  ανάμεσα σε όλες τις πολιτικές οι οποίες απομονώνουν  συνολικά άτομα που έχουν προσβληθεί από τη σοβαρή ασθένεια 1, η πολιτική  είναι η βέλτιστη.
   Το θεώρημα που παρουσιάζουμε παρακάτω αντιστοιχεί στην εικασία του Προβλήματος 3 για τη στοχαστική επιδημική διαδικασία του Εδαφίου 3.2 και είναι παρόμοιο με το Θεώρημα 5 στην εργασία του Kyriakidis (1999c).

Θεώρημα 3.2. Έστω ότι η αρχική κατάσταση της διαδικασίας είναι η κατάσταση   Αν

                                                                                       (3.13)

τότε για κάθε  η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας. Αν η συνθήκη (3.13) δεν ισχύει, τότε υπάρχει μία κρίσιμη τιμή   τέτοια ώστε όταν  η βέλτιστη πολιτική είναι η πολιτική  και όταν  η βέλτιστη πολιτική δεν επεμβαίνει στην εξέλιξη της διαδικασίας. Η κρίσιμη τιμή   ικανοποιεί την εξίσωση:    

   Για κάθε   μπορούμε να επαληθεύσουμε ότι η μερική παράγωγος του πηλίκου  ως προς  είναι αρνητική. Συνεπώς, για κάθε   έπεται ότι η ποσότητα  είναι φθίνουσα ως προς   
   Στην περίπτωση κατά την οποία η συνθήκη (3.13) δεν ισχύει, η κρίσιμη τιμή   ικανοποιεί την ακόλουθη εξίσωση: 

και μπορεί να υπολογιστεί αριθμητικά για κάθε   με τη βοήθεια του παρακάτω αλγορίθμου.

Αλγόριθμος για τον υπολογισμό της κρίσιμης τιμής 
Βήμα 1. Θέτουμε 
Βήμα 2. Θέτουμε  όπου  είναι ένας μικρός θετικός αριθμός (π.χ. 
Βήμα 3. Υπολογίζουμε τον αριθμό  λύνοντας αριθμητικά την εξίσωση (3.12) ως προς 
Βήμα 4. Αν  τότε  Διαφορετικά, επιστρέφουμε στο Βήμα 2.

   Στο Βήμα 3 του αλγορίθμου, η εξίσωση (3.12) επιλύθηκε αριθμητικά χρησιμοποιώντας τη μέθοδο της διχοτόμησης. 
   Στην περίπτωση κατά την οποία η συνθήκη (3.13) ισχύει και η αρχική κατάσταση της διαδικασίας είναι η κατάσταση   πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική της αντίστοιχης στοχαστικής επιδημικής διαδικασίας του Εδαφίου 3.2 δεν επεμβαίνει στην εξέλιξη της διαδικασίας.
   Στην περίπτωση κατά την οποία η συνθήκη (3.13) δεν ισχύει, πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η κρίσιμη τιμή  της στοχαστικής επιδημικής διαδικασίας είναι πάντοτε μικρότερη από την αντίστοιχη κρίσιμη τιμή  της ντετερμινιστικής επιδημικής διαδικασίας. Η ίδια εικασία είχε εμφανιστεί και στην εργασία του Kyriakidis (1999c) στην περίπτωση κατά την οποία 
   Θα παρουσιάσουμε ένα αριθμητικό παράδειγμα. Στον Πίνακα 3.2 παρουσιάζονται οι κρίσιμες τιμές  και  όταν  για κάθε  τέτοιο ώστε  Το σύμβολο “” υποδηλώνει ότι ισχύει η Περίπτωση 1 της εικασίας του Προβλήματος 3 για τη στοχαστική επιδημική διαδικασία και το σύμβολο “” υποδηλώνει ότι ισχύει η συνθήκη (3.13). 

Πίνακας 3.2. Τιμές των  και 
	0	1	2	3	4	5	6	7	8	
	6	5	4	3	2	1	1			
	6.25	5.1	4.3	3.53	2.79	2.06	1.34	0.63		

   Επισημαίνουμε ότι φαίνεται δύσκολο να επιλυθεί αναλυτικά το Πρόβλημα 2 για τη ντετερμινιστική επιδημική διαδικασία στην περίπτωση κατά την οποία  και  ή στην περίπτωση κατά την οποία  και  

3.4 Αβεβαιότητα στις τιμές των παραμέτρων
   Στο παρόν εδάφιο για τη στοχαστική επιδημική διαδικασία που περιγράψαμε στο Εδάφιο 3.1, θεωρούμε ότι η ποσότητα  δεν είναι ένας σταθερός θετικός πραγματικός αριθμός αλλά μία τυχαία μεταβλητή που ακολουθεί μία γνωστή κατανομή. Η κατανομή χρησιμοποιείται για να αναπαραστήσει την «αβεβαιότητα» στις τιμές των παραμέτρων  και  Οι κατανομές που έχουν χρησιμοποιηθεί είναι η κατανομή Βήτα, η κατανομή Γάμα καθώς επίσης η Εκθετική κατανομή.
   Θεωρούμε τα Προβλήματα 1 και 3 που περιγράψαμε στο Εδάφιο 3.2 με τις παρακάτω τροποποιήσεις. 

Πρόβλημα 1. Όταν επιλέγουμε την ενέργεια (i) σε κάθε κατάσταση  της διαδικασίας τέτοια ώστε  

(i) αφήνουμε τη διαδικασία να μεταβεί στις καταστάσεις  και  με πιθανότητες

                                                                                                          (3.14) 

                                                                                                           (3.15)

και κόστος ίσο με 1 και 0, αντίστοιχα, όπου  αναπαριστά την αναμενόμενη τιμή.

Η εξίσωση (3.4) παίρνει τώρα τη μορφή: 

                                                 (3.16)

   Οι εξισώσεις (3.3), (3.16) και (3.5) μας επιτρέπουν να υπολογίσουμε αριθμητικά το ελάχιστο αναμενόμενο κόστος  για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  Επιπλέον προσδιορίζουν την ενέργεια που επιλέγεται από τη βέλτιστη πολιτική για κάθε κατάσταση 
   Στο αριθμητικό παράδειγμα του Εδαφίου 3.2 για το Πρόβλημα 1 στο οποίο   και επομένως  θεωρούμε ότι η τυχαία μεταβλητή  ακολουθεί την κατανομή Βήτα με αναμενόμενη τιμή κατά προσέγγιση ίση με 0.6. Για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  βρέθηκε ότι η βέλτιστη πολιτική έχει την ίδια μορφή με αυτή του Σχήματος 3.1.
   Ένα ακόμη αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία  Στον Πίνακα 3.3 παρουσιάζονται, για κάθε  τέτοιο ώστε  η κρίσιμη τιμή  της επιδημικής διαδικασίας του Εδαφίου 3.2 στην περίπτωση κατά την οποία   και επομένως  και η κρίσιμη τιμή  της επιδημικής διαδικασίας στην περίπτωση κατά την οποία η τυχαία μεταβλητή  ακολουθεί την Εκθετική κατανομή με αναμενόμενη τιμή κατά προσέγγιση ίση με 1.86.

Πίνακας 3.3. Τιμές των  και 
	1	2	3	4	5	6	7	8	9	
	1	3	4	5	4	3	2	1	0	
	2	4	5	5	4	3	2	1	0	

   Στον παραπάνω πίνακα παρατηρούμε ότι για κάθε  ισχύει ότι  Πολλά αριθμητικά παραδείγματα στα οποία, η τυχαία μεταβλητή  ακολουθεί την κατανομή Βήτα, την κατανομή Γάμα και την Εκθετική κατανομή, παρέχουν ισχυρή ένδειξη ότι για κάθε  η κρίσιμη τιμή  της επιδημικής διαδικασίας είναι πάντοτε μεγαλύτερη ή ίση με την κρίσιμη τιμή  της αντίστοιχης επιδημικής διαδικασίας του Εδαφίου 3.2.

Πρόβλημα 3. Όταν επιλέγουμε την ενέργεια (i) σε κάθε κατάσταση  της διαδικασίας τέτοια ώστε  

(i) αφήνουμε τη διαδικασία να μεταβεί στις καταστάσεις  και  με πιθανότητες οι οποίες δίνονται από τις σχέσεις (3.14) και (3.15) και κόστος ίσο με 1 και 0, αντίστοιχα.

   Οι εξισώσεις (3.6), (3.16) και (3.5) μας επιτρέπουν να υπολογίσουμε αριθμητικά το ελάχιστο αναμενόμενο κόστος  για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  Επιπλέον προσδιορίζουν την ενέργεια που επιλέγεται από τη βέλτιστη πολιτική για κάθε κατάσταση 
   Στο αριθμητικό παράδειγμα του Εδαφίου 3.2 για το Πρόβλημα 3 στο οποίο   και επομένως  θεωρούμε ότι η τυχαία μεταβλητή  ακολουθεί την κατανομή Γάμα με αναμενόμενη τιμή ίση με 1.5. Για κάθε κατάσταση  της διαδικασίας για την οποία ισχύει ότι  βρέθηκε ότι η βέλτιστη πολιτική έχει την ίδια μορφή με αυτή του Σχήματος 3.2. 
   Ένα ακόμη αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία  Στον Πίνακα 3.4 παρουσιάζονται, για κάθε  τέτοιο ώστε  η κρίσιμη τιμή  της επιδημικής διαδικασίας του Εδαφίου 3.2 στην περίπτωση κατά την οποία   και επομένως  και η κρίσιμη τιμή  της επιδημικής διαδικασίας στην περίπτωση κατά την οποία η τυχαία μεταβλητή  ακολουθεί την Εκθετική κατανομή με αναμενόμενη τιμή κατά προσέγγιση ίση με 1.57. Το σύμβολο “” υποδηλώνει ότι ισχύει η Περίπτωση 1 της εικασίας του Προβλήματος 3.  

Πίνακας 3.4. Τιμές των  και  
	0	1	2	3	4	5	6	7	8	
	7	6	5	4	3	1				
	7	6	6	4	3	2	1			

   Στον παραπάνω πίνακα παρατηρούμε ότι για κάθε  ισχύει ότι  Πολλά αριθμητικά παραδείγματα στα οποία η τυχαία μεταβλητή  ακολουθεί την κατανομή Βήτα, την κατανομή Γάμα και την Εκθετική κατανομή παρέχουν ισχυρή ένδειξη ότι για κάθε  η κρίσιμη τιμή  της επιδημικής διαδικασίας είναι πάντοτε μεγαλύτερη ή ίση με την κρίσιμη τιμή  της αντίστοιχης επιδημικής διαδικασίας του Εδαφίου 3.2. 

  

ΚΕΦΑΛΑΙΟ 4
 Βέλτιστη προληπτική συντήρηση ενός συστήματος παραγωγής       

4.1 Εισαγωγή
   Κατά τη διάρκεια των τελευταίων τριών δεκαετιών πολλοί ερευνητές έχουν ασχοληθεί με το πρόβλημα της βέλτιστης συντήρησης ή της αντικατάστασης ενός συστήματος του οποίου η κατάσταση επιδεινώνεται με την πάροδο του χρόνου. Σε αρκετές σχετικές εργασίες κατάλληλα μοντέλα έχουν κατασκευαστεί και έχουν αναλυθεί με τη βοήθεια της θεωρίας των Μαρκοβιανών διαδικασιών αποφάσεων. Οι εργασίες των Valdez-Flores and Feldman (1989), Scarf (1997) και Wang (2002) παρέχουν μία ανασκόπηση της έρευνας που έχει διενεργηθεί για την αντιμετώπιση και την επίλυση του προβλήματος. 
   Το πρόβλημα σχετίζεται με ένα σύστημα του οποίου η κατάσταση επιδεινώνεται εξαιτίας της διαρκούς λειτουργίας του. Το σύστημα επιθεωρείται σε κάποιες χρονικές στιγμές και η κατάστασή του παρατηρείται σε κάθε χρονική στιγμή επιθεώρησης κατά την οποία μία ενέργεια επιλέγεται από ένα σύνολο εναλλακτικών ενεργειών. Μία ενέργεια η οποία μπορεί να ελέγξει την κατάσταση του συστήματος είναι εκείνη η οποία θέτει σε λειτουργία μία προληπτική συντήρησή του. Μία άλλη ενέργεια είναι εκείνη η οποία θέτει σε λειτουργία μία επισκευή του. Μία ακόμη ενέργεια είναι εκείνη η οποία αντικαθιστά το σύστημα από ένα καινούργιο σύστημα. Η λειτουργία, η προληπτική συντήρηση, η επισκευή και η αντικατάσταση του συστήματος επιφέρουν αντίστοιχα κόστη. Μία πολιτική είναι ένας κανόνας με τον οποίον επιλέγονται οι ενέργειες σε κάθε χρονική στιγμή επιθεώρησης. Στις περισσότερες περιπτώσεις το πρόβλημα είναι η εύρεση της πολιτικής η οποία, για οποιαδήποτε αρχική κατάσταση του συστήματος, ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου.     
   Πολλές είναι εκείνες οι εργασίες (βλέπε π.χ. Berg (1976), Federgruen and So (1989), Ozekici and Gunlunk (1992), So (1992), Vanneste (1992), Douer and Yechiali (1994), Chen and Feldman (1997), Love et al. (2000)) στις οποίες έχει αποδειχθεί ότι η βέλτιστη πολιτική θέτει σε λειτουργία μία συντήρηση ή αντικαθιστά ένα σύστημα αν και μόνο αν ο βαθμός επιδείνωσης του συστήματος είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή. Μία τέτοια πολιτική είναι γνωστή ως μονότονη πολιτική.  
   Οι Van der Duyn Schouten and Vanneste (1995) εισήγαγαν ένα Μαρκοβιανό μοντέλο αποφάσεων για τη βέλτιστη προληπτική συντήρηση ενός συστήματος παραγωγής. Το σύστημα αποτελείται από ένα μηχανισμό, μία μονάδα παραγωγής και έναν ενδιάμεσο αποθηκευτικό χώρο. Ο μηχανισμός τροφοδοτεί τη μονάδα παραγωγής με ένα ακατέργαστο υλικό. Ο αποθηκευτικός χώρος του ακατέργαστου υλικού έχει τοποθετηθεί ανάμεσα στο μηχανισμό και στη μονάδα παραγωγής ώστε να διευκολυνθεί η παραγωγική διαδικασία. Οι Van der Duyn Schouten and Vanneste υπέθεσαν ότι, σε κάθε χρονική στιγμή επιθεώρησης του μηχανισμού είτε δεν γίνεται καμία επέμβαση στη λειτουργία του είτε τίθεται σε λειτουργία μία προληπτική συντήρηση ή μία επισκευή του. Υπέθεσαν επίσης ότι, αν σε μία χρονική στιγμή επιθεώρησης δεν γίνεται καμία επέμβαση στη λειτουργία του μηχανισμού, το σύστημα παραγωγής μεταβαίνει από μία κατάσταση σε μία άλλη κατάσταση με μία πιθανότητα η οποία εξαρτάται μόνο από την ηλικία του μηχανισμού. Θεώρησαν ότι, αν κατά τη διάρκεια μιας προληπτικής συντήρησης ή μιας επισκευής του μηχανισμού ο αποθηκευτικός χώρος αδειάσει, η έλλειψη του ακατέργαστου υλικού επιφέρει ένα κόστος για κάθε μονάδα χρόνου κατά την οποία ο αποθηκευτικός χώρος είναι κενός. Θεώρησαν επίσης ότι, οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού είναι τυχαίες μεταβλητές οι οποίες ακολουθούν τη Γεωμετρική κατανομή. 
   Μία κατάλληλη Μαρκοβιανή διαδικασία αποφάσεων σε διακριτό χρόνο με πεπερασμένο χώρο καταστάσεων χρησιμοποιήθηκε για να περιγράψει την κατάσταση του συστήματος παραγωγής σε κάθε χρονική στιγμή επιθεώρησης. Η κατάσταση του συστήματος παραγωγής αποτελείται από την ηλικία του μηχανισμού και από το περιεχόμενο του αποθηκευτικού χώρου. Ορίστηκαν κατάλληλες συνθήκες οι οποίες σχετίζονται με το κόστος της έλλειψης του ακατέργαστου υλικού στον αποθηκευτικό χώρο κατά τη διάρκεια μιας προληπτικής συντήρησης ή μιας επισκευής του μηχανισμού, με τους αναμενόμενους χρόνους της προληπτικής συντήρησης και τους αναμενόμενους χρόνους της επισκευής του μηχανισμού. Για κάθε σταθερό περιεχόμενο του αποθηκευτικού χώρου αποδείχθηκε ότι η βέλτιστη πολιτική είναι μονότονη διότι θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν η ηλικία του μηχανισμού είναι μεγαλύτερη ή ίση με μία κρίσιμη τιμή.          
   Στο παρόν κεφάλαιο γενικεύουμε το μοντέλο των Van der Duyn Schouten and Vanneste (1995). Υποθέτουμε ότι, αν σε μία χρονική στιγμή επιθεώρησης δεν γίνεται καμία επέμβαση στη λειτουργία του μηχανισμού, το σύστημα παραγωγής μεταβαίνει την επόμενη χρονική στιγμή επιθεώρησης σε μία άλλη κατάσταση με μία πιθανότητα η οποία εξαρτάται από το βαθμό επιδείνωσης του μηχανισμού και από την ηλικία του μηχανισμού. Θεωρούμε ότι η επιδείνωση του μηχανισμού δεν είναι στάσιμη διότι οι πιθανότητες μετάβασης εξαρτώνται από την ηλικία του μηχανισμού. Η έννοια της «μη-στάσιμης» επιδείνωσης επινοήθηκε από τους Benyamini and Yechiali (1999). Θεωρούμε ότι η λειτουργία του μηχανισμού, μία προληπτική συντήρησή του ή μία επισκευή του επιφέρουν αντίστοιχα κόστη για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός λειτουργεί, συντηρείται προληπτικά ή επισκευάζεται. Υποθέτουμε ακόμη ότι υπάρχει ένα κόστος αποθήκευσης του ακατέργαστου υλικού στον αποθηκευτικό χώρο και ένα κόστος όταν ο αποθηκευτικός χώρος είναι κενός. 
   Μία κατάλληλη Μαρκοβιανή διαδικασία αποφάσεων σε διακριτό χρόνο με άπειρο χώρο καταστάσεων χρησιμοποιείται για να περιγράψει την κατάσταση του συστήματος παραγωγής σε κάθε χρονική στιγμή επιθεώρησης. Η κατάσταση του συστήματος παραγωγής αποτελείται από το βαθμό επιδείνωσης του μηχανισμού, από την ηλικία του μηχανισμού και από το περιεχόμενο του αποθηκευτικού χώρου. Ορίζονται κατάλληλες συνθήκες οι οποίες αφορούν τα κόστη της λειτουργίας, τα κόστη της προληπτικής συντήρησης, τα κόστη της επισκευής, τις πιθανότητες μετάβασης, τους αναμενόμενους χρόνους της προληπτικής συντήρησης και τους αναμενόμενους χρόνους της επισκευής του μηχανισμού. Για κάθε σταθερό περιεχόμενο του αποθηκευτικού χώρου και κάθε σταθερή ηλικία του μηχανισμού, αποδεικνύεται ότι η βέλτιστη πολιτική είναι μονότονη διότι θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή.  
   Δύο παρόμοια μοντέλα μελετήθηκαν από τους Meller and Kim (1996) και Salameh and Ghattas (2001). Οι Meller and Kim θεώρησαν ένα σύστημα παραγωγής το οποίο αποτελείται από δύο μηχανές και έναν ενδιάμεσο αποθηκευτικό χώρο. Υπέθεσαν ότι ο χρόνος μέχρι η πρώτη μηχανή να υποστεί μία βλάβη είναι μία τυχαία μεταβλητή η οποία ακολουθεί την Εκθετική κατανομή. Θεώρησαν ότι μία προληπτική συντήρηση της πρώτης μηχανής είναι δυνατή όταν το περιεχόμενο του αποθηκευτικού χώρου ισούται με μία κρίσιμη τιμή. Όρισαν κατάλληλα κόστη και επινόησαν ένα μοντέλο για το οποίο το μέσο κόστος υπολογίστηκε ως μία συνάρτηση της κρίσιμης τιμής. Οι Salameh and Ghattas θεώρησαν μία μονάδα παραγωγής με έναν αποθηκευτικό χώρο. Υπέθεσαν ότι η μονάδα παράγει ένα υλικό και στο τέλος μιας προκαθορισμένης χρονικής περιόδου διακόπτει τη λειτουργία της για να συντηρηθεί προληπτικά. Θεώρησαν ότι μία προληπτική συντήρηση της μονάδας παραγωγής διαρκεί τυχαίο χρόνο. Καθόρισαν την τιμή του περιεχομένου του αποθηκευτικού χώρου η οποία ελαχιστοποιεί το άθροισμα του κόστους της αποθήκευσης του υλικού ανά μονάδα χρόνου και του κόστους της έλλειψης του υλικού ανά μονάδα χρόνου.
   Στο επόμενο εδάφιο περιγράφουμε το μοντέλο και παρουσιάζουμε τις συνθήκες που αφορούν τα κόστη, τις πιθανότητες μετάβασης, τους αναμενόμενους χρόνους της προληπτικής συντήρησης και τους αναμενόμενους χρόνους της επισκευής του μηχανισμού. Στο Εδάφιο 4.3 αποδεικνύουμε αναλυτικά την ύπαρξη και τη μονότονη μορφή της βέλτιστης πολιτικής. Στο υπόλοιπο του κεφαλαίου μελετούμε την ειδική περίπτωση της στάσιμης επιδείνωσης του μηχανισμού. Στην περίπτωση αυτή οι πιθανότητες μετάβασης εξαρτώνται μόνο από το βαθμό επιδείνωσης του μηχανισμού και δεν εξαρτώνται από την ηλικία του μηχανισμού. Στο Εδάφιο 4.4 επισημαίνεται ότι, όταν η επιδείνωση του μηχανισμού είναι στάσιμη, για κάθε σταθερό περιεχόμενο του αποθηκευτικού χώρου, η βέλτιστη πολιτική είναι μονότονη διότι θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή. Στο Εδάφιο 4.5, για την περίπτωση της στάσιμης επιδείνωσης του μηχανισμού, σχεδιάζεται ένας κατάλληλος αλγόριθμος βελτίωσης των πολιτικών ο οποίος εφαρμόζεται στο σύνολο των μονότονων πολιτικών και παράγει μία ακολουθία αυστηρά βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Ένα αριθμητικό παράδειγμα του αλγορίθμου επίσης παρουσιάζεται. Στο Εδάφιο 4.6 δύο γενικεύσεις του μοντέλου του Εδαφίου 4.4 μελετώνται και δύο αριθμητικά παραδείγματα παρουσιάζονται. Στο Εδάφιο 4.7 τροποποιούμε το μοντέλο του Εδαφίου 4.4 και θεωρούμε ότι οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού είναι συνεχείς τυχαίες μεταβλητές. Στο Εδάφιο 4.8 εφαρμόζουμε τον αλγόριθμο του Εδαφίου 4.5 για το μοντέλο του Εδαφίου 4.7 και παρουσιάζουμε δύο αριθμητικά παραδείγματα στα οποία οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού είναι τυχαίες μεταβλητές που ακολουθούν την κατανομή Γάμα και την κατανομή Weibull, αντίστοιχα. 
   Τα αποτελέσματα των Εδαφίων 4.2-4.6 έχουν δημοσιευτεί στην εργασία των Kyriakidis and Dimitrakos (2004). Τα αποτελέσματα των Εδαφίων 4.7 και 4.8 περιλαμβάνονται στην εργασία των Dimitrakos and Kyriakidis (2005b) η οποία έχει υποβληθεί προς δημοσίευση. Στο Παράρτημα της διατριβής παρουσιάζονται αποσπάσματα του προγράμματος Matlab για τον αλγόριθμο του Εδαφίου 4.5.   
 
4.2 Περιγραφή του μοντέλου   
   Θεωρούμε ένα σύστημα παραγωγής το οποίο αποτελείται από ένα μηχανισμό τροφοδοσίας (I), έναν αποθηκευτικό χώρο (Β) και μία μονάδα παραγωγής (P). Ο μηχανισμός τροφοδοτεί τη μονάδα παραγωγής με ένα ακατέργαστο υλικό. Ο αποθηκευτικός χώρος του ακατέργαστου υλικού έχει τοποθετηθεί ανάμεσα στο μηχανισμό και τη μονάδα παραγωγής με σκοπό να αποφεύγονται συχνές διακοπές της παραγωγικής διαδικασίας εξαιτίας ενδεχόμενων σοβαρών βλαβών του μηχανισμού τροφοδοσίας. 
   Η μονάδα παραγωγής δέχεται το ακατέργαστο υλικό με σταθερό ρυθμό ίσο με  μονάδες του υλικού ανά μονάδα χρόνου. Υποθέτουμε ότι η μέγιστη χωρητικότητα του αποθηκευτικού χώρου είναι ίση με  μονάδες του ακατέργαστου υλικού. Όσο ο αποθηκευτικός χώρος δεν είναι πλήρης, ο μηχανισμός τροφοδοτεί τη μονάδα παραγωγής με το ακατέργαστο υλικό με σταθερό ρυθμό ίσο με  μονάδες του υλικού ανά μονάδα χρόνου. Υποθέτουμε ότι  Όταν ο αποθηκευτικός χώρος είναι πλήρης, ο μηχανισμός ελαττώνει την ταχύτητα τροφοδοσίας του από  μονάδες του υλικού ανά μονάδα χρόνου σε  μονάδες του υλικού ανά μονάδα χρόνου.

 p

 d

                    I                B              P             	                                

                                   Σχήμα 4.1. Το σύστημα παραγωγής

   Το σύστημα παραγωγής που περιγράψαμε απεικονίζεται στο παραπάνω σχήμα. Όπως αναφέρεται στην εργασία των Van der Duyn Schouten and Vanneste (1995) ως ένα παράδειγμα αυτού του συστήματος μπορεί να θεωρηθεί μία πλατφόρμα η οποία έχει τοποθετηθεί στη θάλασσα με σκοπό την άντληση αργού πετρελαίου. Το πετρέλαιο μεταφέρεται μέσω σωλήνων από την πλατφόρμα πρώτα σε δεξαμενές και μετέπειτα προς τα διυλιστήρια που βρίσκονται στην ακτή. Στην περίπτωση αυτή το αργό πετρέλαιο, η πλατφόρμα, τα διυλιστήρια και οι δεξαμενές είναι το ακατέργαστο υλικό, ο μηχανισμός, η μονάδα παραγωγής και ο αποθηκευτικός χώρος, αντίστοιχα.
  Όπως αναφέρεται στην εργασία των Meller and Kim (1996) μία άλλη πιθανή εφαρμογή του συστήματος σχετίζεται με ένα εργοστάσιο το οποίο κατασκευάζει καθίσματα για τα αυτοκίνητα.   Θεωρούμε ότι το εργοστάσιο διαθέτει ένα μηχανισμό ο οποίος παράγει καλύμματα καθισμάτων. Τα καλύμματα προωθούνται σε έναν αποθηκευτικό χώρο με μεγάλη χωρητικότητα. Ως μονάδα παραγωγής μπορεί να θεωρηθεί το τμήμα του εργοστασίου το οποίο δέχεται τα καλύμματα από το μηχανισμό μέσω του αποθηκευτικού χώρου και είναι υπεύθυνο για την τοποθέτησή τους στα καθίσματα.       
   Υποθέτουμε ότι ο μηχανισμός επιθεωρείται τις χρονικές στιγμές  οι οποίες θεωρούμε ότι ισαπέχουν μεταξύ τους και ταξινομείται σε μία από τις  καταστάσεις  οι οποίες αναπαριστούν το βαθμό επιδείνωσής του. Ο βαθμός επιδείνωσης 0 σημαίνει ότι η λειτουργία του μηχανισμού είναι αρίστη. Ο βαθμός επιδείνωσης  σημαίνει ότι ο μηχανισμός δεν λειτουργεί. Στους ενδιάμεσους βαθμούς επιδείνωσης  θεωρούμε ότι ο μηχανισμός λειτουργεί. Ο βαθμός επιδείνωσης 1 σημαίνει ότι η λειτουργία του μηχανισμού είναι σχεδόν αρίστη, ο βαθμός επιδείνωσης 2 σημαίνει ότι η λειτουργία του μηχανισμού είναι πάρα πολύ καλή, ..., ο βαθμός επιδείνωσης  σημαίνει ότι ο μηχανισμός έχει υποστεί σοβαρή βλάβη αλλά ωστόσο λειτουργεί.
   Αν τη χρονική στιγμή επιθεώρησης  ο βαθμός επιδείνωσης του μηχανισμού είναι ίσος με  και το περιεχόμενο του αποθηκευτικού χώρου είναι ίσο με  τότε την επόμενη χρονική στιγμή επιθεώρησης  το περιεχόμενο του αποθηκευτικού χώρου θα είναι ίσο με  Αυτή η αύξηση του περιεχομένου του αποθηκευτικού χώρου θα συμβεί ακόμη και όταν ο βαθμός επιδείνωσης του μηχανισμού τη χρονική στιγμή επιθεώρησης  είναι ίσος με  
   Σε κάθε χρονική στιγμή επιθεώρησης η κατάσταση του μηχανισμού μπορεί να αναπαρασταθεί από το ζεύγος των μεταβλητών  όπου  είναι ο βαθμός επιδείνωσης του μηχανισμού και  είναι η ηλικία του μηχανισμού. Θεωρούμε ότι, αν ο βαθμός επιδείνωσης του μηχανισμού είναι ίσος με  τη χρονική στιγμή  τη χρονική στιγμή  γίνεται ίσος με  με πιθανότητα  Υποθέτουμε ότι η πιθανότητα να γίνει τελικά ο βαθμός επιδείνωσης του μηχανισμού ίσος με  από οποιοδήποτε αρχικό βαθμό επιδείνωσης είναι μη-μηδενική.
   Αν σε κάποια χρονική στιγμή επιθεώρησης ο μηχανισμός βρίσκεται στην κατάσταση  τότε υποχρεωτικά θέτουμε σε λειτουργία μία επισκευή του. Αν σε κάποια χρονική στιγμή επιθεώρησης ο μηχανισμός βρίσκεται σε μία κατάσταση   τότε δεν επεμβαίνουμε στη λειτουργία του ή θέτουμε σε λειτουργία μία προληπτική συντήρησή του. Θεωρούμε ότι μία προληπτική συντήρηση και μία επισκευή του μηχανισμού δεν είναι δυνατόν να διακοπούν και επαναφέρουν το μηχανισμό στην κατάσταση  Υποθέτουμε ότι, οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού ακολουθούν τη Γεωμετρική κατανομή με πιθανότητα επιτυχίας  και  αντίστοιχα. Συνεπώς η πιθανότητα μία προληπτική συντήρηση και μία επισκευή του μηχανισμού να διαρκέσουν  χρονικές μονάδες είναι ίση με  και  αντίστοιχα. 
   Κατά τη διάρκεια μιας προληπτικής συντήρησης ή μιας επισκευής του μηχανισμού η τροφοδοσία του αποθηκευτικού χώρου με ακατέργαστο υλικό διακόπτεται. Αν κατά τη διάρκεια της προληπτικής συντήρησης ή της επισκευής ο αποθηκευτικός χώρος περιέχει κάποια ποσότητα του ακατέργαστου υλικού, η μονάδα παραγωγής λειτουργεί κανονικά καθώς δέχεται το υλικό του αποθηκευτικού χώρου με σταθερό ρυθμό ίσο με  μονάδες του υλικού ανά μονάδα χρόνου. Αν κατά τη διάρκεια της προληπτικής συντήρησης ή της επισκευής ο αποθηκευτικός χώρος αδειάσει, τότε η μονάδα παραγωγής διακόπτει τη λειτουργία της. Θεωρούμε ότι, αν κατά τη διάρκεια μιας προληπτικής συντήρησης ή μιας επισκευής του μηχανισμού ο αποθηκευτικός χώρος αδειάσει, η έλλειψη του ακατέργαστου υλικού στον αποθηκευτικό χώρο επιφέρει ένα κόστος για κάθε μονάδα χρόνου κατά την οποία ο αποθηκευτικός χώρος είναι κενός. Η μονάδα του κόστους επιλέγεται έτσι ώστε, για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός συντηρείται προληπτικά ή επισκευάζεται και ο αποθηκευτικός χώρος είναι κενός, το κόστος είναι ίσο με  μονάδες κόστους.
   Αν σε κάποια χρονική στιγμή επιθεώρησης ο μηχανισμός βρίσκεται στην κατάσταση  και δεν επεμβαίνουμε στη λειτουργία του θεωρούμε ότι υπάρχει ένα κόστος λειτουργίας μέχρι την επόμενη χρονική στιγμή επιθεώρησης το οποίο είναι ίσο με  αν ο αποθηκευτικός χώρος δεν είναι πλήρης, και ίσο με  αν ο αποθηκευτικός χώρος είναι πλήρης, αντίστοιχα. Για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός συντηρείται προληπτικά ή επισκευάζεται θεωρούμε ότι υπάρχει ένα κόστος ίσο με  ή με  αντίστοιχα, όπου  είναι η ηλικία του μηχανισμού. Υποθέτουμε επίσης ότι υπάρχει ένα κόστος ίσο με  για κάθε μονάδα χρόνου κατά την οποία μία μονάδα του ακατέργαστου υλικού είναι αποθηκευμένη στον αποθηκευτικό χώρο.
   Έστω  η κατάσταση στην οποία βρίσκεται ο μηχανισμός όταν θέτουμε σε λειτουργία μία προληπτική συντήρησή του. Ο χώρος καταστάσεων του συστήματος είναι το ακόλουθο άπειρο σύνολο:

όπου,  αναπαριστά την κατάσταση του συστήματος στην οποία  είναι ο βαθμός επιδείνωσης του μηχανισμού,  είναι η ηλικία του μηχανισμού και  είναι το περιεχόμενο του αποθηκευτικού χώρου.
   Μία πολιτική είναι ένας κανόνας με τον οποίον επιλέγονται οι ενέργειες κατά τις χρονικές στιγμές επιθεώρησης του μηχανισμού . Υπάρχουν τρεις ενέργειες: ενέργεια 0 (δεν επεμβαίνουμε στη λειτουργία του μηχανισμού), ενέργεια 1 (θέτουμε σε λειτουργία μία προληπτική συντήρηση του μηχανισμού), ενέργεια 2 (θέτουμε σε λειτουργία μία επισκευή του μηχανισμού). Στις καταστάσεις  η ενέργεια 2 είναι υποχρεωτική. Στις καταστάσεις  η μόνη δυνατή ενέργεια είναι η ενέργεια 0. Στις καταστάσεις  οι ενέργειες 0 και 1 είναι δυνατές.
   Θεωρούμε μία Μαρκοβιανή διαδικασία αποφάσεων σε διακριτό χρόνο με χώρο καταστάσεων  και αναζητούμε τη στάσιμη πολιτική η οποία, για οποιαδήποτε αρχική κατάσταση του συστήματος, ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου. 
   Υποθέτουμε ότι ισχύουν οι ακόλουθες συνθήκες για τα κόστη, τις πιθανότητες μετάβασης, τους αναμενόμενους χρόνους της προληπτικής συντήρησης και τους αναμενόμενους χρόνους της επισκευής του μηχανισμού.

Συνθήκη 1: Για κάθε   και  Δηλαδή, για κάθε σταθερή ηλικία του μηχανισμού, το κόστος της λειτουργίας του αυξάνεται όσο αυξάνεται ο βαθμός επιδείνωσής του.

Συνθήκη 2: Για κάθε   Δηλαδή, η μείωση της ταχύτητας με την οποία ο μηχανισμός τροφοδοτεί τη μονάδα παραγωγής με ακατέργαστο υλικό από  μονάδες του υλικού ανά μονάδα χρόνου σε  μονάδες του υλικού ανά μονάδα χρόνου, όταν ο αποθηκευτικός χώρος είναι πλήρης, επιφέρει αντίστοιχη μείωση στο κόστος της λειτουργίας του μηχανισμού.

Συνθήκη 3:  Δηλαδή, ο αναμενόμενος χρόνος για μία προληπτική συντήρηση είναι μικρότερος από τον αναμενόμενο χρόνο για μία επισκευή του μηχανισμού.

Συνθήκη 4: Για κάθε   Δηλαδή, ο ρυθμός κόστους της προληπτικής συντήρησης δεν υπερβαίνει το ρυθμό κόστους της επισκευής για οποιαδήποτε σταθερή ηλικία του μηχανισμού.

Συνθήκη 5: Θεωρούμε ότι  είναι αύξουσες συναρτήσεις ως προς  δηλαδή η αύξηση της ηλικίας του μηχανισμού έχει ως επακόλουθο την αύξηση στο κόστος της λειτουργίας του, στο κόστος της προληπτικής συντήρησής του και στο κόστος της επισκευής του.

Συνθήκη 6: Θεωρούμε ότι  και  Η συνθήκη αυτή εγγυάται ότι τα αναμενόμενα κόστη ενός βήματος του μοντέλου είναι φραγμένα.

Συνθήκη 7: Για κάθε  η συνάρτηση 

είναι αύξουσα ως προς  και ως προς  Η συνθήκη αυτή υποδηλώνει ότι  όπου  είναι μία τυχαία μεταβλητή η οποία αναπαριστά τον επόμενο βαθμό επιδείνωσης αν ο παρών βαθμός επιδείνωσης του μηχανισμού και η παρούσα ηλικία του είναι  και  αντίστοιχα. Το σύμβολο “” σημαίνει «στοχαστικά μικρότερο ή ίσο» (βλέπε σελ. 153 του βιβλίου του Ross (1983)).
Μπορεί να αποδειχθεί ότι η Συνθήκη 7 είναι ισοδύναμη με την ακόλουθη συνθήκη (βλέπε σελ. 122-123 του βιβλίου του Derman (1970)).

Συνθήκη 8: Για κάθε συνάρτηση  η οποία είναι αύξουσα ως προς  και ως προς  η συνάρτηση  είναι επίσης αύξουσα ως προς  και ως προς  

4.3 Η μορφή της βέλτιστης πολιτικής   
   Χάριν απλότητας και χωρίς βλάβη της γενικότητας στο παρόν εδάφιο και για το υπόλοιπο του κεφαλαίου υποθέτουμε ότι  Για κάθε αρχική κατάσταση  της διαδικασίας, το ελάχιστο αναμενόμενο αποπληθωρισμένο κόστος  όταν απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας μπορεί να υπολογιστεί αναδρομικά για κάθε  από τις παρακάτω εξισώσεις (βλέπε Θεώρημα 2.1 στη σελ. 18 της παρούσας διατριβής):

                                                         

                                                                                                          

                                  

                                                                                

όπου,  και  είναι ο αποπληθωριστικός παράγοντας.
   Επισημαίνουμε ότι η έκφραση  αναπαριστά τη ζήτηση σε ακατέργαστο υλικό η οποία χάνεται κατά τη διάρκεια μιας χρονικής περιόδου κατά την οποία ο μηχανισμός συντηρείται προληπτικά ή επισκευάζεται και ο αποθηκευτικός χώρος περιέχει  μονάδες του ακατέργαστου υλικού στην αρχή της περιόδου. 
   Η έκφραση  αναπαριστά το περιεχόμενο του αποθηκευτικού χώρου στο τέλος μιας χρονικής περιόδου κατά την οποία ο μηχανισμός συντηρείται προληπτικά ή επισκευάζεται και ο αποθηκευτικός χώρος περιέχει  μονάδες του ακατέργαστου υλικού στην αρχή της περιόδου.
   Ο πρώτος όρος ανάμεσα στα άγκιστρα στις παραπάνω εξισώσεις αντιστοιχεί στην ενέργεια 0 (δεν επεμβαίνουμε στη λειτουργία του μηχανισμού) και ο δεύτερος όρος αντιστοιχεί στην ενέργεια 1 (θέτουμε σε λειτουργία μία προληπτική συντήρηση του μηχανισμού).  
   Από τις παραπάνω εξισώσεις παίρνουμε το ακόλουθο αποτέλεσμα.

Λήμμα 4.1. Για κάθε  ισχύει ότι:
(i) 
(ii) 
(iii) 

Απόδειξη. Η απόδειξη γίνεται με επαγωγή ως προς  Το λήμμα ισχύει για  διότι  για κάθε  Υποθέτουμε ότι ισχύει για  Θα πρέπει να αποδείξουμε ότι ισχύει για  Αρχικά θα αποδείξουμε το (ii) στη συνέχεια το (i) και μετέπειτα το (iii).

(ii): Έστω    

Διαδοχικά έχουμε ότι:

                              

                          

Η πρώτη ανισότητα προκύπτει από την επαγωγική υπόθεση για το (ii) και από τη Συνθήκη 4. Η δεύτερη ανισότητα προκύπτει από τη Συνθήκη 3 και την ανισότητα  η οποία είναι συνέπεια της επαγωγικής υπόθεσης για το (i) και το (iii).

(i): Θα πρέπει να δείξουμε ότι:

                                              (4.1)
και
                                                                (4.2)

Η ανισότητα (4.2) μπορεί να επαληθευτεί εύκολα χρησιμοποιώντας το (ii), για 

                                

Για  η αντίστοιχη ανισότητα προκύπτει με παρόμοιο τρόπο. Για και  έχουμε ότι:

                              

Η παραπάνω ανισότητα προκύπτει από τη Συνθήκη 1 και από την ανισότητα: 

η οποία είναι συνέπεια της επαγωγικής υπόθεσης των (i) και (iii) και της Συνθήκης 8. Έτσι, η ανισότητα (4.1) έχει αποδειχθεί για  Με παρόμοιο τρόπο η ανισότητα (4.1) μπορεί να αποδειχθεί για 

(iii): Από τη Συνθήκη 5 και την επαγωγική υπόθεση για το (iii) προκύπτει ότι οι εκφράσεις  και  είναι αύξουσες ως προς  Από την επαγωγική υπόθεση για το (i) και το (iii) και τη Συνθήκη 8 προκύπτει ότι η έκφραση: 

είναι αύξουσα ως προς  Από την μονοτονία της έκφρασης  ως προς  και τη Συνθήκη 5, προκύπτει ότι η έκφραση  είναι αύξουσα ως προς  Με παρόμοιο τρόπο μπορεί να αποδειχθεί ότι η έκφραση  είναι επίσης αύξουσα ως προς    ■
   Για κάθε αρχική κατάσταση  της διαδικασίας, έστω  το ελάχιστο συνολικό αναμενόμενο αποπληθωρισμένο κόστος σε άπειρο χρονικό ορίζοντα. Από το Θεώρημα 2.3 στη σελ. 20 της παρούσας διατριβής προκύπτει ότι:  Από το (i) και το (iii) του Λήμματος 4.1 παίρνουμε το παρακάτω αποτέλεσμα.    

Λήμμα 4.2. 

   Έστω  η στάσιμη πολιτική η οποία ελαχιστοποιεί το συνολικό αναμενόμενο αποπληθωρισμένο κόστος για οποιαδήποτε αρχική κατάσταση της διαδικασίας. Η ύπαρξη της πολιτικής  είναι επακόλουθο της Συνθήκης 6. Το παρακάτω λήμμα εγγυάται την ύπαρξη μιας βέλτιστης στάσιμης πολιτικής η οποία για οποιαδήποτε αρχική κατάσταση της διαδικασίας ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου (βλέπε Θεώρημα 2.4 και Θεώρημα 2.5 στις σελ. 21 και 22 της παρούσας διατριβής). 

Λήμμα 4.3. Υπάρχει ένας θετικός πραγματικός αριθμός  τέτοιος ώστε

για κάθε κατάσταση  και κάθε  όπου    

Απόδειξη. Υποθέτουμε ότι η αρχική κατάσταση του συστήματος είναι η κατάσταση  Έστω  η κατάσταση του συστήματος τη χρονική στιγμή  η ενέργεια η οποία επιλέγεται τη χρονική στιγμή  και το υφιστάμενο κόστος τη χρονική στιγμή  αντίστοιχα. Έστω  η μη-στάσιμη πολιτική η οποία θέτει σε λειτουργία μία προληπτική συντήρηση ή μία επισκευή του μηχανισμού όταν το σύστημα βρίσκεται αρχικά στην κατάσταση  και μετά την ολοκλήρωση της προληπτικής συντήρησης ή της επισκευής επιλέγει τις ίδιες ενέργειες με εκείνες της βέλτιστης πολιτικής  Έστω επίσης  το συνολικό αναμενόμενο αποπληθωρισμένο κόστος σε άπειρο χρονικό ορίζοντα, υπό τον έλεγχο της πολιτικής  αν  είναι η αρχική κατάσταση του συστήματος. Έστω  ο απαιτούμενος χρόνος μέχρι να ολοκληρωθεί μία προληπτική συντήρηση ή μία επισκευή του μηχανισμού. Από τους ορισμούς των  και  έχουμε διαδοχικά ότι:

όπου,   αναπαριστά την αναμενόμενη τιμή και  αναπαριστά την υπό-συνθήκη αναμενόμενη τιμή, δοθέντος ότι η πολιτική  έχει υιοθετηθεί για τον έλεγχο της διαδικασίας. Η προτελευταία παραπάνω ανισότητα ισχύει διότι  Από το (i) και το (iii) του Λήμματος 4.1, έχουμε ότι:

όπου,  Επομένως, ισχύει ότι:

   ■

   Το Λήμμα 4.3 υποδηλώνει ότι υπάρχουν αριθμοί  και μία σταθερά  έτσι ώστε (βλέπε Θεώρημα 2.5 στη σελ. 22 της παρούσας διατριβής):

        

                                                                                

                                                                                         

                                                                                                           

   Ο πρώτος όρος ανάμεσα στα άγκιστρα στις παραπάνω εξισώσεις αντιστοιχεί στην ενέργεια 0 (δεν επεμβαίνουμε στη λειτουργία του μηχανισμού) και ο δεύτερος όρος αντιστοιχεί στην ενέργεια 1 (θέτουμε σε λειτουργία μία προληπτική συντήρηση του μηχανισμού). Αν για μία κατάσταση  του συστήματος ο πρώτος όρος είναι μικρότερος από το δεύτερο όρο, τότε η βέλτιστη πολιτική επιλέγει στην κατάσταση αυτή την ενέργεια 0. Αν, αντιθέτως, ο πρώτος όρος είναι μεγαλύτερος από το δεύτερο όρο, τότε η βέλτιστη πολιτική επιλέγει την ενέργεια 1. Αν ο πρώτος και ο δεύτερος όρος είναι ίσοι, τότε και οι δύο ενέργειες θεωρούμε ότι είναι βέλτιστες. Σύμφωνα με το Θεώρημα 2.5, οι αριθμοί  είναι τέτοιοι ώστε:

για μία ακολουθία αριθμών   για την οποία ισχύει ότι: 
   Από το Λήμμα 4.2 και τις παραπάνω οριακές εκφράσεις προκύπτει το ακόλουθο αποτέλεσμα.

Πόρισμα 4.1. 

Η παρακάτω πρόταση παρέχει ένα χαρακτηρισμό της μορφής της βέλτιστης πολιτικής.

Πρόταση 4.1. Για κάθε σταθερό περιεχόμενο  του αποθηκευτικού χώρου και κάθε σταθερή ηλικία  του μηχανισμού, υπάρχει μία κρίσιμη τιμή  του βαθμού επιδείνωσης του μηχανισμού τέτοια ώστε, η βέλτιστη πολιτική θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης  του μηχανισμού είναι μεγαλύτερος ή ίσος με την κρίσιμη τιμή     

Απόδειξη. Υποθέτουμε ότι η βέλτιστη πολιτική επιλέγει την ενέργεια 1 στην κατάσταση    Τότε ισχύει ότι:

                                                               (4.3)

Για να δείξουμε ότι η βέλτιστη πολιτική επιλέγει την ενέργεια 1 στην κατάσταση  αρκεί να δείξουμε ότι: 

                                                         (4.4)

Από το Πόρισμα 4.1 και τις Συνθήκες 1 και 8 προκύπτει ότι το δεξιό μέλος της ανισότητας (4.4) είναι μεγαλύτερο ή ίσο με το δεξιό μέλος της ανισότητας (4.3). Επομένως η ανισότητα (4.3) συνεπάγεται την ανισότητα (4.4). Με παρόμοιο τρόπο αποδεικνύεται το ίδιο αποτέλεσμα για την περίπτωση κατά την οποία    ■ 

Η Πρόταση 4.1 υποδηλώνει ότι η βέλτιστη πολιτική είναι μονότονη για σταθερό περιεχόμενο του αποθηκευτικού χώρου και σταθερή ηλικία του μηχανισμού.

4.4 Στάσιμη επιδείνωση του μηχανισμού
   Θεωρούμε το μοντέλο που περιγράψαμε στο Εδάφιο 4.2 με τις παρακάτω υποθέσεις:

Οι υποθέσεις αυτές υποδηλώνουν ότι σε κάθε χρονική στιγμή επιθεώρησης η κατάσταση του μηχανισμού προσδιορίζεται μόνο από το βαθμό επιδείνωσης  και δεν εξαρτάται από την ηλικία του. Η επιδείνωση του μηχανισμού θεωρούμε ότι είναι στάσιμη διότι οι πιθανότητες μετάβασης δεν εξαρτώνται από την ηλικία του. Ο χώρος καταστάσεων του συστήματος στην περίπτωση αυτή είναι το ακόλουθο πεπερασμένο σύνολο:

όπου,  αναπαριστά την κατάσταση του συστήματος στην οποία  είναι ο βαθμός επιδείνωσης του μηχανισμού και  είναι το περιεχόμενο του αποθηκευτικού χώρου. 
   Η διαδικασία επιδείνωσης του συστήματος είναι μία διαδικασία η οποία, υπό τον έλεγχο οποιασδήποτε πολιτικής, αναγεννάται οποτεδήποτε το σύστημα βρεθεί στην κατάσταση  Από γνωστά αποτελέσματα της θεωρίας των Μαρκοβιανών διαδικασιών αποφάσεων υπάρχει μία βέλτιστη στάσιμη πολιτική η οποία ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου (βλέπε π.χ. Κεφάλαιο 3 του βιβλίου του Tijms (1994)). 
   Η Πρόταση 4.1 του προηγούμενου εδαφίου παίρνει τώρα την ακόλουθη μορφή.

Πρόταση 4.2. Για κάθε σταθερό περιεχόμενο  του αποθηκευτικού χώρου υπάρχει μία κρίσιμη τιμή  τέτοια ώστε, η βέλτιστη πολιτική θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης  του μηχανισμού είναι μεγαλύτερος ή ίσος με την κρίσιμη τιμή    

Σημείωση 4.1. Επισημαίνουμε ότι στην περίπτωση κατά την οποία ισχύει:        το μοντέλο που περιγράψαμε στο παρόν εδάφιο συμπίπτει με αυτό που επινοήθηκε από τους Van der Duyn Schouten and Vanneste (1995). Η ακολουθία   είναι τέτοια ώστε  και είναι αύξουσα ως προς  Στην εργασία των Van der Duyn Schouten and Vanneste το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου υπό τον έλεγχο οποιασδήποτε πολιτικής αναπαριστά τη μέση ζήτηση σε ακατέργαστο υλικό η οποία χάνεται ανά μονάδα χρόνου. Η Πρόταση 4.2 γενικεύει ένα παρόμοιο αποτέλεσμα των Van der Duyn Schouten and Vanneste.         

Σημείωση 4.2. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι, για κάθε σταθερό περιεχόμενο  του αποθηκευτικού χώρου, η κρίσιμη τιμή  η οποία, χαρακτηρίζει τη μονότονη μορφή της βέλτιστης πολιτικής, είναι φθίνουσα ως προς  Μία αναλυτική απόδειξη αυτής της εικασίας φαίνεται δύσκολη.   
   
Η Πρόταση 4.2 υποδηλώνει ότι στην περίπτωση της στάσιμης επιδείνωσης, όπως και στην περίπτωση της μη-στάσιμης επιδείνωσης του μηχανισμού, η βέλτιστη πολιτική είναι μονότονη για σταθερό περιεχόμενο του αποθηκευτικού χώρου. 

4.5 Ένας αλγόριθμος όταν οι χρόνοι προληπτικής συντήρησης και επισκευής ακολουθούν τη Γεωμετρική κατανομή  
   Στην περίπτωση του μοντέλου που περιγράψαμε στο προηγούμενο εδάφιο, η βέλτιστη πολιτική μπορεί να υπολογιστεί με εφαρμογή του αλγορίθμου βελτίωσης των πολιτικών, του αλγορίθμου των διαδοχικών προσεγγίσεων και της μεθόδου του γραμμικού προγραμματισμού.
   Ένας κατάλληλος αλγόριθμος βελτίωσης των πολιτικών μπορεί επίσης να σχεδιαστεί ο οποίος εφαρμόζεται στο σύνολο των μονότονων πολιτικών και παράγει μία ακολουθία αυστηρά βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Ο αλγόριθμος παράγει πολιτικές οι οποίες για κάθε σταθερό περιεχόμενο  του αποθηκευτικού χώρου θέτουν σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή  Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η τελική πολιτική που παράγει ο αλγόριθμος είναι η βέλτιστη πολιτική διότι συμπίπτει με την τελική πολιτική που δημιουργεί ο αλγόριθμος βελτίωσης των πολιτικών και ο αλγόριθμος των διαδοχικών προσεγγίσεων. 
   Ο σχεδιασμός του αλγορίθμου βασίζεται στην τεχνική εμφύτευσης του Tijms (βλέπε σελ. 234 του βιβλίου του Tijms (1994)). Παρόμοιοι αλγόριθμοι έχουν σχεδιαστεί σε μοντέλα βέλτιστου ελέγχου ουρών αναμονής, βέλτιστου ελέγχου αποθεμάτων, βέλτιστης συντήρησης μηχανημάτων και βέλτιστου ελέγχου βιολογικών πληθυσμών (βλέπε π.χ. σελ. 234-248 του βιβλίου του Tijms (1994), Nobel and Tijms (1999, 2000), Kyriakidis (1993, 1999b, 2004)). Στη συνέχεια θα περιγράψουμε το σχεδιασμό του αλγορίθμου.
   Έστω μία μονότονη πολιτική  η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  Έστω επίσης  οι σχετικές τιμές της πολιτικής  (βλέπε σελ. 25 της παρούσας διατριβής). Θεωρούμε ότι:

                                                                                                                                (4.5)

Αν η μονότονη πολιτική  υιοθετηθεί για τον έλεγχο του συστήματος, τότε το σύστημα είναι δυνατόν να μεταβεί σε κάποια κατάσταση του συνόλου των καταστάσεων:

από οποιαδήποτε αρχική κατάσταση  Σύμφωνα με τη σχέση (3.6.1) στη σελ. 235 του βιβλίου του Tijms (1994), οι σχετικές τιμές  ικανοποιούν το ακόλουθο σύστημα των γραμμικών εξισώσεων:

                                                                              (4.6)

όπου,  είναι το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου υπό τον έλεγχο της πολιτικής   είναι η πιθανότητα η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  να είναι η κατάσταση  δοθέντος ότι η πολιτική  έχει υιοθετηθεί για τον έλεγχο του συστήματος και η αρχική κατάσταση είναι η κατάσταση  και,  είναι ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα. Υποθέτουμε ότι, αν η αρχική κατάσταση του συστήματος είναι μία κατάσταση  τότε η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  είναι η κατάσταση στην οποία μεταβαίνει το σύστημα στην επόμενη επιστροφή του στο σύνολο 
   Οι ποσότητες  και   μπορούν να υπολογιστούν εύκολα αν λάβουμε υπόψη τη δομή του μοντέλου υπό τον έλεγχο της μονότονης πολιτικής  και χρησιμοποιήσουμε διάφορες μορφές του Θεωρήματος Ολικής Πιθανότητας. Για παράδειγμα,

                                                        (4.7)

                    (4.8)

όπου  και  αναπαριστούν τα ακέραια μέρη των  και  αντίστοιχα.
   Θα εξηγήσουμε αναλυτικά τον τρόπο με τον οποίον εξάγονται οι σχέσεις (4.7) και (4.8). Για τη σχέση (4.7) η αρχική κατάσταση του συστήματος είναι μία κατάσταση  τέτοια ώστε  και  στην οποία, υπό τον έλεγχο της πολιτικής  επιλέγουμε να θέσουμε σε λειτουργία μία προληπτική συντήρηση του μηχανισμού. 
   Υπενθυμίζουμε ότι, κατά τη διάρκεια μιας προληπτικής συντήρησης, στη λειτουργία του συστήματος υπεισέρχονται τα εξής κόστη.
   Ένα κόστος προληπτικής συντήρησης ίσο με  για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός συντηρείται προληπτικά.
   Ένα κόστος έλλειψης του υλικού στον αποθηκευτικό χώρο ίσο με  μονάδες για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός συντηρείται προληπτικά και ο αποθηκευτικός χώρος είναι κενός.
   Ένα κόστος αποθήκευσης του υλικού στον αποθηκευτικό χώρο ίσο με  για κάθε μονάδα χρόνου κατά την οποία μία μονάδα του υλικού είναι αποθηκευμένη στον αποθηκευτικό χώρο.
   Έστω  το αναμενόμενο κόστος της προληπτικής συντήρησης,  το αναμενόμενο κόστος της έλλειψης του υλικού στον αποθηκευτικό χώρο και  το αναμενόμενο κόστος της αποθήκευσης του υλικού στον αποθηκευτικό χώρο, αν στην κατάσταση  επιλέγουμε να θέσουμε σε λειτουργία μία προληπτική συντήρηση του μηχανισμού. Ισχύει ότι:

                                                                 (4.9)                                                            

Για να υπολογίσουμε τους τρεις όρους του αθροίσματος στο δεξιό μέλος της εξίσωσης (4.9) δεσμευόμαστε ως προς τη χρονική διάρκεια μιας προληπτικής συντήρησης. Το αναμενόμενο κόστος της προληπτικής συντήρησης δίνεται από τη σχέση:

                                                                                     (4.10)                                                                                                                                           

Αν η διάρκεια μιας προληπτικής συντήρησης είναι ίση με  χρονικές μονάδες, το αναμενόμενο κόστος της έλλειψης του υλικού στον αποθηκευτικό χώρο είναι μηδενικό διότι μετά από την ολοκλήρωση της προληπτικής συντήρησης ο αποθηκευτικός χώρος περιέχει  μονάδες του ακατέργαστου υλικού. Αν, αντιθέτως, η διάρκεια μιας προληπτικής συντήρησης είναι ίση με  χρονικές μονάδες, το αναμενόμενο κόστος της έλλειψης του υλικού στον αποθηκευτικό χώρο δίνεται από το ακόλουθο άπειρο άθροισμα: 

διότι, για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός συντηρείται προληπτικά και ο αποθηκευτικός χώρος είναι κενός, το κόστος της έλλειψης του υλικού είναι ίσο με  Ο υπολογισμός του παραπάνω αθροίσματος οδηγεί στη σχέση:

                                           (4.11)                                          

όπου,  αναπαριστά το ακέραιο μέρος του  Έστω  και  τα αναμενόμενα κόστη της αποθήκευσης του υλικού στον αποθηκευτικό χώρο αν στην κατάσταση  θέσουμε σε λειτουργία μία προληπτική συντήρηση του μηχανισμού η οποία διαρκεί  και  χρονικές μονάδες, αντίστοιχα. Ισχύει ότι: 

                                                                          (4.12)

Αν η διάρκεια μιας προληπτικής συντήρησης είναι ίση με  χρονικές μονάδες, το αναμενόμενο κόστος της αποθήκευσης του υλικού είναι:

                                                (4.13)

Αν η διάρκεια μιας προληπτικής συντήρησης είναι ίση με  χρονικές μονάδες, το αναμενόμενο κόστος της αποθήκευσης του υλικού είναι:

                                           (4.14)

Ο γενικός όρος  του αθροίσματος ανάμεσα στις αγκύλες στις εξισώσεις (4.13) και (4.14) αναπαριστά το κόστος της αποθήκευσης του υλικού αν η προληπτική συντήρηση ολοκληρωθεί μετά από  χρονικές μονάδες. Ο γενικός όρος μπορεί να δικαιολογηθεί ως εξής. Για κάθε μονάδα χρόνου κατά την οποία ο μηχανισμός συντηρείται προληπτικά, ο αποθηκευτικός χώρος ελαττώνει το περιεχόμενο του κατά  μονάδες. Επιπλέον υπάρχει ένα κόστος ίσο με  για κάθε μονάδα χρόνου κατά την οποία μία μονάδα του υλικού είναι αποθηκευμένη στον αποθηκευτικό χώρο. Το άνω όριο  του αθροίσματος ανάμεσα στις αγκύλες στην εξίσωση (4.14) δικαιολογείται από το γεγονός ότι ο αποθηκευτικός χώρος παύει να περιέχει κάποια ποσότητα του ακατέργαστου υλικού και κατά συνέπεια το κόστος της αποθήκευσης του υλικού μηδενίζεται αν η διάρκεια μιας προληπτικής συντήρησης είναι ίση με  χρονικές μονάδες. Από τον υπολογισμό του αθροίσματος ανάμεσα στις αγκύλες, το διπλό άθροισμα της εξίσωσης (4.13) μπορεί να γραφεί με την ακόλουθη μορφή:

                                            (4.15)                                            

Από τον υπολογισμό του διπλού αθροίσματος της εξίσωσης (4.14), έχουμε ότι:

                                     (4.16)                              

Από τις εξισώσεις (4.15) και (4.16) η εξίσωση (4.12) μπορεί να γραφεί ως εξής:

                       (4.17)

Από τις εξισώσεις (4.10), (4.11), (4.17) και τη σχέση (4.9) προκύπτει η έκφραση (4.7).
   Για τη σχέση (4.8) η αρχική κατάσταση του συστήματος είναι μία κατάσταση  τέτοια ώστε  και  στην οποία, υπό τον έλεγχο της πολιτικής  δεν επεμβαίνουμε στη λειτουργία του μηχανισμού.
   Η κατάσταση  είναι η πρώτη κατάσταση στην επόμενη επιστροφή του συστήματος στο σύνολο  αν το σύστημα μεταβεί με πιθανότητα  σε μία κατάσταση  τέτοια ώστε  και  στην οποία, υπό τον έλεγχο της πολιτικής  θέτουμε σε λειτουργία μία προληπτική συντήρηση ή αν το σύστημα μεταβεί με πιθανότητα  σε μία κατάσταση  τέτοια ώστε  στην οποία, υπό τον έλεγχο της πολιτικής  θέτουμε σε λειτουργία μία επισκευή του μηχανισμού. Μετά από την ολοκλήρωση μιας προληπτικής συντήρησης ή μιας επισκευής, η λειτουργία του μηχανισμού είναι αρίστη και ο βαθμός επιδείνωσής του ισούται με 0. Αν η διάρκεια μιας προληπτικής συντήρησης ή μιας επισκευής είναι ίση με  χρονικές μονάδες, ο αποθηκευτικός χώρος είναι κενός. Το σύστημα μεταβαίνει στην κατάσταση  με πιθανότητα:

                                       (4.18)

όπου,  αναπαριστά το ακέραιο μέρος του  Ισχύει ότι:

   και                                    (4.19)   

Η έκφραση (4.8) προκύπτει από την εξίσωση (4.18) και τις σχέσεις (4.19).
   Οι σχετικές τιμές   και το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  μπορούν να υπολογιστούν επιλύνοντας το ακόλουθο σύστημα των γραμμικών εξισώσεων:

                                                                               (4.20)   

και την εξίσωση (4.5). 
   Θεωρούμε την ποσότητα  η οποία ορίζεται ως εξής:

          (4.21)

όπου,  είναι η πιθανότητα η επόμενη κατάσταση της διαδικασίας να είναι η κατάσταση  αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  και   είναι ο αναμενόμενος χρόνος ενός βήματος και το αναμενόμενο κόστος ενός βήματος, αντίστοιχα, για τη μετάβαση της διαδικασίας στην επόμενη κατάσταση, αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια 
   Υποθέτουμε ότι για κάποιο περιεχόμενο   του αποθηκευτικού χώρου, υπάρχει ένας ακέραιος αριθμός  τέτοιος ώστε  και   Τότε, σύμφωνα με το Θεώρημα 2.7 στη σελ. 24 της παρούσας διατριβής, το μακροπρόθεσμο αναμενόμενο μέσο κόστος υπό τον έλεγχο της μονότονης πολιτικής η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  είναι μικρότερο από 
   Παρόμοια, αν για κάποιο περιεχόμενο   του αποθηκευτικού χώρου, υπάρχει ένας ακέραιος αριθμός  τέτοιος ώστε  και   τότε, σύμφωνα πάλι με το Θεώρημα 2.7, το μακροπρόθεσμο αναμενόμενο μέσο κόστος υπό τον έλεγχο της μονότονης πολιτικής η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  είναι μικρότερο από 
   Οι παραπάνω παρατηρήσεις μας οδηγούν στο σχεδιασμό του ακόλουθου αλγορίθμου ο οποίος παράγει μία ακολουθία αυστηρά βελτιωμένων μονότονων πολιτικών. 

Αλγόριθμος
Βήμα 1. (Έναρξη). Επιλέγουμε μία αρχική μονότονη πολιτική  η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  
Βήμα 2. (Εύρεση σχετικών τιμών και μέσου κόστους). Για τη μονότονη πολιτική  υπολογίζουμε το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου και τις σχετικές τιμές   επιλύνοντας το σύστημα των γραμμικών εξισώσεων (4.5) και (4.20).
Βήμα 3. (Βελτίωση των πολιτικών). Για κάθε σταθερό περιεχόμενο   του αποθηκευτικού χώρου:
(α) Βρίσκουμε, αν υπάρχει, το μικρότερο ακέραιο αριθμό  τέτοιο ώστε  και   
διαφορετικά,
(β) βρίσκουμε, αν υπάρχει, το μεγαλύτερο ακέραιο αριθμό  τέτοιο ώστε  και  
Οι ποσότητες  και  δίνονται από την εξίσωση (4.21). Οι σχετικές τιμές   υπολογίζονται από την εξίσωση (4.6).
Αντικαθιστούμε την κρίσιμη τιμή  με την κρίσιμη τιμή  για εκείνες τις τιμές του   για τις οποίες είναι δυνατόν να βρούμε μία κρίσιμη τιμή  και επιστρέφουμε στο Βήμα 2.
Βήμα 4. (Κριτήριο Σύγκλισης). Αν δεν είναι δυνατόν να βρεθεί καμία κρίσιμη τιμή  ο αλγόριθμος σταματά. Η τελική πολιτική που παράγει ο αλγόριθμος είναι η πολιτική  με μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου.   

Ο αλγόριθμος παράγει μία ακολουθία αυστηρά βελτιωμένων μονότονων πολιτικών και σταματά μετά από ένα πεπερασμένο αριθμό επαναλήψεων διότι το σύνολο των μονότονων πολιτικών είναι πεπερασμένο. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι η βέλτιστη πολιτική διότι συμπίπτει με την τελική πολιτική που δίνει ο αλγόριθμος βελτίωσης των πολιτικών και ο αλγόριθμος των διαδοχικών προσεγγίσεων. Μία αναλυτική απόδειξη αυτής της εικασίας φαίνεται δύσκολη. Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου είναι κατά πολύ μικρότερος από τον απαιτούμενο υπολογιστικό χρόνο για την εκτέλεση του αλγορίθμου βελτίωσης των πολιτικών. Αυτό οφείλεται στο γεγονός ότι ο αριθμός των αγνώστων στο σύστημα των γραμμικών εξισώσεων του Βήματος 2 του αλγορίθμου είναι ίσος με τον αριθμό των στοιχείων του συνόλου  ενώ ο αριθμός των αγνώστων στο σύστημα των γραμμικών εξισώσεων του αντίστοιχου βήματος της εύρεσης των σχετικών τιμών και του μέσου κόστους στον αλγόριθμο βελτίωσης των πολιτικών είναι ίσος με τον αριθμό των στοιχείων του χώρου καταστάσεων  Από πολλά αριθμητικά παραδείγματα που έχουμε εξετάσει συμπεραίνουμε επίσης ότι, ο αριθμός των επαναλήψεων του αλγορίθμου δεν επηρεάζεται ιδιαίτερα από την αρχική μονότονη πολιτική που επιλέγουμε κατά την έναρξη του αλγορίθμου στο Βήμα 1.
   Ένα αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία             Υποθέτουμε ότι οι μη-μηδενικές πιθανότητες μετάβασης   είναι τέτοιες ώστε: 

Αυτό σημαίνει ότι αν ο παρών βαθμός επιδείνωσης του μηχανισμού είναι ίσος με  τότε ο επόμενος βαθμός επιδείνωσης κατανέμεται ομοιόμορφα στο σύνολο  Οι πιθανότητες μετάβασης ικανοποιούν τη Συνθήκη 7 διότι, για κάθε  η ποσότητα: 

είναι αύξουσα ως προς   Ως αρχική μονότονη πολιτική στο Βήμα 1 του αλγορίθμου επιλέγουμε την πολιτική η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   Στον Πίνακα 4.1 παρουσιάζονται οι διαδοχικές μονότονες πολιτικές που παράγει ο αλγόριθμος και τα αντίστοιχα μακροπρόθεσμα αναμενόμενα μέσα κόστη τους ανά μονάδα χρόνου.

Πίνακας 4.1. Οι διαδοχικές μονότονες πολιτικές

Οι κρίσιμες τιμές   των πολιτικών                                                     Μέσο κόστος 
                                                                                                                6.416

                                                                                                   4.392

                                                                  3.872

                                                   3.855

Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου ήταν 8.1 δευτερόλεπτα ενώ ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου βελτίωσης των πολιτικών ήταν 26.4 δευτερόλεπτα. Στο παρόν αριθμητικό παράδειγμα παρατηρούμε ότι, όταν το περιεχόμενο του αποθηκευτικού χώρου είναι αρκετά υψηλό (ανάμεσα στις τιμές 8 και 10), η βέλτιστη πολιτική θέτει σε λειτουργία μία προληπτική συντήρηση ακόμα και όταν η λειτουργία του μηχανισμού είναι αρίστη, δηλαδή ο βαθμός επιδείνωσής του ισούται με 0. Αυτό φαίνεται διαισθητικά λογικό διότι οι πιθανότητες μετάβασης σε καταστάσεις με υψηλά κόστη λειτουργίας δεν είναι αμελητέες.

4.6 Δύο γενικεύσεις του μοντέλου
   Στο παρόν εδάφιο θεωρούμε δύο γενικεύσεις του μοντέλου που περιγράψαμε στο Εδάφιο 4.4. 

(i) Υποθέτουμε ότι, αν σε κάποια χρονική στιγμή επιθεώρησης ο βαθμός επιδείνωσης του μηχανισμού είναι ίσος με  και θέτουμε σε λειτουργία μία προληπτική συντήρηση, τότε ο απαιτούμενος χρόνος για την προληπτική συντήρηση είναι μία τυχαία μεταβλητή η οποία ακολουθεί τη Γεωμετρική κατανομή με πιθανότητα επιτυχίας  Θεωρούμε ότι  Αυτό σημαίνει ότι η αύξηση του βαθμού επιδείνωσης του μηχανισμού έχει ως επακόλουθο την αύξηση του αναμενόμενου χρόνου μιας προληπτικής συντήρησης. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι, για κάθε σταθερό περιεχόμενο  του αποθηκευτικού χώρου, η βέλτιστη πολιτική είναι μονότονη διότι θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή  Μία αναλυτική απόδειξη φαίνεται δύσκολη. Ένα αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία             Οι μη-μηδενικές πιθανότητες μετάβασης   είναι τέτοιες ώστε: 

Η βέλτιστη πολιτική χαρακτηρίζεται από τις κρίσιμες τιμές     Το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου βρέθηκε ίσο με 1.51.

(ii) Υποθέτουμε ότι, αν σε κάποια χρονική στιγμή επιθεώρησης ο βαθμός επιδείνωσης του μηχανισμού είναι ίσος με  τότε μία προληπτική συντήρηση είναι δυνατόν να αποκαταστήσει μερικώς το μηχανισμό έτσι ώστε να βρεθεί σε μία καλύτερη κατάσταση με βαθμό επιδείνωσης ίσο με  όπου  Η έννοια της «μερικής αποκατάστασης» χρησιμοποιήθηκε στην εργασία των Douer and Yechiali (1994) και στην εργασία των Benyamini and Yechiali (1999). Υποθέτουμε ότι ο απαιτούμενος χρόνος για μία μερική αποκατάσταση του μηχανισμού είναι μία τυχαία μεταβλητή η οποία ακολουθεί τη Γεωμετρική κατανομή με πιθανότητα επιτυχίας  Αν ο βαθμός επιδείνωσης του μηχανισμού είναι ίσος με  μία επισκευή είναι υποχρεωτική και επαναφέρει το μηχανισμό σε αρίστη κατάσταση στην οποία ο βαθμός επιδείνωσής του ισούται με 0. Θεωρούμε ότι ο αναμενόμενος χρόνος για μία επισκευή του μηχανισμού είναι ίσος με  Υποθέτουμε επίσης ότι  Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι, για κάθε σταθερό περιεχόμενο  του αποθηκευτικού χώρου, η βέλτιστη πολιτική είναι μονότονη διότι θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή  Μία αναλυτική απόδειξη φαίνεται δύσκολη. Ένα αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε την περίπτωση κατά την οποία              Ο πίνακας  με τις πιθανότητες μετάβασης   δίνεται παρακάτω:

Η βέλτιστη πολιτική χαρακτηρίζεται από τις κρίσιμες τιμές    Το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου βρέθηκε ίσο με 0.72.

4.7 Οι χρόνοι προληπτικής συντήρησης και επισκευής είναι συνεχείς τυχαίες μεταβλητές
   Στο παρόν εδάφιο τροποποιούμε το μοντέλο που περιγράψαμε στο Εδάφιο 4.4. Υποθέτουμε ότι οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού είναι συνεχείς τυχαίες μεταβλητές με συναρτήσεις πυκνότητας πιθανότητας  και  αντίστοιχα. 
   Έστω  και  οι αναμενόμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού, αντίστοιχα. Οι Συνθήκες 1, 2, 4, 6 και 7 ισχύουν ενώ η Συνθήκη 3 διαμορφώνεται ως εξής:

Συνθήκη 3*:  Δηλαδή, ο αναμενόμενος χρόνος για μία προληπτική συντήρηση είναι μικρότερος από τον αναμενόμενο χρόνο για μία επισκευή του μηχανισμού.

   Σε κάθε χρονική στιγμή επιθεώρησης του μηχανισμού επιλέγεται μία ενέργεια  και η κατάσταση του συστήματος παραγωγής μπορεί να αναπαρασταθεί από το ζεύγος των μεταβλητών  όπου  είναι ο βαθμός επιδείνωσης του μηχανισμού και  είναι το περιεχόμενο του αποθηκευτικού χώρου. Ο χώρος καταστάσεων  του συστήματος είναι το ακόλουθο σύνολο:

Ο χώρος καταστάσεων  είναι ένας διδιάστατος χώρος καταστάσεων ο οποίος αποτελείται από μία διακριτή μεταβλητή, το βαθμό επιδείνωσης  του μηχανισμού και μία συνεχής μεταβλητή, το περιεχόμενο  του αποθηκευτικού χώρου. Για να μετατρέψουμε τη συνεχή μεταβλητή  σε μία διακριτή μεταβλητή εισάγουμε την παράμετρο  η οποία διαιρεί το διάστημα  σε  τμήματα έτσι ώστε η μεταβλητή   αναπαριστά το περιεχόμενο του αποθηκευτικού χώρου σε κάθε χρονική στιγμή επιθεώρησης του μηχανισμού. Ο χώρος καταστάσεων του συστήματος παραγωγής μπορεί τώρα να ξαναγραφεί κατά προσέγγιση με την ακόλουθη μορφή:

Η προσέγγιση γίνεται καλύτερη όταν η παράμετρος  παίρνει πολύ μικρές τιμές (π.χ.    
   Αν σε κάποια χρονική στιγμή επιθεώρησης το σύστημα βρίσκεται σε μία κατάσταση   επιλέγουμε υποχρεωτικά την ενέργεια  σύμφωνα με την οποία θέτουμε σε λειτουργία μία επισκευή του μηχανισμού. Η επισκευή επαναφέρει το σύστημα στην κατάσταση  ή σε μία από τις καταστάσεις  όπου  
   Αν σε κάποια χρονική στιγμή επιθεώρησης το σύστημα βρίσκεται σε μία κατάσταση    επιλέγουμε την ενέργεια  σύμφωνα με την οποία θέτουμε σε λειτουργία μία προληπτική συντήρηση ή την ενέργεια  σύμφωνα με την οποία δεν επεμβαίνουμε στη λειτουργία του μηχανισμού. Αν επιλέξουμε την ενέργεια  μία προληπτική συντήρηση επαναφέρει το σύστημα στην κατάσταση  ή σε μία από τις καταστάσεις  όπου  Αν επιλέξουμε την ενέργεια  και ισχύει ότι  το σύστημα μεταβαίνει σε μία από τις καταστάσεις  όπου  Αν επιλέξουμε την ενέργεια  και ισχύει ότι  το σύστημα μεταβαίνει σε μία από τις καταστάσεις  όπου 
   Μία πολιτική είναι ένας κανόνας με τον οποίον επιλέγονται οι ενέργειες κατά τις χρονικές στιγμές επιθεώρησης του μηχανισμού. Θεωρούμε μία ημι-Μαρκοβιανή διαδικασία αποφάσεων με χώρο καταστάσεων  και αναζητούμε τη στάσιμη πολιτική η οποία, για οποιαδήποτε αρχική κατάσταση του συστήματος, ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου. Η σχετική θεωρία βρίσκεται στο Εδάφιο 2.5 της παρούσας διατριβής και στο Κεφάλαιο 3 του βιβλίου του Tijms (1994). Οι χρονικές στιγμές κατά τις οποίες επιλέγεται μία ενέργεια  είναι όλες οι χρονικές στιγμές  στις οποίες το σύστημα εισέρχεται σε μία κατάσταση του χώρου καταστάσεων    
   Επισημαίνουμε ότι, υπό τον έλεγχο οποιασδήποτε πολιτικής, το σύστημα είναι δυνατόν να μεταβεί στην κατάσταση  από οποιαδήποτε αρχική κατάσταση  Το Πόρισμα 6.20 στη σελ. 149 του βιβλίου του Ross (1992) εξασφαλίζει την ύπαρξη μιας βέλτιστης στάσιμης πολιτικής διότι ο χώρος καταστάσεων  του συστήματος είναι πεπερασμένος.
   Έστω  η πιθανότητα η επόμενη κατάσταση του συστήματος να είναι η κατάσταση  αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  και έστω   ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, για τη μετάβαση του συστήματος στην επόμενη κατάσταση, αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια 
   Οι πιθανότητες μετάβασης του συστήματος για τις τρεις δυνατές ενέργειες δίνονται από τις ακόλουθες εξισώσεις (4.22)-(4.27).

                                                                                  (4.22)

                                                          (4.23)

                                                                    (4.24)                              

                                               (4.25)           

                                                (4.26)      

                                            (4.27)          

Οι αναμενόμενοι χρόνοι  για τις τρεις δυνατές ενέργειες δίνονται από τις ακόλουθες εξισώσεις (4.28)-(4.30).

                                                                                (4.28)

                                                                        (4.29)

      	                                                    (4.30)

Αν σε μία κατάσταση  επιλέξουμε την ενέργεια  ή την ενέργεια  οι εκφράσεις για τα αναμενόμενα κόστη  είναι περισσότερο πολύπλοκες. Αν θέσουμε σε λειτουργία μία προληπτική συντήρηση  ή μία επισκευή  τα αναμενόμενα κόστη  αποτελούνται από τα αναμενόμενα κόστη  της προληπτικής συντήρησης ή της επισκευής, τα αναμενόμενα κόστη  εξαιτίας της έλλειψης του υλικού στον αποθηκευτικό χώρο και τα αναμενόμενα κόστη  της αποθήκευσης του υλικού στον αποθηκευτικό χώρο. Οι ποσότητες αυτές δίνονται από τις ακόλουθες εξισώσεις (4.31)-(4.33) στην περίπτωση κατά την οποία θέτουμε σε λειτουργία μία επισκευή, δηλαδή επιλέγουμε την ενέργεια  Με αντικατάσταση του  με   του  με  και του  με  στις εξισώσεις (4.31)-(4.33), προκύπτουν οι αντίστοιχες εκφράσεις για την περίπτωση κατά την οποία θέτουμε σε λειτουργία μία προληπτική συντήρηση, δηλαδή επιλέγουμε την ενέργεια  Για τους παρακάτω υπολογισμούς δεσμευόμαστε ως προς τη χρονική διάρκεια μιας προληπτικής συντήρησης  ή μιας επισκευής  του μηχανισμού. Κάθε μία από τις τρεις παρακάτω εξισώσεις είναι αποτέλεσμα συλλογισμών παρόμοιων με αυτούς που οδηγούν στην εξίσωση (4.7). Στις σελ. 82-85 της παρούσας διατριβής περιέχεται μία λεπτομερής περιγραφή του τρόπου με τον οποίον εξάγεται η σχέση (4.7).     
 
                                                                         (4.31)

                                                             (4.32)
     (4.33)    

Τα αναμενόμενα κόστη  για τις τρεις δυνατές ενέργειες δίνονται από τις ακόλουθες εξισώσεις (4.34)-(4.37).

                    (4.34)

             (4.35)            

                                                                  (4.36)

                                                                                              (4.37)

Παρατηρούμε ότι στις εξισώσεις (4.36) και (4.37), οι οποίες αντιστοιχούν στην ενέργεια  τα αναμενόμενα κόστη  αποτελούνται από τα κόστη της λειτουργίας του μηχανισμού και τα κόστη της αποθήκευσης του υλικού στον αποθηκευτικό χώρο.  

4.8 Ένας αλγόριθμος όταν οι χρόνοι προληπτικής συντήρησης και επισκευής είναι συνεχείς τυχαίες μεταβλητές   
   Στο μοντέλο του Εδαφίου 4.4 υποθέτουμε ότι οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού είναι τυχαίες μεταβλητές που ακολουθούν τη Γεωμετρική κατανομή. Σύμφωνα με την Πρόταση 4.2, αν ισχύουν οι Συνθήκες 1-4, 6 και 7, για κάθε σταθερό περιεχόμενο του αποθηκευτικού χώρου, η βέλτιστη πολιτική είναι μονότονη διότι θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή. 
   Στο μοντέλο του Εδαφίου 4.7 υποθέτουμε ότι οι απαιτούμενοι χρόνοι για μία προληπτική συντήρηση και μία επισκευή του μηχανισμού είναι συνεχείς τυχαίες μεταβλητές. Φαίνεται διαισθητικά λογικό ότι, αν ισχύουν οι Συνθήκες 1, 2, 4, 6, 7 και η Συνθήκη 3*, για κάθε σταθερό περιεχόμενο του αποθηκευτικού χώρου, η βέλτιστη πολιτική είναι επίσης μονότονη. Μία αναλυτική απόδειξη αυτής της εικασίας φαίνεται δύσκολη. Είναι ωστόσο δυνατόν να υπολογίσουμε τη βέλτιστη πολιτική με εφαρμογή του αλγορίθμου βελτίωσης των πολιτικών, του αλγορίθμου των διαδοχικών προσεγγίσεων και της μεθόδου του γραμμικού προγραμματισμού. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι, για κάθε σταθερό περιεχόμενο   του αποθηκευτικού χώρου, η βέλτιστη πολιτική είναι πράγματι μονότονη διότι θέτει σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή        
   Ο αλγόριθμος που παρουσιάσαμε στο Εδάφιο 4.5 για το μοντέλο του Εδαφίου 4.4, μπορεί επίσης να σχεδιαστεί για το μοντέλο του Εδαφίου 4.7. Είναι ένας κατάλληλος αλγόριθμος βελτίωσης των πολιτικών ο οποίος εφαρμόζεται στο σύνολο των μονότονων πολιτικών και παράγει μία ακολουθία αυστηρά βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Για κάθε σταθερό περιεχόμενο   του αποθηκευτικού χώρου, ο αλγόριθμος παράγει πολιτικές οι οποίες θέτουν σε λειτουργία μία προληπτική συντήρηση αν και μόνο αν ο βαθμός επιδείνωσης του μηχανισμού είναι μεγαλύτερος ή ίσος με μία κρίσιμη τιμή  Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι η βέλτιστη πολιτική διότι συμπίπτει με την τελική πολιτική που δίνει ο αλγόριθμος βελτίωσης των πολιτικών και ο αλγόριθμος των διαδοχικών προσεγγίσεων. Ο σχεδιασμός του αλγορίθμου βασίζεται στην τεχνική εμφύτευσης του Tijms (βλέπε σελ. 234 του βιβλίου του Tijms (1994)) και παρουσιάζεται παρακάτω.
   Έστω μία μονότονη πολιτική  η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   Αν η μονότονη πολιτική  υιοθετηθεί για τον έλεγχο του συστήματος, τότε το σύστημα είναι δυνατόν να μεταβεί σε κάποια κατάσταση του συνόλου των καταστάσεων:

από οποιαδήποτε αρχική κατάσταση  
   Έστω  το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου υπό τον έλεγχο της πολιτικής  και  ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, μέχρι την πρώτη είσοδο του συστήματος στο σύνολο  αν η αρχική κατάσταση είναι η κατάσταση  Έστω επίσης   η πιθανότητα η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  να είναι η κατάσταση  δοθέντος ότι η πολιτική  έχει υιοθετηθεί για τον έλεγχο του συστήματος και η αρχική κατάσταση είναι η κατάσταση  Υποθέτουμε ότι, αν η αρχική κατάσταση του συστήματος είναι μία κατάσταση  τότε η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  είναι η κατάσταση στην οποία μεταβαίνει το σύστημα στην επόμενη επιστροφή του στο σύνολο 
   Έστω  οι σχετικές τιμές της πολιτικής  (βλέπε σελ. 25 της παρούσας διατριβής). Σύμφωνα με τη σχέση (3.6.1) στη σελ. 235 του βιβλίου του Tijms (1994) οι σχετικές τιμές  ικανοποιούν το ακόλουθο σύστημα των γραμμικών εξισώσεων:

                                                                            (4.38)

μαζί με την εξίσωση

                                                                                                                              (4.39) 
  
   Οι ποσότητες  και   μπορούν να υπολογιστούν εύκολα αν λάβουμε υπόψη τις μεταβάσεις του συστήματος υπό τον έλεγχο της μονότονης πολιτικής  και χρησιμοποιήσουμε διάφορες μορφές του Θεωρήματος Ολικής Πιθανότητας. Παρακάτω παρουσιάζουμε κάποιες από αυτές τις εκφράσεις.

    

      

          

   Οι σχετικές τιμές   και το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  μπορούν να υπολογιστούν επιλύνοντας το ακόλουθο σύστημα των γραμμικών εξισώσεων:

                                                                               (4.40)                                                     

και την εξίσωση (4.39). Η ποσότητα  ορίζεται ως εξής:

        (4.41)             

όπου,  είναι η πιθανότητα η επόμενη κατάσταση του συστήματος να είναι η κατάσταση  αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  και   είναι ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, για τη μετάβαση του συστήματος στην επόμενη κατάσταση, αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  Οι πιθανότητες μετάβασης  δίνονται από τις εξισώσεις (4.22)-(4.27), οι αναμενόμενοι χρόνοι  δίνονται από τις εξισώσεις (4.28)-(4.30) και τα αναμενόμενα κόστη  δίνονται από τις εξισώσεις (4.34)-(4.37). 
   Υποθέτουμε ότι για κάποιο περιεχόμενο   του αποθηκευτικού χώρου, υπάρχει ένας ακέραιος αριθμός  τέτοιος ώστε  και   Τότε, σύμφωνα με το Θεώρημα 2.7 για τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων (βλέπε (ε) στη σελ. 28 της παρούσας διατριβής), το μακροπρόθεσμο αναμενόμενο μέσο κόστος υπό τον έλεγχο της μονότονης πολιτικής η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  είναι μικρότερο από 
   Παρόμοια, αν για κάποιο περιεχόμενο   του αποθηκευτικού χώρου, υπάρχει ένας ακέραιος αριθμός  τέτοιος ώστε  και   τότε, σύμφωνα πάλι με το Θεώρημα 2.7 για τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων, το μακροπρόθεσμο αναμενόμενο μέσο κόστος υπό τον έλεγχο της μονότονης πολιτικής η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   είναι μικρότερο από 
   Οι παραπάνω παρατηρήσεις μας οδηγούν στο σχεδιασμό του ακόλουθου αλγορίθμου ο οποίος παράγει μία ακολουθία αυστηρά βελτιωμένων μονότονων πολιτικών. 
  
Αλγόριθμος
Βήμα 1. (Έναρξη). Επιλέγουμε μία αρχική μονότονη πολιτική  η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  
Βήμα 2. (Εύρεση σχετικών τιμών και μέσου κόστους). Για τη μονότονη πολιτική  υπολογίζουμε το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου και τις σχετικές τιμές   επιλύνοντας το σύστημα των γραμμικών εξισώσεων (4.39), (4.40).
Βήμα 3. (Βελτίωση των πολιτικών). Για κάθε σταθερό περιεχόμενο   του αποθηκευτικού χώρου:
(α) Βρίσκουμε, αν υπάρχει, το μικρότερο ακέραιο αριθμό  τέτοιο ώστε  και   
διαφορετικά,
(β) βρίσκουμε, αν υπάρχει, το μεγαλύτερο ακέραιο αριθμό  τέτοιο ώστε  και  
Οι ποσότητες  και  δίνονται από την εξίσωση (4.41). Οι σχετικές τιμές   υπολογίζονται από την εξίσωση (4.38).
Αντικαθιστούμε την κρίσιμη τιμή  με την κρίσιμη τιμή  για εκείνες τις τιμές του   για τις οποίες είναι δυνατόν να βρούμε μία κρίσιμη τιμή  και επιστρέφουμε στο Βήμα 2.
Βήμα 4. (Κριτήριο Σύγκλισης). Αν δεν είναι δυνατόν να βρεθεί καμία κρίσιμη τιμή  ο αλγόριθμος σταματά. Η τελική πολιτική που παράγει ο αλγόριθμος είναι η πολιτική  με μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου.   

Ο αλγόριθμος παράγει μία ακολουθία αυστηρά βελτιωμένων μονότονων πολιτικών και σταματά μετά από ένα πεπερασμένο αριθμό επαναλήψεων διότι το σύνολο των μονότονων πολιτικών είναι πεπερασμένο. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι η βέλτιστη πολιτική διότι συμπίπτει με την τελική πολιτική που δίνει ο αλγόριθμος βελτίωσης των πολιτικών και ο αλγόριθμος των διαδοχικών προσεγγίσεων. Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου είναι κατά πολύ μικρότερος από τον απαιτούμενο υπολογιστικό χρόνο για την εκτέλεση του αλγορίθμου βελτίωσης των πολιτικών. Αυτό οφείλεται στο γεγονός ότι ο αριθμός των αγνώστων στο σύστημα των γραμμικών εξισώσεων του Βήματος 2 του αλγορίθμου είναι ίσος με τον αριθμό των στοιχείων του συνόλου  ενώ ο αριθμός των αγνώστων στο σύστημα των γραμμικών εξισώσεων του αντίστοιχου βήματος της εύρεσης των σχετικών τιμών και του μέσου κόστους στον αλγόριθμο βελτίωσης των πολιτικών είναι ίσος με τον αριθμό των στοιχείων του χώρου καταστάσεων  Από πολλά αριθμητικά παραδείγματα που έχουμε εξετάσει συμπεραίνουμε επίσης ότι, ο αριθμός των επαναλήψεων του αλγορίθμου δεν επηρεάζεται ιδιαίτερα από την αρχική μονότονη πολιτική που επιλέγουμε κατά την έναρξη του αλγορίθμου στο Βήμα 1.

   Δύο αριθμητικά παραδείγματα παρουσιάζονται παρακάτω. Στο πρώτο παράδειγμα θεωρούμε την περίπτωση κατά την οποία           Υποθέτουμε ότι οι μη-μηδενικές πιθανότητες μετάβασης   είναι τέτοιες ώστε: 

Αυτό σημαίνει ότι αν ο παρών βαθμός επιδείνωσης του μηχανισμού είναι ίσος με  τότε ο επόμενος βαθμός επιδείνωσης κατανέμεται ομοιόμορφα στο σύνολο  Οι πιθανότητες μετάβασης ικανοποιούν τη Συνθήκη 7 διότι, για κάθε  η ποσότητα: 

είναι αύξουσα ως προς   Υποθέτουμε ότι ο απαιτούμενος χρόνος για μία προληπτική συντήρηση του μηχανισμού είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Γάμα με παραμέτρους  και  Υποθέτουμε επίσης ότι ο απαιτούμενος χρόνος για μία επισκευή του μηχανισμού είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Γάμα με παραμέτρους  και  Οι συναρτήσεις πυκνότητας πιθανότητας δίνονται από τις εξισώσεις:

   και    

αντίστοιχα, όπου,  είναι η συνάρτηση Γάμα. Θεωρούμε ότι   και   Η Συνθήκη 3* ισχύει διότι η αναμενόμενη τιμή της κατανομής Γάμα με παραμέτρους  και  είναι ίση με  Θεωρούμε ότι  έτσι ώστε το διάστημα  διαιρείται σε  τμήματα. Ως αρχική μονότονη πολιτική στο Βήμα 1 του αλγορίθμου επιλέγουμε την πολιτική η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   Στον Πίνακα 4.2 παρουσιάζονται οι διαδοχικές μονότονες πολιτικές που παράγει ο αλγόριθμος και τα αντίστοιχα μακροπρόθεσμα αναμενόμενα μέσα κόστη τους ανά μονάδα χρόνου.

Πίνακας 4.2. Οι διαδοχικές μονότονες πολιτικές

Οι κρίσιμες τιμές   των πολιτικών                                               Μέσο κόστος
                                                                                                                2.2381

                                                                   1.9033

 
                                                                1.7970

 

                                                               1.7966

 

Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου ήταν 30.4 δευτερόλεπτα ενώ ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγόριθμου βελτίωσης των πολιτικών ήταν 59.2 δευτερόλεπτα.
   Στο δεύτερο παράδειγμα θεωρούμε την περίπτωση κατά την οποία        Υποθέτουμε ότι τα κόστη της λειτουργίας    και οι μη-μηδενικές πιθανότητες μετάβασης   συμπίπτουν με το πρώτο παράδειγμα. Υποθέτουμε ότι ο απαιτούμενος χρόνος για μία προληπτική συντήρηση του μηχανισμού είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Weibull με παραμέτρους  και  Υποθέτουμε επίσης ότι ο απαιτούμενος χρόνος για μία επισκευή του μηχανισμού είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Weibull με παραμέτρους  και  Οι συναρτήσεις πυκνότητας πιθανότητας δίνονται από τις εξισώσεις:

   και    

αντίστοιχα. Θεωρούμε ότι   και  Η Συνθήκη 3* ισχύει διότι η αναμενόμενη τιμή της κατανομής Weibull με παραμέτρους  και  είναι ίση με  όπου,  είναι η συνάρτηση Γάμα. Θεωρούμε πάλι ότι  έτσι ώστε το διάστημα  διαιρείται σε  τμήματα. Ως αρχική μονότονη πολιτική στο Βήμα 1 του αλγορίθμου επιλέγουμε την πολιτική η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   Ο αλγόριθμος σταματά μετά από πέντε επαναλήψεις. Η τελική πολιτική που παράγει ο αλγόριθμος είναι η βέλτιστη πολιτική και χαρακτηρίζεται από τις ακόλουθες κρίσιμες τιμές   

Το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου για τη βέλτιστη πολιτική βρέθηκε ίσο με 0.46. Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου ήταν 36.9 δευτερόλεπτα ενώ ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγόριθμου βελτίωσης των πολιτικών ήταν 72.7 δευτερόλεπτα.

Σημείωση 4.3. Από τα δύο παραπάνω αριθμητικά παραδείγματα αλλά και από πολλά άλλα παραδείγματα που έχουμε εξετάσει υπάρχει ισχυρή ένδειξη ότι, για κάθε σταθερό περιεχόμενο   του αποθηκευτικού χώρου, η κρίσιμη τιμή  η οποία, χαρακτηρίζει τη μονότονη μορφή της βέλτιστης πολιτικής, είναι φθίνουσα ως προς    

   

    

ΚΕΦΑΛΑΙΟ 5
Ένας αλγόριθμος για τον υπολογισμό της βέλτιστης πολιτικής επισκευής ή  αντικατάστασης ενός συστήματος

5.1 Εισαγωγή
   Ένας μεγάλος αριθμός στοχαστικών μοντέλων έχουν επινοηθεί για να περιγράψουν τη συμπεριφορά ενός συστήματος το οποίο επιδεινώνεται με την πάροδο του χρόνου και η λειτουργία του διακόπτεται εξαιτίας ενδεχόμενων βλαβών. Μία ενέργεια η οποία μπορεί να ελέγξει την κατάσταση του συστήματος είναι μία επισκευή του. Μία άλλη ενέργεια είναι η αντικατάσταση του συστήματος από ένα καινούργιο σύστημα. Στα περισσότερα από αυτά τα μοντέλα (βλέπε π.χ. Barlow and Proschan (1965), Pierskala and Voelker (1976), Nakagawa and Kowada (1983), Phelps (1981, 1983)) οι ερευνητές υπέθεσαν ότι υπάρχουν δύο μόνο είδη επισκευής του συστήματος, η τέλεια επισκευή και η ελάχιστη επισκευή. Η τέλεια επισκευή επαναφέρει το σύστημα σε αρίστη κατάσταση ενώ η ελάχιστη επισκευή αποκαθιστά μερικώς το σύστημα και το επαναφέρει στην κατάσταση στην οποία βρισκόταν λίγο πριν υποστεί μία βλάβη. 
   Οι Kijima et al. (1988) μελέτησαν ένα γενικότερο μοντέλο στο οποίο μία επισκευή είναι δυνατόν να επαναφέρει το σύστημα σε μία ενδιάμεση κατάσταση ανάμεσα στην αρίστη και σε αυτήν στην οποία βρισκόταν λίγο πριν υποστεί μία βλάβη. Στο μοντέλο των Kijima et al. η τέλεια και η ελάχιστη επισκευή είναι δύο ειδικές περιπτώσεις. Υπέθεσαν ότι τα κόστη της επισκευής και της αντικατάστασης είναι σταθερά και θεώρησαν ότι το σύστημα μπορεί να αντικατασταθεί περιοδικά μόνο σε προκαθορισμένες χρονικές στιγμές   και να επισκευαστεί οποτεδήποτε έχει υποστεί μία βλάβη. Κύριος στόχος της εργασίας είναι η εύρεση της τιμής της περιόδου  η οποία ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου. Για το σκοπό αυτό πρότειναν μία προσεγγιστική μέθοδο.
   Οι Makis and Jardine (1993) γενίκευσαν το μοντέλο των Kijima et al. κατασκευάζοντας μία κατάλληλη ημι-Μαρκοβιανή διαδικασία αποφάσεων. Θεώρησαν ότι σε κάθε χρονική στιγμή κατά την οποία το σύστημα έχει υποστεί μία βλάβη, μία επισκευή ή μία αντικατάστασή του είναι δυνατές. Ένας διδιάστατος άπειρος χώρος καταστάσεων χρησιμοποιήθηκε στον οποίον η κατάσταση της διαδικασίας αποτελείται από τον αριθμό των βλαβών που έχει υποστεί το σύστημα και από την ηλικία του. Ο αριθμός των βλαβών είναι μία διακριτή μεταβλητή ενώ η ηλικία του συστήματος είναι μία συνεχής μεταβλητή. Υπέθεσαν ότι το κόστος της αντικατάστασης είναι σταθερό και ότι το κόστος της επισκευής εξαρτάται από τον αριθμό των βλαβών που έχει υποστεί το σύστημα και από την ηλικία του. Όρισαν κατάλληλες συνθήκες οι οποίες αφορούν το ρυθμό επιδείνωσης (failure rate) του συστήματος και τα κόστη της επισκευής και της αντικατάστασής του. Μία πολιτική είναι ένας κανόνας επιλογής ενεργειών σε κάθε χρονική στιγμή κατά την οποία το σύστημα έχει υποστεί μία βλάβη και μία επισκευή ή μία αντικατάστασή του είναι δυνατές. Οι Makis and Jardine απέδειξαν ότι η στάσιμη πολιτική η οποία ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου είναι μονότονη διότι αντικαθιστά το σύστημα όταν έχει υποστεί την οστή βλάβη αν και μόνο αν η ηλικία του είναι μεγαλύτερη ή ίση με μία κρίσιμη τιμή η οποία εξαρτάται από τον αριθμό        
   Οι Love et al. (2000) προσέγγισαν την ημι-Μαρκοβιανή διαδικασία αποφάσεων των Makis and Jardine με μία ημι-Μαρκοβιανή διαδικασία αποφάσεων με πεπερασμένο και διακριτό χώρο καταστάσεων αποκόπτοντας τον άπειρο χώρο καταστάσεων και μετατρέποντας τη συνεχή μεταβλητή της ηλικίας του συστήματος σε μία διακριτή μεταβλητή. Υπολόγισαν τις πιθανότητες μετάβασης και τους αναμενόμενους χρόνους της ημι-Μαρκοβιανής διαδικασίας αποφάσεων με τον πεπερασμένο χώρο καταστάσεων και σχεδίασαν έναν αλγόριθμο ο οποίος παράγει μία ακολουθία αυστηρά βελτιωμένων μονότονων πολιτικών. Στην τελευταία παράγραφο του Εδαφίου 3 της εργασίας τους αναφέρουν ότι ο αλγόριθμος υπολογίζει τη βέλτιστη μονότονη πολιτική. Για τον ισχυρισμό αυτόν, όπως θα εξηγήσουμε στο Εδάφιο 5.3, δεν υπάρχει μία αυστηρή απόδειξη αν και πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι είναι αληθινός.
   Κύριος στόχος του παρόντος κεφαλαίου είναι να βελτιώσουμε τον αλγόριθμο των Love et al. προτείνοντας έναν κατάλληλο αλγόριθμο βελτίωσης των πολιτικών ο οποίος βασίζεται στην τεχνική εμφύτευσης του Tijms (1994). Στο παρόν πρόβλημα ο υπολογισμός όλων των απαραίτητων ποσοτήτων για την εφαρμογή αυτής της τεχνικής είναι εφικτός. Η τεχνική εμφύτευσης του Tijms ελαττώνει σημαντικά τους υπολογισμούς για την εύρεση των σχετικών τιμών και του μέσου κόστους των μονότονων πολιτικών, οι οποίοι έχουν αυξηθεί σημαντικά εξαιτίας της μετατροπής της ηλικίας του συστήματος σε μία διακριτή μεταβλητή.           
   Στο επόμενο εδάφιο περιγράφουμε το πρόβλημα και παρουσιάζουμε τη σχετική ημι-Μαρκοβιανή διαδικασία αποφάσεων με τον πεπερασμένο χώρο καταστάσεων. Στο Εδάφιο 5.3 σχεδιάζουμε έναν κατάλληλο αλγόριθμο βελτίωσης των πολιτικών εφαρμόζοντας την τεχνική εμφύτευσης του Tijms. Στο Εδάφιο 5.4 παρουσιάζουμε δύο αριθμητικά παραδείγματα στα οποία ο χρόνος ζωής ενός νέου συστήματος ακολουθεί την κατανομή Γάμα και την κατανομή Weibull, αντίστοιχα.
   Τα αποτελέσματα των Εδαφίων 5.2-5.4 περιλαμβάνονται στην εργασία των Dimitrakos and Kyriakidis (2005a) η οποία έχει υποβληθεί προς δημοσίευση.

5.2 Κατασκευή του μοντέλου  
   Θεωρούμε ένα σύστημα το οποίο επιδεινώνεται με την πάροδο του χρόνου και η λειτουργία του διακόπτεται εξαιτίας ενδεχόμενων βλαβών. Σε κάθε χρονική στιγμή κατά την οποία το σύστημα έχει υποστεί μία βλάβη η κατάστασή του μπορεί να αναπαρασταθεί από το ζεύγος των μεταβλητών  όπου  είναι η οστή βλάβη και  είναι η ηλικία του συστήματος τη χρονική στιγμή της οστής βλάβης. Ο χώρος καταστάσεων είναι το ακόλουθο σύνολο:

Έστω  ο μέγιστος αριθμός των βλαβών που μπορεί να υποστεί το σύστημα πριν από μία αντικατάστασή του και έστω  ένα άνω φράγμα για την ηλικία του. Ακολουθώντας τους Love et al. (2000) μετατρέπουμε τη συνεχή μεταβλητή  σε μία διακριτή μεταβλητή ως εξής. Ο άξονας της ηλικίας διαιρείται σε ένα σύνολο ισομηκών ηλικιακών τμημάτων (age slices) και θεωρούμε ότι η οστή βλάβη συμβαίνει στο ηλικιακό τμήμα  Εισάγουμε την παράμετρο  η οποία ορίζεται ως ο αριθμός των ηλικιακών τμημάτων σε μία μονάδα του χρόνου για να συσχετίσουμε το ηλικιακό τμήμα  με την ηλικία  Αν η οστή βλάβη συμβεί στο ηλικιακό τμήμα  υποθέτουμε ότι η ηλικία  του συστήματος τη χρονική στιγμή της οστής βλάβης βρίσκεται ανάμεσα στους αριθμούς  και   
   Από εδώ και στο εξής παραλείπουμε το δείκτη  στα ηλικιακά τμήματα  και τα αναπαριστούμε απλά με  Ο χώρος καταστάσεων  προσεγγίζεται από το ακόλουθο πεπερασμένο και διακριτό σύνολο:

όπου,  Παρατηρούμε ότι μπορούμε να αυξήσουμε την ακρίβεια της προσέγγισης αυξάνοντας τις τιμές των  και 
   Στις χρονικές στιγμές κατά τις οποίες το σύστημα έχει υποστεί μία βλάβη, μία ενέργεια  μπορεί να επιλεγεί. Το σύστημα μπορεί να επισκευαστεί  ή να αντικατασταθεί  από ένα καινούργιο σύστημα. Υποθέτουμε ότι μία επισκευή και μία αντικατάσταση του συστήματος πραγματοποιούνται σε αμελητέο χρόνο. 
   Αν σε κάποια χρονική στιγμή το σύστημα βρεθεί σε μία από τις καταστάσεις   και   η αντικατάστασή του είναι υποχρεωτική και επαναφέρει το σύστημα σε μία από τις καταστάσεις  όπου  Αν σε κάποια χρονική στιγμή το σύστημα βρεθεί σε μία από τις καταστάσεις    έχει υποστεί την οστή βλάβη και αποφασιστεί να επισκευαστεί, τότε μεταβαίνει σε μία από τις καταστάσεις  όπου  Αν σε κάποια χρονική στιγμή το σύστημα βρεθεί σε μία από τις καταστάσεις    έχει υποστεί την οστή βλάβη και αποφασιστεί να αντικατασταθεί, τότε μεταβαίνει σε μία από τις καταστάσεις  όπου 
   Υποθέτουμε ότι μία αντικατάσταση του συστήματος από ένα καινούργιο σύστημα επιφέρει ένα σταθερό κόστος ίσο με  Αν σε κάποια χρονική στιγμή το σύστημα βρεθεί σε μία κατάσταση  και έχει υποστεί την οστή βλάβη τότε μία επισκευή του επιφέρει ένα κόστος ίσο με  Υποθέτουμε επίσης ότι η συνάρτηση του κόστους επισκευής  είναι αύξουσα ως προς  και ως προς 
   Έστω   ο χρόνος που μεσολαβεί μεταξύ της οστής και της οστής βλάβης του συστήματος. Έστω επίσης  η συνάρτηση πυκνότητας πιθανότητας και  η συνάρτηση κατανομής, αντίστοιχα, του χρόνου μέχρι το σύστημα να υποστεί την πρώτη βλάβη. Σύμφωνα με τις εργασίες των Kijima et al. (1988), Makis and Jardine (1993) και Love et al. (2000), αν το σύστημα βρεθεί στην κατάσταση    και επιλεγεί η ενέργεια  η ουσιαστική ηλικία (virtual age) του συστήματος μετά από την επισκευή του, θεωρείται ότι είναι ίση με  όπου  και η συνάρτηση πυκνότητας πιθανότητας του  είναι:

όπου,   Σημειώνουμε ότι η παράμετρος  αναπαριστά το βαθμό επισκευής. Αν  η ουσιαστική ηλικία του συστήματος μετά από την οστή επισκευή του είναι ίση με την ηλικία του. Αυτό σημαίνει ότι στην περίπτωση αυτή πραγματοποιείται μία ελάχιστη επισκευή του συστήματος. Αν  η ουσιαστική ηλικία του συστήματος είναι αυστηρά μικρότερη από την ηλικία  Αυτό σημαίνει ότι στην περίπτωση αυτή μία επισκευή ανανεώνει το σύστημα στο βαθμό που καθορίζεται από την τιμή του 
   Θεωρούμε μία ημι-Μαρκοβιανή διαδικασία αποφάσεων με χώρο καταστάσεων  και αναζητούμε τη στάσιμη πολιτική η οποία, για οποιαδήποτε αρχική κατάσταση του συστήματος, ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου.
   Έστω  η πιθανότητα η επόμενη κατάσταση της διαδικασίας να είναι η κατάσταση  αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  Έστω επίσης  ο αναμενόμενος χρόνος για τη μετάβαση της διαδικασίας στην επόμενη κατάσταση αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  Οι πιθανότητες μετάβασης δίνονται από τις ακόλουθες εξισώσεις (5.1)-(5.4).

                                                   (5.1)

                                                                          (5.2)

                                                    (5.3)

                                                         (5.4)

Παρατηρούμε ότι στις εξισώσεις (5.2) και (5.4) έχουμε ενοποιήσει όλες τις περιπτώσεις κατά τις οποίες  στις καταστάσεις  και  αντίστοιχα, έτσι ώστε οι βλάβες που συμβαίνουν σε ηλικιακά τμήματα μεγαλύτερα του  τίθενται στο 
   Οι αναμενόμενοι χρόνοι δίνονται από τις ακόλουθες εξισώσεις (5.5) και (5.6) για τις δύο δυνατές ενέργειες της αντικατάστασης και της επισκευής, αντίστοιχα.

                                                                            (5.5)

                                                                (5.6)

Επισημαίνουμε ότι, υπό τον έλεγχο οποιασδήποτε στάσιμης πολιτικής, το σύστημα είναι δυνατόν να μεταβεί στην κατάσταση  από οποιαδήποτε αρχική κατάσταση  Επομένως, σύμφωνα με το Πόρισμα 6.20 στη σελ. 149 του βιβλίου του Ross (1992), υπάρχει μία βέλτιστη στάσιμη πολιτική διότι ο χώρος καταστάσεων  του συστήματος είναι πεπερασμένος. Οι Makis and Jardine (1993) απέδειξαν ότι, αν η συνάρτηση  και ο ρυθμός επιδείνωσης του συστήματος ικανοποιούν κάποιες κατάλληλες συνθήκες, η βέλτιστη πολιτική είναι μονότονη διότι αντικαθιστά το σύστημα όταν έχει υποστεί την οστή βλάβη,  αν και μόνο αν το αντίστοιχο ηλικιακό τμήμα  είναι μεγαλύτερο ή ίσο με μία κρίσιμη τιμή  Απέδειξαν επίσης ότι:      

5.3 Ο αλγόριθμος
   Η βέλτιστη πολιτική μπορεί να υπολογιστεί με εφαρμογή του αλγορίθμου βελτίωσης των πολιτικών, του αλγορίθμου των διαδοχικών προσεγγίσεων και της μεθόδου του γραμμικού προγραμματισμού. Για μία λεπτομερή περιγραφή των αλγορίθμων με διάφορες εφαρμογές τους παραπέμπουμε στο Κεφάλαιο 3 του βιβλίου του Tijms (1994). Είναι ωστόσο δυνατόν να σχεδιάσουμε έναν κατάλληλο αλγόριθμο βελτίωσης των πολιτικών ο οποίος εφαρμόζεται στο σύνολο των μονότονων πολιτικών και παράγει μία ακολουθία αυστηρά βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Ο αλγόριθμος παράγει πολιτικές τέτοιες ώστε για κάθε τιμή του   και δοθέντος ενός βαθμού επισκευής   αντικαθιστούν το σύστημα αν και μόνο αν το αντίστοιχο ηλικιακό τμήμα του είναι μεγαλύτερο ή ίσο με μία κρίσιμη τιμή  Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι η βέλτιστη πολιτική διότι συμπίπτει με την τελική πολιτική που δίνει ο αλγόριθμος βελτίωσης των πολιτικών και ο αλγόριθμος των διαδοχικών προσεγγίσεων. Ο σχεδιασμός του αλγορίθμου βασίζεται στην τεχνική εμφύτευσης του Tijms (βλέπε σελ. 234 του βιβλίου του Tijms (1994)). 
   Στη συνέχεια θα περιγράψουμε το σχεδιασμό του αλγορίθμου. Θεωρούμε μία μονότονη πολιτική  η οποία, για κάθε τιμή του αριθμού των βλαβών   και δοθέντος ενός βαθμού επισκευής  χαρακτηρίζεται από τις κρίσιμες τιμές   Αν η μονότονη πολιτική  υιοθετηθεί για τον έλεγχο του συστήματος, τότε το σύστημα είναι δυνατόν να μεταβεί σε κάποια κατάσταση του συνόλου των καταστάσεων:

από οποιαδήποτε αρχική κατάσταση  Έστω  το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου υπό τον έλεγχο της πολιτικής  και,  ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, μέχρι την πρώτη είσοδο του συστήματος στο σύνολο  αν η αρχική κατάσταση είναι η κατάσταση  και η πολιτική  έχει υιοθετηθεί για τον έλεγχο του συστήματος. Έστω επίσης  η πιθανότητα η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  να είναι η κατάσταση  δοθέντος ότι η πολιτική  έχει υιοθετηθεί για τον έλεγχο του συστήματος και η αρχική κατάσταση είναι η κατάσταση  Υποθέτουμε ότι, αν η αρχική κατάσταση του συστήματος είναι μία κατάσταση  τότε η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  είναι η κατάσταση στην οποία μεταβαίνει το σύστημα στην επόμενη επιστροφή του στο σύνολο 
   Σύμφωνα με τη σχέση (3.6.1) στη σελ. 235 του βιβλίου του Tijms (1994), οι σχετικές τιμές   της πολιτικής  ικανοποιούν το ακόλουθο σύστημα των γραμμικών εξισώσεων:

                                                                                 (5.7)

                                                                                                                                 (5.8)

Οι ποσότητες   και    μπορούν να υπολογιστούν αν λάβουμε υπόψη τις μεταβάσεις του συστήματος υπό τον έλεγχο της μονότονης πολιτικής  και χρησιμοποιήσουμε διάφορες μορφές του Θεωρήματος Ολικής Πιθανότητας. Οι εκφράσεις για τις ποσότητες αυτές δίνονται παρακάτω.

   

   

             (5.9)

      

   Θα εξηγήσουμε αναλυτικά τον τρόπο με τον οποίο εξάγεται η σχέση (5.9). Οι υπόλοιπες παραπάνω σχέσεις προκύπτουν με παρόμοιο τρόπο. Υποθέτουμε ότι η αρχική κατάσταση του συστήματος είναι η κατάσταση    και η μονότονη πολιτική  η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  έχει υιοθετηθεί για τον έλεγχο του συστήματος. Για να είναι η κατάσταση   η πρώτη κατάσταση στην επόμενη επιστροφή του συστήματος στο σύνολο  πρέπει η ηλικία του συστήματος όταν υποστεί την οστή βλάβη να είναι μεγαλύτερη από  Η πιθανότητα του ενδεχομένου αυτού είναι:

                                                                                                                    (5.10)

Επομένως, 

                                                                                                                        (5.11)

όπου,  είναι η πιθανότητα η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  υπό τον έλεγχο της πολιτικής  να είναι η κατάσταση  δοθέντος ότι η αρχική κατάσταση του συστήματος είναι μία κατάσταση  
   Υποθέτουμε ότι η αρχική κατάσταση είναι η κατάσταση   Το σύστημα αντικαθίσταται και η ηλικία του όταν υποστεί την πρώτη βλάβη μπορεί να είναι μεγαλύτερη ή μικρότερη από  Αν η ηλικία του είναι μεγαλύτερη από  το σύστημα θα αντικατασταθεί ξανά. Η κατάσταση  είναι η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  μετά από μία αντικατάστασή του με πιθανότητα ίση με  Η κατάσταση  είναι η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  μετά από δύο αντικαταστάσεις του με πιθανότητα ίση με  όπου  Η κατάσταση  είναι η πρώτη κατάσταση κατά την είσοδο του συστήματος στο σύνολο  μετά από τρεις αντικαταστάσεις του με πιθανότητα ίση με  και ούτω κάθ’ εξής. Επομένως, προσθέτοντας όλες τις παραπάνω πιθανότητες, έχουμε ότι:

                                    (5.12)

Από τις σχέσεις (5.10)-(5.12) προκύπτει η έκφραση (5.9).
   Οι σχετικές τιμές   και το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  μπορούν να υπολογιστούν επιλύνοντας το ακόλουθο σύστημα των γραμμικών εξισώσεων:

                                                                               (5.13)

και την εξίσωση (5.8). 
   Θεωρούμε την ποσότητα  η οποία ορίζεται ως εξής:

                (5.14)                                                                                                                                                                                                                     

όπου,  είναι η πιθανότητα η επόμενη κατάσταση του συστήματος να είναι η κατάσταση  αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  και   είναι ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, για τη μετάβαση του συστήματος στην επόμενη κατάσταση, αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  Οι πιθανότητες μετάβασης  δίνονται από τις εξισώσεις (5.1)-(5.4) και οι αναμενόμενοι χρόνοι  δίνονται από τις εξισώσεις (5.5) και (5.6). Αν σε μία κατάσταση  επιλεγεί η ενέργεια  τότε  και αν επιλεγεί η ενέργεια  τότε 
   Υποθέτουμε ότι για κάποια τιμή του   υπάρχει μία κρίσιμη τιμή  τέτοια ώστε  και   Τότε, σύμφωνα με το Θεώρημα 2.7 για τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων (βλέπε (ε) στη σελ. 28 της παρούσας διατριβής), το μακροπρόθεσμο αναμενόμενο μέσο κόστος υπό τον έλεγχο της μονότονης πολιτικής η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  είναι μικρότερο από  Παρόμοια, αν για κάποια τιμή του   υπάρχει μία κρίσιμη τιμή  τέτοια ώστε  και   τότε, σύμφωνα πάλι με το Θεώρημα 2.7 για τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων, το μακροπρόθεσμο αναμενόμενο μέσο κόστος υπό τον έλεγχο της μονότονης πολιτικής η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  είναι μικρότερο από 
   Οι παραπάνω παρατηρήσεις μας οδηγούν στο σχεδιασμό του ακόλουθου αλγορίθμου ο οποίος παράγει μία ακολουθία αυστηρά βελτιωμένων μονότονων πολιτικών.

Αλγόριθμος 
Βήμα 1. (Έναρξη). Επιλέγουμε ένα άνω φράγμα  στον αριθμό των επισκευών του συστήματος, ένα άνω φράγμα  για τον αριθμό των ηλικιακών τμημάτων και ένα βαθμό επισκευής  Επιλέγουμε επίσης μία αρχική μονότονη πολιτική  η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   
Βήμα 2. (Εύρεση σχετικών τιμών και μέσου κόστους). Για τη μονότονη πολιτική  υπολογίζουμε το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου και τις σχετικές τιμές   επιλύνοντας το σύστημα των γραμμικών εξισώσεων (5.13) και (5.8).
Βήμα 3. (Βελτίωση των πολιτικών). Για κάθε 
(α) Βρίσκουμε, αν υπάρχει, το μικρότερο αριθμό  τέτοιο ώστε  και  
διαφορετικά,
(β) βρίσκουμε, αν υπάρχει, το μεγαλύτερο αριθμό  τέτοιο ώστε  και     
Οι ποσότητες  και  δίνονται από την εξίσωση (5.14). Οι σχετικές τιμές   υπολογίζονται από την εξίσωση (5.7).
Αντικαθιστούμε την κρίσιμη τιμή  με την κρίσιμη τιμή  για εκείνες τις τιμές του   για τις οποίες είναι δυνατόν να βρούμε μία κρίσιμη τιμή  και επιστρέφουμε στο Βήμα 2.
Βήμα 4. (Κριτήριο Σύγκλισης). Αν δεν είναι δυνατόν να βρεθεί καμία κρίσιμη τιμή   ο αλγόριθμος σταματά. Η τελική πολιτική που παράγει ο αλγόριθμος είναι η πολιτική  με μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου.

Ο αλγόριθμος παράγει μία ακολουθία αυστηρά βελτιωμένων μονότονων πολιτικών και σταματά μετά από ένα πεπερασμένο αριθμό επαναλήψεων διότι το σύνολο των μονότονων πολιτικών είναι πεπερασμένο. Διαφέρει από τον αλγόριθμο των Love et al. (βλέπε Εδάφιο 3 στην εργασία των Love et al. (2000)) στο Βήμα 2 της εύρεσης των σχετικών τιμών και του μέσου κόστους. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η τελική πολιτική που δημιουργεί ο αλγόριθμος είναι η βέλτιστη πολιτική διότι συμπίπτει με την τελική πολιτική που δίνει ο αλγόριθμος βελτίωσης των πολιτικών και ο αλγόριθμος των διαδοχικών προσεγγίσεων. Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου είναι κατά πολύ μικρότερος από τον απαιτούμενο υπολογιστικό χρόνο για την εκτέλεση του αλγορίθμου βελτίωσης των πολιτικών και τον απαιτούμενο υπολογιστικό χρόνο για την εκτέλεση του αλγορίθμου των Love et al. (2000). Αυτό οφείλεται στο γεγονός ότι ο αριθμός των αγνώστων στο σύστημα των γραμμικών εξισώσεων του Βήματος 2 του αλγορίθμου είναι ίσος με τον αριθμό των στοιχείων του συνόλου  ενώ ο αριθμός των αγνώστων στο σύστημα των γραμμικών εξισώσεων του αντίστοιχου βήματος της εύρεσης των σχετικών τιμών και του μέσου κόστους στον αλγόριθμο βελτίωσης των πολιτικών και στον αλγόριθμο των Love et al. είναι ίσος με τον αριθμό των στοιχείων του χώρου καταστάσεων  Από πολλά αριθμητικά παραδείγματα που έχουμε εξετάσει συμπεραίνουμε επίσης ότι, ο αριθμός των επαναλήψεων του αλγορίθμου δεν επηρεάζεται ιδιαίτερα από την αρχική μονότονη πολιτική που επιλέγουμε κατά την έναρξη του αλγορίθμου στο Βήμα 1.
   Οι Love et al. (2000) αναφέρουν ότι η τελική πολιτική του αλγορίθμου είναι η βέλτιστη πολιτική. Μία αυστηρή απόδειξη αυτού του ισχυρισμού φαίνεται δύσκολη, αν και πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι είναι αληθινός. Επισημαίνουμε ότι, σε διάφορα Μαρκοβιανά μοντέλα αποφάσεων (βλέπε π.χ. Federgruen and So (1989), Kyriakidis (1999b)) υπάρχει η δυνατότητα να αποδειχθεί ότι η τελική πολιτική που δημιουργούν παρόμοιοι κατάλληλοι αλγόριθμοι βελτίωσης των πολιτικών είναι η βέλτιστη πολιτική. Ο χώρος καταστάσεων αυτών των μοντέλων ήταν μονοδιάστατος και ήταν δυνατόν να αποδειχθεί ότι, υπό τον έλεγχο μιας μονότονης πολιτικής, το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου είναι μία μονοκόρυφη συνάρτηση ως προς την κρίσιμη τιμή. Μία συνέπεια αυτού του αποτελέσματος είναι το γεγονός ότι η τελική πολιτική του αλγορίθμου είναι η βέλτιστη πολιτική.

5.4 Αριθμητικά παραδείγματα     
   Θα παρουσιάσουμε δύο αριθμητικά παραδείγματα. Υποθέτουμε ότι ο χρόνος ζωής ενός νέου συστήματος είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Γάμα και την κατανομή Weibull, αντίστοιχα. Για τους τύπους των πιθανοτήτων μετάβασης (Εξισώσεις (5.1)-(5.4)) και των αναμενόμενων χρόνων (Εξισώσεις (5.5) και (5.6)) όπως διαμορφώνονται στα δύο παρακάτω παραδείγματα παραπέμπουμε στο Παράρτημα Α των Love et al. (2000).
   Στο πρώτο παράδειγμα υποθέτουμε ότι ο χρόνος ζωής ενός νέου συστήματος είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Γάμα με παραμέτρους  και  Η συνάρτηση πυκνότητας πιθανότητας του χρόνου μέχρι την πρώτη βλάβη του συστήματος έχει τύπο:

όπου,  είναι η συνάρτηση Γάμα. Θεωρούμε την περίπτωση κατά την οποία       Θεωρούμε επίσης ότι  και    Ως αρχική μονότονη πολιτική στο Βήμα 1 του αλγορίθμου επιλέγουμε την πολιτική η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   Στον Πίνακα 5.1 παρουσιάζονται οι διαδοχικές μονότονες πολιτικές που παράγει ο αλγόριθμος και τα αντίστοιχα μακροπρόθεσμα αναμενόμενα μέσα κόστη τους ανά μονάδα χρόνου. Τονίζουμε ότι για κάθε τιμή του   μία μονότονη πολιτική η οποία χαρακτηρίζεται από τις κρίσιμες τιμές  αντικαθιστά το σύστημα αν και μόνο αν η ηλικία του είναι μεγαλύτερη ή ίση με 

Πίνακας 5.1. Οι διαδοχικές μονότονες πολιτικές

Οι κρίσιμες τιμές   των πολιτικών                                                    Μέσο κόστος
                                                                                                                   3.1903

                                                                                 3.0291

                                                                               2.9026

                                                                               2.8996

Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου ήταν 16 δευτερόλεπτα ενώ ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου βελτίωσης των πολιτικών και του αλγορίθμου των Love et al., ήταν 50 και 44 δευτερόλεπτα, αντίστοιχα.            
   Στο δεύτερο παράδειγμα υποθέτουμε ότι ο χρόνος ζωής ενός νέου συστήματος είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Weibull με παραμέτρους  και  Η συνάρτηση πυκνότητας πιθανότητας του χρόνου μέχρι την πρώτη βλάβη του συστήματος έχει τύπο:

Θεωρούμε την περίπτωση κατά την οποία       Θεωρούμε επίσης ότι  και    Ως αρχική μονότονη πολιτική στο Βήμα 1 του αλγορίθμου επιλέγουμε την πολιτική η οποία χαρακτηρίζεται από τις κρίσιμες τιμές   Η βέλτιστη πολιτική που δημιουργεί ο αλγόριθμος χαρακτηρίζεται από τις κρίσιμες τιμές   έτσι ώστε αντικαθιστά το σύστημα αν η ηλικία του είναι μεγαλύτερη ή ίση με 2.4. Οι κρίσιμες τιμές  είναι ίδιες για κάθε τιμή του   διότι το κόστος της επισκευής του συστήματος είναι σταθερό ως προς  Το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου βρέθηκε ίσο με 2.08. Ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου ήταν 17 δευτερόλεπτα ενώ ο απαιτούμενος υπολογιστικός χρόνος για την εκτέλεση του αλγορίθμου βελτίωσης των πολιτικών και του αλγορίθμου των Love et al., ήταν 48 και 42 δευτερόλεπτα, αντίστοιχα.   

ΚΕΦΑΛΑΙΟ 6
Υπολογισμός της βέλτιστης πολιτικής για τον έλεγχο μιας σύνθετης διαδικασίας μετανάστευσης με την εισαγωγή ολοκληρωτικών καταστροφών

6.1 Εισαγωγή
   Θεωρούμε έναν πληθυσμό ατόμων ο οποίος αναπτύσσεται στοχαστικά σύμφωνα με μία σύνθετη διαδικασία Poisson με ρυθμό ίσο με  Η συνάρτηση πιθανότητας του πληθυσμιακού μεγέθους των ομαδικών αυξήσεων είναι ίση με  και είναι τέτοια ώστε  Υποθέτουμε ότι τα άτομα είναι βλαβερά. Για παράδειγμα, μπορεί να είναι έντομα που καταστρέφουν μία σοδειά ή μεταδίδουν μία ασθένεια. Αποδίδουμε στα άτομα αυτά τον όρο παράσιτα. Η βλάβη που προξενούν τα παράσιτα επιφέρει ένα κόστος ίσο με   για κάθε μονάδα χρόνου κατά την οποία το μέγεθος του πληθυσμού των παρασίτων είναι ίσο με  Υποθέτουμε ότι η ακολουθία  είναι αύξουσα ως προς  και ότι  για μία σταθερά  και έναν ακέραιο αριθμό  Εισάγουμε επίσης τις δύο ακόλουθες συνθήκες που αφορούν τη συνάρτηση πιθανότητας  

Συνθήκη 1: Η πιθανογεννήτρια συνάρτηση  της συνάρτησης πιθανότητας  έχει ακτίνα σύγκλισης αυστηρά μεγαλύτερη από τη μονάδα.

Συνθήκη 2: Όλες οι ροπές της συνάρτησης πιθανότητας  μέχρι και τάξεως είναι πεπερασμένες.

   Υποθέτουμε ότι υπάρχει ένας ελεγκτής ο οποίος παρατηρεί συνεχώς την εξέλιξη του πληθυσμού των παρασίτων και μπορεί να επιλέξει μία ενέργεια η οποία θέτει σε λειτουργία ένα μηχανισμό που καταστρέφει ολοκληρωτικά τον πληθυσμό. Ο ψεκασμός της σοδειάς ή των εντόμων με κάποιο εντομοκτόνο μπορεί να είναι μία κατάλληλη ενέργεια για τον έλεγχο της ανάπτυξης του πληθυσμού των παρασίτων στην παραπάνω περίπτωση. Υποθέτουμε ότι ο ρυθμός με τον οποίον ο πληθυσμός των παρασίτων καταστρέφεται ολοκληρωτικά είναι ίσος με  Συνεπώς, όταν επιλέγεται η ενέργεια που θέτει σε λειτουργία το μηχανισμό της καταστροφής, ο χρόνος μέχρι την πραγματοποίηση της καταστροφής είναι μία τυχαία μεταβλητή η οποία ακολουθεί την Εκθετική κατανομή με μέση τιμή  Υποθέτουμε επίσης ότι η επιλογή της ενέργειας η οποία θέτει σε λειτουργία το μηχανισμό της καταστροφής επιφέρει ένα κόστος ίσο με  ανά μονάδα χρόνου, όπου  είναι μία θετική σταθερά.
   Μία στάσιμη πολιτική  ορίζεται από μία ακολουθία   όπου  είναι η ενέργεια που επιλέγεται όταν η διαδικασία βρίσκεται στην κατάσταση  Υποθέτουμε ότι  όταν επιλέγεται η ενέργεια η οποία εισάγει μία ολοκληρωτική καταστροφή του πληθυσμού των παρασίτων και  όταν δεν επιλέγεται αυτή η ενέργεια. Αν η στάσιμη πολιτική   υιοθετηθεί για τον έλεγχο της διαδικασίας, η ανάπτυξη του πληθυσμού των παρασίτων μπορεί να περιγραφεί από ένα Μαρκοβιανό μοντέλο σε συνεχή χρόνο με χώρο καταστάσεων  και με τις ακόλουθες μεταβάσεις σε ένα χρονικό διάστημα  καθώς 

   με πιθανότητα         
                                        με πιθανότητα      

Η συνάρτηση  είναι τέτοια ώστε  καθώς  Το πρόβλημα είναι η εύρεση της πολιτικής, η οποία, ανάμεσα σε όλες τις πολιτικές, ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου. Οι χρονικές στιγμές που επιλέγεται μία ενέργεια είναι οι χρονικές στιγμές κατά τις οποίες συμβαίνει μία άφιξη μιας ομάδας παρασίτων. Φαίνεται διαισθητικά λογικό ότι η βέλτιστη πολιτική ανήκει στην κατηγορία των μονότονων πολιτικών  όπου  είναι η στάσιμη πολιτική, υπό τον έλεγχο της οποίας, επιλέγεται η ενέργεια που θέτει σε λειτουργία το μηχανισμό της καταστροφής αν και μόνο αν το μέγεθος του πληθυσμού των παρασίτων είναι μεγαλύτερο ή ίσο με  
   Το γεγονός ότι μία βέλτιστη πολιτική είναι μονότονη μπορεί να επιταχύνει σημαντικά τον υπολογισμό της διότι σε πολλά προβλήματα είναι δυνατόν να σχεδιαστούν αποδοτικοί αλγόριθμοι οι οποίοι εφαρμόζονται στο σύνολο των μονότονων πολιτικών και συγκλίνουν στη βέλτιστη πολιτική. Αναφέρουμε τις εργασίες των Abakuks (1979), Federgruen and So (1989), Benyamini and Yechiali (1999) και Love et al. (2000) στις οποίες κατάλληλοι αλγόριθμοι έχουν σχεδιαστεί για τον υπολογισμό μιας βέλτιστης μονότονης πολιτικής.
   Μία συνήθης μέθοδος η οποία συχνά μας οδηγεί να αποδείξουμε ότι μία μονότονη πολιτική είναι βέλτιστη είναι η μέθοδος των διαδοχικών προσεγγίσεων (βλέπε π.χ. Ross (1992)). Αρχικά θεωρούμε το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους σε πεπερασμένο χρονικό ορίζοντα και αποδεικνύουμε ότι μία μονότονη πολιτική είναι βέλτιστη. Στη συνέχεια η μονότονη μορφή της βέλτιστης πολιτικής μετατίθεται στο αντίστοιχο πρόβλημα του άπειρου χρονικού ορίζοντα. Τελικά αποδεικνύουμε τη μονότονη μορφή της βέλτιστης πολιτικής για το πρόβλημα της ελαχιστοποίησης του μακροπρόθεσμου αναμενόμενου μέσου κόστους ανά μονάδα χρόνου.
   Ο Economou (2003) θεώρησε μία κατάλληλη Μαρκοβιανή διαδικασία αποφάσεων σε συνεχή χρόνο και μελέτησε το παραπάνω πρόβλημα στην περίπτωση κατά την οποία η ακολουθία   είναι άνω φραγμένη. Χρησιμοποίησε την τεχνική της ομοιομορφοποίησης (βλέπε π.χ. σελ. 30-31 της παρούσας διατριβής και Serfozo (1979)) και μετέτρεψε την αρχική Μαρκοβιανή διαδικασία αποφάσεων σε συνεχή χρόνο σε μία ισοδύναμη Μαρκοβιανή διαδικασία αποφάσεων σε διακριτό χρόνο. Στη συνέχεια χρησιμοποίησε τη μέθοδο των διαδοχικών προσεγγίσεων και απέδειξε ότι η βέλτιστη πολιτική είναι μονότονη ή είναι τέτοια ώστε, ο μηχανισμός της καταστροφής του πληθυσμού δεν τίθεται ποτέ σε λειτουργία. Στο τελευταίο εδάφιο της εργασίας του, πρότεινε έναν αλγόριθμο ο οποίος υπολογίζει, κατά προσέγγιση, τις στάσιμες πιθανότητες της διαδικασίας, υπό τον έλεγχο της μονότονης πολιτικής  Ένα μειονέκτημα της χρήσης της τεχνικής της ομοιομορφοποίησης είναι ότι, η απόδειξη του παραπάνω αποτελέσματος ισχύει μόνο στην περίπτωση κατά την οποία το σύνολο των επιτρεπόμενων πολιτικών που μπορούν να υιοθετηθούν για τον έλεγχο της διαδικασίας αποτελείται αποκλειστικά από τις στάσιμες πολιτικές.
   Στο επόμενο εδάφιο αποδεικνύουμε ότι η βέλτιστη πολιτική είναι μονότονη χωρίς να χρησιμοποιήσουμε την τεχνική της ομοιομορφοποίησης. Το ίδιο αποτέλεσμα προκύπτει στην περίπτωση κατά την οποία η ακολουθία   δεν είναι φραγμένη. Η μονότονη πολιτική είναι επίσης βέλτιστη ακόμη και αν εισάγουμε ένα πλασματικό κόστος ίσο με  για κάθε μονάδα χρόνου κατά την οποία η διαδικασία βρίσκεται στην κατάσταση 0. Στο Εδάφιο 6.3 αποδεικνύουμε ότι, για κάθε  η πολιτική  είναι βέλτιστη όταν η πλασματική παράμετρος  ανήκει σε ένα κατάλληλο διάστημα των πραγματικών αριθμών. Μία συνέπεια αυτού του αποτελέσματος είναι ότι το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  είναι μία μονοκόρυφη συνάρτηση του  Αυτό μας επιτρέπει να σχεδιάσουμε δύο αποδοτικούς αλγόριθμους για τον υπολογισμό της βέλτιστης πολιτικής όπως η μέθοδος της διχοτόμησης και ένας κατάλληλος αλγόριθμος βελτίωσης των πολιτικών ο οποίος εφαρμόζεται στο σύνολο των μονότονων πολιτικών και συγκλίνει στη βέλτιστη πολιτική. Στο Εδάφιο 6.4 παρουσιάζουμε το σχεδιασμό των αλγορίθμων και δύο αριθμητικά παραδείγματα. Επιπλέον προτείνουμε μία μέθοδο για τον ακριβή υπολογισμό των στάσιμων πιθανοτήτων υπό τον έλεγχο της πολιτικής  Στο Εδάφιο 6.5 θεωρούμε ένα γενικότερο μοντέλο στο οποίο είναι δυνατόν να επιλεγεί μία ενέργεια που θέτει σε λειτουργία ένα μηχανισμό που προξενεί μία διωνυμική καταστροφή αντί μιας ολοκληρωτικής καταστροφής του πληθυσμού των παρασίτων.
   Τα αποτελέσματα των Εδαφίων 6.2-6.5 έχουν δημοσιευτεί στην εργασία των Kyriakidis and Dimitrakos (2005b).

6.2 Η μορφή της βέλτιστης πολιτικής    
   Στο παρόν εδάφιο και στο Εδάφιο 6.3 εισάγουμε ένα πλασματικό κόστος ίσο με  για κάθε μονάδα χρόνου κατά την οποία η διαδικασία βρίσκεται στην κατάσταση 0. Υποθέτουμε ότι η παράμετρος  μπορεί να είναι οποιοσδήποτε πραγματικός αριθμός. Το κύριο αποτέλεσμα του παρόντος κεφαλαίου είναι η Πρόταση 6.4. Είναι ένα πόρισμα του Θεωρήματος 6.2 το οποίο βασίζεται στις μεταβολές των τιμών της παραμέτρου  στην ευθεία των πραγματικών αριθμών.
   Παρακάτω αποδεικνύουμε ότι η βέλτιστη πολιτική η οποία ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου είναι μονότονη. Στην Περίπτωση 1 θεωρούμε  ότι η ακολουθία   είναι άνω φραγμένη και στην Περίπτωση 2 θεωρούμε ότι η ακολουθία  τείνει στο άπειρο, καθώς 

Περίπτωση 1. Υποθέτουμε ότι η ακολουθία   είναι άνω φραγμένη. Χρησιμοποιούμε τo συνήθη τρόπο απόδειξης ο οποίος βασίζεται στη μέθοδο των διαδοχικών προσεγγίσεων (βλέπε π.χ. Kyriakidis (1999a), Van der Duyn Schouten and Vanneste (1995)). Αρχικά θεωρούμε το πρόβλημα της ελαχιστοποίησης του συνολικού αναμενόμενου αποπληθωρισμένου κόστους σε πεπερασμένο χρονικό ορίζοντα. Η σχετική θεωρία βρίσκεται στο Εδάφιο 2.5 της παρούσας διατριβής, στο Κεφάλαιο 7 του βιβλίου του Ross (1992) και στο Κεφάλαιο 5 του βιβλίου των Heyman and Sobel (2004).
   Έστω  το αναμενόμενο αποπληθωρισμένο κόστος μέχρι τη μετάβαση στην επόμενη κατάσταση, αν η κατάσταση της διαδικασίας είναι η κατάσταση  ο αποπληθωριστικός παράγοντας είναι ίσος με  και επιλέγεται η ενέργεια  Δεσμευόμαστε ως προς το χρόνο για τη μετάβαση της διαδικασίας στην επόμενη κατάσταση και έχουμε ότι:      

Για κάθε κατάσταση  και κάθε ενέργεια  προκύπτει ότι:

                                                                                                       (6.1)                                                                                                                

Το ελάχιστο αναμενόμενο αποπληθωρισμένο κόστος  αν η αρχική κατάσταση είναι η κατάσταση  και απομένουν  βήματα μέχρι το τερματισμό της διαδικασίας, ικανοποιεί για κάθε  τις ακόλουθες εξισώσεις (βλέπε (α) στη σελ. 27 της παρούσας διατριβής):

                                                                                                                                           
                                                                                                                                                    
με την ακόλουθη αρχική συνθήκη:

Mε επαγωγή ως προς  μπορεί να αποδειχθεί ότι η συνάρτηση  είναι αύξουσα ως προς  για κάθε . Έστω  το ελάχιστο συνολικό αναμενόμενο αποπληθωρισμένο κόστος σε άπειρο χρονικό ορίζοντα, αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  Από το Θεώρημα 2.3 στη σελ. 20 της παρούσας διατριβής έχουμε ότι:   Συνεπώς η συνάρτηση   είναι επίσης αύξουσα ως προς 
   Υποθέτουμε ότι η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  Χρησιμοποιούμε τα ίδια επιχειρήματα με αυτά του Εδαφίου 2 της εργασίας του Kyriakidis (1999a). Έστω   η κατάσταση της διαδικασίας τη οστή χρονική στιγμή επιλογής ενέργειας και  ο χρόνος μέχρι τη οστή χρονική στιγμή επιλογής ενέργειας. Υποθέτουμε ότι  Έστω  η βέλτιστη πολιτική που ελαχιστοποιεί το συνολικό αναμενόμενο αποπληθωρισμένο κόστος σε άπειρο χρονικό ορίζοντα. Έστω επίσης  η μη-στάσιμη πολιτική η οποία επιλέγει την ενέργεια που θέτει σε λειτουργία το μηχανισμό της καταστροφής μέχρι η διαδικασία να εισέλθει για πρώτη φορά στην κατάσταση 0 και στη συνέχεια επιλέγει τις ίδιες ενέργειες με εκείνες της βέλτιστης πολιτικής  Έστω ότι η διαδικασία εισέρχεται για πρώτη φορά στην κατάσταση 0 τη χρονική στιγμή επιλογής ενέργειας  Αναπαριστούμε με  και με  το συνολικό αναμενόμενο αποπληθωρισμένο κόστος σε άπειρο χρονικό ορίζοντα, υπό τον έλεγχο των πολιτικών  και  αντίστοιχα, αν η αρχική κατάσταση της διαδικασίας είναι η κατάσταση  Ισχύει ότι: 

όπου,  αναπαριστά την υπό-συνθήκη αναμενόμενη τιμή, αν η πολιτική  υιοθετηθεί για τον έλεγχο της διαδικασίας. Έχουμε ότι:

          
          
                                                                                                                     (6.2)               

Η παραπάνω ισότητα οφείλεται στο γεγονός ότι η πολιτική  δεν εξαρτάται από το χρόνο  μετά από την είσοδο της διαδικασίας στην κατάσταση 0. Η προτελευταία παραπάνω ανισότητα είναι συνέπεια της σχέσης (6.1) και των ορισμών της πολιτικής  και της χρονικής στιγμής  Σύμφωνα με την εξίσωση του Wald (βλέπε π.χ. σελ. 38 του βιβλίου του Ross (1992)), η υπό-συνθήκη αναμενόμενη τιμή  είναι ίση με τον αναμενόμενο χρόνο μέχρι την πραγματοποίηση μιας καταστροφής του πληθυσμού των παρασίτων διαιρούμενο με τον αναμενόμενο χρόνο κάθε μετάβασης της διαδικασίας. Επομένως, ισχύει ότι:

                                                                                                      (6.3)                                                                                              

Από τις σχέσεις (6.2) και (6.3), έχουμε ότι:

                                                                                               (6.4)
                                                                                                                                                                                              Για κάθε κατάσταση  έχουμε διαδοχικά ότι:

                          

Η πρώτη παραπάνω ισότητα προκύπτει από τη μονοτονία της ακολουθίας   και η δεύτερη παραπάνω ανισότητα είναι συνέπεια της σχέσης (6.4). Επομένως η ανισότητα (2.4) του Θεωρήματος 2.5 στη σελ. 22 της παρούσας διατριβής ισχύει διότι η ποσότητα  είναι ομοιόμορφα φραγμένη ως προς  και ως προς  Συνεπώς υπάρχει μία φραγμένη ακολουθία αριθμών   και μία σταθερά  έτσι ώστε:

                                                                                                  (6.5)

για μία ακολουθία αριθμών  τέτοια ώστε  και

                             (6.6)

Επιπλέον υπάρχει μία βέλτιστη στάσιμη πολιτική η οποία ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου και σε κάθε κατάσταση  επιλέγει εκείνη την ενέργεια η οποία ελαχιστοποιεί το δεξιό μέλος της εξίσωσης (6.6). Σε μία κατάσταση  η βέλτιστη πολιτική επιλέγει την ενέργεια που θέτει σε λειτουργία το μηχανισμό της καταστροφής του πληθυσμού αν και μόνο αν ισχύει ότι:

                                                                                               (6.7)

Από τη σχέση (6.5) προκύπτει ότι η ακολουθία   είναι αύξουσα ως προς  διότι η ακολουθία   είναι αύξουσα ως προς  Από τις μονοτονίες των ακολουθιών  και   καταλήγουμε στο ακόλουθο αποτέλεσμα.

Πρόταση 6.1. Αν η ακολουθία   είναι άνω φραγμένη, η βέλτιστη πολιτική είτε δεν επιλέγει ποτέ την ενέργεια που θέτει σε λειτουργία το μηχανισμό της καταστροφής είτε είναι η μονότονη πολιτική  όπου  είναι ο μικρότερος ακέραιος αριθμός  για τον όποιον ισχύει η ανισότητα (6.7).

Επισημαίνουμε ότι το παραπάνω αποτέλεσμα γενικεύει το Θεώρημα 2.3 του Economou (2003) το οποίο ισχύει μόνο στην περίπτωση κατά την οποία οι επιτρεπόμενες πολιτικές για τον έλεγχο της διαδικασίας είναι αποκλειστικά οι στάσιμες πολιτικές.

Περίπτωση 2. Υποθέτουμε ότι  καθώς  Σύμφωνα με το Θεώρημα 3.1 του Economou (2003), υπό τον έλεγχο της πολιτικής   οι στάσιμες πιθανότητες της διαδικασίας ακολουθούν ασυμπτωτικά (δηλαδή για μεγάλες τιμές του πληθυσμιακού μεγέθους των παρασίτων) τη Γεωμετρική κατανομή διότι η πιθανογεννήτρια συνάρτηση της  έχει ακτίνα σύγκλισης αυστηρά μεγαλύτερη από τη μονάδα (βλέπε Συνθήκη 1 στη σελ. 123 της παρούσας διατριβής). Το αποτέλεσμα αυτό και η ανισότητα  όπου  είναι μία σταθερά και  είναι ένας ακέραιος αριθμός, εγγυώνται ότι, υπό τον έλεγχο οποιασδήποτε μονότονης πολιτικής, το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου είναι πεπερασμένο. Παρατηρούμε επίσης ότι, υπό τον έλεγχο της πολιτικής η οποία δεν επιλέγει ποτέ την ενέργεια που θέτει σε λειτουργία το μηχανισμό της καταστροφής, η διαδικασία δεν έχει μία στάσιμη κατανομή. Επομένως, στην περίπτωση αυτή το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου είναι άπειρο για κάθε αρχική κατάσταση της διαδικασίας διότι η ακολουθία  τείνει στο άπειρο (βλέπε Λήμμα 2.2.2 του Bather (1976)). Επιπλέον, όπως στην Περίπτωση 1, είναι δυνατόν να αποδειχθεί ότι το ελάχιστο συνολικό αναμενόμενο αποπληθωρισμένο κόστος   σε άπειρο χρονικό ορίζοντα, είναι μία αύξουσα συνάρτηση ως προς 
   Η Sennott (1989) κατασκεύασε πέντε υποθέσεις που εγγυώνται την ύπαρξη μιας βέλτιστης στάσιμης πολιτικής η οποία ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου σε μία ημι-Μαρκοβιανή διαδικασία αποφάσεων. Οι ρυθμοί μετάβασης και τα κόστη του παρόντος μοντέλου ικανοποιούν αυτές τις υποθέσεις. Για να αποδείξουμε ότι οι υποθέσεις της Sennott ισχύουν στο παρόν μοντέλο αποδεικνύουμε ισοδύναμα τις Υποθέσεις 1, 2 και τη Συνθήκη SEN που παρουσιάζονται στις σελ. 28-30 της παρούσας διατριβής.
   Η Υπόθεση 1 ισχύει για  και  Η Υπόθεση 2 ισχύει για  Η Συνθήκη SEN ισχύει αν επιλέξουμε την πολιτική  Η Ιδιότητα 1 της Συνθήκης SEN ισχύει, διότι, υπό τον έλεγχο της πολιτικής  οι στάσιμες πιθανότητες ακολουθούν  ασυμπτωτικά τη Γεωμετρική κατανομή. Η Ιδιότητα 2 της Συνθήκης SEN ισχύει αν επιλέξουμε οποιοδήποτε  το σύνολο  έτσι ώστε  και τη στάσιμη πολιτική            
   Οι υποθέσεις της Sennott ικανοποιούνται για το παρόν μοντέλο. Σύμφωνα με το Θεώρημα 2 της Sennott (1989), υπάρχει μία σταθερά  και μία αύξουσα ακολουθία αριθμών   έτσι ώστε, στην κατάσταση  η βέλτιστη πολιτική επιλέγει εκείνη την ενέργεια η οποία ελαχιστοποιεί το δεξιό μέλος της εξίσωσης (6.6). Τα παραπάνω μας οδηγούν στο ακόλουθο αποτέλεσμα.

Πρόταση 6.2. Αν  καθώς  η βέλτιστη πολιτική είναι μονότονη.

6.3 Η μορφή της συνάρτησης του μέσου κόστους υπό τον έλεγχο μιας μονότονης πολιτικής           
   Έστω  και   ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, μέχρι η διαδικασία να βρεθεί στην κατάσταση 0, υπό τον έλεγχο της πολιτικής   αν η αρχική κατάσταση είναι η κατάσταση  Έστω επίσης  το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  Η διαδικασία, υπό τον έλεγχο της πολιτικής  είναι μία διαδικασία η οποία αναγεννάται οποτεδήποτε βρεθεί στην κατάσταση 0. Αν η διαδικασία βρεθεί στην κατάσταση 0 ένας κύκλος ολοκληρώνεται όταν η διαδικασία ξαναβρεθεί στην κατάσταση 0. Σύμφωνα με το Θεώρημα 5.9 στη σελ. 98 του βιβλίου του Ross (1992), το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  είναι ίσο με το αναμενόμενο κόστος ενός κύκλου διαιρούμενο με τον αναμενόμενο χρόνο ενός κύκλου. Επομένως, ισχύει ότι:

                                                                                                                  (6.8)

Έστω   οι σχετικές τιμές της πολιτικής   οι οποίες ορίζονται ως εξής (βλέπε σχέση (2.5) στη σελ. 23 της παρούσας διατριβής): 

                                                                                                                  (6.9)

Ισχύει ότι:

                                                                                                                                    (6.10)

διότι,  Ισχύει επίσης ότι:

                                                                                                                      (6.11)

Η επόμενη πρόταση παρέχει μία αναγκαία και ικανή συνθήκη έτσι ώστε η μονότονη πολιτική  να είναι βέλτιστη.

Πρόταση 6.3. Η πολιτική   είναι βέλτιστη αν και μόνο αν

                                     (6.12)   

και

                                                (6.13)

Απόδειξη. Υποθέτουμε ότι η πολιτική  είναι βέλτιστη. Σύμφωνα με τη σχέση (1) της εργασίας των Nobel and Tijms (1999), οι αριθμοί   και  ικανοποιούν το ακόλουθο σύστημα των γραμμικών εξισώσεων:

   

Υποθέτουμε ότι για κάποια κατάσταση   η ανισότητα (6.12) δεν ισχύει. Τότε σύμφωνα με τη σχέση (2) της εργασίας των Nobel and Tijms (1999), το μακροπρόθεσμο αναμενόμενο μέσο κόστος της στάσιμης πολιτικής   η οποία, ορίζεται ως εξής: 

                    

είναι μικρότερο από το μακροπρόθεσμο αναμενόμενο μέσο κόστος της πολιτικής  Αυτό είναι μία αντίφαση. Συνεπώς η ανισότητα (6.12) ισχύει. Η ανισότητα (6.13) μπορεί να αποδειχθεί με παρόμοιο τρόπο. 
   Υποθέτουμε ότι η πολιτική  ικανοποιεί τις ανισότητες (6.12) και (6.13). Τότε οι αριθμοί   και  ικανοποιούν τις παρακάτω εξισώσεις:

                              (6.14)

Διακρίνουμε τις δύο ακόλουθες περιπτώσεις.

Περίπτωση 1. Υποθέτουμε ότι η ακολουθία  είναι άνω φραγμένη. Τότε, οι αριθμοί   είναι άνω φραγμένοι. Από το Θεώρημα 2.4 για τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων (βλέπε (γ) στη σελ. 27 της παρούσας διατριβής) προκύπτει ότι η πολιτική  είναι βέλτιστη.

Περίπτωση 2. Υποθέτουμε ότι  καθώς  Από την Πρόταση 6.2 έπεται ότι  υπάρχει ένας θετικός ακέραιος αριθμός  τέτοιος ώστε η πολιτική  είναι βέλτιστη.
   Έστω  και  η κατάσταση και η ενέργεια που επιλέγεται, αντίστοιχα, μετά από την οστή μετάβαση της διαδικασίας. Θεωρούμε ότι  και  είναι η αρχική κατάσταση και η αρχική ενέργεια, αντίστοιχα. Έστω επίσης  και  ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, μέχρι να πραγματοποιηθεί μία μετάβαση της διαδικασίας όταν επιλέγεται η ενέργεια  στην κατάσταση  Από την απόδειξη του Θεωρήματος 7.6 στη σελ. 162 του βιβλίου του Ross (1992), έχουμε ότι:

                                                                           (6.15)        

όπου,  αναπαριστά την υπό-συνθήκη αναμενόμενη τιμή, δοθέντος ότι η πολιτική  έχει υιοθετηθεί για τον έλεγχο της διαδικασίας. Η σχέση (6.15) ισχύει ως ισότητα για  Χρησιμοποιούμε τον ορισμό της σχετικής τιμής  και γράφουμε τη σχέση (6.15) με την ακόλουθη μορφή:

ή ισοδύναμα,

                                           (6.16)

όπου,  είναι η πιθανότητα η κατάσταση  να είναι η κατάσταση της διαδικασίας μετά από  μεταβάσεις, υπό τον έλεγχο της πολιτικής 
   Αφήνουμε τον αριθμό  να τείνει στο άπειρο και χρησιμοποιούμε το Θεώρημα Φραγμένης Σύγκλισης με το οποίο είναι δυνατόν να εναλλάξουμε τη σειρά του ορίου και του αθροίσματος στον αριθμητή του δεξιού μέλους της ανισότητας (6.16). Η εναλλαγή είναι εφικτή διότι ισχύουν οι ακόλουθες σχέσεις:

                                                                                                   (6.17)
και
                                                                                                   (6.18)

όπου,   είναι οι στάσιμες πιθανότητες της εμφυτευμένης Μαρκοβιανής αλυσίδας της διαδικασίας υπό τον έλεγχο της πολιτικής  Οι σχέσεις (6.17) και (6.18) είναι συνέπειες του ακόλουθου θεωρήματος (βλέπε σελ. 351 του βιβλίου του Tijms (1994)) το οποίο παραθέτουμε παρενθετικά. Αυτό το θεώρημα είναι μία ειδική περίπτωση του Θεωρήματος Φραγμένης Σύγκλισης.
 
Θεώρημα 6.1. Έστω  μία ακολουθία μη-αρνητικών αριθμών και έστω ότι οι αριθμοί   είναι τέτοιοι ώστε το όριο  υπάρχει για κάθε . Αν υπάρχει μία σταθερά  τέτοια ώστε  για κάθε  και αν  τότε:

   Θα εξηγήσουμε τον τρόπο με τον οποίο εξάγεται η σχέση (6.17). Για να υπολογίσουμε το αναμενόμενο κόστος   δεσμευόμαστε ως προς το χρόνο μέχρι να πραγματοποιηθεί μία καταστροφή του πληθυσμού των παρασίτων. Ισχύει ότι:

όπου,  αναπαριστά το μέγεθος του πληθυσμού τη χρονική στιγμή  για τη σύνθετη διαδικασία μετανάστευσης. Επειδή ισχύει ότι  για μία σταθερά  και έναν ακέραιο αριθμό  από την παραπάνω εξίσωση, προκύπτει η ακόλουθη ανισότητα:

Από τον ορισμό της σύνθετης διαδικασίας Poisson έπεται ότι η παραπάνω ανισότητα μπορεί ισοδύναμα να γραφεί ως εξής:

όπου,  είναι μία τυχαία μεταβλητή η οποία ακολουθεί την κατανομή Poisson με παράμετρο  και   είναι ανεξάρτητες τυχαίες μεταβλητές τέτοιες ώστε:  . Λόγω της Συνθήκης 2, το δεξιό μέλος της παραπάνω ανισότητας είναι ένα πολυώνυμο  ως προς  βαθμού  Το άπειρο άθροισμα στο αριστερό μέλος της εξίσωσης (6.17) μπορεί να γραφεί με την ακόλουθη μορφή:

                                                                                                            (6.19)

Από το Θεώρημα 3.1 του Economou (2003) προκύπτει ότι, για αρκετά μεγάλες τιμές των  και  οι στάσιμες πιθανότητες  είναι κατά προσέγγιση ίσες με  όπου  και  Συνεπώς η ποσότητα  για αρκετά μεγάλες τιμές των  και  είναι φραγμένη. Επειδή  έχουμε επίσης ότι:  Επομένως, το Θεώρημα 6.1 μπορεί να εφαρμοστεί αν πάρουμε το όριο καθώς  της έκφρασης (6.19) και εναλλάξουμε τη σειρά του ορίου και του αθροίσματος. Τότε παίρνουμε το δεξιό μέλος της εξίσωσης (6.17). Η εξίσωση (6.18) προκύπτει με παρόμοιο τρόπο. 
   Λόγω των σχέσεων (6.17) και (6.18), η ανισότητα (6.16) γράφεται με την ακόλουθη μορφή:

Ο αριθμητής του πρώτου όρου του αθροίσματος στο δεξιό μέλος της παραπάνω ανισότητας είναι πεπερασμένος διότι οι στάσιμες πιθανότητες   ακολουθούν ασυμπτωτικά τη Γεωμετρική κατανομή (βλέπε Θεώρημα 3.1 του Economou (2003)). Επειδή, ο παρονομαστής του πρώτου όρου του αθροίσματος στο δεξιό μέλος της παραπάνω ανισότητας, καθώς  τείνει στο άπειρο, συμπεραίνουμε ότι αυτός ο όρος είναι ίσος με το μηδέν. Ο δεύτερος όρος του αθροίσματος στο δεξιό μέλος της παραπάνω ανισότητας είναι το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  Συνεπώς ισχύει ότι  και η πολιτική  είναι βέλτιστη.   ■

   Τα αποτελέσματα των Λημμάτων 6.1, 6.2 και 6.3 θα χρησιμοποιηθούν στην απόδειξη του Θεωρήματος 6.2.

Λήμμα 6.1. Για κάθε σταθερό  η ακολουθία   είναι αύξουσα ως προς 

Απόδειξη. Έστω   το μέγεθος του πληθυσμού τη χρονική στιγμή  για τη (μη ελεγχόμενη) σύνθετη διαδικασία μετανάστευσης. Δεσμευόμαστε ως προς το χρόνο μέχρι την πραγματοποίηση μιας καταστροφής του πληθυσμού των παρασίτων και έχουμε ότι:

                                                                          (6.20)   

Η πρώτη ισότητα είναι συνέπεια των ορισμών που δώσαμε στο Εδάφιο 6.1 για τα κόστη του προβλήματος και η δεύτερη ισότητα είναι συνέπεια του γεγονότος ότι η κατανομή της τυχαίας μεταβλητής  αν  συμπίπτει με την κατανομή της τυχαίας μεταβλητής  αν  Από τη μονοτονία της ακολουθίας  και την εξίσωση (6.20), συμπεραίνουμε ότι η ακολουθία  είναι αύξουσα ως προς     ■

Λήμμα 6.2. Έστω ότι η πολιτική   είναι βέλτιστη για κάποια σταθερή τιμή  της παραμέτρου  Τότε, είναι αδύνατον η πολιτική  να είναι βέλτιστη για κάθε 

Απόδειξη. Υποθέτουμε ότι η πολιτική  είναι βέλτιστη για κάθε  Τότε οι αριθμοί   ικανοποιούν τη σχέση (6.13) για  και για κάθε  Επομένως, ισχύει ότι:

Χρησιμοποιώντας τις σχέσεις (6.9), (6.10) και (6.11), η παραπάνω ανισότητα μπορεί να γραφεί ως εξής:

Από τη εξίσωση (6.8), προκύπτει ότι  καθώς  Αυτό έρχεται σε αντίφαση με την παραπάνω ανισότητα διότι το δεξιό μέλος της δεν εξαρτάται από την παράμετρο  και ο συντελεστής του μέσου κόστους  στο αριστερό μέλος της είναι θετικός.   ■

   Έστω  η βέλτιστη μονότονη πολιτική, όπου  είναι η βέλτιστη κρίσιμη τιμή. Σύμφωνα με τις Προτάσεις 6.1 και 6.2 η πολιτική  είναι η βέλτιστη πολιτική στο σύνολο όλων των δυνατών πολιτικών.
 
Λήμμα 6.3. Η βέλτιστη κρίσιμη τιμή  είναι αύξουσα ως προς την παράμετρο 

Απόδειξη. Υποθέτουμε ότι 

                                                                                                                                      (6.21)

Έστω   οι βέλτιστες κρίσιμες τιμές που αντιστοιχούν στις παραμέτρους  και  αντίστοιχα. Έστω επίσης  και  τα μέσα κόστη των πολιτικών  και  αντίστοιχα. Η σχέση (6.21) υποδηλώνει ότι:

                                                                                                                                 (6.22)

Θέλουμε να δείξουμε ότι  Έστω ότι, αντιθέτως, ισχύει  Από τη σχέση (6.12) για  έχουμε ότι:

διότι η πολιτική  είναι βέλτιστη. Από τις εξισώσεις (6.9), (6.10) και (6.11), η παραπάνω ανισότητα μπορεί ισοδύναμα να γραφεί με την ακόλουθη μορφή:

                                                                            (6.23)

Από τη σχέση (6.13) για  έχουμε ότι:

διότι η πολιτική  είναι βέλτιστη. Από τις εξισώσεις (6.9), (6.10) και (6.11), η παραπάνω ανισότητα μπορεί ισοδύναμα να γραφεί με την ακόλουθη μορφή:

                                                                               (6.24)

Από τις ανισότητες (6.22), (6.23) και (6.24) προκύπτει ότι:

Το αριστερό μέλος της παραπάνω σχέσης είναι μικρότερο ή ίσο με το δεξιό μέλος της διότι  και  Αυτό είναι μία αντίφαση.   ■

   Στο ακόλουθο Θεώρημα 6.2 αποδεικνύεται ότι, για κάθε  η πολιτική  είναι βέλτιστη όταν η πλασματική παράμετρος  ανήκει σε ένα κατάλληλο διάστημα των πραγματικών αριθμών.

Θεώρημα 6.2. Υπάρχει μία αύξουσα ακολουθία   με   και  τέτοια ώστε η πολιτική   είναι βέλτιστη για κάθε  όπου 

 και η πολιτική  είναι βέλτιστη για κάθε 

Απόδειξη. Η απόδειξη γίνεται με επαγωγή ως προς  Αρχικά αποδεικνύουμε ότι υπάρχει ένας αριθμός  τέτοιος ώστε η πολιτική  είναι βέλτιστη για κάθε  Σύμφωνα με την Πρόταση 6.3 αρκεί να δείξουμε ότι οι αριθμοί   και  ικανοποιούν την ανισότητα:

Χρησιμοποιώντας τις εξισώσεις (6.9), (6.10) και (6.11), η παραπάνω ανισότητα γράφεται με την ακόλουθη μορφή:

Από τη σχέση (6.8), έχουμε ότι  καθώς  Επομένως, υπάρχει ένας αριθμός  τέτοιος ώστε οι παραπάνω ανισότητες ισχύουν για κάθε  Από το Λήμμα 6.2, προκύπτει ότι  όπου

 και η πολιτική  είναι βέλτιστη για κάθε 

   Υποθέτουμε ότι υπάρχει μία ακολουθία  τέτοια ώστε η πολιτική   είναι βέλτιστη για κάθε  με  και η πολιτική  είναι βέλτιστη για κάθε  Θα δείξουμε ότι η πολιτική  είναι βέλτιστη για  Θεωρούμε κάποιο  τέτοιο ώστε η πολιτική  δεν είναι βέλτιστη για  Από την Πρόταση 6.3 έπεται ότι μία από τις δύο ακόλουθες περιπτώσεις συμβαίνουν.

Περίπτωση 1. Για κάποια κατάσταση  τέτοια ώστε  ισχύει ότι:

Χρησιμοποιώντας τις εξισώσεις (6.9) και (6.10), η παραπάνω ανισότητα είναι ισοδύναμη με την  όπου

Επειδή το μέσο κόστος  όπως δίνεται από την εξίσωση (6.8), είναι μία αύξουσα συνάρτηση ως προς  συμπεραίνουμε ότι η συνάρτηση  είναι φθίνουσα ως προς  Επομένως ισχύει ότι:

όπου η τελευταία ανισότητα προκύπτει από το γεγονός ότι η πολιτική  είναι βέλτιστη για  Αυτό είναι προφανώς μία αντίφαση και συνεπώς ισχύει η Περίπτωση 2.

Περίπτωση 2. Για κάποια κατάσταση  τέτοια ώστε  ισχύει ότι:

Χρησιμοποιώντας τις εξισώσεις (6.9), (6.10) και (6.11), η παραπάνω ανισότητα είναι ισοδύναμη με την  όπου

Από το Λήμμα 6.1 και τη μονοτονία της ακολουθίας  προκύπτει ότι η ακολουθία   είναι αύξουσα ως προς  Επομένως, ισχύει ότι:

Από τον ορισμό του  και την παραπάνω ανάλυση, υπάρχει μία ακολουθία  τέτοια ώστε  Επειδή η συνάρτηση  είναι συνεχής ως προς  έπεται ότι  Επειδή η πολιτική  είναι βέλτιστη για  ισχύει ότι  Άρα,  Η τελευταία ισότητα σημαίνει ότι για  το δεξιό μέλος της εξίσωσης (6.14) έχει την ίδια τιμή στην κατάσταση  και για τις δύο δυνατές ενέργειες, 0 και 1. Επομένως, για κάθε κατάσταση  η ενέργεια η οποία επιλέγεται από την πολιτική  ελαχιστοποιεί το δεξιό μέλος της εξίσωσης (6.14). Συνεπώς η πολιτική  είναι βέλτιστη για  Ορίζουμε:

 και η πολιτική  είναι βέλτιστη για κάθε     

Από το Λήμμα 6.2, έχουμε ότι  Αρκεί να δείξουμε ότι  Υποθέτουμε, αντιθέτως, ότι  Επιλέγουμε  όπου  είναι η βέλτιστη κρίσιμη τιμή δοθέντος ότι η τιμή της πλασματικής παραμέτρου είναι ίση με  Από το Λήμμα 6.3 προκύπτει ότι  Θεωρούμε μία κατάσταση  τέτοια ώστε  Για  στην κατάσταση  η βέλτιστη πολιτική επιλέγει την ενέργεια 1. Αυτό έρχεται σε αντίφαση με το γεγονός ότι η πολιτική  είναι βέλτιστη για    ■

Σημείωση 6.1. Τονίζουμε ότι, όταν η ακολουθία   είναι άνω φραγμένη, το Θεώρημα 6.2 ισχύει χωρίς να είναι απαραίτητο να ισχύουν οι Συνθήκες 1 και 2, οι οποίες έχουν εισαχθεί στο Εδάφιο 6.1 για τη συνάρτηση πιθανότητας  διότι, στην περίπτωση αυτή, οι Συνθήκες 1 και 2 δεν είναι αναγκαίες για την απόδειξη της Πρότασης 6.3.

Λήμμα 6.4. Το μέσο κόστος  μιας μονότονης πολιτικής   μπορεί να γραφεί ως εξής:

όπου, η ποσότητα  είναι φθίνουσα ως προς  και η ποσότητα  δεν εξαρτάται από την παράμετρο   

Απόδειξη. Από την εξίσωση (6.8), το μέσο κόστος  μπορεί να γραφεί ως εξής:

όπου, η ποσότητα  δεν εξαρτάται από την παράμετρο  Έστω   ο αναμενόμενος χρόνος μέχρι την είσοδο της διαδικασίας στο σύνολο των καταστάσεων  αν η αρχική κατάσταση είναι η κατάσταση  και η πολιτική  έχει υιοθετηθεί για τον έλεγχο της διαδικασίας. Αν η διαδικασία βρεθεί στην κατάσταση 0 ένας κύκλος ολοκληρώνεται όταν η διαδικασία ξαναβρεθεί στην κατάσταση 0. Ο αναμενόμενος χρόνος ενός κύκλου, υπό τον έλεγχο της πολιτικής  δίνεται από τη σχέση:

Αρκεί να δείξουμε ότι η ακολουθία  είναι αύξουσα ως προς  Η απόδειξη γίνεται εύκολα με επαγωγή ως προς  Για  η ανισότητα  είναι ισοδύναμη με την ανισότητα  η οποία προφανώς ισχύει. Υποθέτουμε ότι:

                                                                                                       (6.25)

Θέλουμε να δείξουμε την ανισότητα  η οποία είναι ισοδύναμη με την ανισότητα:

                                                                         (6.26)

Ισχύει ότι:

                                                                                                        (6.27)

και 

                                                                                                   (6.28)

Από τη σχέση (6.25) έχουμε ότι:

                                                                                                   (6.29)

Από τις σχέσεις (6.27), (6.28) και (6.29) προκύπτει η ανισότητα (6.26).   ■

   Χρησιμοποιούμε το Λήμμα 6.4 και παίρνουμε το ακόλουθο αποτέλεσμα το οποίο είναι χρήσιμο για τον υπολογισμό μιας βέλτιστης μονότονης πολιτικής.

Πρόταση 6.4. Για κάθε σταθερή τιμή της παραμέτρου  το μέσο κόστος   είναι μία μονοκόρυφη συνάρτηση ως προς 

Απόδειξη. Πρέπει να δείξουμε ότι για κάθε σταθερή τιμή των  και   ισχύει ότι:
(i)	αν  τότε  για κάθε  και
(ii)	αν  τότε  για κάθε 
Θα αποδείξουμε το (i). Από το Λήμμα 6.4 ισχύει ότι  όπου η ποσότητα  είναι φθίνουσα ως προς  και η ποσότητα  δεν εξαρτάται από την παράμετρο  Επομένως, αν για κάποια σταθερή τιμή της παραμέτρου  έστω την τιμή  και κάθε σταθερή τιμή του  ισχύει ότι  τότε  για κάθε  Για να αποδείξουμε το (i), υποθέτουμε, αντιθέτως, ότι  και επομένως  για κάθε  Από τα παραπάνω προκύπτει επίσης ότι  για κάθε  και κάθε  Συνεπώς η πολιτική  δεν είναι βέλτιστη για καμία τιμή της παραμέτρου  Αυτό έρχεται σε αντίφαση με το Θεώρημα 6.2. Η απόδειξη του (ii) γίνεται με παρόμοιο τρόπο.   ■

6.4 Ο υπολογισμός της βέλτιστης πολιτικής   
   Η Πρόταση 6.4 μας επιτρέπει να σχεδιάσουμε δύο αποδοτικούς αλγόριθμους για να υπολογίσουμε τη βέλτιστη πολιτική. Στο παρόν εδάφιο υποθέτουμε ότι η παράμετρος  παίρνει την τιμή 0, δηλαδή θεωρούμε το μοντέλο που περιγράψαμε στο Εδάφιο 6.1. Η κρίσιμη τιμή  της βέλτιστης μονότονης πολιτικής  μπορεί να βρεθεί με τη συνήθη μέθοδο της διχοτόμησης η οποία υπολογίζει την ελάχιστη τιμή του συνόλου των τιμών  
   Έστω  ένας θετικός ακέραιος αριθμός τέτοιος ώστε  Η μέθοδος της διχοτόμησης παρουσιάζεται παρακάτω.

Μέθοδος της Διχοτόμησης
Βήμα 1. Αρχικά θέτουμε  και 
Βήμα 2. Έστω  το ακέραιο μέρος του πηλίκου  Αν  θέτουμε  αν  θέτουμε  αν  και  θέτουμε  αν  και  θέτουμε  Αν  επαναλαμβάνουμε το Βήμα 2. Διαφορετικά, επιλέγουμε  τέτοιο ώστε  Η βέλτιστη πολιτική είναι η πολιτική  με μέσο κόστος ίσο με 

   Χρησιμοποιούμε το Θεώρημα 5.10 στη σελ. 98 του βιβλίου του Ross (1992) και εκφράζουμε τα μέσα κόστη  υπό τον έλεγχο της πολιτικής  στο Βήμα 2 της μεθόδου της διχοτόμησης, ως εξής:

όπου   είναι οι στάσιμες πιθανότητες της διαδικασίας. Ο Economou (2003) πρότεινε έναν αλγόριθμο ο οποίος υπολογίζει με προσεγγιστικό τρόπο τις στάσιμες πιθανότητες   Μία μέθοδος για τον ακριβή υπολογισμό των στάσιμων πιθανοτήτων παρουσιάζεται παρακάτω. 
   Δεσμευόμαστε ως προς την πρώτη μετάβαση της διαδικασίας, υπό τον έλεγχο της πολιτικής  αν η αρχική κατάσταση είναι η κατάσταση   και έχουμε ότι:

                                                                                                                     (6.30)

                                                                  (6.31)

Υπό τον έλεγχο της πολιτικής  η διαδικασία αναγεννάται οποτεδήποτε βρεθεί στην κατάσταση 0. Αν η διαδικασία βρεθεί στην κατάσταση 0 ένας κύκλος ολοκληρώνεται όταν η διαδικασία ξαναβρεθεί στην κατάσταση 0. Σύμφωνα με το Θεώρημα 5.8 στη σελ. 95 του βιβλίου του Ross (1992), η στάσιμη πιθανότητα  δίνεται από τον αναμενόμενο χρόνο κατά τον οποίον η διαδικασία βρίσκεται στην κατάσταση 0 στη διάρκεια ενός κύκλου διαιρούμενο με τον αναμενόμενο χρόνο ενός κύκλου. Επομένως, ισχύει ότι:

Ο παρονομαστής της παραπάνω σχέσης μπορεί να υπολογιστεί από τις εξισώσεις (6.30) και (6.31). Οι άλλες στάσιμες πιθανότητες   μπορούν να βρεθούν από τις ακόλουθες εξισώσεις ισορροπίας:

   

   Ένας εναλλακτικός τρόπος για τον υπολογισμό της βέλτιστης πολιτικής είναι ο σχεδιασμός ενός κατάλληλου αλγορίθμου βελτίωσης των πολιτικών ο οποίος παράγει μία ακολουθία βελτιωμένων πολιτικών που έχουν τη μονότονη μορφή. Η Πρόταση 6.4 εγγυάται ότι αυτή η ακολουθία συγκλίνει στη βέλτιστη πολιτική. Ο σχεδιασμός του αλγορίθμου παρουσιάζεται παρακάτω.
   Η εξίσωση (6.20) δίνει το αναμενόμενο κόστος  μέχρι η διαδικασία να βρεθεί στην κατάσταση 0, αν η αρχική κατάσταση είναι η κατάσταση   και η πολιτική  έχει υιοθετηθεί για τον έλεγχο της διαδικασίας. Σύμφωνα με μία γνωστή ιδιότητα των μετασχηματισμών Laplace (βλέπε π.χ. σχέση (C.2) στη σελ. 362 του βιβλίου του Tijms (1994)), έχουμε ότι:

Έστω   η πιθανότητα το μέγεθος του πληθυσμού  τη χρονική στιγμή  για τη (μη ελεγχόμενη) σύνθετη διαδικασία μετανάστευσης να είναι ίσο με  αν  Η παραπάνω έκφραση παίρνει την ακόλουθη μορφή:

Εναλλάσσοντας τη σειρά του ολοκληρώματος και του αθροίσματος στο δεξιό μέλος της παραπάνω εξίσωσης, έχουμε ότι:

                                                                                                          (6.32)

όπου,  είναι ο μετασχηματισμός Laplace της πιθανότητας  στο σημείο  Έστω  ο αριθμός των αφίξεων των παρασιτικών ομάδων μέχρι τη χρονική στιγμή  και έστω 

Δεσμευόμαστε ως προς την τυχαία μεταβλητή  και υπολογίζουμε τις πιθανότητες  από την ακόλουθη εξίσωση:

όπου,  αν  και  αν  Ολοκληρώνοντας την παραπάνω εξίσωση παίρνουμε την ακόλουθη έκφραση για την ποσότητα  μετά από κάποιες απλοποιήσεις:

                                                                                      (6.33)

Οι υπό-συνθήκη πιθανότητες  μπορούν να υπολογιστούν από τον παρακάτω αναδρομικό τύπο:

όπου,    και   Είναι προφανές ότι τα αναμενόμενα κόστη   μπορούν να υπολογιστούν από τις εξισώσεις (6.32) και (6.33). Δεσμευόμαστε ως προς την πρώτη μετάβαση της διαδικασίας, υπό τον έλεγχο της πολιτικής  αν η αρχική κατάσταση είναι η κατάσταση   και έχουμε ότι:

                                                            (6.34)

Το μέσο κόστος  υπό τον έλεγχο της πολιτικής  υπολογίζεται από την εξίσωση 
   Θεωρούμε την ποσότητα  η οποία ορίζεται ως εξής:

όπου,  είναι η πιθανότητα η επόμενη κατάσταση της διαδικασίας να είναι η κατάσταση  αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  και   είναι ο αναμενόμενος χρόνος και το αναμενόμενο κόστος, αντίστοιχα, για τη μετάβαση της διαδικασίας στην επόμενη κατάσταση, αν η αρχική κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  Αν σε μία κατάσταση της διαδικασίας, επιλέγεται η ενέργεια η οποία θέτει σε λειτουργία το μηχανισμό της καταστροφής, τότε  ενώ αν δεν επιλέγεται αυτή η ενέργεια, τότε 
   Υποθέτουμε ότι υπάρχει ένας ακέραιος αριθμός  τέτοιος ώστε  και   Σύμφωνα με το Θεώρημα 2.7 για τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων (βλέπε (ε) στη σελ. 28 της παρούσας διατριβής), το μακροπρόθεσμο αναμενόμενο μέσο κόστος της μονότονης πολιτικής  η οποία χαρακτηρίζεται από το κρίσιμο σημείο  είναι μικρότερο από το μακροπρόθεσμο αναμενόμενο μέσο κόστος της μονότονης πολιτικής  Παρόμοια, αν υπάρχει ένας ακέραιος αριθμός  τέτοιος ώστε  και   σύμφωνα πάλι με το Θεώρημα 2.7 για τις ημι-Μαρκοβιανές διαδικασίες αποφάσεων, το μακροπρόθεσμο αναμενόμενο μέσο κόστος της μονότονης πολιτικής  η οποία χαρακτηρίζεται από το κρίσιμο σημείο  είναι μικρότερο από το μακροπρόθεσμο αναμενόμενο μέσο κόστος της μονότονης πολιτικής  Σύμφωνα με την Πρόταση 6.4, όταν δεν είναι δυνατόν να βρεθεί ένας ακέραιος αριθμός  με τις παραπάνω ιδιότητες, το μέσο κόστος  είναι η ελάχιστη τιμή του συνόλου των τιμών 
   Οι παραπάνω παρατηρήσεις μας οδηγούν να σχεδιάσουμε τον ακόλουθο αλγόριθμο βελτίωσης των πολιτικών ο οποίος παράγει μία ακολουθία βελτιωμένων μονότονων πολιτικών.

Αλγόριθμος   
Βήμα 1. (Έναρξη). Αρχικά επιλέγουμε έναν ακέραιο αριθμό   ο οποίος χαρακτηρίζει τη μονότονη μορφή μιας πολιτικής 
Βήμα 2. (Εύρεση μέσου κόστους). Για τη μονότονη πολιτική  υπολογίζουμε το μέσο κόστος   από την εξίσωση 
Βήμα 3. (Βελτίωση των πολιτικών). 
(3α) Βρίσκουμε, αν υπάρχει, το μικρότερο ακέραιο αριθμό  τέτοιο ώστε  και  για κάθε  και επιστρέφουμε στο Βήμα 2 αντικαθιστώντας τον αριθμό  με τον αριθμό  Διαφορετικά,
(3β) βρίσκουμε, αν υπάρχει, το μεγαλύτερο ακέραιο αριθμό  τέτοιο ώστε  και  για κάθε  και επιστρέφουμε στο Βήμα 2 αντικαθιστώντας τον αριθμό  με τον αριθμό 
Βήμα 4. (Κριτήριο Σύγκλισης). Αν δεν είναι δυνατόν να βρεθεί ένας ακέραιος αριθμός  ο οποίος να ικανοποιεί τις ιδιότητες του Βήματος (3α) ή του Βήματος (3β), ο αλγόριθμος σταματά. Η τελική πολιτική που παράγει ο αλγόριθμος είναι η πολιτική  με μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου.

Η ποσότητα  στο Βήμα (3α) δίνεται από την εξίσωση:

και η ποσότητα  στο Βήμα (3β) δίνεται από την εξίσωση:

Οι σχετικές τιμές   μπορούν να υπολογιστούν από την εξίσωση  όπου οι αναμενόμενοι χρόνοι  και τα αναμενόμενα κόστη  μπορούν να βρεθούν από τις εξισώσεις (6.11), (6.30), (6.31), (6.32) και (6.34).
   Πολλά αριθμητικά παραδείγματα μας οδηγούν στο συμπέρασμα ότι ο αλγόριθμος επιτυγχάνει σημαντική βελτίωση της αρχικής πολιτικής στην πρώτη επανάληψη. Για κάθε αρχική μονότονη πολιτική   τα μέσα κόστη των πολιτικών που δίνει ο αλγόριθμος μετά από την πρώτη επανάληψη δεν διαφέρουν σημαντικά από το μέσο κόστος της τελικής βέλτιστης πολιτικής. Επιπλέον υπάρχει ισχυρή ένδειξη ότι ο αριθμός των επαναλήψεων του αλγορίθμου δεν επηρεάζεται ιδιαίτερα από την αρχική κρίσιμη τιμή η οποία χαρακτηρίζει την αρχική μονότονη πολιτική κατά την έναρξη του αλγορίθμου στο Βήμα 1.
   Δύο αριθμητικά παραδείγματα παρουσιάζονται παρακάτω. Στο πρώτο παράδειγμα θεωρούμε ότι   και ότι η συνάρτηση πιθανότητας του πληθυσμιακού μεγέθους των ομαδικών αυξήσεων είναι ίση με  Θεωρούμε επίσης ότι   Η κρίσιμη τιμή  επιλέγεται ως η αρχική κρίσιμη τιμή κατά την έναρξη του αλγορίθμου στο Βήμα 1. Στον Πίνακα 6.1 παρουσιάζονται η κρίσιμη τιμή  της βέλτιστης πολιτικής που δίνει ο αλγόριθμος και το αντίστοιχο ελάχιστο μέσο κόστος  για διαφορετικές τιμές της παραμέτρου  Παρουσιάζονται επίσης ο απαιτούμενος αριθμός των επαναλήψεων και ο απαιτούμενος χρόνος (σε δευτερόλεπτα) για την εκτέλεση του αλγορίθμου. Στις παρενθέσεις παρουσιάζονται ο απαιτούμενος αριθμός των επαναλήψεων και ο απαιτούμενος χρόνος για την εκτέλεση της μεθόδου της διχοτόμησης.

Πίνακας 6.1. Η κρίσιμη τιμή  της βέλτιστης πολιτικής, το μέσο κόστος  ο αριθμός των επαναλήψεων και οι χρόνοι εκτέλεσης (σε δευτερόλεπτα) για διαφορετικές τιμές της παραμέτρου 
         Κρίσιμη τιμή      Μέσο κόστος    Αριθμός επαναλήψεων      Χρόνοι εκτέλεσης      
  10                 5                         2.28                        4 (5)                                    2        (3.9)           
  20                 9                         3.06                        4 (6)                                    2.16   (5.3) 
  50               19                         4.35                        2 (6)                                    1.08   (6.4)
100               31                         5.58                        4 (6)                                    2.5     (5.9)

Παρατηρούμε ότι η αύξηση της τιμής της παραμέτρου  έχει ως επακόλουθο την αύξηση της κρίσιμης τιμής  της βέλτιστης πολιτικής. Παρατηρούμε επίσης ότι σε όλες τις περιπτώσεις ο απαιτούμενος αριθμός των επαναλήψεων και ο απαιτούμενος χρόνος για την εκτέλεση του αλγορίθμου είναι μικρότερος από τον απαιτούμενο αριθμό των επαναλήψεων και τον απαιτούμενο χρόνο για την εκτέλεση της μεθόδου της διχοτόμησης. Στο δεύτερο παράδειγμα θεωρούμε ότι   και ότι η συνάρτηση πιθανότητας του πληθυσμιακού μεγέθους των ομαδικών αυξήσεων είναι ίση με  (βλέπε Σενάριο 4 της εργασίας του Economou (2003)). Θεωρούμε επίσης ότι   και  Στον Πίνακα 6.2 παρουσιάζονται οι διαδοχικές κρίσιμες τιμές και τα αντίστοιχα μέσα κόστη των διαδοχικών μονότονων πολιτικών που δίνει ο αλγόριθμος για τις διαφορετικές αρχικές κρίσιμες τιμές οι οποίες επιλέγονται κατά την έναρξη του αλγορίθμου στο Βήμα 1.

Πίνακας 6.2. Οι διαδοχικές κρίσιμες τιμές και τα μέσα κόστη των διαδοχικών μονότονων πολιτικών που δίνει ο αλγόριθμος για διαφορετικές αρχικές κρίσιμες τιμές        
Αρχική κρίσιμη τιμή      Διαδοχικές κρίσιμες τιμές                    Διαδοχικά μέσα κόστη
      1                                1, 34, 12, 17                                          18.54, 11.92, 10.36, 10.03
    20                                20, 16, 17                                              10.13, 10.04, 10.03
    50                                50, 9, 19, 17                                          15.02, 11.12, 10.08, 10.03
    70                                70, 6, 22, 16, 17                                    19.44, 12.57, 10.27, 10.04, 10.03
    90                                90, 5, 24, 15, 17                                    23.83, 13.59, 10.47, 10.07, 10.03

Σχήμα 6.1. Γράφημα μέσου κόστους  έναντι κρίσιμης τιμής  για το πρώτο παράδειγμα όταν 

Σχήμα 6.2. Γράφημα μέσου κόστους  έναντι κρίσιμης τιμής  για το πρώτο παράδειγμα όταν 

Στα Σχήματα 6.1 και 6.2 παρουσιάζονται τα γραφήματα του μέσου κόστους  έναντι της κρίσιμης τιμής  για το πρώτο παράδειγμα, όταν η παράμετρος  είναι ίση με 10 και 50, αντίστοιχα. Τα γραφήματα επιβεβαιώνουν το αποτέλεσμα της Πρότασης 6.4.

6.5 Διωνυμικές καταστροφές 
   Στο παρόν εδάφιο θεωρούμε ένα γενικότερο μοντέλο στο οποίο επιλέγεται μία ενέργεια που θέτει σε λειτουργία ένα μηχανισμό που προξενεί μία διωνυμική καταστροφή αντί μιας ολοκληρωτικής καταστροφής του πληθυσμού των παρασίτων. Οι Brockwell et al. (1982) θεώρησαν διάφορα Μαρκοβιανά μοντέλα για την ανάπτυξη πληθυσμών που υπόκεινται σε καταστροφές. Σε ένα από τα μοντέλα που μελέτησαν, υπέθεσαν ότι οι καταστροφές είναι διωνυμικές. Στην περίπτωση των διωνυμικών καταστροφών, οι μεταβάσεις της διαδικασίας, υπό τον έλεγχο της στάσιμης πολιτικής   σε ένα χρονικό διάστημα  καθώς  είναι οι εξής:

   με πιθανότητα         
                                        με πιθανότητα         

Η συνάρτηση  είναι τέτοια ώστε  καθώς  Ο αριθμός   αναπαριστά την πιθανότητα ένα παράσιτο να επιβιώσει κατά τη διάρκεια μιας διωνυμικής καταστροφής. Αν  το μοντέλο συμπίπτει με αυτό που περιγράψαμε στο Εδάφιο 6.1. Στην περίπτωση των διωνυμικών καταστροφών, όπως στην περίπτωση των ολοκληρωτικών καταστροφών, φαίνεται διαισθητικά λογικό ότι η βέλτιστη πολιτική είναι επίσης μονότονη. Μία αναλυτική απόδειξη αυτού του αποτελέσματος φαίνεται δύσκολη.
   Η βέλτιστη πολιτική μπορεί να υπολογιστεί με την εφαρμογή της προσεγγιστικής μεθόδου της Sennott (βλέπε Εδάφιο 2.6 της παρούσας διατριβής και Κεφάλαιο 10 του βιβλίου της Sennott (1999)). Βάσει αυτής της μεθόδου, μία Μαρκοβιανή διαδικασία αποφάσεων με άπειρο χώρο καταστάσεων προσεγγίζεται από μία ακολουθία Μαρκοβιανών διαδικασιών αποφάσεων με πεπερασμένο χώρο καταστάσεων. Ο αλγόριθμος των διαδοχικών προσεγγίσεων χρησιμοποιείται για τον υπολογισμό της βέλτιστης πολιτικής κάθε Μαρκοβιανής διαδικασίας αποφάσεων της ακολουθίας. Πρέπει να εισαχθούν κατάλληλες συνθήκες οι οποίες εγγυώνται τη σύγκλιση του αλγορίθμου των διαδοχικών προσεγγίσεων σε μία βέλτιστη πολιτική της αρχικής Μαρκοβιανής διαδικασίας αποφάσεων με τον άπειρο χώρο καταστάσεων.
   Η προσεγγιστική μέθοδος της Sennott (1997) εφαρμόστηκε στο τροποποιημένο μοντέλο των διωνυμικών καταστροφών. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική είναι μονότονη. 
   Ένα αριθμητικό παράδειγμα παρουσιάζεται παρακάτω. Θεωρούμε ότι   και ότι η συνάρτηση πιθανότητας του πληθυσμιακού μεγέθους των ομαδικών αυξήσεων είναι ίση με  Θεωρούμε επίσης ότι   και  Η κρίσιμη τιμή  της βέλτιστης πολιτικής βρέθηκε ίση με 4. Το μέσος κόστος  της βέλτιστης πολιτικής βρέθηκε ίσο με 12.7 και ο απαιτούμενος αριθμός των επαναλήψεων για την εκτέλεση του αλγορίθμου ήταν ίσος με 61. 

  

   

 

ΚΕΦΑΛΑΙΟ 7
 Υπολογισμός της βέλτιστης πολιτικής για τον έλεγχο μιας απλής διαδικασίας μετανάστευσης με την εισαγωγή ενός αρπακτικού       

7.1 Εισαγωγή
   Θεωρούμε έναν πληθυσμό παρασίτων ο οποίος αναπτύσσεται στοχαστικά σε ένα βιότοπο σύμφωνα με μία απλή διαδικασία Poisson με ρυθμό ίσο με  Υποθέτουμε ότι το κόστος της βλάβης που προξενούν τα παράσιτα είναι ίσο με   για κάθε μονάδα χρόνου κατά την οποία το μέγεθος του πληθυσμού των παρασίτων είναι ίσο με  Είναι λογικό να υποθέσουμε ότι η ακολουθία  είναι αύξουσα ως προς  και ότι  Επιπλέον θεωρούμε ότι  καθώς  και ότι   για κάποιο θετικό αριθμό  και κάποιο θετικό ακέραιο αριθμό  
   Θεωρούμε ότι η ανάπτυξη του πληθυσμού των παρασίτων μπορεί να ελεγχθεί μέσω μιας  ενέργειας που εισάγει ένα αρπακτικό στο βιότοπο μετά από τυχαίο χρόνο ο οποίος είναι εκθετικά κατανεμημένος. Η παρουσία του αρπακτικού στο βιότοπο διακόπτει αμέσως τις μεταναστεύσεις των παρασίτων. Όταν το αρπακτικό εισαχθεί στο βιότοπο, εξοντώνει ένα-ένα τα παράσιτα με σταθερό ρυθμό ίσο με  μέχρι να μηδενιστεί ο πληθυσμός τους. Υποθέτουμε ότι το αρπακτικό μπορεί να αποδημήσει από το βιότοπο με ρυθμό ίσο με  προτού εξοντώσει όλα τα παράσιτα. Η μονάδα του χρόνου επιλέγεται έτσι ώστε ο ρυθμός με τον οποίον το αρπακτικό εισάγεται στο βιότοπο να είναι ίσος με τη μονάδα. Συνεπώς, όταν επιλέγεται η ενέργεια που εισάγει το αρπακτικό στο βιότοπο, ο απαιτούμενος χρόνος για την εισαγωγή του αρπακτικού είναι μία τυχαία μεταβλητή η οποία ακολουθεί την Εκθετική κατανομή με μέση τιμή ίση με τη μονάδα. Υποθέτουμε επίσης ότι η εισαγωγή του αρπακτικού στον πληθυσμό των παρασίτων επιφέρει ένα κόστος ίσο με  ανά μονάδα χρόνου και ότι 
   Έστω  και  οι καταστάσεις της διαδικασίας στις οποίες το μέγεθος του πληθυσμού των παρασίτων είναι ίσο με   και το αρπακτικό απουσιάζει από το βιότοπό τους ή είναι παρόν, αντίστοιχα. Μία στάσιμη πολιτική  ορίζεται από μία ακολουθία   όπου  είναι η ενέργεια που επιλέγεται όταν η διαδικασία βρίσκεται στην κατάσταση  Υποθέτουμε ότι  όταν επιλέγεται η ενέργεια η οποία εισάγει το αρπακτικό στο βιότοπο και  όταν δεν επιλέγεται αυτή η ενέργεια. Αν η στάσιμη πολιτική   υιοθετηθεί για τον έλεγχο της διαδικασίας, η ανάπτυξη του πληθυσμού των παρασίτων μπορεί να περιγραφεί από ένα Μαρκοβιανό μοντέλο σε συνεχή χρόνο με χώρο καταστάσεων  και με τις ακόλουθες μεταβάσεις σε ένα χρονικό διάστημα  καθώς 

                      με πιθανότητα            
                                                      με πιθανότητα           
                                              με πιθανότητα            
                                                       με πιθανότητα            

Η συνάρτηση  είναι τέτοια ώστε  καθώς  Το πρόβλημα είναι η εύρεση της πολιτικής, η οποία, ανάμεσα σε όλες τις στάσιμες πολιτικές, ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου. Οι χρονικές στιγμές που επιλέγεται μία ενέργεια είναι οι χρονικές στιγμές κατά τις οποίες ένα παράσιτο μεταναστεύει στο βιότοπο και οι χρονικές στιγμές κατά τις οποίες το αρπακτικό αποδημεί από το βιότοπο. Ο Kyriakidis (2003) μελέτησε το πρόβλημα στην περίπτωση κατά την οποία το αρπακτικό έχει τη δυνατότητα να αποδημήσει από το βιότοπο μόνο αφού έχει εξοντώσει όλα τα παράσιτα. 
   Όπως αναφέρεται στην εργασία του Kyriakidis (2003) μπορεί να θεωρηθεί ότι ο πληθυσμός των παρασίτων αποτελείται από γλάρους οι οποίοι ενδεχομένως να γίνουν επικίνδυνοι για ένα αεροπλάνο που απογειώνεται ή προσγειώνεται σε ένα αεροδρόμιο, το οποίο βρίσκεται κοντά σε μία παραθαλάσσια περιοχή. Το αρπακτικό μπορεί να είναι ένα γεράκι κατάλληλα εκπαιδευμένο ώστε να κυνηγήσει και να απομακρύνει τους γλάρους από την παραθαλάσσια περιοχή.   
   Στο παρόν πρόβλημα φαίνεται διαισθητικά λογικό ότι η βέλτιστη πολιτική ανήκει στην κατηγορία των μονότονων πολιτικών  όπου  είναι η στάσιμη πολιτική, υπό τον έλεγχο της οποίας, επιλέγεται η ενέργεια που εισάγει το αρπακτικό στο βιότοπο αν και μόνο αν το μέγεθος του πληθυσμού των παρασίτων είναι μεγαλύτερο ή ίσο με 
   Μία μέθοδος η οποία, σε πολλές περιπτώσεις, μας οδηγεί να αποδείξουμε ότι μία μονότονη πολιτική είναι βέλτιστη είναι η μέθοδος των διαδοχικών προσεγγίσεων (βλέπε π.χ. Derman (1970), Ross (1992)). Για μία περιληπτική αναφορά στη μέθοδο των διαδοχικών προσεγγίσεων παραπέμπουμε στη σελ. 125 της παρούσας διατριβής. 
   Οι Federgruen and So (1989) επινόησαν μία διαφορετική τεχνική για να αποδείξουν ότι μία μονότονη πολιτική είναι βέλτιστη. Η τεχνική βασίζεται σε μία παραμετρική ανάλυση. Αρχικά, αποδεικνύεται ότι υπάρχει μία βέλτιστη μονότονη πολιτική, όταν μία παράμετρος του μοντέλου, ενδεχομένως πλασματική, παίρνει αρκετά μικρές τιμές. Στη συνέχεια, αυτός ο ισχυρισμός αποδεικνύεται με επαγωγή για τιμές της παραμέτρου που ανήκουν σε κατάλληλα διαστήματα των πραγματικών αριθμών. Η τεχνική των Federgruen and So εφαρμόστηκε στο Εδάφιο 6.3 της παρούσας διατριβής και στην εργασία του Kyriakidis (2003). Στο Μαρκοβιανό μοντέλο αποφάσεων που μελετήθηκε από τον Kyriakidis, ως πλασματική παράμετρος θεωρήθηκε το κόστος για κάθε μονάδα χρόνου κατά την οποία η διαδικασία βρίσκεται στην κατάσταση 
   Στο παρόν μοντέλο φαίνεται δύσκολο να αποδείξουμε ότι μία μονότονη πολιτική είναι βέλτιστη χρησιμοποιώντας είτε τη μέθοδο των διαδοχικών προσεγγίσεων είτε την τεχνική των Federgruen and So (1989). Είναι ωστόσο δυνατόν να υπολογίσουμε αριθμητικά τη βέλτιστη πολιτική. Αυτό μπορεί να επιτευχθεί, αν μετατρέψουμε το αρχικό Μαρκοβιανό μοντέλο αποφάσεων σε συνεχή χρόνο σε ένα ισοδύναμο Μαρκοβιανό μοντέλο αποφάσεων σε διακριτό χρόνο και στη συνέχεια εφαρμόσουμε την προσεγγιστική μέθοδο της Sennott (1997) στο μοντέλο σε διακριτό χρόνο. Η προσεγγιστική μέθοδος της Sennott παρουσιάζεται με συνοπτικό τρόπο στο Εδάφιο 2.6 της παρούσας διατριβής. Σύμφωνα με τη μέθοδο αυτή ορίζεται μία κατάλληλη ακολουθία Μαρκοβιανών μοντέλων αποφάσεων με πεπερασμένους χώρους καταστάσεων τέτοια ώστε, τα ελάχιστα μέσα κόστη και οι βέλτιστες πολιτικές των μοντέλων της ακολουθίας να συγκλίνουν στο ελάχιστο μέσο κόστος και σε μία βέλτιστη πολιτική του αρχικού μοντέλου. Ένα σύνολο κατάλληλων υποθέσεων εγγυάται τη σύγκλιση. Πολλά αριθμητικά παραδείγματα παρέχουν ισχυρή ένδειξη ότι η βέλτιστη πολιτική στο μοντέλο μας είναι μονότονη.
   Στο επόμενο εδάφιο μετατρέπουμε το αρχικό Μαρκοβιανό μοντέλο αποφάσεων σε συνεχή χρόνο σε ένα ισοδύναμο Μαρκοβιανό μοντέλο αποφάσεων σε διακριτό χρόνο και υπολογίζουμε την πολιτική η οποία ελαχιστοποιεί το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου χρησιμοποιώντας την προσεγγιστική μέθοδο της Sennott (1997). Δύο αριθμητικά παραδείγματα επίσης παρουσιάζονται. Στο Εδάφιο 7.3 παρουσιάζουμε και επαληθεύουμε τις υποθέσεις που εγγυώνται τη σύγκλιση του αλγορίθμου στη βέλτιστη πολιτική.
   Τα αποτελέσματα των Εδαφίων 7.2 και 7.3 περιλαμβάνονται στην εργασία των Kyriakidis and Dimitrakos (2005a).

7.2 Ο υπολογισμός της βέλτιστης πολιτικής
   Μετατρέπουμε το Μαρκοβιανό μοντέλο αποφάσεων σε συνεχή χρόνο που εισάγαμε στο προηγούμενο εδάφιο σε μία ισοδύναμη Μαρκοβιανή διαδικασία αποφάσεων σε διακριτό χρόνο με τον ίδιο χώρο καταστάσεων  Αυτό θα επιτευχθεί χρησιμοποιώντας την τεχνική της ομοιομορφοποίησης (βλέπε σελ. 30-31 της παρούσας διατριβής).
   Έστω ένας θετικός αριθμός  τέτοιος ώστε  Έστω   η πιθανότητα η επόμενη κατάσταση της διαδικασίας σε διακριτό χρόνο να είναι η κατάσταση  αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  Έστω επίσης  το αναμενόμενο κόστος ενός βήματος της διαδικασίας σε διακριτό χρόνο για τη μετάβαση στην επόμενη κατάσταση, αν η παρούσα κατάσταση είναι η κατάσταση  και επιλέγεται η ενέργεια  Σύμφωνα με την τεχνική της ομοιομορφοποίησης, όπως αυτή περιγράφεται στις σελ. 30-31 της παρούσας διατριβής, ισχύει ότι:

   

   

                                                                                                        (7.1)
                                                                                                                  (7.2)

Υπό τον έλεγχο οποιασδήποτε στάσιμης πολιτικής, το Μαρκοβιανό μοντέλο αποφάσεων σε διακριτό χρόνο έχει το ίδιο μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου με το αρχικό Μαρκοβιανό μοντέλο αποφάσεων σε συνεχή χρόνο (βλέπε σελ. 222 του βιβλίου του Tijms (1994)). Συνεπώς τα δύο μοντέλα έχουν την ίδια βέλτιστη πολιτική. Χρησιμοποιώντας την προσεγγιστική μέθοδο της Sennott (1997) θεωρούμε μία ακολουθία Μαρκοβιανών μοντέλων αποφάσεων με χώρους καταστάσεων   Οι πιθανότητες μετάβασης    σε ένα μοντέλο της ακολουθίας συμπίπτουν με τις πιθανότητες μετάβασης  του μοντέλου με τον άπειρο χώρο καταστάσεων  εκτός από τις ακόλουθες πιθανότητες:

 

Τα αναμενόμενα κόστη μιας μετάβασης    σε ένα μοντέλο της ακολουθίας συμπίπτουν με αυτά του μοντέλου με τον άπειρο χώρο καταστάσεων. Για τις διάφορες τιμές του  η βέλτιστη πολιτική και το ελάχιστο μέσο κόστος για κάθε μοντέλο της ακολουθίας υπολογίζονται χρησιμοποιώντας τον αλγόριθμο των διαδοχικών προσεγγίσεων (βλέπε Κεφάλαιο 3 του βιβλίου του Tijms (1994)). Από το Θεώρημα 2.4 της Sennott (1997), έπεται ότι, καθώς  τα ελάχιστα μέσα κόστη και οι βέλτιστες πολιτικές της ακολουθίας συγκλίνουν στο ελάχιστο μέσο κόστος και σε μία βέλτιστη πολιτική του μοντέλου με τον άπειρο χώρο καταστάσεων. Οι υποθέσεις που εγγυώνται τη σύγκλιση θα παρουσιαστούν και θα επαληθευτούν στο επόμενο εδάφιο. Κατά την εφαρμογή της μεθόδου, ο αριθμός  αυξάνεται μέχρι η αλλαγή στην τιμή του ελάχιστου μέσου κόστους να είναι πολύ μικρή και η μορφή της βέλτιστης πολιτικής να παραμείνει αμετάβλητη. Πολλά αριθμητικά παραδείγματα που έχουμε εξετάσει μας οδηγούν να εικάσουμε ότι η βέλτιστη πολιτική ανήκει στην κατηγορία των μονότονων πολιτικών  Αυτό σημαίνει ότι υπάρχει μία κρίσιμη τιμή  τέτοια ώστε η βέλτιστη πολιτική εισάγει το αρπακτικό στο βιότοπο αν και μόνο αν το μέγεθος του πληθυσμού των παρασίτων είναι μεγαλύτερο ή ίσο με 
   Παρουσιάζονται δύο αριθμητικά παραδείγματα. Στο πρώτο παράδειγμα υποθέτουμε ότι      και  Επιλέγουμε  και τον αριθμό  ως το μέγιστο αριθμό της σχετικής διαφοράς ανάμεσα στο ανώτερο και στο κατώτερο φράγμα για το ελάχιστο μέσο κόστος στον αλγόριθμο των διαδοχικών προσεγγίσεων (βλέπε σελ. 208 του βιβλίου του Tijms (1994)). Στον Πίνακα 7.1 παρουσιάζονται η βέλτιστη κρίσιμη τιμή  και το ελάχιστο μέσο κόστος  για διάφορες τιμές του αριθμού  στο μοντέλο με χώρο καταστάσεων 

Πίνακας 7.1. Οι κρίσιμες τιμές  και το ελάχιστο μέσο κόστος  για διάφορες τιμές του 

                                      Κρίσιμη τιμή                     Μέσο κόστος 
                 70                                               0                                              8.1362
                 72                                               7                                              8.2506
                 75                                               6                                              8.4110
                 80                                               5                                              8.6797
                 85                                               4                                              8.9075
               200                                               4                                              9.3674
               250                                               4                                              9.3691
               290                                               4                                              9.3692
               300                                               4                                              9.3693
              1000                                              4                                              9.3693

Παρατηρούμε ότι η κρίσιμη τιμή  δεν αλλάζει και το μέσο κόστος  δεν αλλάζει σημαντικά αν ο αριθμός  είναι μεγαλύτερος ή ίσος με 200. Συμπεραίνουμε ότι η βέλτιστη πολιτική για το αρχικό μοντέλο με τον άπειρο χώρο καταστάσεων είναι η πολιτική  με μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου ίσο με 9.3693.
   Στο δεύτερο παράδειγμα υποθέτουμε ότι      και  Επιλέγουμε τον ίδιο αριθμό  και τον ίδιο μέγιστο αριθμό της σχετικής διαφοράς των δύο φραγμάτων με το πρώτο παράδειγμα. Στον Πίνακα 7.2 παρουσιάζονται η βέλτιστη κρίσιμη τιμή  και το ελάχιστο μέσο κόστος  για διάφορες τιμές του αριθμού  στο μοντέλο με χώρο καταστάσεων 

Πίνακας 7.2. Οι κρίσιμες τιμές  και το ελάχιστο μέσο κόστος  για διάφορες τιμές του 

                                      Κρίσιμη τιμή                     Μέσο κόστος 
                 70                                               6                                              7.7870
                 72                                               5                                              8.2017
                 75                                               4                                              8.3574
                 85                                               3                                              8.7843
               200                                               3                                              9.2746
               250                                               3                                              9.2814
               300                                               3                                              9.2828
               700                                               3                                              9.2830
              1000                                              3                                              9.2830

Παρατηρούμε ότι η κρίσιμη τιμή  δεν αλλάζει και το μέσο κόστος  δεν αλλάζει σημαντικά αν ο αριθμός  είναι μεγαλύτερος ή ίσος με 250. Συμπεραίνουμε ότι η βέλτιστη πολιτική για το αρχικό μοντέλο με τον άπειρο χώρο καταστάσεων είναι η πολιτική  με μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου ίσο με 9.2830.

7.3 Η σύγκλιση του αλγορίθμου
   Σύμφωνα με την Πρόταση 4.1 της Sennott (1997), στο πρόβλημά μας τα ελάχιστα μέσα κόστη και οι βέλτιστες πολιτικές των Μαρκοβιανών μοντέλων αποφάσεων με τους πεπερασμένους χώρους καταστάσεων   συγκλίνουν στο ελάχιστο μέσο κόστος και σε μία βέλτιστη πολιτική του μοντέλου με τον άπειρο χώρο καταστάσεων  αν ικανοποιούνται οι δύο ακόλουθες συνθήκες.

Συνθήκη 1: Στο μοντέλο με τον άπειρο χώρο καταστάσεων  υπάρχει μία στάσιμη πολιτική  υπό τον έλεγχο της οποίας, ορίζεται μία ανάγωγη έμμονη θετική Μαρκοβιανή αλυσίδα στο  με πεπερασμένο μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου για κάθε αρχική κατάσταση της διαδικασίας. Επιπλέον υπάρχει ένας αριθμός  τέτοιος ώστε το σύνολο:  υπάρχει ενέργεια  τέτοια ώστε  να είναι πεπερασμένο.
Συνθήκη 2: Ισχύει ότι:     και    όπου
 είναι η βέλτιστη πολιτική του Μαρκοβιανού μοντέλου αποφάσεων με τον άπειρο χώρο καταστάσεων 
 είναι η στάσιμη πολιτική του Μαρκοβιανού μοντέλου αποφάσεων με τον πεπερασμένο χώρο καταστάσεων  τέτοια ώστε:   
  είναι η στάσιμη κατανομή υπό τον έλεγχο της πολιτικής 
  είναι η στάσιμη κατανομή υπό τον έλεγχο της πολιτικής 
 είναι το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου υπό τον έλεγχο της πολιτικής 
 είναι το μακροπρόθεσμο αναμενόμενο μέσο κόστος ανά μονάδα χρόνου υπό τον έλεγχο της πολιτικής 

Επισημαίνουμε ότι η Συνθήκη 1 έχει ως επακόλουθο την ύπαρξη μιας βέλτιστης πολιτικής  υπό τον έλεγχο της οποίας, η Μαρκοβιανή αλυσίδα που ορίζεται στο χώρο καταστάσεων  είναι έμμονη θετική (βλέπε Πρόταση 4.1 της Sennott (1997)). 
   Για να αποδείξουμε τη Συνθήκη 1 επιλέγουμε τη στάσιμη πολιτική  Υπό τον έλεγχο της πολιτικής  οι στάσιμες πιθανότητες  και   της διαδικασίας με τον άπειρο χώρο καταστάσεων ικανοποιούν τις ακόλουθες εξισώσεις ισορροπίας και τη συνθήκη κανονικοποίησης:

   

Οι παραπάνω εξισώσεις οδηγούν στις ακόλουθες εκφράσεις για τις στάσιμες πιθανότητες:

   

Παρατηρούμε ότι η συνθήκη  που εισάγαμε στο Εδάφιο 7.1, εγγυάται την ύπαρξη της στάσιμης κατανομής. Υπό τον έλεγχο της πολιτικής  η διαδικασία είναι προφανώς ανάγωγη. Επιπλέον είναι έμμονη θετική διότι έχει στάσιμη κατανομή (βλέπε Θεώρημα 3 στη σελ. 205 του βιβλίου των Grimmett and Stirzaker (1992)). Για κάθε αρχική κατάσταση της διαδικασίας, το μακροπρόθεσμο αναμενόμενο μέσο κόστος  ανά μονάδα χρόνου, υπό τον έλεγχο της πολιτικής  δίνεται από την ακόλουθη εξίσωση (βλέπε σχέση (3.1.3) στη σελ. 186 του βιβλίου του Tijms (1994)):

Οι παραπάνω εκφράσεις για τις στάσιμες πιθανότητες    και η συνθήκη   που εισάγαμε στο Εδάφιο 7.1, έχουν ως επακόλουθο ότι  Σύμφωνα με τις σχέσεις (7.1), (7.2) και την υπόθεση  καθώς  το σύνολο  υπάρχει ενέργεια  τέτοια ώστε  είναι πεπερασμένο για κάθε τιμή του 
   Για να αποδείξουμε τη Συνθήκη 2, παρατηρούμε ότι οι εξισώσεις ισορροπίας για τις καταστάσεις  είναι ίδιες στους χώρους καταστάσεων  και  Διαφέρουν μόνο στην κατάσταση  Αυτό σημαίνει ότι:

Από την παραπάνω εξίσωση συμπεραίνουμε ότι:   Επιπλέον έχουμε ότι:

καθώς 

ΠΑΡΑΡΤΗΜΑ

Παρουσιάζουμε αποσπάσματα του προγράμματος Matlab για τον αλγόριθμο του Εδαφίου 4.5. Ο αλγόριθμος υπολογίζει τη βέλτιστη πολιτική για τον έλεγχο ενός συστήματος παραγωγής. Ο σχεδιασμός του αλγορίθμου βασίζεται στην τεχνική εμφύτευσης του Tijms (1994). 

{Ορισμοί πινάκων του προγράμματος}

fold=zeros(m+1,K+1);  fnew=zeros(m+1,K+1); s=zeros(1,K+1); 
s1=zeros(1,K+1); p=zeros(m+2,m+2); c1=zeros(1,m+1); 
c2=zeros(1,m+1); t=zeros(m+1,K+1);  c=zeros(m+1,K+1); p1=zeros(m+1,K+1,m+1,K+1); rel=zeros(m+1,K+1);  z1=zeros(1,K+1); z2=zeros(1,K+1); 

{Οι παράμετροι του μοντέλου}

m=input('Give m:');     {m: μέγιστος βαθμός επιδείνωσης του μηχανισμού}

K=input('Give K:');     {Κ: μέγιστη χωρητικότητα του αποθηκευτικού χώρου}

d=input('Give d:');     {d: ρυθμός της ζήτησης του ακατέργαστου υλικού}

Cp=input('Give Cp:');   {Cp: ρυθμός του κόστους της προληπτικής συντήρησης}

Cf=input('Give Cf:');   {Cf: ρυθμός του κόστους της επισκευής}

a=input('Give a:');     {a: πιθανότητα επιτυχίας της προληπτικής συντήρησης}

b=input('Give b:');     {b: πιθανότητα επιτυχίας της επισκευής}
 
h=input('Give h:');     {h: κόστος της αποθήκευσης του ακατέργαστου υλικού}

 

{Υπολογισμός των πιθανοτήτων μετάβασης   

for i=1:m+2
    for j=1:m+2
       if (i<=j)
        p(i,j)=1/(m+2-i+1); 
       else
        p(i,j)=0;
       end
    end
end

{Τα κόστη της λειτουργίας του μηχανισμού}

{Ο αποθηκευτικός χώρος δεν είναι πλήρης}

for i=1:m+1
   c1(i)=0.1*i; 
end
   
{Ο αποθηκευτικός χώρος είναι πλήρης}

for i=1:m+1
   c2(i)=0.05*i;
end

{Η αρχική μονότονη πολιτική του Βήματος 1}

for i=1:m+1
   for x=1:K+1
      fold(i,x)=0;    
   end
end

{Έναρξη της επαναληπτικής διαδικασίας}

flag=1; 

time0=cputime;  

it=0; {it: αριθμός επαναλήψεων του αλγορίθμου}   

while (flag==1)
   
   flag=0;

{Υπολογισμός της διάστασης του γραμμικού συστήματος του Βήματος 2}

    number=0;
     
     for x=1:K+1
        if (fold(m+1,x)==0)
           s1(x)=m+1;
        end
        if (fold(m+1,x)~=0)
           s1(x)=0;
           for i=1:m+1
               if (fold(i,x)==0)
                 s1(x)=s1(x)+1;
               end
           end
           if (s1(x)<m+1)
              s1(x)=s1(x)+1;
           end
        end
        number=number+s1(x);
     end

{Υπολογισμός της κρίσιμης τιμής  για κάθε περιεχόμενο  του αποθηκευτικού χώρου}
     
     flag1=1;
     
     for x=1:K+1
        s(x)=0;
        for i=1:m+1
           if (fold(i,x)==0)
              s(x)=s(x)+1;
           end
           if (fold(i,x)==1 & flag1==1)
              i1=i;
              flag1=0;                 
              s(x)=i1;
           end
        end
        flag1=1;
     end

     

{Υπολογισμός  για τις καταστάσεις  τέτοιες ώστε  

   for x=1:K
      if (fold(m+1,x+1)~=0)
         for i=1:s(x)-1
            sum1=0;
            for j=s(x+1)+1:m+1
               sum1=sum1+p(i,j);
            end
            t(i,x)=1+(1/a)*sum1+p(i,m+2)*(1/b);
         end
      end
   end

{Υπολογισμός  για τις καταστάσεις  τέτοιες ώστε 
   
for x=1:K
   if (fold(m+1,x+1)~=0)
      for i=s(x)+1:m+1
         sum2=0;
         for j=1:fix((x-1)/d)
           sum2=sum2+(1-a)^(j-1)*(2*j*(x-1)-d*j^2+d*j);
         end
c(i,x)=(1/a)*(Cp+(1-a)^(fix((x-1)/d))*(d-a*(x-1)+a*d*fix((x-1)/d)))
        +(h/2)*(1-a)^(fix((x-1)/d))*(1+fix((x-1)/d))*(2*(x-1)-d*fix((x-1)/d))
        +((h*a)/2)*sum2;
      end
   end
end

if (fold(m+1,K+1)~=0)
   for i=s(K+1)+1:m+1
      sum3=0;
      for j=1:fix(K/d)
         sum3=sum3+(1-a)^(j-1)*(2*j*K-d*j^2+d*j);
      end   
c(i,K+1)=(1/a)*(Cp+(1-a)^(fix(K/d))*(d-a*K+a*d*fix(K/d)))
          +(h/2)*(1-a)^(fix(K/d))*(1+fix(K/d))*(2*K-d*fix(K/d))
          +((h*a)/2)*sum3;
   end
end

{Υπολογισμός   

if (fold(m+1,K+1)~=0)
   for i=1:s(K+1)-1
      for j=1:s(K+1)
         p1(i,K+1,j,K+1)=p(i,j);
      end
   end
end

{Υπολογισμός   

{1η περίπτωση:  ακέραιος αριθμός}

for x=1:K
   if (fold(m+1,x+1)~=0 & mod(x,d)==0)
      for i=1:s(x)-1
         sum4=0;
         for j=s(x+1)+1:m+1
            sum4=sum4+p(i,j);
         end
         p1(i,x,1,1)=sum4*(1-a)^((x/d)-1)+p(i,m+2)*(1-b)^((x/d)-1);
      end
   end
end

{2η περίπτωση:  δεν είναι ακέραιος αριθμός}
       
for x=1:K
   if (fold(m+1,x+1)~=0 & mod(x,d)~=0)
      for i=1:s(x)-1
         sum5=0;
         for j=s(x+1)+1:m+1
            sum5=sum5+p(i,j);
         end
         p1(i,x,1,1)=sum5*(1-a)^(fix(x/d))+p(i,m+2)*(1-b)^(fix(x/d));
      end
   end
end

{Κατασκευή του συστήματος των γραμμικών εξισώσεων του Βήματος 2}

   u=zeros(number+1,1); u1=zeros(number+1,1); 

   vv=zeros(number+1,number+1); v=zeros(number+1,m+1,K+1);
       
   count1=1;
       
   for x=1:K+1
      for i=1:s(x)
         u(count1)=c(i,x);
         count1=count1+1;
      end
   end
       
   for count2=1:number+1
      for x=1:K+1
         for i=1:s(x)
            v(count2,i,x)=0;
         end
      end
   end
       
   count3=0;
       
   for x=1:K
      if (fold(m+1,x+1)~=0)
         for i=1:s(x)-1
            count3=count3+1;
            v(count3,i,x)=1;
            for y=1:s(x+1)
               v(count3,y,x+1)=v(count3,y,x+1)-p1(i,x,y,x+1);
            end
            if (mod(x,d)==0)
               for y=1:(x/d)-1
                  v(count3,1,x+1-y*d)=v(count3,1,x+1-y*d)-p1(i,x,1,x+1-y*d);
               end
               v(count3,1,1)=v(count3,1,1)-p1(i,x,1,1);
            end
            if (mod(x,d)~=0)
               for y=1:fix(x/d)
                  v(count3,1,x+1-y*d)=v(count3,1,x+1-y*d)-p1(i,x,1,x+1-y*d);
               end
               v(count3,1,1)=v(count3,1,1)-p1(i,x,1,1);
            end
         end
         count3=count3+1;
         v(count3,s(x),x)=1;
         if (mod((x-1),d)==0)
            for y=1:((x-1)/d)-1
               v(count3,1,x-y*d)=v(count3,1,x-y*d)-p1(s(x),x,1,x-y*d);
            end
            v(count3,1,1)=v(count3,1,1)-p1(s(x),x,1,1);
         end
         if (mod((x-1),d)~=0)
            for y=1:fix((x-1)/d)
               v(count3,1,x-y*d)=v(count3,1,x-y*d)-p1(s(x),x,1,x-y*d);
            end
            v(count3,1,1)=v(count3,1,1)-p1(s(x),x,1,1);
         end
      end
   end
      
   if (fold(m+1,K+1)~=0)
      for i=1:s(K+1)-1
         count3=count3+1;
         v(count3,i,K+1)=1;
         for y=1:s(K+1)
            v(count3,y,K+1)=v(count3,y,K+1)-p1(i,K+1,y,K+1);
         end
         if (mod(K,d)==0)
            for y=1:(K/d)-1
               v(count3,1,K+1-y*d)=v(count3,y,K+1-y*d)-p1(i,K+1,1,K+1-y*d);
            end
            v(count3,1,1)=v(count3,1,1)-p1(i,K+1,1,1);
         end
         if (mod(K,d)~=0)
            for y=1:fix(K/d)
               v(count3,1,K+1-y*d)=v(count3,1,K+1-y*d)-p1(i,K+1,1,K+1-y*d);
            end
            v(count3,1,1)=v(count3,1,1)-p1(i,K+1,1,1);
         end
      end
      count3=count3+1;
      v(count3,s(K+1),K+1)=1;
      if (mod(K,d)==0)
         for y=1:(K/d)-1
            v(count3,1,K+1-y*d)=v(count3,1,K+1-y*d)-p1(s(K+1),K+1,1,K+1-y*d);
         end
         v(count3,1,1)=v(count3,1,1)-p1(s(K+1),K+1,1,1);
      end
      if (mod(K,d)~=0)
         for y=1:fix(K/d)
            v(count3,1,K+1-y*d)=v(count3,1,K+1-y*d)-p1(s(K+1),K+1,1,K+1-y*d);
         end
         v(count3,1,1)=v(count3,1,1)-p1(s(K+1),K+1,1,1);
      end
   end

   for n=1:number
      count4=0;
      for x=1:K+1
         for i=1:s(x)
            count4=count4+1;
            vv(n,count4)=v(n,i,x);
         end
      end
   end

   
   count5=1;
       
   for x=1:K+1
      for i=1:s(x)
         u1(count5)=t(i,x);
         count5=count5+1;
      end
   end
       
   for n=1:number
      vv(n,number+1)=u1(n);
   end
       
   vv(number+1,1)=1;

{Επίλυση του γραμμικού συστήματος του Βήματος 2}

   lisi=inv(vv)*u; {lisi: λύση του γραμμικού συστήματος}
   g=lisi(number+1); {g: μέσο κόστος των διαδοχικών μονότονων πολιτικών}
       
      {rel: πίνακας «αποθήκευσης» των σχετικών τιμών}
       
   count6=1;
       
   for x=1:K+1
      for i=1:s(x)
                      rel(i,x)=lisi(count6);   
         count6=count6+1;
      end
   end

       
{Υπολογισμός των σχετικών τιμών για τις καταστάσεις  τέτοιες ώστε   
       
   for x=1:K
      if (fold(m+1,x+1)~=0)
         if (mod((x-1),d)==0)
            for i=s(x)+1:m+1
               sum6=0;
               for j=1:((x-1)/d)-1
                  sum6=sum6+p1(i,x,1,x-j*d)*rel(1,x-j*d);
               end
               rel(i,x)=c(i,x)-g*(1/a)+sum6+p1(i,x,1,1)*rel(1,1);
            end
         end
         if (mod((x-1),d)~=0)
            for i=s(x)+1:m+1
               sum7=0;
               for j=1:fix((x-1)/d)
                  sum7=sum7+p1(i,x,1,x-j*d)*rel(1,x-j*d);
               end
               rel(i,x)=c(i,x)-g*(1/a)+sum7+p1(i,x,1,1)*rel(1,1);
            end
         end
      end
   end

{Βήμα 3. Βελτίωση των πολιτικών}

{Βήμα 3(α). Βελτίωση των πολιτικών για τις καταστάσεις  τέτοιες ώστε 

     for x=1:K
      if (fold(m+1,x+1)~=0)
         for i=s(x)-1:-1:1
            if (mod((x-1),d)==0)
               for j=1:((x-1)/d)-1
                  sum8=0;
                  sum8=sum8+a*(1-a)^(j-1);
                  z1(j)=sum8;
               end
               sum9=0;
               for j=1:((x-1)/d)-1
                  sum9=sum9+z1(j)*rel(1,x-j*d);
               end
               sum10=sum9+(1-a)^(((x-1)/d)-1)*rel(1,1);
            end
            if (mod((x-1),d)~=0)
               for j=1:fix((x-1)/d)
                  sum8=0;
                  sum8=sum8+a*(1-a)^(j-1);
                  z2(j)=sum8;
               end
               sum9=0;
               for j=1:fix((x-1)/d)
                  sum9=sum9+z2(j)*rel(1,x-j*d);
               end
               sum10=sum9+(1-a)^(fix((x-1)/d))*rel(1,1);
            end
            if (rel(i,x)<c(i,x)-g*(1/a)+sum10)
               fnew(i,x)=0;
            else
               fnew(i,x)=1;
            end
        end
      end
   end

{Βήμα 4. Κριτήριο Σύγκλισης}

   for i=1:m+1
      for x=1:K+1
         if (fnew(i,x)~=fold(i,x))
            flag=1;
         end
      end
   end

   for i=1:m+1
      for x=1:K+1
         fold(i,x)=fnew(i,x);
      end
   end
      
   it=it+1;
      
end
   
gmin=g;

time1=cputime;

{Παρουσίαση των αποτελεσμάτων}

{fnew: πίνακας «αποθήκευσης» της τελικής βέλτιστης πολιτικής}
{gmin: ελάχιστο μέσο κόστος}
{time1-time0: χρόνος εκτέλεσης του προγράμματος}
    
disp('The form of the optimal policy is:');
disp(fnew');
disp('The minimum long-run expected average cost is:');
disp(gmin);
disp('The number of iterations of the algorithm was:');
disp(it);
disp('The CPU time of the algorithm was:');
disp(time1-time0);

ΒΙΒΛΙΟΓΡΑΦΙΑ

ABAKUKS A. (1973) An optimal isolation policy for an epidemic, Journal of Applied Probability 10, 247-262.
ABAKUKS A. (1974) Optimal immunisation policies for epidemics, Advances in Applied Probability 6, 494-511.
ABAKUKS A. (1979) An optimal hunting policy for a stochastic logistic model, Journal of Applied Probability 16, 319-331.
BAILEY N. T. J. (1950) A simple stochastic epidemic, Biometrika 37, 193-202.
BALL F. G. and O’ NEIL P. D. (1993) A modification of the general stochastic epidemic motivated by AIDS modelling, Advances in Applied Probability 25, 39-62.  
BARLOW R. E. and PROSCHAN F. (1965) Mathematical Theory of Reliability, Wiley, New York. 
BATHER J. (1976) Optimal stationary policies for denumerable Markov chains in continuous time, Advances in Applied Probability 8, 144-158.
BATHER J. (2000) Decision Theory: An Introduction to Dynamic Programming and Sequential Decisions, Wiley, New York.
BELLMAN R. E. (1957) Dynamic Programming, Princeton University Press, Princeton, New Jersey.
BENYAMINI Z. and YECHIALI U. (1999) Optimality of control limit maintenance policies under nonstationary deterioration, Probability in the Engineering and Informational Sciences 13, 55-70.
BERG M. (1976) A proof of optimality for age replacement policies, Journal of Applied Probability 13, 751-759.
BILLARD L., LACAYO H. and LANGBERG N. A. (1979) The symmetric m-dimensional simple epidemic process, Journal of the Royal Statistical Society Series B 41, 196-202.
BLACKBURN J. D. (1972) Optimal control of a single-server queue with balking and reneging, Management Science 19, 297-313.
BROCKWELL P. J., GANI J. and RESNICK S. I. (1982) Birth, immigration and catastrophe processes, Advances in Applied Probability 14, 709-731.
CHEN M. and FELDMAN R. M. (1997) Optimal replacement policies with minimal repair and age-dependent costs, European Journal of Operational Research 98, 75-84.
CLANCY D. (1999a) Optimal intervention for epidemic models with general infection and removal rate functions, Journal of Mathematical Biology 39, 309-331.
CLANCY D. (1999b) Outcomes of epidemic models with general infection and removal rate functions at certain stopping times, Journal of Applied Probability 36, 799-813.
DERMAN C. (1970) Finite State Markovian Decision Processes, Academic Press, New York.
DIMITRAKOS T. D. and KYRIAKIDIS E. G. (2005a) An algorithm for the computation of the optimal repair/replacement policy under general repairs, Submitted for publication.
DIMITRAKOS T. D. and KYRIAKIDIS E. G. (2005b) A semi-Markov decision algorithm for the optimal preventive maintenance of a production system with buffer capacity and continuous repair times, Submitted for publication.
DOUER N. and YECHIALI U. (1994) Optimal repair and replacement in Markovian systems, Stochastic Models 10, 253-270.
ECONOMOU A. (2003) On the control of a compound immigration process through total catastrophes, European Journal of Operational Research 147, 522-529. 
FEDERGRUEN A. and SO K. C. (1989) Optimal time to repair a broken server, Advances in Applied Probability 21, 376-397.
FEDERGRUEN A. and SO K. C. (1990) Optimal maintenance policies for single-server queueing systems subject to breakdowns, Operations Research 38, 330-343.
FEDERGRUEN A. and SO K. C. (1991) Optimality of threshold policies in single-server queueing systems with server vacations, Advances in Applied Probability 23, 388-405.
GLEISSNER W. (1988) The spread of epidemics, Applied Mathematical Computing 27, 167-171.
GRIMMETT G. R. and STIRZAKER D. R. (1992) Probability and Random Processes, 2PndP edition, Oxford University Press, Oxford.
HEYMAN D. P. and SOBEL M. J. (2004) Stochastic Models in Operations Research, vol. 2, Dover, New York. 
HOWARD R. A. (1960) Dynamic Programming and Markov Processes, Wiley, New York. 
KAWAI H. (1983) An optimal ordering and replacement policy of a Markovian degradation system under complete observation-Part I, Journal of the Operations Research Society of Japan 26, 279-290.
KIJIMA M., MORIMURA H. and SUZUKI Y. (1988) Periodical replacement problem without assuming minimal repair, European Journal of Operational Research 37, 194-203.
KYRIAKIDIS E. G. (1993) A Markov decision algorithm for optimal pest control through uniform catastrophes, European Journal of Operational Research 64, 38-44.
KYRIAKIDIS E. G. (1995) Optimal control of two competing diseases or species, The Mathematical Scientist 20, 56-66.
KYRIAKIDIS E. G. (1999a) Characterization of the optimal policy for the control of a simple immigration process through total catastrophes, Operations Research Letters 24, 245-248.
KYRIAKIDIS E. G. (1999b) Optimal control of a truncated general immigration process through total catastrophes, Journal of Applied Probability 36, 461-472.
KYRIAKIDIS E. G. (1999c) Optimal isolation policies for controlling two competing diseases, The Mathematical Scientist 24, 56-67.
KYRIAKIDIS E. G. and DIMITRAKOS T. D. (2002) Optimal control of two competing diseases with state-dependent infection rates, The Mathematical Scientist 27, 36-44.
KYRIAKIDIS E. G. (2003) Optimal control of a simple immigration process through the introduction of a predator, Probability in the Engineering and Informational Sciences 17, 119-135.
KYRIAKIDIS E. G. (2004) Optimal control of a simple immigration-emigration process through total catastrophes, European Journal of Operational Research 155, 198-208. 
KYRIAKIDIS E. G. and DIMITRAKOS T. D. (2004) Optimal preventive maintenance of a production system with an intermediate buffer, To appear in European Journal of Operational Research. 
KYRIAKIDIS E. G. and DIMITRAKOS T. D. (2005a) A pest immigration process controlled by an intermittent predator, To appear in The Mathematical Scientist.
KYRIAKIDIS E. G. and DIMITRAKOS T. D. (2005b) Computation of the optimal policy for the control of a compound immigration process through total catastrophes, Methodology and Computing in Applied Probability 7, 97-118.
LOVE C. E., ZHANG Z. G., ZITRON M. A. and GUO R. (2000) A discrete semi-Markov decision model to determine the optimal repair/replacement policy under general repairs, European Journal of Operational Research 125, 398-409.
MAKIS V. and JARDINE A. (1993) A note on optimal replacement policy under general repair, European Journal of Operational Research 69, 75-82.
MELLER R. D. and KIM D. S. (1996) The impact of preventive maintenance on system cost and buffer size, European Journal of Operational Research 95, 577-591.
NAKAGAWA T. and KOWADA M. (1983) Analysis of a system with minimal repair and its application to replacement policy, European Journal of Operational Research 12, 176-182.
NOBEL R. D. and TIJMS H. C. (1999) Optimal control for an  queue with two service modes, European Journal of Operational Research 113, 610-619.
NOBEL R. D. and TIJMS H. C. (2000) Optimal control of a queueing system with heterogeneous servers and setup costs, IEEE Transactions on Automatic Control 45, 780-784.
O’ NEIL P. D. (1997) An epidemic model with removal-dependent infection rate, Annals of Applied Probability 7, 90-109.
OZEKICI S. and GUNLUNK N. O. (1992) Maintenance of a device with age-dependent exponential failures, Naval Research Logistics 39, 699-714.
PHELPS R. I. (1981) Replacement policies under minimal repair, Journal of Operations Research Society 32, 549-554.
PHELPS R. I. (1983) Optimal policy for minimal repair, Journal of Operations Research Society 34, 425-427.
PIERSKALA W. P. and VOELKER L. A. (1976) A survey of maintenance model, Naval Research Logistics Quarterly 23, 353-388.
PUTERMAN M. L. (1994) Markov Decision Processes: Discrete Stochastic Dynamic Programming, Wiley, New York.
ROSS S. M. (1983) Introduction to Stochastic Dynamic Programming, Academic Press, New York.
ROSS S. M. (1992) Applied Probability Models with Optimization Applications, Dover, New York.
SALAMEH M. K. and GHATTAS R. E. (2001) Optimal just-in-time buffer inventory for regular preventive maintenance, International Journal of Production Economics 74, 157-161.
SAUNDERS I. W. (1980a) A model for myxomatosis, Mathematical Biosciences 48, 1-15.
SAUNDERS I. W. (1980b) An approximate maximum likelihood estimator for chain binomial models, Australian Journal of Statistics 22, 307-316.
SCARF P. A. (1997) On the application of mathematical models in maintenance, European Journal of Operational Research 99, 493-506.
SCHWEITZER P. J. (1971) Iterative solution of the functional equations of undiscounted Markov renewal programming, Journal of Mathematical Analysis and Applications 34, 495-501.
SENNOTT L. I. (1989) Average cost semi-Markov decision processes and the control of queueing systems, Probability in the Engineering and Informational Sciences 3, 247-272.
SENNOTT L. I. (1997) The computation of average optimal policies in denumerable state Markov decision chains, Advances in Applied Probability 29, 114-137.
SENNOTT L. I. (1999) Stochastic Dynamic Programming and the Control of Queueing Systems, Wiley, New York.
SERFOZO R. F. (1979) An equivalence between continuous and discrete time Markov decision processes, Operations Research 27, 616-620.
SEVERO N. C. (1969) Generalizations of some stochastic epidemic models, Mathematical Biosciences 4, 395-402.
SO K. C. (1992) Optimality of control limit policies in replacement models, Naval Research Logistics 39, 685-697.
THOMAS L. C. and STENGOS D. (1985) Finite state approximation algorithms for average cost denumerable state Markov decision processes, OR Spektrum 7, 27-37.
TIJMS H. C. (1994) Stochastic Models: An Algorithmic Approach, Wiley, New York.
VALDEZ-FLORES C. and FELDMAN R. M. (1989) A survey of preventive maintenance models for stochastically deteriorating single-unit systems, Naval Research Logistics 36, 419-446.
VAN DER DUYN SCHOUTEN F. A. and VANNESTE S. G. (1995) Maintenance optimization of a production system with buffer capacity, European Journal of Operational Research 82, 323-338.
VANNESTE S. G. (1992) A generalized age-replacement model, Probability in the Engineering and Informational Sciences 6, 525-541.
WANG H. (2002) A survey of maintenance policies of deteriorating systems, European Journal of Operational Research 139, 469-489.
WHITE D. J. (1980) Finite state approximations for denumerable state infinite horizon discounted Markov decision processes: The method of successive approximation, In Recent Developments in Markov Decision Processes, edited by R. Hartley, L. C. Thomas and D. J. White, Academic Press, New York, 57-72.