Προγραμματισμός και Συντονισμός ροών εργασίας Oozie σε Hadoop - dummies

Αφού δημιουργήσετε ένα σύνολο ροών εργασίας, μπορείτε να χρησιμοποιήσετε μια σειρά εργασιών εργασίας συντονιστή Oozie για να προγραμματίσετε πότε είστε εκτελέστηκε. Έχετε δύο επιλογές προγραμματισμού για εκτέλεση: μια συγκεκριμένη ώρα και τη διαθεσιμότητα των δεδομένων σε συνδυασμό με ένα συγκεκριμένο χρονικό διάστημα.

Χρονικός προγραμματισμός για τις εργασίες συντονιστή Oozie

Οι εργασίες συντονιστή Oozie μπορούν να προγραμματιστούν να εκτελεστούν σε μια συγκεκριμένη χρονική στιγμή, αλλά μετά την εκκίνησή τους, τότε μπορούν να ρυθμιστούν ώστε να εκτελούνται σε καθορισμένα χρονικά διαστήματα. Το παρακάτω παράδειγμα δείχνει μια εργασία συντονιστή που αρχίζει να εκτελείται σε μια καθορισμένη ώρα έναρξης και ημερομηνία:

Προγραμματισμός βασισμένος στη διαθεσιμότητα χρόνου και δεδομένων για τις εργασίες συντονιστή Oozie

Οι εργασίες συντονιστή Oozie μπορούν επίσης να προγραμματιστούν για να εκτελεστούν σε μια συγκεκριμένη χρονική στιγμή εάν καθορισμένα αρχεία δεδομένων ή καταλόγους είναι διαθέσιμα. Η ακόλουθη καταχώρηση δείχνει ένα παράδειγμα ενός συντονιστή που ξεκινάει σε συγκεκριμένη ώρα έναρξης και ημερομηνία, εκτελείται μία φορά την ημέρα εάν το σύνολο δεδομένων που προσδιορίζεται από το triggerDatasetDir υπάρχει και τρέχει μέχρι την καθορισμένη ώρα λήξης:

… $ {triggerDatasetDir} $ {startTime} $ {workflowAppPath}

Εκτέλεση εργασιών συντονιστή Oozie

Παρόμοια με τις εργασίες εργασίας Oozie, οι εργασίες συντονιστή απαιτούν εργασία. το αρχείο ιδιοτήτων και τον συντονιστή. Το αρχείο xml πρέπει να φορτωθεί στο HDFS. Για να εκτελέσετε μια εργασία συντονιστή Oozie από τη διεπαφή γραμμής εντολών Oozie, εκδώστε μια εντολή όπως η ακόλουθη ενώ βεβαιώνεστε ότι η εργασία. Το αρχείο ιδιοτήτων είναι τοπικά προσβάσιμο:

$ oozie job -config sampleCoordinator / job. properties -run

Αφού υποβάλετε την εργασία, ο συντονιστής αποθηκεύεται στη βάση δεδομένων του αντικειμένου Oozie. Κατά την υποβολή, η Oozie επιστρέφει ένα αναγνωριστικό που σας επιτρέπει να παρακολουθείτε και να διαχειρίζεστε τον συντονιστή σας - εργασία: 0000001-00000001234567-oozie-C.

Για να ελέγξετε την κατάσταση αυτής της εργασίας, εκτελέστε την εντολή

oozie job -info 0000001-00000001234567-oozie-C