Σπίτι Προσωπικά Οικονομικά Ανάπτυξη ροών εργασίας Oozie σε Hadoop - dummies

Ανάπτυξη ροών εργασίας Oozie σε Hadoop - dummies

Βίντεο: The Great Gildersleeve: The First Cold Snap / Appointed Water Commissioner / First Day on the Job 2025

Βίντεο: The Great Gildersleeve: The First Cold Snap / Appointed Water Commissioner / First Day on the Job 2025
Anonim

Οι ροές εργασίας Oozie είναι στο κέντρο τους κατευθυνόμενες γραφικές παραστάσεις, όπου μπορείτε να ορίσετε ενέργειες (εφαρμογές Hadoop) και ροή δεδομένων, αλλά χωρίς βρόχο - t ορίστε μια δομή όπου θα εκτελούσατε μια συγκεκριμένη λειτουργία ξανά και ξανά μέχρι να επιτευχθεί κάποια συνθήκη (για παράδειγμα, για βρόχο).

Οι ροές εργασίας του Oozie είναι αρκετά ευέλικτες επειδή μπορείτε να ορίσετε αποφάσεις που βασίζονται στην κατάσταση και διαδρομές δίπλωσης για παράλληλη εκτέλεση. Μπορείτε επίσης να εκτελέσετε ένα ευρύ φάσμα ενεργειών.

Σε αυτό το σχήμα, βλέπετε μια ροή εργασιών που δείχνει τις βασικές δυνατότητες των ροών εργασίας του Oozie. Αρχικά, τρέχει ένα σενάριο Pig και ακολουθεί αμέσως ένα δέντρο απόφασης. Ανάλογα με την κατάσταση της εξόδου, η ροή ελέγχου μπορεί είτε να μεταβεί απευθείας σε μια λειτουργία αρχείου HDFS (Hadoop Distributed File System) (για παράδειγμα, μια λειτουργία copyToLocal) είτε σε μια δράση περόνης.

Εάν η ροή ελέγχου μεταβεί στη δράση διχάλας, εκτελούνται ταυτόχρονα δύο εργασίες: μια εργασία MapReduce και μια ερώτηση Hive. Στη συνέχεια, η ροή ελέγχου μεταβαίνει στη λειτουργία HDFS μόλις ολοκληρωθεί η εκτέλεση της εργασίας Job MapReduce και της ερώτησης Hive. Μετά τη λειτουργία HDFS, η ροή εργασιών ολοκληρώθηκε.

Οι ορισμοί της ροής εργασίας του Oozie γράφονται σε XML, με βάση το σχήμα hadoop Process Definition Language (hPDL). Το συγκεκριμένο σχήμα, με τη σειρά του, βασίζεται στο σχήμα XML Language Definition Language (XPDL), το οποίο είναι ένα ανεξάρτητο από το προϊόν πρότυπο για τον ορισμό των ορισμών των επιχειρηματικών διαδικασιών.

Μια ροή εργασίας Oozie αποτελείται από μια σειρά ενεργειών που κωδικοποιούνται από κόμβους XML. Υπάρχουν διαφορετικά είδη κόμβων, που αντιπροσωπεύουν διαφορετικά είδη ενεργειών ή οδηγίες ροής ελέγχου. Κάθε ροή εργασιών του Oozie έχει το δικό του αρχείο XML, όπου ορίζεται κάθε κόμβος και οι διασυνδέσεις του.

Οι κόμβοι ροής εργασίας απαιτούν μοναδικά αναγνωριστικά επειδή χρησιμοποιούνται για τον εντοπισμό του επόμενου κόμβου που θα επεξεργαστεί στη ροή εργασιών. Αυτό σημαίνει ότι η σειρά με την οποία εκτελούνται οι ενέργειες εξαρτάται από το πού εμφανίζεται ο κόμβος μιας ενέργειας στη XML ροή εργασίας. Για να δείτε πώς φαίνεται αυτή η έννοια, ελέγξτε την ακόλουθη λίστα, η οποία δείχνει ένα παράδειγμα της βασικής δομής ενός αρχείου XML της ροής εργασίας του Oozie.

… … "Κλεισμένη δουλειά."

Σε αυτό το παράδειγμα, εκτός από την αρχή, τέλος και σκοτώνοντας τους κόμβους, έχετε δύο κόμβους δράσης. Κάθε κόμβος ενέργειας αντιπροσωπεύει μια εφαρμογή ή μια εντολή που εκτελείται.

Ανάπτυξη ροών εργασίας Oozie σε Hadoop - dummies

Η επιλογή των συντακτών

6 δραστηριότητες για την εκμάθηση της αυτοσυγκέντρωσης - ανδρείκελα

6 δραστηριότητες για την εκμάθηση της αυτοσυγκέντρωσης - ανδρείκελα

Έχετε συμπάθεια και συμπόνια για τον εαυτό σας; Αυτός είναι ο πυρήνας της αυτοθεραπείας. Τα παιδιά πρέπει να ευδοκιμήσουν και να οικοδομήσουν έναν ξεχωριστό ψυχολογικό εαυτό. Τα παιδιά χρειάζονται τα αισθήματά τους να αντικατοπτρίζονται και οι ανάγκες τους να γίνονται αποδεκτά και να πληρούνται. Οι συνεργαζόμενοι δεν το πήραν, και έτσι μπορεί να είναι δύσκολο για εσάς να το δώσετε στον εαυτό σας. Μόλις μεγαλώσατε ...

Μπορείτε να επωφεληθείτε από τη Θεραπεία Γνωσιακής-Συμπεριφοράς; - ανδρείκελα

Μπορείτε να επωφεληθείτε από τη Θεραπεία Γνωσιακής-Συμπεριφοράς; - ανδρείκελα

Ίσως ο φόβος σας να πετάτε, σας κρατά από την προώθηση στην εργασία. Ή ίσως δεν θέλετε να είστε μόνοι σας, αλλά δεν βλέπετε το σημείο να συναντήσετε κάποιον νέο, αφού όλες οι σχέσεις σας σας αφήνουν καρδιακό. Εάν αισθάνεστε κολλημένοι σε μια περιοχή της ζωής σας και δεν ξέρετε πώς να πάρετε ...

Η επιλογή των συντακτών

Πώς να χρησιμοποιείτε Personas για Marketing Automation - dummies

Πώς να χρησιμοποιείτε Personas για Marketing Automation - dummies

Personas μπορεί να είναι ένας πολύ καλός τρόπος για να τμηματοποιήσετε τη βάση δεδομένων σας για αποτελεσματική αυτοματοποιημένο μάρκετινγκ. Ένα άτομο μπορεί εύκολα να έχει πολλαπλά πρόσωπα. Για παράδειγμα, ένας επικεφαλής ο οποίος είναι αντιπρόεδρος μπορεί επίσης να είναι υπεύθυνος λήψης αποφάσεων και ηγετικός ρόλος στο αρχικό στάδιο του κύκλου αγοράς. Κάθε persona αλλάζει τον τρόπο με τον οποίο κυκλοφορεί σε ένα άτομο. ...

Πώς να χρησιμοποιήσετε το αυτοματοποιημένο μάρκετινγκ για να προσελκύσετε τον μοντέρνο αγοραστή - Dummies

Πώς να χρησιμοποιήσετε το αυτοματοποιημένο μάρκετινγκ για να προσελκύσετε τον μοντέρνο αγοραστή - Dummies

Ξοδεύετε Online, αν δεν είστε συνδεδεμένοι στο διαδίκτυο, θα μείνει πίσω. Η αυτοματοποίηση μάρκετινγκ μπορεί να σας βοηθήσει να προσεγγίσετε τους πελάτες σας την κατάλληλη στιγμή χωρίς να χρειάζεται να συνδεθείτε με τον υπολογιστή σας. Πώς να τροφοδοτήσετε την ανάγκη για περιεχόμενο με την αυτοματοποίηση του μάρκετινγκ Το μάρκετινγκ περιεχομένου έχει γίνει μια ακόμα λέξη ...

Η επιλογή των συντακτών

Επιγενετική και διπολική διαταραχή - ανδρεικέλες

Επιγενετική και διπολική διαταραχή - ανδρεικέλες

Επιγενετική είναι η μελέτη των αλλαγών που επηρεάζουν τον τρόπο έκφρασης των γονιδίων χωρίς να επηρεάζουν τα ίδια τα γονίδια. Αυτές οι αλλαγές συμβαίνουν μέσω μιας ποικιλίας χημικών αλληλεπιδράσεων με το DNA. Μερικές φορές αυτές οι αλλαγές στην έκφραση εμφανίζονται ως μέρος της τυπικής ανάπτυξης και λειτουργίας, αλλά μερικές αλλαγές μπορούν να διαταράξουν τις κανονικές διαδικασίες και την υγιή λειτουργία των κυττάρων. Η επιστήμη ...

Εξετάζοντας τα Χαρακτηριστικά ενός Psychopath - ανδρείκελα

Εξετάζοντας τα Χαρακτηριστικά ενός Psychopath - ανδρείκελα

Η λίστα ελέγχου της Ψυχοπάθειας του Robert Hare είναι ένα εργαλείο που χρησιμοποιείται συνήθως στην κλινική πρακτική για να αξιολογήσει αν ένα άτομο είναι ψυχοπαθής. Εδώ είναι οι ορισμοί του Hare για δύο τύπους ψυχοπαθητικών: Εγωιστικοί, σκληροί ψυχοπαθανοί Γλυπτικοί, αλλά επιφανειακά γοητευτικοί Μεγάλη αίσθηση του πόσο σημαντικός είναι ο Παθολογικός ψεύτης - αν δεν υπάρχει ανάγκη να χειραγωγεί άλλους ...

Εύκολοι τρόποι να προσέχετε κάθε μέρα - ανδρείκελα

Εύκολοι τρόποι να προσέχετε κάθε μέρα - ανδρείκελα

Καθώς και να κάνετε μακρόπνοους επίσημους διαλογισμούς, όπως τη σάρωση σώματος και το διαλογισμό καθισμάτων, υπάρχουν ανεπίσημοι διαλογισμοί που μπορείτε εύκολα να χωρέσετε στη ρουτίνα σας σε καθημερινή βάση. Ενσωματώστε τα με καθημερινές δραστηριότητες που κάνετε ήδη. Βούρτσισμα των δοντιών σας: Αυτό μπορεί να γίνει με επίκεντρο τον τρόπο. Νιώστε το ...