Υποτελείς κόμβοι σε ομάδες Hadoop - dummies

Σε ένα σύμπαν Hadoop, οι κόμβοι σκλάβων είναι εκεί όπου αποθηκεύονται τα δεδομένα Hadoop και όπου λαμβάνει χώρα επεξεργασία δεδομένων. Οι ακόλουθες υπηρεσίες επιτρέπουν στους υποτελείς κόμβους να αποθηκεύουν και να επεξεργάζονται δεδομένα:

• NodeManager: Συντονίζει τους πόρους για έναν μεμονωμένο κόμβο σκλάβου και αναφέρει πίσω στον Διαχειριστή πόρων.

• ApplicationMaster: Παρακολουθεί την πρόοδο όλων των εργασιών που εκτελούνται στο σύμπλεγμα Hadoop για μια συγκεκριμένη εφαρμογή. Για κάθε εφαρμογή πελάτη, ο Διαχειριστής πόρων αναπτύσσει μια παρουσία της υπηρεσίας ApplicationMaster σε ένα κοντέινερ σε έναν κόμβο υποτελούς λειτουργίας. (Να θυμάστε ότι οποιοσδήποτε κόμβος που εκτελεί την υπηρεσία NodeManager είναι ορατός στον Διαχειριστή πόρων.)

• Container: Μια συλλογή όλων των πόρων που απαιτούνται για την εκτέλεση μεμονωμένων εργασιών για μια εφαρμογή. Όταν εκτελείται μια εφαρμογή στο σύμπλεγμα, ο Διαχειριστής πόρων προγραμματίζει τις εργασίες για την εκτέλεση της εφαρμογής ως υπηρεσίας κοντέινερ στους κόμβους σκλάβου του συμπλέγματος.

• TaskTracker: Διαχειρίζεται τον μεμονωμένο χάρτη και μειώνει τις εργασίες που εκτελούνται σε έναν κόμβο υποτελούς λειτουργίας για συμπλέγματα Hadoop 1. Στο Hadoop 2, η υπηρεσία αυτή είναι παρωχημένη και έχει αντικατασταθεί από υπηρεσίες YARN.

• DataNode: Μια υπηρεσία HDFS που επιτρέπει στο όνομαNAME να αποθηκεύει μπλοκ στον κόμβο slave.

• RegionServer: Αποθηκεύει δεδομένα για το σύστημα HBase. Στο Hadoop 2, το HBase χρησιμοποιεί το Hoya, το οποίο επιτρέπει την εκτέλεση περιπτώσεων του RegionServer σε δοχεία.

  

Εδώ, κάθε κόμβος υποτελούς εκτελεί πάντα μια παράμετρο DataNode (η οποία επιτρέπει στο HDFS να αποθηκεύει και να ανακτά τα μπλοκ δεδομένων στον δευτερεύοντα κόμβο) και μια παράμετρο NodeManager (η οποία επιτρέπει στον διαχειριστή πόρων να εκχωρεί εργασίες επεξεργασίας στον κόμβο slave). Οι διαδικασίες του κοντέινερ είναι μεμονωμένες εργασίες για εφαρμογές που εκτελούνται στο σύμπλεγμα.

Κάθε τρέχουσα εφαρμογή έχει μια ειδική εργασία ApplicationMaster, η οποία εκτελείται επίσης σε ένα κοντέινερ και παρακολουθεί την εκτέλεση όλων των εργασιών που εκτελούνται στο σύμπλεγμα μέχρι να ολοκληρωθεί η εφαρμογή.

Με το HBase στο Hadoop 2, το μοντέλο των εμπορευματοκιβωτίων εξακολουθεί να ακολουθείται, όπως βλέπετε:

HBase στο Hadoop 2 ξεκινάει από το Hoya Application Master, το οποίο ζητά τα δοχεία για τις υπηρεσίες HMaster. (Χρειάζεστε πολλαπλές υπηρεσίες HMaster για απόλυση.) Το Hoya Application Master απαιτεί επίσης πόρους για το RegionServers, το οποίο επίσης εκτελείται σε ειδικά εμπορευματοκιβώτια.

Το παρακάτω σχήμα δείχνει τις υπηρεσίες που αναπτύσσονται στους κόμβους Hadoop 1.

Για τον Hadoop 1, κάθε κόμβος υποτελούς συστήματος εκτελεί πάντα μια παράμετρο DataNode (η οποία επιτρέπει στο HDFS να αποθηκεύει και να ανακτά τα μπλοκ δεδομένων στον κόμβο slave) και μια παράμετρο TaskTracker (η οποία επιτρέπει στο JobTracker να αντιστοιχίζει χάρτη και να μειώνει τις εργασίες στον κόμβο slave για επεξεργασία).

Οι κόμβοι Slave έχουν σταθερό αριθμό υποδοχών χαρτών και μειώνουν τις θέσεις για την εκτέλεση χαρτών και μειώνουν τις εργασίες αντίστοιχα. Εάν το σύμπλεγμα σας εκτελεί το HBase, ένας αριθμός κόμβων σκλάβων θα πρέπει να εκτελεί μια υπηρεσία RegionServer. Όσο περισσότερα δεδομένα αποθηκεύετε στο HBase, τόσο περισσότερες εμφανίσεις του RegionServer θα χρειαστείτε.

Τα κριτήρια υλικού για τους υποτελείς κόμβους είναι μάλλον διαφορετικά από αυτά των κύριων κόμβων. στην πραγματικότητα, τα κριτήρια δεν ταιριάζουν με τα κριτήρια που υπάρχουν στις παραδοσιακές αρχιτεκτονικές αναφοράς υλικού για διακομιστές δεδομένων. Μεγάλο μέρος του φαινομένου που περιβάλλει τον Hadoop οφείλεται στη χρήση υλικών βασικών προϊόντων στα κριτήρια σχεδιασμού των clusters Hadoop, αλλά να έχετε κατά νου ότι το υλικό προϊόν δεν αναφέρεται σε εξοπλισμό ποιότητας καταναλωτή.

Οι κόμβοι του Hadoop εξακολουθούν να απαιτούν εξοπλισμό υψηλής ποιότητας, αλλά στο χαμηλότερο τέλος του φάσματος κόστους, ειδικά για αποθήκευση.