Κύριοι κόμβοι σε Clusters Hadoop - ανδρείκελοι

Οι κύριοι κόμβοι σε κατανεμημένα συμπλέγματα Hadoop φιλοξενούν τις διάφορες υπηρεσίες διαχείρισης αποθήκευσης και επεξεργασίας που περιγράφονται σε αυτήν τη λίστα για ολόκληρο το σύμπλεγμα Hadoop. Ο πλεονασμός είναι κρίσιμος για την αποφυγή απλών σημείων αποτυχίας, έτσι βλέπετε δύο διακόπτες και τρεις κύριους κόμβους.

ΌνομαNode: Διαχειρίζεται αποθήκευση HDFS. Για να εξασφαλίσετε υψηλή διαθεσιμότητα, έχετε και ένα ενεργό ΌνομαNode και ένα όνομα αναμονής σε αναμονή. Κάθε ένας λειτουργεί με δική του, αφιερωμένο κύριο κόμβο.
Κόμβος σημείου ελέγχου (ή κόμβος αντιγράφου ασφαλείας): Παρέχει υπηρεσίες ελέγχου για τον ΌνομαNode. Αυτό συνεπάγεται την ανάγνωση του αρχείου καταγραφής επεξεργασίας του NameNode για αλλαγές στα αρχεία σε αρχεία HDFS (νέα, διαγραμμένα και συνημμένα αρχεία) από το τελευταίο σημείο ελέγχου και την εφαρμογή τους στο βασικό αρχείο ονόματος του ονόματος που αντιστοιχίζει τα αρχεία σε μπλοκ δεδομένων.

Επιπλέον, ο Backup Node διατηρεί ένα αντίγραφο του χώρου ονομάτων του συστήματος αρχείων στη μνήμη και το διατηρεί σε συγχρονισμό με την κατάσταση του ονόματοςNode. Για εφαρμογές υψηλής διαθεσιμότητας, μην χρησιμοποιείτε κόμβο σημείου ελέγχου ή κόμβο αντιγράφων ασφαλείας - χρησιμοποιήστε αντί αυτού ένα όνομα αναμονής. Εκτός από την ενεργό αναμονή για το όνομαNAME, το Standby NameNode διατηρεί τις υπηρεσίες ελέγχου σημείων ελέγχου και διατηρεί ένα ενημερωμένο αντίγραφο του χώρου ονομάτων του συστήματος αρχείων στη μνήμη.
JournalNode: Λήγει τροποποιήσεις καταγραφής επεξεργασίας που υποδεικνύουν αλλαγές στα αρχεία σε HDFS από το ΌνομαNode. Τουλάχιστον τρεις υπηρεσίες JournalNode (και πάντοτε ένας περίεργος αριθμός) πρέπει να εκτελούνται σε ένα σύμπλεγμα και είναι αρκετά ελαφρύ ώστε να μπορούν να συγχωνευθούν με άλλες υπηρεσίες στους κύριους κόμβους.
Διαχειριστής πόρων: Παρακολουθεί τον προγραμματισμό των εργασιών εφαρμογής και τη διαχείριση των πόρων του cluster Hadoop. Αυτή η υπηρεσία είναι η καρδιά του YARN.
JobTracker: Για τους διακομιστές Hadoop 1, χειρίζεται τη διαχείριση των πόρων των cluster και τον προγραμματισμό τους. Με το YARN, το JobTracker είναι ξεπερασμένο και δεν χρησιμοποιείται. Ορισμένες τοποθετήσεις του Hadoop δεν έχουν ακόμη μεταφερθεί σε Hadoop 2 και YARN.
HMaster: Παρακολουθεί τους διακομιστές περιοχής HBase και χειρίζεται όλες τις αλλαγές μεταδεδομένων. Για να εξασφαλίσετε υψηλή διαθεσιμότητα, βεβαιωθείτε ότι έχετε χρησιμοποιήσει μια δεύτερη περίπτωση HMaster. Η υπηρεσία HMaster είναι αρκετά ελαφριά ώστε να συνδυάζεται με άλλες υπηρεσίες στους κύριους κόμβους. Στο Hadoop 1, οι παρουσίες της υπηρεσίας HMaster εκτελούνται σε κύριους κόμβους. Στο Hadoop 2, με τον Hoya (HBase on Νήματα), οι περιπτώσεις HMaster τρέχουν σε δοχεία σε κόμβους υποτελών.
Zookeeper: Συντεταγμένες κατανεμημένα στοιχεία και παρέχει μηχανισμούς για να τους κρατήσει σε συγχρονισμό. Το Zookeeper χρησιμοποιείται για την ανίχνευση της βλάβης του ονόματοςNode και την επιλογή ενός νέου ονόματοςNode.Χρησιμοποιείται επίσης με το HBase για τη διαχείριση των καταστάσεων του HMaster και του RegionServers.

Όπως και με το JournalNode, χρειάζεστε τουλάχιστον τρεις εμφανίσεις κόμβων Zookeeper (και πάντοτε έναν περιττό αριθμό) και είναι αρκετά ελαφρύς ώστε να συνδυάζεται με άλλες υπηρεσίες στους κύριους κόμβους.

Εδώ, έχετε τρεις κύριους κόμβους (με το ίδιο υλικό), όπου οι βασικές υπηρεσίες Active NameNode, Standby NameNode και Resource Manager έχουν το δικό τους διακομιστή. Υπάρχουν υπηρεσίες του περιοδικού JournalNode και του Zookeeper που εκτελούνται σε κάθε διακομιστή, αλλά αυτές είναι ελαφρές και δεν θα αποτελέσουν πηγή έφεσης πόρων με τις υπηρεσίες NameNode και Resource Manager.

Οι αρχές είναι οι ίδιες για τον Hadoop 1, όπου χρειάζεστε έναν ειδικό κύριο κόμβο για τις υπηρεσίες NameNode, Secondary NameNode και JobTracker.

Εάν σκοπεύετε να χρησιμοποιήσετε το HBase με το Hoya στο Hadoop 2, δεν χρειάζεστε πρόσθετες υπηρεσίες. Για εφαρμογές Hadoop 1 που χρησιμοποιούν HBase, δείτε το παρακάτω σχήμα για την ανάπτυξη υπηρεσιών στους κύριους κόμβους του συμπλέγματος του Hadoop.

Υπάρχουν δύο διαφορές κατά τη σύγκριση αυτών των κύριων διακομιστών με τους κεντρικούς διακομιστές Hadoop 1 χωρίς υποστήριξη HBase: εδώ χρειάζεστε δύο υπηρεσίες HMaster (μία για να συντονίσετε το HBase και μία για λειτουργία ως αναμονή) και οι υπηρεσίες Zookeeper και στους τρεις κύριους κόμβους για να χειριστεί το failover.

Αν σκοπεύετε να χρησιμοποιήσετε το σύμπλεγμα Hadoop 1 μόνο για το HBase, μπορείτε να το κάνετε χωρίς την υπηρεσία JobTracker, αφού η HBase δεν εξαρτάται από την υποδομή Hadoop 1 MapReduce.

Όταν οι άνθρωποι μιλάνε για hardware για τον Hadoop, συνήθως υπογραμμίζουν τη χρήση βασικών προϊόντων - των φθηνών. Επειδή πρέπει να πετάξετε μόνο για μερικούς κύριους κόμβους (τυπικά, τρεις ή τέσσερις), δεν χτυπάτε πολλαπλασιάζοντας το κόστος εάν, για παράδειγμα, αποφασίσετε να χρησιμοποιήσετε δαπανηρές μονάδες σκληρού δίσκου.

Λάβετε υπόψη ότι, χωρίς κεντρικούς κόμβους, δεν υπάρχει cluster Hadoop. Οι κύριοι κόμβοι εξυπηρετούν μια κρίσιμη λειτουργία αποστολής και παρόλο που χρειάζεστε πλεονασμό, πρέπει να τις σχεδιάσετε με μεγάλη διαθεσιμότητα και ανθεκτικότητα.

Συνιστώμενη αποθήκευση

Για τους κύριους κόμβους Hadoop, ανεξάρτητα από τον αριθμό των κόμβων υποτελούς λειτουργίας ή τις χρήσεις του συμπλέγματος, τα χαρακτηριστικά αποθήκευσης είναι συνεπή. Χρησιμοποιήστε τέσσερις μονάδες SAS 900GB, μαζί με έναν ελεγκτή σκληρού δίσκου RAID ρυθμισμένο για RAID 1 + 0. Οι μονάδες SAS είναι ακριβότερες από τις μονάδες SATA και έχουν χαμηλότερη χωρητικότητα αποθήκευσης, αλλά είναι ταχύτερες και πολύ πιο αξιόπιστες.

Η ανάπτυξη των μονάδων SAS ως συστοιχίας RAID διασφαλίζει ότι οι υπηρεσίες διαχείρισης του Hadoop έχουν περιττό κατάστημα για τα κρίσιμα δεδομένα αποστολής τους. Αυτό σας δίνει αρκετή σταθερή, γρήγορη και περιττή αποθήκευση για να υποστηρίξετε τη διαχείριση του συμπλέγματος Hadoop.

Συνιστώμενοι επεξεργαστές

Τη στιγμή της γραφής, οι περισσότερες αρχιτεκτονικές αναφοράς συνιστούν τη χρήση μητρικών καρτών με δύο υποδοχές CPU, έκαστη με έξι ή οκτώ πυρήνες. Η αρχιτεκτονική Intel Ivy Bridge χρησιμοποιείται συνήθως.

Συνιστώμενη μνήμη

Οι απαιτήσεις μνήμης ποικίλλουν σημαντικά ανάλογα με την κλίμακα ενός συμπλέγματος Hadoop.Η μνήμη είναι κρίσιμος παράγοντας για τους κύριους κόμβους Hadoop επειδή οι διακομιστές ενεργών και αναμονής NameNode βασίζονται σε μεγάλο βαθμό στη μνήμη RAM για τη διαχείριση των αρχείων HDFS. Ως εκ τούτου, χρησιμοποιήστε τη μνήμη διόρθωσης σφαλμάτων (ECC) για τους κύριους κόμβους Hadoop. Συνήθως, οι κύριοι κόμβοι χρειάζονται μεταξύ 64GB και 128GB μνήμης RAM.

Η απαίτηση μνήμης NameNode είναι μια άμεση συνάρτηση του αριθμού των μπλοκ αρχείων που είναι αποθηκευμένα σε HDFS. Κατά κανόνα, το ΌνομαNode χρησιμοποιεί περίπου 1GB μνήμης RAM ανά εκατομμύριο μονάδων HDFS. (Να θυμάστε ότι τα αρχεία χωρίζονται σε μεμονωμένα μπλοκ και αναπαράγονται έτσι ώστε να έχετε τρία αντίγραφα κάθε μπλοκ.)

Οι απαιτήσεις μνήμης των διακομιστών Resource Manager, HMaster, Zookeeper και JournalNode είναι σημαντικά μικρότερες από ό, τι για τον διακομιστή NameNode. Ωστόσο, είναι καλή πρακτική να διαστασιολογείτε τους κύριους κόμβους με συνεπή τρόπο ώστε να είναι εναλλάξιμοι σε περίπτωση αποτυχίας υλικού.

Συνιστώμενη δικτύωση

Η γρήγορη επικοινωνία είναι ζωτικής σημασίας για τις υπηρεσίες στους κύριους κόμβους, γι αυτό συνιστούμε να χρησιμοποιήσετε ένα ζεύγος συνδεδεμένων συνδέσεων 10GbE. Αυτό το ζευγαρωμένο ζεύγος παρέχει πλεονασμό, αλλά επίσης διπλασιάζει τη διακίνηση σε 20GbE. Για μικρότερες ομάδες (για παράδειγμα, λιγότερους από 50 κόμβους) θα μπορούσατε να ξεφύγετε χρησιμοποιώντας συνδέσεις 1 GbE.