Κόμβοι άκρων σε Clusters Hadoop - ανδρείκελοι

Κόμβοι Edge είναι η διεπαφή μεταξύ του cluster Hadoop και του εξωτερικού δικτύου. Για το λόγο αυτό, μερικές φορές αναφέρονται ως κόμβοι πύλης . Συνηθέστερα, οι κόμβοι ακμής χρησιμοποιούνται για την εκτέλεση εφαρμογών πελάτη και εργαλείων διαχείρισης συμπλεγμάτων.

Χρησιμοποιούνται επίσης συχνά ως ζώνες σταδιοποίησης για τη μεταφορά δεδομένων στο σύμπλεγμα Hadoop. Έτσι, Oozie, Pig, Sqoop και εργαλεία διαχείρισης όπως Hue και Ambari τρέχουν καλά εκεί. Το σχήμα δείχνει τις διεργασίες που μπορείτε να εκτελέσετε στους κόμβους Edge.

Οι κόμβοι άκρων συχνά παραβλέπονται στις συζητήσεις αρχιτεκτονικής hardware του Hadoop. Αυτή η κατάσταση είναι ατυχής επειδή οι άκρες των κόμβων εξυπηρετούν έναν σημαντικό σκοπό σε ένα σύμπλεγμα Hadoop και έχουν απαιτήσεις υλικού διαφορετικές από τους κύριους κόμβους και τους κόμβους υποτελούς λειτουργίας.

Γενικά, είναι μια καλή ιδέα να ελαχιστοποιηθεί η ανάπτυξη εργαλείων διαχείρισης στους κύριους κόμβους και τους κόμβους υποτελούς ελέγχου για να διασφαλιστεί ότι οι κρίσιμες υπηρεσίες Hadoop όπως το όνομαNode έχουν όσο το δυνατόν λιγότερους ανταγωνισμούς για πόρους.

Θα πρέπει να αποφύγετε την τοποθέτηση ενός βοηθητικού προγράμματος μεταφοράς δεδομένων όπως το Sqoop σε οτιδήποτε άλλο από έναν κόμβο ακμής, καθώς οι υψηλοί όγκοι μεταφοράς δεδομένων θα μπορούσαν να διακυβεύσουν την ικανότητα επικοινωνίας των υπηρεσιών Hadoop στον ίδιο κόμβο. Τα μηνύματα ανταλλαγής μηνυμάτων Hadoop είναι η ζωή τους, τόσο υψηλή λανθάνουσα κατάσταση σημαίνει ότι ολόκληρος ο κόμβος μπορεί να αποκοπεί από το σύμπλεγμα.

Το σχήμα δείχνει δύο κόμβους ακμής, αλλά για πολλά cluster Hadoop θα αρκούσε ένας κόμβος. Πρόσθετοι κόμβοι άκρης είναι πιο συχνά απαιτούνται όταν ο όγκος των δεδομένων που μεταφέρονται μέσα ή έξω από το σύμπλεγμα είναι πάρα πολύ για ένα μόνο διακομιστή να χειριστεί.

Συνιστώμενος χώρος αποθήκευσης

Για κόμβους άκρων σε ένα σύμπλεγμα Hadoop, χρησιμοποιήστε αποθήκευση επιχειρησιακής κλάσης. Για τους κόμβους άκρη που επικεντρώνονται στα εργαλεία διαχείρισης και την εκτέλεση εφαρμογών πελάτη, χρησιμοποιήστε τέσσερις μονάδες SAS 900GB μαζί με έναν ελεγκτή σκληρού δίσκου RAID διαμορφωμένο για RAID 1 + 0.

Οι κόμβοι άκρων που προσανατολίζονται στην λήψη δεδομένων απαιτούν προφανώς πολύ περισσότερο χώρο αποθήκευσης, ώστε να μπορείτε να προσθέσετε μονάδες δίσκου στον κόμβο ακμής. Σε αυτήν την περίπτωση, χρησιμοποιήστε μονάδες LFF SAS επειδή υπάρχουν διαθέσιμες πολύ μεγαλύτερες χωρητικότητες, σε σύγκριση με μικρότερους δίσκους SAS.

Συνιστώμενοι επεξεργαστές

Ένας κόμβος ακμής γενικής χρήσης θα εξυπηρετούσε καλά μια διαμόρφωση επεξεργαστή παρόμοια με αυτή που χρησιμοποιείται για τους κόμβους υποτελούς - συγκεκριμένα, ένα διακομιστή διπλής υποδοχής με επεξεργαστές Ivy Bridge που κυμαίνονταν μεταξύ 2 και 2. 5GHz.

Συνιστώμενη μνήμη

Για τους περισσότερους φόρτους εργασίας σε κόμβους άκρης, αρκεί 48 GB μνήμης RAM.

Συνιστώμενη δικτύωση

Για να ενεργοποιήσετε την επικοινωνία μεταξύ του εξωτερικού δικτύου και του cluster Hadoop, οι κόμβοι ακμής πρέπει να είναι multi-homed στο ιδιωτικό υποδίκτυο του cluster Hadoop καθώς και στο εταιρικό δίκτυο.

Ένας πολυεπαφής υπολογιστής είναι αυτός που έχει αφιερωμένες συνδέσεις σε πολλά δίκτυα. Αυτή είναι μια πρακτική απεικόνιση του γιατί οι άκρες κόμβων είναι απόλυτα κατάλληλοι για αλληλεπίδραση με τον κόσμο έξω από το σύμπλεγμα Hadoop. Κρατώντας το σύμπλεγμα Hadoop στο δικό του ιδιωτικό υποδίκτυο είναι μια εξαιρετική πρακτική, έτσι ώστε οι κόμβοι αυτές να λειτουργούν ως ελεγχόμενο παράθυρο μέσα στο σύμπλεγμα.

Για κόμβους άκρης που εξυπηρετούν το σκοπό εκτέλεσης εφαρμογών ή εργαλείων διαχείρισης, συνιστώνται δύο ζεύγη συνδεδεμένων συνδέσεων δικτύου 1GbE: ένα ζευγάρι για σύνδεση με το σύμπλεγμα Hadoop και ένα άλλο ζευγάρι για το εξωτερικό δίκτυο.

Οι κόμβοι άκρων που είναι προσανατολισμένοι στο χειρισμό υψηλών ρυθμών μεταφοράς εισερχόμενων και εξερχόμενων δεδομένων θα χρειαστούν δύο (ή περισσότερα) ζεύγη συνδεδεμένων συνδέσεων δικτύου 10GbE: ένα ζεύγος για σύνδεση με το σύμπλεγμα Hadoop και ένα άλλο ζευγάρι για το εξωτερικό δίκτυο ή συγκεκριμένες πηγές λήψης δεδομένων.