Πίνακας περιεχομένων:
Βίντεο: How to Setup Multinode Hadoop 2 on CentOS/RHEL Using VirtualBox 2024
Ανάπτυξη Hadoop με ένα rack
Η τοποθέτηση ενός rack είναι ένα ιδανικό σημείο εκκίνησης για ένα cluster Hadoop.
Εδώ, το σύμπλεγμα είναι αρκετά αυτόνομο, αλλά επειδή εξακολουθεί να έχει σχετικά λίγους κόλπους, τα πραγματικά οφέλη της ανθεκτικότητας του Hadoop δεν είναι ακόμη εμφανή.
Ανάπτυξη Hadoop με τρία rack
Ένα μεσαίου μεγέθους σύμπλεγμα έχει πολλαπλά rack, όπου οι τρεις κύριοι κόμβοι διανέμονται στα ράφια.
Η ευελιξία του Hadoop αρχίζει να γίνεται εμφανής: Ακόμη και αν μια ολόκληρη σχάρα αποτύχει (για παράδειγμα, και οι δύο διακόπτες ToR σε ένα μόνο rack), το σύμπλεγμα θα εξακολουθεί να λειτουργεί, αν και σε χαμηλότερο επίπεδο απόδοσης. Μια αποτυχία κόμβου σκλάβου θα ήταν ελάχιστα αισθητή.
3 3Ανάπτυξη μεγάλης κλίμακας Hadoop
Σε μεγαλύτερες συστάδες με πολλά ράφια, όπως και στο παράδειγμα που παρουσιάζεται, η απαιτούμενη αρχιτεκτονική δικτύωσης είναι αρκετά εξελιγμένη.
Ανεξάρτητα από τον αριθμό των συστοιχιών Hadoop που αναπτύσσονται, οι σκλάβοι κόμβοι από κάθε ράφι πρέπει να είναι σε θέση να μιλάνε αποτελεσματικά; σε οποιονδήποτε κύριο κόμβο.
Καθώς ο αριθμός των υποτελών κόμβων αυξάνεται στο σημείο όπου έχετε περισσότερους από τρεις ράφια, επιπλέον σχάρες αποτελούνται μόνο από υποτελείς κόμβους εκτός από τους διακόπτες ToR. Εάν χρησιμοποιείτε το HBase σε μεγάλο βαθμό στο σύμπλεγμα σας, μπορείτε να προσθέσετε κύριους κόμβους για να φιλοξενήσετε πρόσθετες υπηρεσίες HMaster και Zookeeper.
Εάν αποφοιτήσετε σε μια πραγματικά τεράστια κλίμακα, όπου έχετε εκατοντάδες κόμβους σκλάβου, ίσως χρειαστεί να χρησιμοποιήσετε τις δυνατότητες ομοσπονδίας HDFS, ώστε μεγάλα τμήματα των συνόλων δεδομένων σας να διαχειρίζονται από διαφορετικές υπηρεσίες NameNode.
Για κάθε πρόσθετο ActiveNameNode, θα χρειαστείτε ένα αντίστοιχο όνομα αναμονής και δύο κύριους κόμβους για να φιλοξενήσετε αυτούς τους διακομιστές. Με την ομοσπονδία HDFS, ο ουρανός είναι πραγματικά το όριο όσον αφορά το πόσο μακριά μπορείτε να μεγεθύνετε τα clusters σας.
Πίσω Επόμενο