Δικτύωση και Clusters Hadoop - ανδρείκελα

Όπως συμβαίνει με οποιοδήποτε κατανεμημένο σύστημα, η δικτύωση μπορεί να κάνει ή να σπάσει ένα σύμπλεγμα Hadoop: Μην «φεύγετε φθηνά. "Υπάρχει μεγάλη συζήτηση μεταξύ των κύριων κόμβων και των κόμβων σκλάβων σε ένα σύμπλεγμα Hadoop που είναι απαραίτητο για τη διατήρηση της λειτουργίας του cluster, επομένως συνιστώνται σίγουρα διακόπτες επιχειρηματικής κλάσης.

Για κάθε rack στο σύμπλεγμα σας, χρειάζεστε δύο διακόπτες top to rack (ToR), τόσο για πλεονασμό όσο και για απόδοση. Χρησιμοποιήστε τους διακόπτες 10GbE για το ToR.

Οι διακόπτες ToR είναι διακόπτες δικτύου που συνδέουν όλους τους υπολογιστές σε μια βάση. Συνήθως τα βλέπετε στην κορυφή ενός ράφι, γι 'αυτό οι άνθρωποι λένε "top-of-rack. "Μια εναλλακτική προσέγγιση δικτύωσης είναι να χρησιμοποιήσετε διακόπτες τέλους σειράς (EoR) αλλά, δεν το βλέπετε αυτό πολύ συχνά.

Η προσέγγιση ToR είναι απλούστερη από την προοπτική δικτύωσης για την ανάπτυξη ομάδων. Για παράδειγμα, η προσθήκη υποτελών κόμβων και επιπλέον ράφια είναι πολύ πιο εύκολη με τους διακόπτες ToR από το EoR.

Όταν έχετε περισσότερα από τρία ράφια, χρειάζεστε τουλάχιστον δύο διακόπτες πυρήνα (και πάλι, κυρίως για πλεονασμό, αλλά και για απόδοση). Αυτοί οι διακόπτες πυρήνα χειρίζονται τεράστια ποσά κυκλοφορίας, οπότε 40GbE είναι μια αναγκαιότητα.

Εάν χτίζετε ή επεκτείνετε ένα σύμπλεγμα για να καλύψετε πολλαπλά ράφια, χρησιμοποιήστε εμπειρογνώμονες δικτύωσης που είναι εξοικειωμένοι με τον Hadoop, τα μελλοντικά σας σχέδια ανάπτυξης και το φόρτο εργασίας σας. Η κακή δικτύωση μπορεί να παρεμποδίσει σοβαρά την απόδοση, αλλά μπορεί επίσης να προκαλέσει οδυνηρή και δαπανηρή μελλοντική ανάπτυξη.