Εναλλασσόμενοι συντελεστές φόρμας ανάπτυξης για Hadoop - dummies

Παρόλο που ο Hadoop λειτουργεί καλύτερα όταν είναι εγκατεστημένος σε φυσικό υπολογιστή, όπου η επεξεργασία έχει άμεση πρόσβαση σε αποκλειστικό αποθηκευτικό χώρο και δικτύωση,. Και αν και είναι λιγότερο αποτελεσματικές από το ειδικό υλικό, σε ορισμένες περιπτώσεις οι εναλλακτικές λύσεις αξίζουν τον κόπο.

Εικονικοποιημένοι διακομιστές

Μια σημαντική τάση στα κέντρα πληροφορικής κατά την τελευταία δεκαετία είναι η εικονικοποίηση, όπου ένας μεγάλος διακομιστής μπορεί να φιλοξενήσει αρκετές «εικονικές μηχανές» που φαίνονται και λειτουργούν σαν ενιαία μηχανήματα. Στη θέση του αποκλειστικού υλικού, ολόκληρο το σύνολο των εφαρμογών και αποθετηρίων ενός οργανισμού αναπτύσσεται σε εικονικό υλικό.

Οι οργανισμοί στους οποίους οι εφαρμογές πληροφορικής είναι εντελώς εικονικοποιημένες επιτρέπουν μερικές φορές ότι κάθε νέα εφαρμογή ακολουθεί αυτό το μοντέλο. Αν και ο Hadoop μπορεί να αναπτυχθεί με αυτόν τον τρόπο, ουσιαστικά ως εικονικό σύμπλεγμα (με εικονικούς κεντρικούς κόμβους και εικονικούς υποτελείς κόμβους), η απόδοση υποφέρει, εν μέρει επειδή για τα περισσότερα εικονικοποιημένα περιβάλλοντα, η αποθήκευση βασίζεται σε SAN και δεν είναι τοπικά συνδεδεμένη.

Όταν η απόδοση του εικονικού σας διακομιστή επηρεάζεται από το φόρτο εργασίας ενός άλλου διακομιστή, αυτό είναι γνωστό στους κύκλους πληροφορικής ως πρόβλημα "θορυβώδους γείτονα"!

Τα εικονικά περιβάλλοντα μπορεί να είναι αρκετά χρήσιμα, σε ορισμένες περιπτώσεις. Για παράδειγμα, εάν ο οργανισμός σας χρειάζεται να ολοκληρώσει μία διερευνητική ανάλυση ενός μεγάλου συνόλου δεδομένων, μπορείτε εύκολα να δημιουργήσετε ένα προσωρινό σύμπλεγμα στο εικονικό περιβάλλον σας. Αυτή η μέθοδος είναι συχνά ένας γρηγορότερος τρόπος για να αποκτήσετε εσωτερική έγκριση απ 'ό, τι για να υπομείνετε τις γραφειοκρατικές ταλαιπωρίες της προμήθειας νέου ειδικού υλικού.

Καθώς δοκιμάζετε με τον Hadoop, το τρέχετε συχνά στις φορητές συσκευές σας μέσω μιας εικονικής μηχανής (VM). Ο Hadoop είναι εξαιρετικά αργός σε αυτό το είδος περιβάλλοντος, αλλά αν χρησιμοποιείτε μικρά σύνολα δεδομένων, είναι ένα πολύτιμο εργαλείο μάθησης και δοκιμών.

Εφαρμογές Cloud

Οι παραλλαγές των εικονικοποιημένων περιβαλλόντων είναι παρόχους υπολογιστικού cloud όπως Amazon, Rackspace και IBM SoftLayer. Οι περισσότεροι σημαντικοί δημόσιοι προμηθευτές νέφους διαθέτουν σήμερα προσφορές MapReduce ή Hadoop για χρήση. Και πάλι, η απόδοσή τους είναι κατώτερη από την ανάπτυξη του cluster σας σε ειδικό υλικό, αλλά βελτιώνεται.

Οι παροχείς υπηρεσιών Cloud καθιστούν τα περιβάλλοντα βελτιστοποιημένα με Hadoop διαθέσιμα όπου οι κόμβοι υποτελούς έχουν τοπικά αποθηκευμένο χώρο αποθήκευσης και εξειδικευμένη δικτύωση. Επίσης, οι hypervisors καθίστανται πολύ πιο αποδοτικοί, με μειωμένη επιβάρυνση και καθυστέρηση.

Μην θεωρείτε λύση λύσεων σύννεφο για μακροπρόθεσμες εφαρμογές, επειδή το κόστος ενοικίασης πόρων cloud computing είναι σημαντικά υψηλότερο από το κόστος ιδιοκτησίας και διατήρησης ενός συγκρίσιμου συστήματος. Με ένα σύννεφο σύννεφο, πληρώνετε για την ευκολία και για να είναι σε θέση να εκφορτώσουν τα γενικά έξοδα του υλικού παροχής. Ωστόσο, το σύννεφο είναι μια ιδανική πλατφόρμα για δοκιμές, εκπαίδευση και μοναδικές εργασίες επεξεργασίας δεδομένων.

Εκτός από τις εκτιμήσεις απόδοσης και κόστους, έχετε κανονιστικές εκτιμήσεις με τις δημόσιες εφαρμογές του cloud. Αν έχετε ευαίσθητα δεδομένα, τα οποία πρέπει να αποθηκεύονται είτε στο εσωτερικό είτε στο εσωτερικό, η δημόσια ανάπτυξη του cloud δεν αποτελεί επιλογή. Σε περιπτώσεις όπως αυτή, όπου χρειάζεστε την ευκολία μιας ανάπτυξης που βασίζεται σε σύννεφο, ένα ιδιωτικό σύννεφο είναι μια καλή επιλογή, αν είναι διαθέσιμη.