Συγκρίνοντας τις διανομές Hadoop - ανδρείκελα

Θα διαπιστώσετε ότι το οικοσύστημα Hadoop έχει πολλά συστατικά μέρη, όλα τα οποία υπάρχουν ως δικά τους προγράμματα Apache. Επειδή ο Hadoop έχει αυξηθεί σημαντικά και αντιμετωπίζει κάποιες σημαντικές περαιτέρω αλλαγές, διαφορετικές εκδόσεις αυτών των συνιστωσών της ανοιχτής πηγής ενδέχεται να μην είναι πλήρως συμβατές με άλλα στοιχεία. Αυτό δημιουργεί σημαντικές δυσκολίες για τους ανθρώπους που θέλουν να ξεκινήσουν ανεξάρτητα το Hadoop με τη λήψη και την σύνταξη έργων απευθείας από το Apache.

Το Red Hat είναι, για πολλούς ανθρώπους, το πρότυπο του πώς να κερδίσετε χρήματα με επιτυχία στην αγορά λογισμικού ανοιχτού κώδικα. Αυτό που έκανε η Red Hat είναι να πάρει το Linux (λειτουργικό σύστημα ανοιχτού κώδικα), να συνδυάσει όλα τα απαραίτητα συστατικά στοιχεία, να δημιουργήσει ένα απλό πρόγραμμα εγκατάστασης και να παράσχει αμειβόμενη υποστήριξη σε όλους τους πελάτες.

Με τον ίδιο τρόπο που η Red Hat έχει προσφέρει μια εύχρηστη συσκευασία για το Linux, αρκετές εταιρείες έχουν ομαδοποιήσει τον Hadoop και μερικές σχετικές τεχνολογίες στις δικές τους διανομές Hadoop. Αυτή η λίστα περιγράφει τα πιο σημαντικά:

• Cloudera : Ίσως ο πιο γνωστός παίκτης στον τομέα, ο Cloudera είναι σε θέση να διεκδικήσει τον Doug Cutting, συνιδρυτή του Hadoop, ως κύριο αρχιτέκτονα. Το Cloudera θεωρείται από πολλούς ως ηγέτης της αγοράς στον χώρο Hadoop επειδή κυκλοφόρησε την πρώτη εμπορική διανομή Hadoop και είναι ένας πολύ ενεργός συνεργάτης του κώδικα στο οικοσύστημα Hadoop.

  Το Cloudera Enterprise, ένα προϊόν που τοποθετείται από το Cloudera στο κέντρο αυτού που αποκαλεί Enterprise Data Hub, περιλαμβάνει την Cloudera Distribution for Hadoop (CDH), μια διανομή βασισμένη σε ανοιχτού κώδικα του Hadoop και των συναφών έργων του ως ιδιοκτήτη του Cloudera Manager. Συμπεριλαμβάνεται επίσης συνδρομή τεχνικής υποστήριξης για τα βασικά στοιχεία του CDH.

  Το πρωτογενές επιχειρηματικό μοντέλο της Cloudera βασίζεται μακροπρόθεσμα στην ικανότητά της να αξιοποιεί τη δημοφιλή διανομή CDH και να προσφέρει υπηρεσίες και υποστήριξη. Το φθινόπωρο του 2013, η Cloudera ανακοίνωσε επισήμως ότι εστιάζει στην προσθήκη ιδιόκτητων στοιχείων προστιθέμενης αξίας πάνω από το ανοικτού κώδικα Hadoop για να λειτουργήσει ως διαφοροποιητής.

  Επίσης, η Cloudera έχει καταστήσει μια κοινή πρακτική να επιταχύνει την υιοθέτηση κώδικα ανοιχτού κώδικα άλφα και βήτα για τις νεότερες εκδόσεις του Hadoop. Η προσέγγισή της είναι να πάρει τα συστατικά που θεωρεί ώριμα και να τα μετασκευάσει στις υπάρχουσες βιβλιοθήκες ανοιχτού κώδικα έτοιμες για παραγωγή, οι οποίες περιλαμβάνονται στη διανομή του.

• Η EMC : Το Pivotal HD, η διανομή Apache Hadoop από την EMC, ενσωματώνει την Apache Hadoop στην τεχνολογία βάσεων δεδομένων παράλληλης επεξεργασίας (MPP) της EMC (παλαιότερα γνωστή ως Greenplum και τώρα γνωστή ως HAWQ).Το αποτέλεσμα είναι μια υψηλής απόδοσης διανομή Hadoop με την πραγματική επεξεργασία SQL για Hadoop. Τα ερωτήματα που βασίζονται σε SQL και άλλα εργαλεία επιχειρηματικής ευφυΐας μπορούν να χρησιμοποιηθούν για την ανάλυση δεδομένων που αποθηκεύονται σε HDFS.

• Hortonworks : Ένας άλλος σημαντικός παίκτης στην αγορά Hadoop, ο Hortonworks έχει τον μεγαλύτερο αριθμό συνεργατών και συνεισφέροντες κώδικα για τα συστατικά του οικοσυστήματος Hadoop. (Οι Committers είναι οι gatekeepers των έργων Apache και έχουν τη δύναμη να εγκρίνουν τις αλλαγές κώδικα.)

  Το Hortonworks είναι ένα spin-off από το Yahoo!, ο οποίος ήταν ο πρωταρχικός εταιρικός οδηγός του έργου Hadoop, επειδή χρειαζόταν πλατφόρμα μεγάλης κλίμακας για την υποστήριξη της επιχείρησης μηχανών αναζήτησης. Από όλους τους πωλητές διανομής Hadoop, η Hortonworks είναι η πιο αφοσιωμένη στην κίνηση ανοιχτού κώδικα, βασισμένη στον τεράστιο όγκο των έργων ανάπτυξης που συμβάλλει στην κοινότητα και επειδή όλες οι αναπτυξιακές της προσπάθειες (ενδεχομένως) διπλώνονται στον κώδικα ανοιχτού κώδικα.

  Το επιχειρηματικό μοντέλο Hortonworks βασίζεται στην ικανότητά του να αξιοποιεί τη δημοφιλή διανομή HDP και να προσφέρει υπηρεσίες και υποστήριξη. Ωστόσο, δεν πωλεί ιδιόκτητο λογισμικό. Αντίθετα, η εταιρεία υποστηρίζει με ενθουσιασμό την ιδέα της συνεργασίας με την κοινότητα ανοιχτού κώδικα για την ανάπτυξη λύσεων που ανταποκρίνονται στις απαιτήσεις των χαρακτηριστικών των επιχειρήσεων (για παράδειγμα, ταχύτερη επεξεργασία ερωτήσεων με την κυψέλη).

  Η Hortonworks έχει δημιουργήσει μια σειρά σχέσεων με τις καθιερωμένες εταιρείες στη βιομηχανία διαχείρισης δεδομένων: Teradata, Microsoft, Informatica, και SAS, για παράδειγμα. Παρόλο που οι εταιρείες αυτές δεν διαθέτουν δικές τους, εσωτερικές προσφορές Hadoop, συνεργάζονται με την Hortonworks για την παροχή ολοκληρωμένων λύσεων Hadoop με δικά τους προϊόντα.

  Η προσφορά Hortonworks Hadoop είναι η πλατφόρμα δεδομένων Hortonworks Data (HDP), η οποία περιλαμβάνει το Hadoop καθώς και συναφή εργαλεία και έργα. Επίσης, σε αντίθεση με το Cloudera, η Hortonworks κυκλοφορεί μόνο εκδόσεις HDP με κώδικα σε επίπεδο παραγωγής από την κοινότητα ανοιχτού κώδικα.

• IBM : Το Big Blue προσφέρει μια σειρά προσφορών Hadoop, με έμφαση στην προστιθέμενη αξία στην κορυφή της στοίβας Hadoop ανοικτής πηγής.

• Intel: Η διανομή Intel για Apache Hadoop (Intel Distribution) παρέχει κατανεμημένη επεξεργασία και διαχείριση δεδομένων για επιχειρησιακές εφαρμογές που αναλύουν μεγάλα δεδομένα.

  Βασικά χαρακτηριστικά περιλαμβάνουν εξαιρετική απόδοση με βελτιστοποιήσεις για επεξεργαστές Intel Xeon, αποθήκευση Intel SSD και δικτύωση Intel 10GbE. ασφάλεια δεδομένων μέσω κρυπτογράφησης και αποκρυπτογράφησης σε HDFS και έλεγχος πρόσβασης βασισμένο σε ρόλους με διακριτότητα σε επίπεδο κυττάρων σε HBase. βελτιωμένη απόδοση αναζήτησης ερωτήματος. Υποστήριξη στατιστικής ανάλυσης με υποδοχή για το R, το δημοφιλές πακέτο στατιστικών ανοικτού κώδικα. και αναλυτικά γραφικά μέσω του Intel Graph Builder.

• MapR : Για μια πλήρη διανομή του Apache Hadoop και σχετικών σχεδίων που είναι ανεξάρτητα από το Apache Software Foundation, μην κοιτάξετε πέρα ​​από τον MapR. Χωρίς εξαρτήσεις Java ή εξάρτηση από το σύστημα αρχείων Linux, το MapR προωθείται ως η μοναδική διανομή Hadoop, η οποία παρέχει πλήρη προστασία των δεδομένων, χωρίς μοναδικά σημεία αποτυχίας και σημαντικά πλεονεκτήματα ευκολίας χρήσης.

  Υπάρχουν τρεις εκδόσεις MapR: M3, M5 και M7. Η έκδοση M3 είναι δωρεάν και διατίθεται για απεριόριστη χρήση παραγωγής. Το MapR M5 είναι μια προσφορά λογισμικού συνδρομής μεσαίου επιπέδου. και το MapR M7 είναι μια πλήρης διανομή για το Apache Hadoop και το HBase που περιλαμβάνει το Pig, Hive, Sqoop και πολλά άλλα.