Google Dremel και Hadoop - ανδρείκελα

Για τους περισσότερους ανθρώπους, ο όρος Dremel σας φέρνει στο μυαλό ένα εύχρηστο εργαλείο υψηλής ταχύτητας και χαμηλής ροπής που λειτουργεί καλά για διάφορες εργασίες γύρω από το σπίτι. Αλλά ξέρατε ότι η Google δημιούργησε ένα Dremel; Αντί να παράγει άλλο φορητό μηχανικό εργαλείο, η Google επέλεξε ένα γρήγορο εργαλείο λογισμικού που προορίζεται για διαδραστική ανάλυση μεγάλων δεδομένων.

Όπως και με άλλες τεχνολογίες Google που ενέπνευσαν τμήματα του οικοσυστήματος Hadoop, όπως το MapReduce, το Google File System (HDFS) και το BigTable (βλ. HBase), η Google ανέπτυξε το Dremel για εσωτερική χρήση και στη συνέχεια δημοσίευσε ένα έγγραφο που περιγράφει το σκοπό και το σχεδιασμό της τεχνολογίας. (Με άλλα λόγια, το Dremel δεν είναι κάτι που μπορείτε να κατεβάσετε και να χρησιμοποιήσετε στο σύμπλεγμα Hadoop.)

Η Google χρησιμοποιεί το Dremel για διάφορες εργασίες, όπως η ανάλυση εγγράφων ανίχνευσης ιστού, ο εντοπισμός ανεπιθύμητων μηνυμάτων ηλεκτρονικού ταχυδρομείου, η επεξεργασία αναφορών σφαλμάτων εφαρμογών και πολλά άλλα. Η υπηρεσία BigQuery της Google χρησιμοποιεί πραγματικά το Dremel.

Η Google σχεδίασε την τεχνολογία MapReduce για την επεξεργασία παρτίδων σε μαζικά σύνολα δεδομένων. Καθώς εξελίχθηκαν οι ανάγκες τους, η τεχνολογία τους, και η Google αποφάσισε να δημιουργήσει το Dremel για τη βελτίωση της απόδοσης για διαδραστικές ερωτήσεις κατά μεγάλων συνόλων δεδομένων.

Έτσι, η Google ανέπτυξε μια τεχνολογία εκτέλεσης ερωτημάτων σχεδιασμένη για διαδραστικά ερωτήματα, η οποία εκτελείται σε ενδιάμεσους διακομιστές πάνω από το Google File System (GFS). (Να θυμάστε ότι το GFS ήταν η έμπνευση για το Apache HDFS, το οποίο είναι το σύστημα αρχείων του Hadoop.)

Παρόμοια με την κυψέλη, το Dremel χρησιμοποιεί μια γλώσσα τύπου SQL (γνωστή στους περισσότερους προγραμματιστές) και χρησιμοποιεί μια διάταξη στήλης δεδομένων. Το Dremel παρέχει γρήγορη, διαδραστική απάντηση ερωτήματος διατηρώντας παράλληλα την επεκτασιμότητα και την αντοχή σφάλματος που διαπιστώθηκε στο Apache Hive. Στο Λευκό χαρτί του Dremel, η Google εξηγεί πώς μπορεί να διεκπεραιώσει ερωτήματα συσσωρεύσεως μέσα σε δευτερόλεπτα πάνω από πίνακες με τρισεκατομμύρια σειρές - δεν είναι καθόλου κακό.

Έτσι, η Google έχει την τεχνολογία Dremel που χρησιμοποιεί εσωτερικά, αλλά τότε υπάρχουν όλες οι τεχνολογίες "εμπνευσμένες από" το Dremel (όπως όλα τα αρώματα που εμπνέονται από το Drakkar Noir).