Ο ρόλος του παραδοσιακού ETL σε μεγάλα δεδομένα - dummies

Τα εργαλεία ETL συνδυάζουν τρεις σημαντικές λειτουργίες (εκχύλισμα, μετασχηματισμό, φορτίο) και να το θέσει σε άλλο περιβάλλον δεδομένων. Παραδοσιακά, το ETL έχει χρησιμοποιηθεί με την επεξεργασία παρτίδων σε περιβάλλοντα αποθήκης δεδομένων. Οι αποθήκες δεδομένων παρέχουν στους επιχειρησιακούς χρήστες έναν τρόπο να ενοποιήσουν τις πληροφορίες για να αναλύσουν και να αναφέρουν δεδομένα σχετικά με την επιχειρηματική τους εστίαση. Τα εργαλεία ETL χρησιμοποιούνται για τη μετατροπή των δεδομένων στη μορφή που απαιτείται από τις αποθήκες δεδομένων.

Ο μετασχηματισμός πραγματοποιείται σε μια ενδιάμεση τοποθεσία πριν από τη φόρτωση των δεδομένων στην αποθήκη δεδομένων. Πολλοί προμηθευτές λογισμικού, συμπεριλαμβανομένων των IBM, Informatica, Pervasive, Talend, και Pentaho, παρέχουν εργαλεία λογισμικού ETL.

Η ETL παρέχει την υποκείμενη υποδομή για ολοκλήρωση, εκτελώντας τρεις σημαντικές λειτουργίες:

• Απόσπασμα: Ανάγνωση δεδομένων από τη βάση δεδομένων προέλευσης.

• Μετασχηματισμός: Μετατρέψτε τη μορφή των εξαγόμενων δεδομένων έτσι ώστε να συμμορφώνονται με τις απαιτήσεις της βάσης δεδομένων προορισμού. Ο μετασχηματισμός γίνεται με τη χρήση κανόνων ή συγχώνευσης δεδομένων με άλλα δεδομένα.

• Φόρτωση: Γράψτε δεδομένα στη βάση δεδομένων προορισμού.

Ωστόσο, η ETL εξελίσσεται για να υποστηρίξει την ολοκλήρωση σε πολύ περισσότερα από τις παραδοσιακές αποθήκες δεδομένων. Το ETL μπορεί να υποστηρίξει την ολοκλήρωση σε συστήματα συναλλαγών, λειτουργικά αποθηκευτικά δεδομένα, πλατφόρμες BI, κόμβους MDM, cloud και πλατφόρμες Hadoop. Οι προμηθευτές λογισμικού ETL επεκτείνουν τις λύσεις τους για να παρέχουν μεγάλη εξαγωγή δεδομένων, μετασχηματισμό και φόρτωση μεταξύ της Hadoop και των παραδοσιακών πλατφορμών διαχείρισης δεδομένων.

Απαιτούνται εργαλεία ETL για τη φόρτωση και τη μετατροπή δομημένων και μη δομημένων δεδομένων σε Hadoop. Τα προηγμένα εργαλεία ETL μπορούν να διαβάσουν και να γράψουν πολλά αρχεία παράλληλα από και προς τον Hadoop για να απλοποιήσουν τον τρόπο με τον οποίο τα δεδομένα συγχωνεύονται σε μια κοινή διαδικασία μετασχηματισμού. Ορισμένες λύσεις ενσωματώνουν βιβλιοθήκες προρυθμισμένων μετασχηματισμών ETL τόσο για δεδομένα συναλλαγών όσο και για αλληλεπιδράσεις που εκτελούνται σε Hadoop ή σε μια παραδοσιακή υποδομή δικτύου.

Ο μετασχηματισμός δεδομένων είναι η διαδικασία αλλαγής της μορφής των δεδομένων έτσι ώστε να μπορεί να χρησιμοποιηθεί από διαφορετικές εφαρμογές.Αυτό μπορεί να σημαίνει αλλαγή από τη μορφή που αποθηκεύονται τα δεδομένα στη μορφή που απαιτείται από την εφαρμογή που θα χρησιμοποιήσει τα δεδομένα. Αυτή η διαδικασία περιλαμβάνει επίσης εντολές

χαρτογράφησης έτσι ώστε οι εφαρμογές να λέγονται πώς να αποκτήσουν τα δεδομένα που χρειάζονται για να επεξεργαστούν. Η διαδικασία του μετασχηματισμού των δεδομένων γίνεται πολύ πιο πολύπλοκη εξαιτίας της κλιμακούμενης αύξησης της ποσότητας μη δομημένων δεδομένων. Μια επιχειρηματική εφαρμογή, όπως η διαχείριση πελατειακών σχέσεων, έχει συγκεκριμένες απαιτήσεις για τον τρόπο αποθήκευσης των δεδομένων. Τα δεδομένα είναι πιθανόν να είναι

δομημένα στις οργανωμένες σειρές και στήλες μιας σχεσιακής βάσης δεδομένων. Τα δεδομένα είναι ημιδομημένα ή μη δομημένα αν δεν ακολουθούν τις απαιτήσεις άκαμπτης μορφής. Για παράδειγμα, οι πληροφορίες που περιέχονται σε ένα μήνυμα ηλεκτρονικού ταχυδρομείου θεωρούνται μη δομημένες. Ορισμένες από τις σημαντικότερες πληροφορίες μιας εταιρείας είναι σε μη δομημένες και ημιδομημένες μορφές, όπως έγγραφα, μηνύματα ηλεκτρονικού ταχυδρομείου, σύνθετες μορφές μηνυμάτων, αλληλεπιδράσεις υποστήριξης πελατών, συναλλαγές και πληροφορίες προερχόμενες από συσκευασμένες εφαρμογές όπως το ERP και το CRM.

Τα εργαλεία μετασχηματισμού δεδομένων δεν έχουν σχεδιαστεί για να λειτουργούν καλά με μη δομημένα δεδομένα. Ως αποτέλεσμα, οι επιχειρήσεις που χρειάζονται να ενσωματώσουν μη δομημένες πληροφορίες στη διαδικασία λήψης επιχειρηματικών αποφάσεων αντιμετώπισαν ένα σημαντικό ποσό χειροκίνητης κωδικοποίησης για την ολοκλήρωση της απαιτούμενης ολοκλήρωσης δεδομένων.

Λαμβάνοντας υπόψη την ανάπτυξη και τη σημασία των μη δομημένων δεδομένων στη λήψη αποφάσεων, οι λύσεις ETL από μεγάλους προμηθευτές αρχίζουν να προσφέρουν τυποποιημένες προσεγγίσεις για τη μετατροπή μη δομημένων δεδομένων, ώστε να μπορούν να ενσωματωθούν ευκολότερα στα επιχειρησιακά δομημένα δεδομένα.