Μεγάλη Ανάλυση Δεδομένων και αποθήκη δεδομένων - ανδρείκελα

Θα βρείτε αξία για τη συγκέντρωση των δυνατοτήτων της αποθήκης δεδομένων και του μεγάλου περιβάλλοντος δεδομένων. Πρέπει να δημιουργήσετε ένα υβριδικό περιβάλλον όπου τα μεγάλα δεδομένα μπορούν να λειτουργούν χέρι-χέρι με την αποθήκη δεδομένων.

Πρώτον, είναι σημαντικό να αναγνωρίσουμε ότι η αποθήκη δεδομένων, όπως έχει σχεδιαστεί σήμερα, δεν θα αλλάξει βραχυπρόθεσμα.

Επομένως, είναι πιο ρεαλιστική η χρήση της αποθήκης δεδομένων για αυτό που έχει σχεδιαστεί να κάνει - παρέχει μια καλά ελεγμένη έκδοση της αλήθειας για ένα θέμα που η επιχείρηση θέλει να αναλύσει. Η αποθήκη μπορεί να περιλαμβάνει πληροφορίες σχετικά με τη γραμμή προϊόντων μιας συγκεκριμένης εταιρείας, τους πελάτες της, τους προμηθευτές της και τις λεπτομέρειες των συναλλαγών ενός έτους.

Οι πληροφορίες που διαχειρίζονταν στην αποθήκη δεδομένων ή σε μια υπηρεσία διαμερισμάτων δεδομένων έχουν σχεδιαστεί προσεκτικά, ώστε τα μεταδεδομένα να είναι ακριβή. Με την ανάπτυξη νέων πληροφοριών στο διαδίκτυο, είναι πρακτικό και συχνά απαραίτητο να αναλυθεί αυτό το τεράστιο όγκο δεδομένων σε συνάρτηση με ιστορικά δεδομένα. Αυτό είναι όπου έρχεται το υβριδικό μοντέλο.

Ορισμένες πτυχές του γάμου της αποθήκης δεδομένων με μεγάλα δεδομένα μπορεί να είναι σχετικά εύκολη. Για παράδειγμα, πολλές από τις μεγάλες πηγές δεδομένων προέρχονται από πηγές που περιλαμβάνουν τα δικά τους καλά σχεδιασμένα μεταδεδομένα. Οι σύνθετοι ιστότοποι ηλεκτρονικού εμπορίου περιλαμβάνουν καλά καθορισμένα στοιχεία δεδομένων. Επομένως, κατά τη διεξαγωγή ανάλυσης μεταξύ της αποθήκης και της μεγάλης πηγής δεδομένων, ο οργανισμός διαχείρισης πληροφοριών συνεργάζεται με δύο σύνολα δεδομένων με προσεκτικά σχεδιασμένα μοντέλα μεταδεδομένων που πρέπει να εξορθολογιστούν.

Φυσικά, σε ορισμένες περιπτώσεις, οι πηγές πληροφοριών στερούνται ρητά μεταδεδομένων. Πριν ένας αναλυτής να μπορέσει να συνδυάσει τα ιστορικά δεδομένα συναλλαγής με τα λιγότερο δομημένα μεγάλα δεδομένα, πρέπει να γίνει εργασία. Συνήθως, η αρχική ανάλυση των petabytes δεδομένων θα αποκαλύψει ενδιαφέροντα πρότυπα που μπορούν να βοηθήσουν να προβλέψουμε τις λεπτές αλλαγές στην επιχείρηση ή τις πιθανές λύσεις στη διάγνωση ενός ασθενούς.

Η αρχική ανάλυση μπορεί να συμπληρωθεί με εργαλεία όπως το MapReduce με το σύστημα κατανομής αρχείων Hadoop. Σε αυτό το σημείο, μπορείτε να αρχίσετε να καταλαβαίνετε αν είναι σε θέση να βοηθήσει στην αξιολόγηση του προβλήματος που αντιμετωπίζεται.

Στη διαδικασία ανάλυσης, είναι εξίσου σημαντικό να εξαλειφθούν τα περιττά δεδομένα, όπως είναι ο εντοπισμός δεδομένων που σχετίζονται με το επιχειρηματικό πλαίσιο. Όταν ολοκληρωθεί αυτή η φάση, τα υπόλοιπα δεδομένα πρέπει να μετατραπούν ώστε οι ορισμοί των μεταδεδομένων να είναι ακριβείς. Με αυτόν τον τρόπο, όταν τα μεγάλα δεδομένα συνδυάζονται με παραδοσιακά, ιστορικά δεδομένα από την αποθήκη, τα αποτελέσματα θα είναι ακριβή και ουσιαστικά.

Η μεγάλη ενσωμάτωση δεδομένων lynchpin

Αυτή η διαδικασία απαιτεί μια καλά καθορισμένη στρατηγική ενσωμάτωσης δεδομένων. Ενώ η ενσωμάτωση δεδομένων είναι ένα κρίσιμο στοιχείο για τη διαχείριση μεγάλων δεδομένων, είναι εξίσου σημαντικό κατά τη δημιουργία μιας υβριδικής ανάλυσης με την αποθήκη δεδομένων. Στην πραγματικότητα, η διαδικασία της εξαγωγής δεδομένων και της μετατροπής τους σε ένα υβριδικό περιβάλλον είναι πολύ παρόμοια με τον τρόπο με τον οποίο αυτή η διαδικασία εκτελείται μέσα σε μια παραδοσιακή αποθήκη δεδομένων.

Στην αποθήκη δεδομένων, τα δεδομένα εξάγονται από παραδοσιακά συστήματα πηγής, όπως συστήματα CRM ή ERP. Είναι κρίσιμο τα στοιχεία από αυτά τα διάφορα συστήματα να αντιστοιχούν σωστά.

Επανεξέταση της εξαγωγής, του μετασχηματισμού και των φορτίων για τις αποθήκες δεδομένων

Στην αποθήκη δεδομένων, βρίσκετε συχνά ένα συνδυασμό από πίνακες σχεσιακών βάσεων δεδομένων, επίπεδη αρχεία και μη σχετικές πηγές. Μια άρτια κατασκευασμένη αποθήκη δεδομένων θα είναι αρχιτεκτονική έτσι ώστε τα δεδομένα να μετατρέπονται σε μια κοινή μορφή, επιτρέποντας την επεξεργασία των ερωτημάτων με ακρίβεια και συνέπεια. Τα εξαγόμενα αρχεία πρέπει να μετατραπούν ώστε να ταιριάζουν με τους επιχειρηματικούς κανόνες και τις διαδικασίες της περιοχής που έχει σχεδιαστεί για την ανάλυση της αποθήκης δεδομένων.

Με άλλα λόγια, τα δεδομένα πρέπει να εξαχθούν από τις μεγάλες πηγές δεδομένων, έτσι ώστε αυτές οι πηγές να μπορούν να συνεργάζονται με ασφάλεια και να παράγουν σημαντικά αποτελέσματα. Επιπλέον, οι πηγές πρέπει να μετασχηματιστούν έτσι ώστε να είναι χρήσιμες στην ανάλυση της σχέσης μεταξύ των ιστορικών δεδομένων και των πιο δυναμικών και πραγματικών δεδομένων που προέρχονται από μεγάλες πηγές δεδομένων.

Η φόρτωση πληροφοριών στο μεγάλο μοντέλο δεδομένων θα είναι διαφορετική από αυτή που θα περιμένατε σε μια παραδοσιακή αποθήκη δεδομένων. Με τις αποθήκες δεδομένων, μετά την κωδικοποίηση των δεδομένων, δεν αλλάζει ποτέ. Μια τυπική αποθήκη δεδομένων θα παρέχει στην επιχείρηση ένα στιγμιότυπο δεδομένων με βάση την ανάγκη να αναλύσει ένα συγκεκριμένο επιχειρηματικό ζήτημα που απαιτεί παρακολούθηση, όπως απογραφή ή πωλήσεις.

Η κατανεμημένη δομή μεγάλων δεδομένων οδηγεί συχνά τους οργανισμούς να φορτώσουν πρώτα τα δεδομένα σε μια σειρά κόμβων και στη συνέχεια να εκτελέσουν την εξαγωγή και τον μετασχηματισμό. Όταν δημιουργείται ένα υβρίδιο της παραδοσιακής αποθήκης δεδομένων και του μεγάλου περιβάλλοντος δεδομένων, η κατανεμημένη φύση του μεγάλου περιβάλλοντος δεδομένων μπορεί να αλλάξει δραματικά την ικανότητα των οργανισμών να αναλύουν τεράστιους όγκους δεδομένων σε σχέση με την επιχείρηση.