Η δημιουργία διαχειρίσιμων δομών μεγάλων δεδομένων

Δεδομένου ότι οι υπολογιστές μεταφέρθηκαν στην εμπορική αγορά, τα δεδομένα αποθηκεύτηκαν σε επίπεδα αρχεία που δεν επέβαλαν καμία δομή. Σήμερα, τα μεγάλα δεδομένα απαιτούν διαχειρίσιμες δομές δεδομένων. Όταν οι εταιρείες χρειάστηκαν να φτάσουν σε ένα επίπεδο λεπτομερούς κατανόησης σχετικά με τους πελάτες, έπρεπε να εφαρμόσουν μεθόδους βίαιης δύναμης, συμπεριλαμβανομένων πολύ λεπτομερών μοντέλων προγραμματισμού για να δημιουργήσουν κάποια αξία.

Αργότερα στη δεκαετία του 1970, τα πράγματα άλλαξαν με την εφεύρεση του σχεσιακού μοντέλου δεδομένων και του συστήματος διαχείρισης σχεσιακών βάσεων δεδομένων (RDBMS) που επέβαλε τη δομή και μια μέθοδο βελτίωσης της απόδοσης. Το πιο σημαντικό, το σχεσιακό μοντέλο προσέφερε ένα επίπεδο αφαίρεσης έτσι ώστε ήταν πιο εύκολο για τους προγραμματιστές να ικανοποιήσουν τις αυξανόμενες απαιτήσεις των επιχειρήσεων για να εξάγουν αξία από τα δεδομένα.

Το σχεσιακό μοντέλο προσέφερε ένα οικοσύστημα εργαλείων από ένα μεγάλο αριθμό αναδυόμενων εταιρειών λογισμικού. Πληροφόρησε την αυξανόμενη ανάγκη να βοηθήσει τις επιχειρήσεις να οργανώσουν καλύτερα τα δεδομένα τους και να είναι σε θέση να συγκρίνουν τις συναλλαγές από τη μια γεωγραφία στην άλλη.

Επιπλέον, βοήθησε τους διευθυντές επιχειρήσεων που ήθελαν να είναι σε θέση να εξετάσουν πληροφορίες όπως απογραφή και να τις συγκρίνουν με πληροφορίες παραγγελίας πελατών για σκοπούς λήψης αποφάσεων. Ωστόσο, προέκυψε ένα πρόβλημα από αυτήν την εκρηκτική ζήτηση για απαντήσεις: Η αποθήκευση αυτού του αυξανόμενου όγκου δεδομένων ήταν δαπανηρή και η πρόσβαση σε αυτή ήταν αργή. Κάνοντας τα πράγματα χειρότερα, υπήρχαν πολλές επικαλύψεις δεδομένων και η πραγματική επιχειρηματική αξία αυτών των δεδομένων ήταν δύσκολο να μετρηθεί.

Όταν ο όγκος των δεδομένων που χρειάζονταν οι οργανισμοί για τη διαχείριση έπεσε εκτός ελέγχου, η αποθήκη δεδομένων παρείχε μια λύση. Η αποθήκη δεδομένων επέτρεψε στον οργανισμό IT να επιλέξει ένα υποσύνολο των αποθηκευμένων δεδομένων, ώστε να είναι ευκολότερο για την επιχείρηση να προσπαθήσει να αποκτήσει γνώσεις.

Η αποθήκη δεδομένων προοριζόταν να βοηθήσει τις εταιρείες να ασχολούνται με όλο και μεγαλύτερες ποσότητες δομημένων δεδομένων που έπρεπε να είναι σε θέση να αναλύσουν με τη μείωση του όγκου των δεδομένων σε κάτι μικρότερο και πιο εστιασμένο σε ένα συγκεκριμένο τομέα της επιχείρησης. Συμπλήρωσε την ανάγκη να διαχωριστεί η επεξεργασία υποστήριξης επιχειρησιακών αποφάσεων και η υποστήριξη αποφάσεων - για λόγους απόδοσης.

Τα αποθήκες συχνά αποθηκεύουν δεδομένα από προηγούμενα έτη για να κατανοούν τις οργανωτικές επιδόσεις, να εντοπίζουν τις τάσεις και να βοηθούν στην έκθεση τρόπων συμπεριφοράς. Παρείχε επίσης μια ολοκληρωμένη πηγή πληροφοριών από διάφορες πηγές δεδομένων που θα μπορούσαν να χρησιμοποιηθούν για ανάλυση. Σήμερα, τόσο τα συστήματα διαχείρισης περιεχομένου όσο και οι αποθήκες δεδομένων είναι σε θέση να επωφεληθούν από τις βελτιώσεις στην επεκτασιμότητα του υλικού, τις τεχνολογίες εικονικοποίησης και τη δυνατότητα δημιουργίας ολοκληρωμένων συστημάτων υλικού και λογισμικού.

Μερικές φορές αυτές οι αποθήκες δεδομένων ήταν πολύ περίπλοκες και μεγάλες και δεν προσέφεραν την ταχύτητα και την ευκινησία που απαιτούσε η επιχείρηση. Η απάντηση ήταν μια περαιτέρω βελτίωση των δεδομένων που διαχειρίζονται μέσω δεδομένων marts. Αυτές οι κάρτες δεδομένων επικεντρώθηκαν σε συγκεκριμένα επιχειρηματικά ζητήματα και υποστήριξαν την επιχειρησιακή ανάγκη γρήγορων ερωτημάτων. Η αποθήκη έχει εξελιχθεί για να υποστηρίξει τις αναδυόμενες τεχνολογίες όπως τα ολοκληρωμένα συστήματα και τις συσκευές δεδομένων.

Οι αποθήκες δεδομένων και οι πίνακες δεδομένων λύθηκαν πολλά προβλήματα για τις εταιρείες που χρειάζονται έναν συνεπή τρόπο διαχείρισης των μαζικών δεδομένων συναλλαγών. Αλλά όταν ήλθε στη διαχείριση τεράστιων όγκων μη δομημένων ή ημιδομημένων δεδομένων, η αποθήκη δεν ήταν σε θέση να εξελιχθεί αρκετά για να ανταποκριθεί στις μεταβαλλόμενες απαιτήσεις.

Για να περιπλέξουμε τα πράγματα, οι αποθήκες δεδομένων τροφοδοτούνται συνήθως σε διαστήματα παρτίδας, συνήθως εβδομαδιαίως ή καθημερινά. Αυτό είναι καλό για τον προγραμματισμό, την οικονομική πληροφόρηση και τις παραδοσιακές εκστρατείες μάρκετινγκ, αλλά είναι πολύ αργή για περιβάλλοντα επιχειρήσεων και καταναλωτών όλο και περισσότερο σε πραγματικό χρόνο.

Πώς θα μπορούσαν οι εταιρείες να μεταμορφώσουν τις παραδοσιακές τους μεθόδους διαχείρισης δεδομένων για να χειριστούν τον αυξανόμενο όγκο μη δομημένων στοιχείων; Η λύση δεν εξέρχεται καθ 'όλη τη διάρκεια της νύχτας. Καθώς οι εταιρείες άρχισαν να αποθηκεύουν μη δομημένα δεδομένα, οι πωλητές άρχισαν να προσθέτουν δυνατότητες όπως BLOBs (δυαδικά μεγάλα αντικείμενα).

Στην ουσία, ένα μη δομημένο στοιχείο δεδομένων θα αποθηκεύεται σε μια σχεσιακή βάση δεδομένων ως ένα συνεχόμενο κομμάτι δεδομένων. Αυτό το αντικείμενο θα μπορούσε να επισημανθεί αλλά δεν θα μπορούσατε να δείτε τι ήταν μέσα σε αυτό το αντικείμενο. Σαφώς, αυτό δεν πρόκειται να επιλύσει τις μεταβαλλόμενες ανάγκες των πελατών ή των επιχειρήσεων.

Εισαγάγετε το σύστημα διαχείρισης βάσεων δεδομένων αντικειμένων (ODBMS). Η βάση δεδομένων αντικειμένων αποθηκεύει το BLOB ως διευθυνσιοδοτούμενο σύνολο τεμαχίων ώστε να μπορείτε να δείτε τι ήταν εκεί. Σε αντίθεση με το BLOB, το οποίο ήταν μια ανεξάρτητη μονάδα προσαρτημένη σε μια παραδοσιακή σχεσιακή βάση δεδομένων, η βάση δεδομένων αντικειμένων παρείχε μια ενιαία προσέγγιση για την αντιμετώπιση μη δομημένων δεδομένων.

Οι βάσεις δεδομένων αντικειμένων περιλαμβάνουν μια γλώσσα προγραμματισμού και μια δομή για τα στοιχεία δεδομένων έτσι ώστε να είναι ευκολότερο να χειρίζονται διάφορα αντικείμενα δεδομένων χωρίς προγραμματισμό και σύνθετες συνδέσεις. Οι βάσεις δεδομένων αντικειμένων εισήγαγαν ένα νέο επίπεδο καινοτομίας που βοήθησε να οδηγήσει στο δεύτερο κύμα διαχείρισης δεδομένων.