Δομημένα δεδομένα σε ένα μεγάλο περιβάλλον δεδομένων

Ο όρος δομημένα δεδομένα αναφέρεται γενικά σε δεδομένα που έχουν καθορισμένο μήκος και μορφή για μεγάλα δεδομένα. Παραδείγματα δομημένων δεδομένων περιλαμβάνουν αριθμούς, ημερομηνίες και ομάδες λέξεων και αριθμών που ονομάζονται χορδές . Οι περισσότεροι ειδικοί συμφωνούν ότι αυτό το είδος δεδομένων αντιπροσωπεύει περίπου το 20 τοις εκατό των δεδομένων που είναι εκεί έξω. Δομημένα δεδομένα είναι τα δεδομένα που πιθανώς χρησιμοποιείτε για την αντιμετώπιση. Συνήθως αποθηκεύεται σε μια βάση δεδομένων.

Πηγές δομημένων μεγάλων δεδομένων

Παρόλο που αυτό μπορεί να μοιάζει με δουλειά ως συνήθως, στην πραγματικότητα, τα δομημένα δεδομένα αναλαμβάνουν έναν νέο ρόλο στον κόσμο των μεγάλων δεδομένων. Η εξέλιξη της τεχνολογίας παρέχει νέες πηγές δομημένων δεδομένων που παράγονται - συχνά σε πραγματικό χρόνο και σε μεγάλους όγκους. Οι πηγές δεδομένων χωρίζονται σε δύο κατηγορίες:

• Δημιουργούμενες από υπολογιστή ή μηχανή: Τα δεδομένα που δημιουργούνται από μηχανή γενικά αναφέρονται σε δεδομένα που δημιουργούνται από μηχάνημα χωρίς ανθρώπινη παρέμβαση.

• Ανθρώπινα: Αυτά είναι δεδομένα που παρέχουν οι άνθρωποι, σε αλληλεπίδραση με τους υπολογιστές.

Μερικοί ειδικοί υποστηρίζουν ότι υπάρχει μια τρίτη κατηγορία που είναι ένα υβρίδιο μεταξύ μηχανής και ανθρώπου. Εδώ, όμως, ανησυχούμε για τις δύο πρώτες κατηγορίες.

Τα δομημένα δεδομένα που παράγονται από μηχανή μπορούν να περιλαμβάνουν τα εξής:

• Δεδομένα αισθητήρα: Τα παραδείγματα περιλαμβάνουν ετικέτες ID ραδιοσυχνότητας, έξυπνες μετρητές, ιατρικές συσκευές και δεδομένα Global Positioning System. Οι εταιρείες ενδιαφέρονται για αυτό για τη διαχείριση της αλυσίδας εφοδιασμού και τον έλεγχο απογραφής.

• δεδομένα καταγραφής ιστού: Όταν οι διακομιστές, οι εφαρμογές, τα δίκτυα κ.ο.κ. λειτουργούν, συλλαμβάνουν όλα τα είδη δεδομένων σχετικά με τη δραστηριότητά τους. Αυτό μπορεί να ισοδυναμεί με τεράστιους όγκους δεδομένων που μπορεί να είναι χρήσιμα, για παράδειγμα, για την αντιμετώπιση συμφωνιών σε επίπεδο υπηρεσιών ή για την πρόβλεψη παραβιάσεων της ασφάλειας.

• Δεδομένα σημείου πώλησης: Όταν το ταμείο σαρώνει τον γραμμωτό κώδικα οποιουδήποτε προϊόντος που αγοράζετε, παράγονται όλα τα δεδομένα που σχετίζονται με το προϊόν.

• Οικονομικά στοιχεία: Πολλά χρηματοπιστωτικά συστήματα είναι τώρα προγραμματικά. λειτουργούν βάσει προκαθορισμένων κανόνων που αυτοματοποιούν τις διαδικασίες. Τα στοιχεία για τα χρηματιστήρια αποτελούν ένα καλό παράδειγμα. Περιέχει δομημένα δεδομένα, όπως το σύμβολο της εταιρείας και την αξία του δολαρίου. Μερικά από αυτά τα δεδομένα παράγονται μηχανικά, και μερικά προέρχονται από ανθρώπους.

Τα παραδείγματα δομημένων δεδομένων που παράγονται από τον άνθρωπο ενδέχεται να περιλαμβάνουν τα εξής:

• Δεδομένα εισόδου: Πρόκειται για οποιοδήποτε στοιχείο δεδομένων που ένας άνθρωπος μπορεί να εισάγει σε έναν υπολογιστή, όπως όνομα, ηλικία, εισόδημα, -πληροφορίες από την έρευνα, και ούτω καθεξής. Αυτά τα δεδομένα μπορεί να είναι χρήσιμα για την κατανόηση της βασικής συμπεριφοράς των πελατών.

• Δεδομένα ροής κλικ: Τα δεδομένα δημιουργούνται κάθε φορά που κάνετε κλικ σε έναν σύνδεσμο σε έναν ιστότοπο. Αυτά τα δεδομένα μπορούν να αναλυθούν για τον προσδιορισμό της συμπεριφοράς των πελατών και των προτύπων αγοράς.

• Στοιχεία που σχετίζονται με τυχερά παιχνίδια: Κάθε κίνηση που κάνετε σε ένα παιχνίδι μπορεί να καταγραφεί. Αυτό μπορεί να είναι χρήσιμο για την κατανόηση του τρόπου με τον οποίο οι τελικοί χρήστες μετακινούνται μέσω χαρτοφυλακίου τυχερών παιχνιδιών

Όταν λαμβάνονται μαζί με εκατομμύρια άλλους χρήστες που υποβάλλουν τις ίδιες πληροφορίες, το μέγεθος είναι αστρονομικό. Επιπλέον, μεγάλο μέρος αυτών των δεδομένων έχει συστατικό σε πραγματικό χρόνο σε αυτό που μπορεί να είναι χρήσιμο για την κατανόηση προτύπων που έχουν τη δυνατότητα πρόβλεψης αποτελεσμάτων.

Η κατώτατη γραμμή είναι ότι αυτό το είδος πληροφοριών μπορεί να είναι ισχυρό και μπορεί να χρησιμοποιηθεί για πολλούς σκοπούς.

Ο ρόλος των σχεσιακών βάσεων δεδομένων στα μεγάλα δεδομένα

Η εμμονή των δεδομένων αναφέρεται στο πώς μια βάση δεδομένων διατηρεί τις εκδόσεις του ίδιου όταν τροποποιείται. Ο μεγάλος παππούς των επίμονων καταστημάτων δεδομένων είναι το σύστημα διαχείρισης σχεσιακής βάσης δεδομένων . Στην παιδική της ηλικία, η βιομηχανία πληροφορικής χρησιμοποίησε αυτό που θεωρούνται σήμερα πρωτόγονες τεχνικές για την εμμονή των δεδομένων.

Το σχεσιακό μοντέλο επινοήθηκε από τον Edgar Codd, επιστήμονα της IBM, στη δεκαετία του 1970 και χρησιμοποιήθηκε από την IBM, την Oracle, τη Microsoft και άλλους. Είναι ακόμα σε ευρεία χρήση σήμερα και παίζει σημαντικό ρόλο στην εξέλιξη των μεγάλων δεδομένων. Η κατανόηση της σχεσιακής βάσης δεδομένων είναι σημαντική επειδή χρησιμοποιούνται άλλοι τύποι βάσεων δεδομένων με μεγάλα δεδομένα.

Σε ένα σχεσιακό μοντέλο, τα δεδομένα αποθηκεύονται σε έναν πίνακα. Αυτή η βάση δεδομένων θα περιέχει ένα σχήμα - δηλαδή μια δομική αναπαράσταση του τι είναι στη βάση δεδομένων. Για παράδειγμα, σε μια σχεσιακή βάση δεδομένων, το σχήμα ορίζει τους πίνακες, τα πεδία στους πίνακες και τις σχέσεις μεταξύ των δύο.

Τα δεδομένα αποθηκεύονται σε στήλες, το καθένα για κάθε συγκεκριμένο χαρακτηριστικό. Τα δεδομένα αποθηκεύονται επίσης στη σειρά. Ο πρώτος πίνακας αποθηκεύει πληροφορίες προϊόντος. η δεύτερη δημογραφική πληροφορία καταστημάτων. Καθένα έχει διάφορα χαρακτηριστικά. Κάθε πίνακας μπορεί να ενημερωθεί με νέα δεδομένα και τα δεδομένα μπορούν να διαγραφούν, να διαβαστούν και να ενημερωθούν. Αυτό επιτυγχάνεται συχνά σε ένα σχεσιακό μοντέλο χρησιμοποιώντας μια δομημένη γλώσσα επερώτησης (SQL).

Μια άλλη πτυχή του σχεσιακού μοντέλου που χρησιμοποιεί SQL είναι ότι οι πίνακες μπορούν να ερωτηθούν χρησιμοποιώντας ένα κοινό κλειδί. Το κοινό κλειδί στους πίνακες είναι το αναγνωριστικό πελάτη.

Μπορείτε να υποβάλετε ένα ερώτημα, για παράδειγμα, για να προσδιορίσετε το φύλο των πελατών που αγόρασαν ένα συγκεκριμένο προϊόν. Μπορεί να μοιάζει με αυτό:

Επιλέξτε Κωδικός Πελάτη, Κατάσταση, Φύλο, Προϊόν από "δημογραφικό πίνακα", "πίνακα προϊόντων" όπου Προϊόν = XXYY