Τα μεγάλα σας δεδομένα Μαζί - ανδρείκελα

Πώς θα μάθετε πώς να τοποθετήσετε όλα τα δεδομένα σας μαζί; Με ένα μεγάλο έργο δεδομένων, αυτό που θέλετε να κάνετε με τα δομημένα και αδόμητα δεδομένα σας υποδεικνύει γιατί μπορείτε να επιλέξετε ένα κομμάτι της τεχνολογίας σε σχέση με ένα άλλο. Καθορίζει επίσης την ανάγκη να κατανοηθούν οι δομές εισερχόμενων δεδομένων για να τεθούν αυτά τα δεδομένα στη σωστή θέση.

Διαχειριστείτε διαφορετικούς τύπους δεδομένων για μεγάλα δεδομένα

Θα χρειαστεί να λάβετε υπόψη ορισμένα από τα χαρακτηριστικά των μεγάλων δεδομένων και τους τύπους συστημάτων διαχείρισης δεδομένων που ίσως θέλετε να χρησιμοποιήσετε για να απευθυνθείτε σε καθένα από αυτά.

Ενσωμάτωση τύπων δεδομένων σε ένα μεγάλο περιβάλλον δεδομένων

Μια άλλη σημαντική πτυχή των μεγάλων δεδομένων είναι ότι συχνά δεν χρειάζεται να διαθέτετε όλα τα δεδομένα που θα χρησιμοποιήσετε. Πολλά παραδείγματα κάνουν το θέμα. Μπορεί να χρησιμοποιείτε τα δεδομένα των κοινωνικών μέσων, τα δεδομένα που προέρχονται από στατιστικά στοιχεία τρίτου κατασκευαστή ή ακόμα και δεδομένα που προέρχονται από δορυφόρους. Απλά σκεφτείτε τα κοινωνικά μέσα και θα καταλάβετε.

Πολλές φορές καθίσταται αναγκαία η ενσωμάτωση διαφορετικών πηγών. Αυτά τα δεδομένα μπορεί να προέρχονται από όλα τα εσωτερικά συστήματα, τόσο από εσωτερικές όσο και από εξωτερικές πηγές, ή από εξ ολοκλήρου εξωτερικές πηγές. Πολλά από αυτά τα δεδομένα ενδέχεται να έχουν πεσμένο πριν.

Τα δεδομένα δεν χρειάζεται να έρχονται σε σας σε πραγματικό χρόνο. Απλά μπορεί να έχετε πολλά και είναι διαφορετική στη φύση. Αυτό θα μπορούσε ακόμα να χαρακτηριστεί ως ένα μεγάλο πρόβλημα δεδομένων. Φυσικά, θα μπορούσατε επίσης να αντιμετωπίσετε ένα σενάριο όπου βλέπετε τεράστιους όγκους δεδομένων, σε υψηλές ταχύτητες, και είναι διαφορετικό στη φύση.

Το θέμα είναι ότι δεν θα έχετε την επιχειρησιακή αξία αν αντιμετωπίζετε μια ποικιλία πηγών δεδομένων ως ένα σύνολο αποσυνδεδεμένων σιλό πληροφοριών.

Τα στοιχεία που χρειάζεστε περιλαμβάνουν συνδέσμους και μεταδεδομένα.

Συνδέσεις

Θέλετε να έχετε κάποιες υποδοχές που σας επιτρέπουν να τραβήξετε δεδομένα από διάφορες μεγάλες πηγές δεδομένων. Ίσως θέλετε μια σύνδεση Twitter ή ένα Facebook. Ίσως πρέπει να ενσωματώσετε από την αποθήκη δεδομένων σας μια μεγάλη πηγή δεδομένων που βρίσκεται εκτός των εγκαταστάσεών σας, ώστε να μπορείτε να αναλύσετε και τις δύο αυτές πηγές δεδομένων μαζί.

Μεταδεδομένα

Ένα κρίσιμο στοιχείο για την ενσωμάτωση όλων αυτών των δεδομένων είναι τα μεταδεδομένα. Μεταδεδομένα είναι οι ορισμοί, οι αντιστοιχίσεις και άλλα χαρακτηριστικά που χρησιμοποιούνται για να περιγράψουν τον τρόπο εύρεσης, πρόσβασης και χρήσης των στοιχείων δεδομένων (και λογισμικού) μιας εταιρείας. Ένα παράδειγμα μεταδεδομένων είναι δεδομένα σχετικά με έναν αριθμό λογαριασμού. Αυτό μπορεί να περιλαμβάνει τον αριθμό, την περιγραφή, τον τύπο δεδομένων, το όνομα, τη διεύθυνση, τον αριθμό τηλεφώνου και το επίπεδο προστασίας προσωπικών δεδομένων.

Τα μεταδεδομένα μπορούν να χρησιμοποιηθούν για να σας βοηθήσουν να οργανώσετε τα καταστήματα δεδομένων σας και να ασχοληθείτε με νέες και μεταβαλλόμενες πηγές δεδομένων. Παρόλο που η ιδέα των μεταδεδομένων δεν είναι νέα, αλλάζει και εξελίσσεται στα πλαίσια των μεγάλων δεδομένων.Στον παραδοσιακό κόσμο των μεταδεδομένων, είναι σημαντικό να έχουμε έναν κατάλογο ο οποίος να παρέχει μια ενιαία προβολή όλων των πηγών δεδομένων.

Αλλά αυτός ο κατάλογος θα πρέπει να είναι διαφορετικός όταν δεν ελέγχετε όλες αυτές τις πηγές δεδομένων. Μπορεί να χρειαστείτε ένα αναλυτικό εργαλείο που θα σας βοηθήσει να κατανοήσετε τα υποκείμενα μεταδεδομένα.