Οι περιορισμοί των δεδομένων στο Predictive Analytics - dummies

Όπως συμβαίνει με πολλές πτυχές οποιουδήποτε επιχειρηματικού συστήματος, τα δεδομένα είναι ανθρώπινη δημιουργία - επομένως είναι ικανό να έχει κάποια όρια στη χρηστικότητα της να το αποκτήσετε. Ακολουθεί μια επισκόπηση ορισμένων περιορισμών που πιθανόν να αντιμετωπίσετε:

• Τα δεδομένα ενδέχεται να είναι ελλιπή. Λείπουν τιμές, ακόμη και η έλλειψη ενός τμήματος ή ενός σημαντικού μέρους των δεδομένων, θα μπορούσε να περιορίσει τη χρηστικότητα του.

  Για παράδειγμα, τα δεδομένα σας ενδέχεται να καλύπτουν μόνο μία ή δύο συνθήκες ενός μεγαλύτερου συνόλου που προσπαθείτε να μοντελοποιήσετε - όπως όταν ένα μοντέλο που έχει σχεδιαστεί για την ανάλυση της απόδοσης της χρηματιστηριακής αγοράς έχει μόνο διαθέσιμα δεδομένα από τα τελευταία 5 χρόνια, τα δεδομένα και το μοντέλο προς την υπόθεση της αγοράς ταύρων.

  Βεβαιωθείτε ότι εξετάζετε ένα χρονικό πλαίσιο που σας δίνει μια πλήρη εικόνα των φυσικών διακυμάνσεων των δεδομένων σας. τα δεδομένα σας δεν πρέπει να περιορίζονται από

  εποχικότητα . Εάν χρησιμοποιείτε δεδομένα από έρευνες, λάβετε υπόψη ότι οι άνθρωποι δεν παρέχουν πάντα ακριβείς πληροφορίες.

• Όχι ο καθένας θα απαντήσει ειλικρινά για (πχ) πόσες φορές ασκεί - ή πόσα αλκοολούχα ποτά καταναλώνουν - ανά εβδομάδα. Οι άνθρωποι μπορεί να μην είναι ανέντιμοι όσο αυτοσυνείδητοι, αλλά τα δεδομένα παραμένουν λοξά.

  Τα δεδομένα που συλλέγονται από διαφορετικές πηγές μπορεί να ποικίλουν σε ποιότητα και μορφή.

• Τα δεδομένα που συλλέγονται από διαφορετικές πηγές όπως οι έρευνες, τα μηνύματα ηλεκτρονικού ταχυδρομείου, τα έντυπα εγγραφής δεδομένων και ο δικτυακός τόπος της εταιρείας θα έχουν διαφορετικά χαρακτηριστικά και δομές. Τα δεδομένα από διάφορες πηγές ενδέχεται να μην έχουν μεγάλη συμβατότητα μεταξύ των πεδίων δεδομένων. Αυτά τα δεδομένα απαιτούν σημαντική προεπεξεργασία πριν από την έτοιμη ανάλυση. Η συνοδευτική πλευρική γραμμή παρέχει ένα παράδειγμα.

  Τα δεδομένα που συλλέγονται από πολλές πηγές ενδέχεται να έχουν διαφορές στη μορφοποίηση, τις διπλές εγγραφές και τις ασυνέπειες στα πεδία συγχωνευμένων δεδομένων. Αναμείνετε να περάσετε πολύ χρόνο καθαρίζοντας αυτά τα δεδομένα - και ακόμα περισσότερο επικυρώνοντας την αξιοπιστία τους.

Για να προσδιορίσετε τους περιορισμούς των δεδομένων σας, φροντίστε να:

Επιβεβαιώστε όλες τις μεταβλητές που θα χρησιμοποιήσετε στο μοντέλο σας.

• Αξιολογήστε το εύρος των δεδομένων, ειδικά με την πάροδο του χρόνου, ώστε το μοντέλο σας να αποφύγει την παγίδα της εποχικότητας.

• Ελέγξτε τις τιμές που λείπουν, προσδιορίστε τις και αξιολογήστε τις επιπτώσεις τους στη συνολική ανάλυση.

• Προσέξτε για τις ακραίες τιμές (υπερβολικές τιμές) και αποφασίστε αν θα τις συμπεριλάβετε στην ανάλυση.

• Επιβεβαιώστε ότι η συλλογή των δεδομένων εκπαίδευσης και δοκιμών είναι αρκετά μεγάλη.

• Βεβαιωθείτε ότι ο τύπος δεδομένων

• (ακέραιοι αριθμοί, δεκαδικές τιμές ή χαρακτήρες κλπ.) Είναι σωστός και ορίστε τα ανώτερα και κατώτερα όρια πιθανών τιμών. Δώστε ιδιαίτερη προσοχή στην ενσωμάτωση δεδομένων όταν τα δεδομένα σας προέρχονται από πολλές πηγές.

• Βεβαιωθείτε ότι έχετε κατανοήσει τις πηγές δεδομένων σας και τις επιπτώσεις τους στη συνολική ποιότητα των δεδομένων σας.

Επιλέξτε ένα σχετικό σύνολο δεδομένων αντιπροσωπευτικό του συνόλου του πληθυσμού.

• Επιλέξτε τις σωστές παραμέτρους για την ανάλυσή σας.

• Ακόμη και μετά από όλη αυτή τη φροντίδα και προσοχή, μην εκπλαγείτε αν τα δεδομένα σας χρειάζονται προεπεξεργασία για να μπορέσετε να τα αναλύσετε με ακρίβεια. Η προεπεξεργασία απαιτεί συχνά μεγάλο χρονικό διάστημα και σημαντική προσπάθεια επειδή πρέπει να αντιμετωπίσει αρκετά ζητήματα που σχετίζονται με τα αρχικά δεδομένα - τα θέματα αυτά περιλαμβάνουν:

Οποιεσδήποτε αξίες λείπουν από τα δεδομένα.

• Οποιεσδήποτε ανακολουθίες ή / και σφάλματα που υπάρχουν στα δεδομένα.

• Οποιαδήποτε διπλότυπα ή υπερβάσεις στα δεδομένα.

• Οποιαδήποτε εξομάλυνση ή άλλη μετατροπή των δεδομένων.

• Οποιαδήποτε παράγωγα δεδομένα απαιτούνται για την ανάλυση.