Φάση 2 του μοντέλου διεργασίας CRISP-DM: Στοιχεία κατανόησης - dummies

Στη δεύτερη φάση του μοντέλου διεργασιών Σταθμός Διασύνδεσης Διεργασιών για Εξόρυξη Δεδομένων (CRISP-DM), λαμβάνετε δεδομένα και επαληθεύετε ότι είναι κατάλληλο για τις ανάγκες σας. Μπορεί να εντοπίσετε ζητήματα που σας αναγκάζουν να επιστρέψετε στην κατανόηση των επιχειρήσεων και να αναθεωρήσετε το σχέδιό σας. Μπορεί ακόμη και να ανακαλύψετε ελαττώματα στην κατανόηση της επιχείρησής σας, έναν άλλο λόγο για να ξανασκεφτείτε τους στόχους και τα σχέδια.

Η φάση κατανόησης δεδομένων περιλαμβάνει τέσσερις εργασίες . Αυτά είναι

• Συλλογή δεδομένων

• Περιγραφή δεδομένων

• Εξερεύνηση δεδομένων

• Επαλήθευση ποιότητας δεδομένων

. Κάθε βήμα του σχεδίου εξαρτάται από τη λήψη των σωστών δεδομένων. Καλύτερα βεβαιωθείτε ότι έχετε πραγματικά αυτά τα δεδομένα!

Υπάρχει μόνο ένα παραδοτέο για αυτή την εργασία: την αρχική αναφορά συλλογής δεδομένων. Στην αναφορά σας, πρέπει να επαληθεύσετε ότι έχετε αποκτήσει τα δεδομένα ή τουλάχιστον έχετε αποκτήσει πρόσβαση στα δεδομένα, δοκιμάσατε τη διαδικασία πρόσβασης δεδομένων και επαληθεύσατε ότι υπάρχουν δεδομένα. Θα χρειαστεί επίσης να φορτώσετε δεδομένα σε οποιαδήποτε εργαλεία που χρησιμοποιείτε για την εξόρυξη δεδομένων για να επαληθεύσετε ότι τα εργαλεία είναι συμβατά με τα δεδομένα.

Μπορείτε να κάνετε πολλή δουλειά για να συγκεντρώσετε τα δεδομένα που χρειάζεστε πριν να γράψετε αυτήν την αναφορά. Πρώτα, θα κάνετε το σχέδιό σας, ως εξής:

Απαιτήσεις δεδομένων περιγράμματος:

• Δημιουργήστε μια λίστα με τους τύπους δεδομένων που είναι απαραίτητα για την επίτευξη των στόχων εξόρυξης δεδομένων. Αναπτύξτε τη λίστα με λεπτομέρειες όπως το απαιτούμενο εύρος χρόνου και μορφότυπων δεδομένων. Επαλήθευση διαθεσιμότητας δεδομένων:

• Βεβαιωθείτε ότι υπάρχουν τα απαιτούμενα δεδομένα και ότι μπορείτε να τα χρησιμοποιήσετε. Εάν ορισμένα από τα δεδομένα που θέλετε δεν είναι διαθέσιμα, αποφασίστε πώς θα αντιμετωπίσετε αυτό το ζήτημα. Εξετάστε εναλλακτικές λύσεις όπως Αντικατάσταση με μια εναλλακτική πηγή δεδομένων

  • Περιορισμός του πεδίου εφαρμογής του έργου

  • Συγκέντρωση νέων δεδομένων

  • Ορισμός των συγκεκριμένων πηγών δεδομένων (βάσεις δεδομένων, έγγραφα κ.λπ.) που θα χρησιμοποιήσετε. Σε αυτές τις πηγές, καθορίστε τους πίνακες, τα πεδία και τις περιοχές που σχετίζονται με αυτό το έργο.

• Μόλις περάσετε αυτά τα βήματα, πρέπει να λάβετε πραγματικά τα δεδομένα. Σε αυτό το στάδιο, εισαγάγετε τα δεδομένα στην πλατφόρμα εξόρυξης δεδομένων που χρησιμοποιείτε για το έργο, για να επιβεβαιώσετε ότι είναι δυνατό να το κάνετε αυτό και ότι κατανοείτε τη διαδικασία. Κατά τη διάρκεια αυτής της δοκιμής, ενδέχεται να εντοπίσετε περιορισμούς λογισμικού (ή υλικού) που δεν είχατε προβλέψει, όπως Όρια στον αριθμό των περιπτώσεων ή στα πεδία ή στην ποσότητα μνήμης που μπορεί να χρησιμοποιήσετε

Αδυναμία ανάγνωσης μορφές δεδομένων των πηγών σας

• Δυσκολία αντιμετώπισης ατελειών στα δεδομένα (για παράδειγμα, ενδέχεται να συναντήσετε προϊόντα που δεν θα εισαγάγουν ή να αναλύσουν ελλιπή σύνολα δεδομένων)

• Τέλος, συνοψίστε τη διαδικασία συλλογής σε μια αναφορά.Η αναφορά θα πρέπει να περιγράφει τις απαιτήσεις σας και να εξηγήσει λεπτομερώς με ακρίβεια ποια δεδομένα συλλέξατε και από ποιες πηγές. Εδώ επιβεβαιώνετε ότι έχετε αποκτήσει πραγματικά τα δεδομένα και ότι είναι συμβατό με την πλατφόρμα εξόρυξης δεδομένων. Εάν αντιμετωπίζετε δυσκολίες, θα εξηγήσετε τι ήταν και πώς τους απευθύνσατε (χρησιμοποιώντας εναλλακτικές πηγές, αναθεωρώντας σχέδια, αλλάζοντας μορφές).

• Το παραδοτέο για αυτή την εργασία είναι απλά μια απλή αναφορά, αλλά η εργασία που πρέπει να κάνετε για να γράψετε αυτή την αναφορά δεν θα είναι απλή! Η πρόσβαση στα δεδομένα μπορεί να είναι ένα από τα πιο δύσκολα και απογοητευτικά μέρη της διαδικασίας εξόρυξης δεδομένων, που καλύπτει τόσο τις τεχνικές όσο και τις επιχειρηματικές προκλήσεις.

Εργασία: Περιγράφοντας δεδομένα

Τώρα που έχετε δεδομένα, ετοιμάστε μια γενική περιγραφή του τι έχετε.

Το παραδοτέο για αυτή την εργασία είναι η αναφορά περιγραφής δεδομένων. Σε αυτό, περιγράφετε την πηγή και τις μορφές των δεδομένων, τον αριθμό των περιπτώσεων, τον αριθμό και τις περιγραφές των πεδίων και οποιεσδήποτε άλλες γενικές πληροφορίες που μπορεί να είναι σημαντικές. Μπορείτε επίσης να κάνετε μια σύντομη αξιολόγηση της καταλληλότητας των δεδομένων για τους στόχους εξόρυξης δεδομένων. Για παράδειγμα, βεβαιωθείτε ότι τα δεδομένα περιλαμβάνουν τα πεδία που περιμένετε και πρέπει να υπάρχουν και επαρκείς περιπτώσεις για ανάλυση.

Εργασία: Εξερεύνηση δεδομένων

Σε αυτή την εργασία, εξετάζετε τα δεδομένα πιο στενά. Για κάθε μεταβλητή, εξετάζετε το εύρος τιμών και τις κατανομές τους. Θα χρησιμοποιήσετε απλή επεξεργασία δεδομένων και βασικές στατιστικές τεχνικές για περαιτέρω ελέγχους στα δεδομένα. Η εξερεύνηση δεδομένων υποστηρίζει πολλούς σκοπούς:

Γνωρίστε τα δεδομένα.

Σημεία σημείων για προβλήματα ποιότητας δεδομένων.

• Ορίστε το στάδιο για τα βήματα προετοιμασίας δεδομένων.

• Το παραδοτέο για αυτή την εργασία είναι η έκθεση εξερεύνησης δεδομένων. Είναι το μέρος για να τεκμηριώσετε τυχόν υποθέσεις ή αρχικά ευρήματα που αναπτύξατε κατά την εξερεύνηση δεδομένων. Αυτή η αναφορά θα πρέπει να περιλαμβάνει λεπτομερέστερη περιγραφή των δεδομένων από την αναφορά περιγραφής δεδομένων, συμπεριλαμβανομένων των διανομών, των περιλήψεων και τυχόν σημάτων των προβλημάτων ποιότητας των δεδομένων.

• Εργασία: Επαλήθευση ποιότητας δεδομένων

Έχετε τα δεδομένα και τα έχετε εξετάσει και τώρα πρέπει να καθορίσετε αν είναι αρκετά καλό για να υποστηρίξετε τους στόχους σας. Συχνά θα έχετε κάποιο πρόβλημα ποιότητας που θα αντιμετωπίσετε, αλλά ακόμα θα είστε σε θέση να προχωρήσετε, αλλά ορισμένες φορές η ποιότητα των δεδομένων είναι τόσο κακή που δεν μπορεί να υποστηρίξει το σχέδιό σας και θα πρέπει να αναζητήσετε εναλλακτικές λύσεις. Μερικά από τα χειρότερα προβλήματα δεδομένων θα περιλαμβάνουν

Τα δεδομένα που χρειάζεστε δεν υπάρχουν. (Ποτέ δεν υπήρχε ή απορρίφθηκε; Μπορεί αυτά τα δεδομένα να συλλεχθούν και να αποθηκευτούν για μελλοντική χρήση;)

Υπάρχει, αλλά δεν μπορείτε να το έχετε. (Μπορεί να ξεπεραστεί αυτός ο περιορισμός;)

• Βρίσκετε σοβαρά ζητήματα ποιότητας δεδομένων (πολλές ελλείπουσες ή εσφαλμένες τιμές που δεν μπορούν να διορθωθούν).

• Το παραδοτέο για αυτή την εργασία είναι η αναφορά ποιότητας δεδομένων. Αυτό συνοψίζει τα δεδομένα που έχετε, τα δευτερεύοντα και σημαντικά θέματα ποιότητας που βρήκατε και πιθανές λύσεις για προβλήματα ποιότητας ή εναλλακτικές λύσεις (όπως η χρήση ενός εναλλακτικού πόρου δεδομένων).Εάν αντιμετωπίζετε πραγματικά σοβαρά προβλήματα ποιότητας δεδομένων και δεν μπορείτε να εντοπίσετε μια κατάλληλη λύση, ίσως χρειαστεί να προτείνετε επανεξέταση των στόχων ή των σχεδίων.