Βίντεο: Big Data (Μεγάλα Δεδομένα): Προκλήσεις και Υποσχέσεις | Minos Garofalakis | TEDxChania 2024
Με Meta S. Brown
Η εξόρυξη δεδομένων είναι ο τρόπος με τον οποίο οι απλοί επιχειρηματίες χρησιμοποιούν μια σειρά τεχνικών ανάλυσης δεδομένων για να αποκαλύψουν χρήσιμες πληροφορίες από τα δεδομένα και να θέσουν αυτές τις πληροφορίες σε πρακτική χρήση. Οι ανθρακωρύχοι δεδομένων δεν κατακλύζουν τη θεωρία και τις υποθέσεις. Επικυρώνουν τις ανακαλύψεις τους με δοκιμές. Και καταλαβαίνουν ότι τα πράγματα αλλάζουν, οπότε όταν η ανακάλυψη που δούλεψε χθες, δεν προσαρμόζεται σήμερα.
Ο πρωτοπόρος μεταφορέας δεδομένων Thomas Khabaza ανέπτυξε τους "Εννέα Νόμους της Εξόρυξης Δεδομένων" για να καθοδηγήσει τους νέους ανθρακωρύχους δεδομένου ότι κατεβαίνουν στη δουλειά τους. Αυτός ο οδηγός αναφοράς σας δείχνει τι σημαίνει κάθε ένας από αυτούς τους νόμους στην καθημερινή σας εργασία.1ος νόμος περί εξόρυξης δεδομένων ή "νόμος περί επιχειρηματικών στόχων":
-
Οι επιχειρηματικοί στόχοι αποτελούν την προέλευση κάθε λύσης εξόρυξης δεδομένων.
2ος νόμος περί εξόρυξης δεδομένων ή "νόμος περί επιχειρηματικών γνώσεων":
-
Η γνώση των επιχειρήσεων είναι κεντρική σε κάθε βήμα της διαδικασίας εξόρυξης δεδομένων . Δεν χρειάζεται να είσαι fancy statistician για να κάνεις εξόρυξη δεδομένων, αλλά πρέπει να γνωρίζεις κάτι για το τι σημαίνουν τα δεδομένα και πώς λειτουργεί η επιχείρηση.
-
Η προετοιμασία δεδομένων είναι περισσότερο από το ήμισυ κάθε διεργασίας εξόρυξης δεδομένων . Αρκετά κάθε ανθρακωρύχος δεδομένων θα αφιερώσει περισσότερο χρόνο στην προετοιμασία των δεδομένων παρά σε ανάλυση.
4ος νόμος για την εξόρυξη δεδομένων ή "Δεν υπάρχει ελεύθερος γεύμα για τον ανθρακωρύχο":
-
Το σωστό μοντέλο για μια δεδομένη εφαρμογή μπορεί να ανακαλυφθεί μόνο με το πείραμα . Κατά την εξόρυξη δεδομένων, τα μοντέλα επιλέγονται μέσω δοκιμών και σφαλμάτων.
5ος νόμος εξόρυξης δεδομένων:
-
Υπάρχουν πάντα πρότυπα στα δεδομένα . Ως ανθρακωρύχος δεδομένων, διερευνάτε δεδομένα αναζητώντας χρήσιμα μοτίβα. Η κατανόηση των προτύπων στα δεδομένα σας δίνει τη δυνατότητα να επηρεάσετε το τι συμβαίνει στο μέλλον.
6ος νόμος περί εξόρυξης δεδομένων ή "νόμος περί διορατικότητας":
-
Η εξόρυξη δεδομένων ενισχύει την αντίληψη στον τομέα των επιχειρήσεων . Οι μέθοδοι εξόρυξης δεδομένων σάς επιτρέπουν να κατανοείτε καλύτερα την επιχείρησή σας από ό, τι θα μπορούσατε να κάνετε χωρίς αυτούς.
7ος νόμος περί εξόρυξης δεδομένων ή "πρόβλεψης νόμου":
-
Πρόβλεψη αυξάνει τις πληροφορίες τοπικά με γενίκευση. Η εξόρυξη δεδομένων μας βοηθά να χρησιμοποιήσουμε ό, τι γνωρίζουμε για να κάνουμε καλύτερες προβλέψεις (ή εκτιμήσεις) για πράγματα που δεν γνωρίζουμε.
Ο 8ος νόμος για την εξόρυξη δεδομένων ή "Value Law":
-
Η αξία των αποτελεσμάτων εξόρυξης δεδομένων δεν καθορίζεται από την ακρίβεια ή τη σταθερότητα των μοντέλων πρόβλεψης . Το μοντέλο σας πρέπει να παράγει καλές προβλέψεις, με συνέπεια. Αυτό είναι.
9ος νόμος για την εξόρυξη δεδομένων ή "νόμος αλλαγής":
-
Όλα τα πρότυπα υπόκεινται σε αλλαγές. Οποιοδήποτε μοντέλο που σας προσφέρει μεγάλες προβλέψεις σήμερα μπορεί να είναι άχρηστο αύριο.
Φάσεις διεργασίας εξόρυξης δεδομένων
Η διεπιστημονική μέθοδος
για εξόρυξη δεδομένων ( CRISP-DM ) είναι το κυρίαρχο πλαίσιο διεργασίας εξόρυξης δεδομένων. Είναι ανοιχτό πρότυπο. ο καθένας μπορεί να το χρησιμοποιήσει. Η παρακάτω λίστα περιγράφει τις διάφορες φάσεις της διαδικασίας. Κατανόηση από την επιχείρηση:
-
Κατανόηση του προβλήματος που αντιμετωπίζετε, του τρόπου με τον οποίο επηρεάζει ο οργανισμός σας και των στόχων σας για την αντιμετώπιση του. Οι εργασίες σε αυτή τη φάση περιλαμβάνουν: Εντοπισμός των στόχων της επιχείρησής σας
-
Αξιολόγηση της κατάστασής σας
-
Καθορισμός των στόχων εξόρυξης δεδομένων
-
να το τεκμηριώσετε, να προσδιορίσετε θέματα διαχείρισης δεδομένων και ποιότητας δεδομένων. Οι εργασίες για αυτή τη φάση περιλαμβάνουν:
-
Συγκέντρωση δεδομένων
-
-
Περιγραφή Εξερεύνηση
-
Επαλήθευση ποιότητας
-
Προετοιμασία δεδομένων:
-
Οι εργασίες για αυτή τη φάση περιλαμβάνουν:
-
Επιλογή δεδομένων
-
-
Δεδομένα καθαρισμού Κατασκευή
-
Ενσωμάτωση
-
Διαμόρφωση
-
Μοντελοποίηση:
-
Χρήση μαθηματικών τεχνικών. Οι εργασίες για αυτή τη φάση περιλαμβάνουν:
-
Επιλογή τεχνικών
-
-
Σχεδιασμός δοκιμών Μοντέλα κτιρίων
-
Αξιολόγηση μοντέλων
-
Αξιολόγηση:
-
Ανατρέξτε στα πρότυπα που έχετε ανακαλύψει και αξιολογήστε τις δυνατότητές τους για επαγγελματική χρήση. Οι εργασίες για αυτή τη φάση περιλαμβάνουν:
-
Αξιολόγηση αποτελεσμάτων
-
-
Επισκόπηση της διαδικασίας Καθορισμός των επόμενων βημάτων
-
Ανάπτυξη:
-
Βάλτε τις ανακαλύψεις σας σε καθημερινές επιχειρήσεις. Οι εργασίες για αυτή τη φάση περιλαμβάνουν:
-
Ανάπτυξη προγραμματισμού (μέθοδοι ενσωμάτωσης των ανακαλύψεων εξόρυξης δεδομένων)
-
-
Αναφορά τελικών αποτελεσμάτων Επισκόπηση τελικών αποτελεσμάτων