Εξασφαλίζουν την ποιότητα εισερχόμενων εξωτερικών δεδομένων - ανδρείκελα

Όταν σχεδιάζετε μια αποθήκη δεδομένων και καθορίζετε ποια εξωτερικά δεδομένα χρειάζεστε, απλά τοποθετείτε μια παραγγελία (παρόμοια με την παραγγελία ρούχων ή ενός καλαθιού φρούτων από έναν διαδικτυακό ιστότοπο). Αφού αρχίσετε να λαμβάνετε δεδομένα μέσω ροής, μεταφοράς αρχείων ή με άλλα μέσα, είναι ομαλή ιστιοπλοΐα - ή μήπως είναι;

Τι γίνεται με την ποιότητα των εισερχόμενων δεδομένων; Πρέπει απολύτως να εφαρμόσετε το ίδιο σύνολο διαδικασιών διασφάλισης ποιότητας (QA) σε εξωτερικά παρεχόμενα δεδομένα που κάνετε στα δεδομένα που προέρχονται από τα δικά σας εσωτερικά συστήματα. Ακριβώς επειδή αγοράζετε τις πληροφορίες στην ανοικτή αγορά δεν εγγυάται ότι τα δεδομένα είναι άψογα.

Εφαρμόστε τις διαδικασίες QA σε κάθε εισερχόμενη παρτίδα δεδομένων ακολουθώντας τα παρακάτω βήματα:

1. Ανακαλύψτε εάν τα εισερχόμενα δεδομένα έχουν τιμές ελέγχου που επισυνάπτονται στα αρχεία.

   Μερικά παραδείγματα τιμών ελέγχου είναι ο αριθμός εγγραφών σε κάθε αρχείο, η συνολική αξία κάθε αριθμητικής στήλης (συνολικά δολάρια πωλήσεων για όλα τα αρχεία και όλες οι μονάδες που πωλούνται για όλες τις εγγραφές, για παράδειγμα) και υποσύνολα των συνολικών τιμών στηλών (συνολικά ποσά πωλήσεων και μονάδες ανά κράτος, για παράδειγμα).

   Εάν παρέχονται τιμές ελέγχου, πρέπει να αποθηκεύονται και να χρησιμοποιούνται ως μέρος των διαδικασιών φόρτωσης από άκρο σε άκρο. Κανείς δεν πρέπει να ενημερώσει επίσημα τα περιεχόμενα της αποθήκης έως ότου τα σύνολα ελέγχου συμφωνούν με τους υπολογισμούς που κάνατε κατά την προετοιμασία των δεδομένων για φόρτωση.

2. Αν δεν υπάρχουν τιμές ελέγχου, ζητήστε τους.

   Παρόλο που το αίτημα ενδέχεται να χρειαστεί μερικούς κύκλους (για παράδειγμα μερικές εβδομάδες ή μήνες, για παράδειγμα), οποιοσδήποτε πάροχος δεδομένων που ενδιαφέρεται να παρέχει υψηλό επίπεδο εξυπηρέτησης πελατών λαμβάνει σοβαρά αυτό το είδος αίτησης και προσπαθεί να κάνει τις ζητούμενες πληροφορίες ελέγχου διαθέσιμος.

3. Κατά τη διαδικασία φόρτωσης, φιλτράρετε κάθε σειρά.

   Βεβαιωθείτε ότι ισχύουν οι ακόλουθες συνθήκες:

   1. Τα πλήκτρα (μοναδικά αναγνωριστικά για κάθε εγγραφή) είναι σωστά σε όλες τις πληροφορίες. Για παράδειγμα, εάν κάθε εγγραφή στην ομάδα πωλήσεων SalesMasterRecord πρέπει να έχει ακριβώς 12 σχετικές εγγραφές στο SalesDetailRecord (ένα για κάθε μήνα), βεβαιωθείτε ότι υπάρχουν όλες οι εγγραφές λεπτομερειών με τη σύγκριση των τιμών κλειδιού εγγραφής.

   2. Οι τιμές των τιμών είναι σωστές. Οι πωλήσεις προϊόντων ανά μήνα, για παράδειγμα, πρέπει να είναι εντός λογικών ορίων για τον τύπο αυτού προϊόντος (για παράδειγμα τα αεροπλάνα διαφέρουν από τα μπουλόνια).

   3. Λείπουν πεδία πληροφοριών (μια πιθανή - σχεδόν αναπόφευκτη - εμφάνιση με εξωτερικά παρεχόμενα δεδομένα) δεν διαστρεβλώνουν τη σημασία των εισερχόμενων δεδομένων.

      Παρόλο που η απουσία συμπληρωματικών δεδομένων (που ορίζονται σύμφωνα με τους επιχειρηματικούς κανόνες για τον συγκεκριμένο κλάδο ή τον οργανισμό σας) μπορεί να μην είναι πολύ σοβαρό πρόβλημα, εάν οι μισές εισερχόμενες εγγραφές έχουν κενό χώρο όπου οι UnitsSold, TotalSalesPrice, ή κάποιος άλλος κρίσιμος τύπος πληροφοριών, η αξία των δεδομένων είναι αμφισβητήσιμη στην καλύτερη περίπτωση.

   4. Ειδικά στα αρχικά στάδια της απόκτησης εξωτερικών δεδομένων (για παράδειγμα τους πρώτους τρεις ή τέσσερις μήνες), χρησιμοποιήστε τα αναλυτικά εργαλεία που περιγράφονται στο Κεφάλαιο 10 για να πραγματοποιήσετε ανάλυση ποιότητας δεδομένων πριν οι χρήστες σας χρησιμοποιούν τα ίδια εργαλεία για την εκτέλεση επιχειρηματικών δραστηριοτήτων ανάλυση.

      Αναζητήστε ιδιαιτερότητες, ανωμαλίες, αινιγματικά αποτελέσματα, ασυνέπειες, προφανή παράδοξα και οτιδήποτε άλλο που μοιάζει περίεργο. Στη συνέχεια, τρυπήστε προς τα κάτω τις ρίζες των δεδομένων για να ελέγξετε την πηγή της παράξενο.

      Να θυμάστε ότι πιθανόν να ασχολείσθε με πολλά εκατομμύρια σειρές εισερχόμενων δεδομένων: Εκτός από το γεγονός ότι δεν μπορείτε να ελέγξετε προσωπικά κάθε σειρά, ίσως έχετε δυσκολία να ρυθμίσετε τα κριτήρια ελέγχου και ελέγχου QA για κάθε πιθανή κατάσταση.

      Όποιος έχει κάνει ποτέ κάτι με εξωτερικά παρεχόμενα δεδομένα προέλευσης έχει συναντήσει όλα τα είδη παράξενων ασυνέπειων και ελλείποντα δεδομένα στις εισερχόμενες πληροφορίες. Τοποθετώντας τον εαυτό σας στη θέση των χρηστών και χρησιμοποιώντας τα ίδια εργαλεία που χρησιμοποιούν, μπορείτε πιθανώς να ανακαλύψετε ένα πράγμα ή δύο που μπορείτε να διορθώσετε, καθιστώντας την αποθήκη δεδομένων σας πολύ καλύτερη κατάστημα πολύτιμων επιχειρηματικών πληροφοριών.