Εξαγωγή, κίνηση και φόρτωση δεδομένων για αποθήκη δεδομένων Deluxe - dummies

Οι πολυτελείς υλοποιήσεις αποθήκης δεδομένων είναι μεγάλες - και όλο και όλο και μεγαλύτερες. Οι εφαρμογές που χρησιμοποιούν εκατοντάδες gigabytes (ένα gigabyte ισούται με 1 δισεκατομμύριο byte) και ακόμη και terabytes (1 τρισεκατομμύριο byte) γίνονται όλο και πιο συνηθισμένα. Για να διαχειριστείτε αυτόν τον όγκο δεδομένων και την πρόσβαση των χρηστών, χρειάζεστε έναν πολύ ισχυρό διακομιστή και βάση δεδομένων.

Προετοιμαστείτε για την πρόκληση! Με ένα σύστημα αποθήκευσης δεδομένων, μπορείτε συνήθως να χειρίζεστε την κίνηση δεδομένων από πηγές σε αποθήκες με απλό και χαμηλής τεχνολογίας τρόπο - αλλά με την αποθήκη δεδομένων deluxe, εισέρχεστε τώρα στη Ζώνη Δυσκολιών, όπου πολλά έργα αποθήκευσης δεδομένων πληρούν Βατερλώ.

Αντιμετωπίζετε πολλές διαφορετικές πηγές δεδομένων, μερικές από τις οποίες ενδέχεται να περιέχουν επικαλυπτόμενα δεδομένα.

• Για παράδειγμα, οι πληροφορίες των προμηθευτών ενδέχεται να προέρχονται από δύο διαφορετικά συστήματα αγορών και ορισμένοι από τους προμηθευτές σας έχουν εγγραφές και στα δύο συστήματα. Πιθανότατα θα συναντήσετε διαφορετικά σύνολα αναγνωριστικών τα οποία πρέπει να συγκλίνετε (για παράδειγμα, έξι αλφαριθμητικούς χαρακτήρες που αναγνωρίζονται ως SUPPLIER_ID σε ένα από τα συστήματα και ένας μοναδικός ακέραιος αριθμός γνωστός ως SUP_NUM στην άλλη).

  Τα παράθυρα παρτίδας

• , τα χρονικά πλαίσια στα οποία γίνονται ενημερώσεις στην αποθήκη, περιπλέκονται από τον αριθμό των πηγών δεδομένων που πρέπει να χειριστείτε. Οι πιθανότητες να υπάρξει ανακατασκευή, μετακίνηση, μετασχηματισμός και διαδικασία φόρτωσης σχετίζονται εκθετικά με τον αριθμό στοιχείων δεδομένων που πρέπει να φορτωθούν στην αποθήκη δεδομένων.

• n

  τα στοιχεία που θέλετε να συμπεριλάβετε στην αποθήκη δεδομένων με παράγοντα δυσκολίας

  x. Αν τώρα έχετε στοιχεία δεδομένων n , ο παράγοντας δυσκολίας δεν είναι 2 x. μάλλον, είναι x τετράγωνο. Για να καταστήσετε ευκολότερη την κατανόηση αυτού του παράγοντα δυσκολίας, δώστε ορισμένους αριθμούς στους n και

  x. Πείτε ότι η αποθήκη δεδομένων σας έχει 100 στοιχεία (n) και ο συντελεστής δυσκολίας (x) είναι 5. Εάν διπλασιάσετε τον αριθμό στοιχείων n > = 200), ο παράγοντας δυσκολίας σας είναι 25 (5 τετράγωνα), όχι 10 (5 x 2). Η διαδικασία αντιμετώπισης τόσων πηγών δεδομένων, όλα κατευθύνονται προς έναν τόπο (η αποθήκη δεδομένων σας deluxe), έχει όλα τα στοιχεία πάρα πολλών μαγειρέων στην κουζίνα ή ό, τι λέει αυτό. Για να κάνετε την διαδικασία εξαγωγής, μετακίνησης, μετασχηματισμού και φόρτωσης να πάει ομαλά, πιθανότατα θα πρέπει να ασχοληθείτε με πολλούς διαφορετικούς ιδιοκτήτες εφαρμογών, επίσημους κατόχους της βάσης δεδομένων και άλλους ανθρώπους από διάφορους διαφορετικούς οργανισμούς, όλοι τους συνεργάζονται σαν να είναι μέρος μιας επαγγελματικής συμφωνικής ορχήστρας. Η πραγματικότητα, όμως, είναι ότι εκτελούν περισσότερο σαν μια ομάδα μαθητών νηπιαγωγείου που επιλέγουν το καθένα ένα μουσικό όργανο από τον κάδο παιχνιδιών και λένε: "Τώρα παίζετε κάτι! "Αν και η διαδικασία δεν είναι απαραιτήτως καταδικασμένη σε αποτυχία, αναμένετε μια σειρά επαναλήψεων έως ότου μπορείτε να πάρετε την αποθήκη δεδομένων deluxe φορτωθεί ακριβώς δεξιά. Μια αποθήκη δεδομένων deluxe μπορεί να έχει τρεις ορόφους (όπως μια αποθήκη δεδομένων lite), εκτός από περισσότερες πηγές δεδομένων και ίσως περισσότερο από ένα είδος εργαλείου χρήστη που έχει πρόσβαση στην αποθήκη. Αλλά η αρχιτεκτονική για μια αποθήκη δεδομένων deluxe πιθανότατα μοιάζει περισσότερο με αυτό που φαίνεται σε αυτό το σχήμα, με πολλά διαφορετικά σημεία συλλογής δεδομένων.

• Εκτός από άλλους απαραίτητους "σταθμούς" για το συγκεκριμένο σας περιβάλλον, το περιβάλλον σας μπορεί να έχει αυτά τα στοιχεία:

  Data mart:

  Λαμβάνει υποσύνολα πληροφοριών από την αποθήκη δεδομένων deluxe και χρησιμεύει ως το πρωτεύον σημείο πρόσβασης χρήστες.

Σταθμός ενδιάμεσου μετασχηματισμού:

Μια περιοχή στην οποία σύνολα δεδομένων που εξάγονται από ορισμένες πηγές υποβάλλονται σε κάποιο είδος διαδικασίας μετασχηματισμού πριν μετακινηθούν προς τα κάτω στη βάση δεδομένων της αποθήκης.

• Σταθμός διασφάλισης ποιότητας: Ένας τομέας στον οποίο οι ομάδες δεδομένων υποβάλλονται σε εντατικούς ελέγχους διασφάλισης ποιότητας προτού τους αφήσετε να μεταφερθούν στην αποθήκη δεδομένων.