Υπηρεσίες μεσαίου λογισμικού: Χαρτογράφηση και μετασχηματισμός δεδομένων - Dummies

Αυτή η εικόνα δείχνει ένα περιβάλλον στο οποίο εξάγονται δεδομένα από τρεις διαφορετικές πηγές δεδομένων για να συμπεριληφθούν σε μια αποθήκη δεδομένων και κάθε μια από τις τρεις πηγές βρίσκεται σε διαφορετική πλατφόρμα. Σε κάποιο σημείο της διαδικασίας middleware, αυτά τα αποσπάσματα QA'd πρέπει να συγκεντρωθούν για μια συνδυασμένη διαδικασία χαρτογράφησης και μετασχηματισμού.

Η υπηρεσία χαρτογράφησης και μετασχηματισμού χειρίζεται τα κλασικά προβλήματα αποθήκευσης δεδομένων. Ας υποθέσουμε ότι μια πηγή δεδομένων αποθηκεύει τους πελάτες χρησιμοποιώντας ένα πενταψήφιο αναγνωριστικό πελάτη και μια άλλη πηγή χρησιμοποιεί εξαψήφιο αριθμητικό αναγνωριστικό πελάτη.

Για να επιτρέψετε τις συγκρίσεις και την επεξεργασία άλλων αποθηκών δεδομένων, χρειάζεστε μια κοινή μέθοδο αναγνώρισης του πελάτη: Ένα από τα συστήματα αναγνώρισης πρέπει να μετατραπεί στο άλλο, ή ίσως ένα τρίτο, ουδέτερο σύστημα ταυτοποίησης, ανάλογα με τα χαρακτηριστικά του περιβάλλοντος.

Εκτός από το χειρισμό διασταυρούμενων συστημάτων, πρόσθετοι μετασχηματισμοί μπορεί να περιλαμβάνουν

• Περίληψη δεδομένων: Μια σύνοψη μπορεί να εκτελεστεί νωρίτερα κατά τη διαδικασία, πριν από την κίνηση του συστήματος, ιδιαιτερότητες του συγκεκριμένου περιβάλλοντος αποθήκευσης δεδομένων σας.

• Επιλεκτική συμπερίληψη δεδομένων: Μπορεί να συμπεριλάβετε εγγραφές από μία μόνο πηγή δεδομένων, για παράδειγμα αν έχετε ένα συγκρίσιμο αρχείο από άλλο απόσπασμα. Δεν γνωρίζετε, μέχρι να συγκεντρώσετε όλες τις συνεισφορές της πηγής δεδομένων, πώς εφαρμόζονται οι επιλεκτικοί κανόνες συμπερίληψης.

• Ορισμένα στοιχεία από μια πηγή δεδομένων συνδυάζονται με στοιχεία από άλλη πηγή για να δημιουργηθεί ένα ενοποιημένο αρχείο για κάθε πελάτη, προϊόν, σύμβαση ή οποιοδήποτε είδος δεδομένων που έχετε να κάνετε με. Το κύριο σημείο που πρέπει να θυμάστε σχετικά με την υπηρεσία χαρτογράφησης και μετασχηματισμού είναι ότι θα πρέπει να έχετε, μετά την ολοκλήρωσή της, ένα ενοποιημένο σύνολο δεδομένων που είναι έτοιμο να φορτωθεί στην αποθήκη δεδομένων - μόλις ολοκληρώσετε μερικά ακόμη βήματα.

Σε περίπλοκα περιβάλλοντα αποθήκευσης δεδομένων, ίσως θελήσετε να εξετάσετε πολλαπλές διεργασίες μετασχηματισμού. Όπως φαίνεται σε αυτό το σχήμα, για παράδειγμα, τα αποσπάσματα δεδομένων συγκλίνουν σε αρκετά διαφορετικά επίπεδα μετασχηματισμού πριν μετακινηθούν πιο κάτω στον αγωγό μεσαίας τάξης, επιτρέποντάς σας να χρησιμοποιήσετε περισσότερη ιπποδύναμη στη διαδικασία μετασχηματισμού χρησιμοποιώντας πολλαπλούς διακομιστές στις αρχές της ροής.