Βίντεο: Week 0 2024
Στις περισσότερες περιπτώσεις, η δύο υπηρεσίες middleware - επιλογή και εξαγωγή και διασφάλιση ποιότητας - πραγματοποιούνται στην ίδια πλατφόρμα (σύστημα) στην οποία βρίσκεται η πηγή δεδομένων. Αν η αποθήκη δεδομένων σας φιλοξενείται σε διαφορετική πλατφόρμα από την πηγή δεδομένων, ωστόσο, πρέπει να χρησιμοποιήσετε μια υπηρεσία μεταφοράς δεδομένων για να πραγματοποιήσετε τη μεταφορά δεδομένων μεταξύ των συστημάτων.
Μπορείτε να χρησιμοποιήσετε μια σχετικά απλή υπηρεσία (για παράδειγμα, με ένα απλό πρόγραμμα μεταφοράς αρχείων). Η υπηρεσία μετακίνησης, αν το χρειάζεστε σε αυτό το σημείο, μετακινεί απλώς τα δεδομένα QA'd στο περιβάλλον στο οποίο σκοπεύετε να κάνετε επιπλέον μετασχηματισμούς.
Εάν χρειάζεται να φορτώσετε ένα μεγάλο όγκο δεδομένων, προσπαθήστε να χρησιμοποιήσετε ένα βοηθητικό πρόγραμμα γρήγορης φόρτωσης, το οποίο συνήθως περιλαμβάνει πολύ λιγότερο χρόνο από μια προγραμματική προσέγγιση ή προσέγγιση βασισμένη σε SQL.
Εάν χρησιμοποιείτε SQL για να φορτώσετε τα δεδομένα σας σε μια σχεσιακή βάση δεδομένων, προσπαθήστε να κάνετε τη φόρτωση όσο το δυνατόν πιο αποδοτική απενεργοποιώντας την καταγραφή (αν το προϊόν DBMS το επιτρέπει). Εάν η εργασία φόρτωσης τερματίζεται ασυνήθιστα, απλά πρέπει να χρησιμοποιήσετε τη δήλωση DROP ή TRUNCATE για να απαλλαγείτε από το μερικώς φορτωμένο τραπέζι σας, να διορθώσετε το πρόβλημα που προκάλεσε τον τερματισμό και να επανεκκινήσετε την εργασία.