Βίντεο: "Αρχές αντικειμενοστραφούς προγραμματισμού" - Χατζηλυγερούδης I. 2025
Όταν πρόκειται για Sqoop, μια εικόνα συχνά αξίζει χίλιες λέξεις, οπότε ελέγξτε την εικόνα, η οποία σας δίνει μια εικόνα του σπιτιού της αρχιτεκτονικής Sqoop.
Η ιδέα πίσω από το Sqoop είναι ότι χρησιμοποιεί καθήκοντα χαρτών - εργασίες που πραγματοποιούν παράλληλη εισαγωγή και εξαγωγή πινάκων σχεσιακής βάσης δεδομένων - απευθείας μέσα από το πλαίσιο Hadoop MapReduce. Αυτό είναι καλά νέα επειδή το πλαίσιο MapReduce παρέχει ανοχή σφάλματος για εργασίες εισαγωγής και εξαγωγής μαζί με παράλληλη επεξεργασία!
Θα εκτιμήσετε την ανοχή σφάλματος σε περίπτωση αποτυχίας κατά τη διάρκεια εισαγωγής ή εξαγωγής μεγάλου πίνακα επειδή το πλαίσιο MapReduce θα ανακτήσει χωρίς να απαιτείται από σας να ξεκινήσετε ξανά τη διαδικασία.
Το Sqoop μπορεί να εισάγει δεδομένα σε Hive και HBase. Σημειώστε, ωστόσο, ότι τα βέλη για το Hive και το HBase δείχνουν μόνο μία κατεύθυνση. Τα δεδομένα που είναι αποθηκευμένα σε οποιαδήποτε σχεσιακή βάση δεδομένων με υποστήριξη JDBC μπορούν να εισαχθούν απευθείας στα συστήματα Hive ή HBase με Sqoop. Ωστόσο, οι εξαγωγές πραγματοποιούνται από δεδομένα αποθηκευμένα σε HDFS.
Επομένως, αν χρειάζεται να εξάγετε τους πίνακες κυψελών, κατατάσσετε τους Sqoop στους καταλόγους HDFS που αποθηκεύουν τους πίνακες Hive. Εάν χρειάζεται να εξαγάγετε τους πίνακες HBase, πρέπει πρώτα να τις εξάγετε σε HDFS και στη συνέχεια να εκτελέσετε την εντολή export Sqoop.
