Η μείωση της φάσης της ροής εφαρμογών MapReduce του Hadoop

Η φάση Reduce επεξεργάζεται το κλειδιά και τις μεμονωμένες λίστες των τιμών, έτσι ώστε αυτά που συνήθως επιστρέφονται στην εφαρμογή πελάτη να είναι ένα σύνολο ζευγών κλειδιών / τιμών. Εδώ είναι το χτύπημα-από-blow μέχρι τώρα: Ένα μεγάλο σύνολο δεδομένων έχει κατανεμηθεί σε μικρότερα τεμάχια, που ονομάζεται χωρίσματα εισόδου, και μεμονωμένες περιπτώσεις εργασιών χαρτογράφησης έχουν επεξεργαστεί κάθε μία από αυτές.

Σε ορισμένες περιπτώσεις, αυτή η μοναδική φάση επεξεργασίας είναι το μόνο που χρειάζεται για τη δημιουργία της επιθυμητής εξόδου εφαρμογών. Για παράδειγμα, εάν εκτελείτε μια βασική διαδικασία μετατροπής στα δεδομένα - για παράδειγμα, μετατρέποντας όλο το κείμενο σε κεφαλαία ή εξάγοντας πλαίσια κλειδιών από αρχεία βίντεο - η μοναδική φάση είναι το μόνο που χρειάζεστε. (Αυτό είναι γνωστό ως εργασία μόνο χάρτη).

Αλλά σε πολλές άλλες περιπτώσεις, η εργασία πραγματοποιείται μόνο κατά το ήμισυ όταν οι εργασίες χαρτογράφησης έχουν γράψει την παραγωγή τους. Το υπόλοιπο έργο βράζει όλα τα ενδιάμεσα αποτελέσματα σε μια ενιαία, ενοποιημένη απάντηση.

Παρόμοια με την εργασία χαρτογράφησης, η οποία επεξεργάζεται κάθε εγγραφή μία προς μία, ο μειωτής επεξεργάζεται κάθε κλειδί ξεχωριστά. Κανονικά, ο μειωτήρας επιστρέφει ένα μόνο ζεύγος κλειδιού / τιμής για κάθε κλειδί που επεξεργάζεται. Ωστόσο, αυτά τα ζεύγη κλειδιών / τιμών μπορούν να είναι τόσο επεκτατικά ή τόσο μικρά όσο χρειάζεστε.

Όταν ολοκληρωθούν οι εργασίες μειωτήρα, κάθε ένα από αυτά επιστρέφει ένα αρχείο αποτελεσμάτων και το αποθηκεύει σε HDFS (Hadoop Distributed File System). Όπως φαίνεται εδώ, το σύστημα HDFS αντιγράφει αυτόματα αυτά τα αποτελέσματα.

Όπου ο Διαχειριστής Πόρων (ή το JobTracker, αν χρησιμοποιείτε το Hadoop 1) προσπαθεί να παραχωρήσει πόρους στις εργασίες χαρτογράφησης για να διασφαλίσει ότι οι διαχωρίσεις εισερχόμενων δεδομένων χρησιμοποιούνται τοπικά, δεν υπάρχει τέτοια στρατηγική για μειωτικές εργασίες. Θεωρείται ότι τα σύνολα αποτελεσμάτων των εργασιών χαρτογράφησης πρέπει να μεταφερθούν μέσω του δικτύου προς επεξεργασία από τις εργασίες μειωτή.