Χαρακτηριστικά ενός μεγάλου πλαισίου ανάλυσης δεδομένων - Dummies

Παρόλο που νέα σύνολα εργαλείων εξακολουθούν να είναι διαθέσιμα για να σας βοηθήσουν να διαχειριστείτε και να αναλύσετε αποτελεσματικότερα το ευρύτερο πλαίσιο δεδομένων σας, ενδέχεται να μην μπορείτε να αποκτήσετε αυτό που χρειάζεστε. Επιπλέον, μια σειρά τεχνολογιών μπορεί να υποστηρίξει μεγάλη ανάλυση δεδομένων και απαιτήσεις όπως διαθεσιμότητα, κλιμάκωση και υψηλή απόδοση. Ορισμένες από αυτές περιλαμβάνουν μεγάλες συσκευές δεδομένων, στήλες βάσεων δεδομένων, βάσεις δεδομένων εντός μνήμης, μη σχετικές βάσεις δεδομένων και μηχανές μαζικής παράλληλης επεξεργασίας.

Επομένως, ποιοι επιχειρηματικοί χρήστες αναζητούν όταν πρόκειται για ανάλυση μεγάλων δεδομένων; Η απάντηση σε αυτή την ερώτηση εξαρτάται από το είδος του επιχειρηματικού προβλήματος που προσπαθούν να λύσουν. Μερικές σημαντικές εκτιμήσεις, καθώς επιλέγετε ένα μεγάλο πλαίσιο ανάλυσης εφαρμογών δεδομένων, είναι οι εξής:

• Υποστήριξη για πολλούς τύπους δεδομένων: Πολλοί οργανισμοί ενσωματώνουν ή αναμένουν να ενσωματώσουν όλους τους τύπους δεδομένων ως μέρος των μεγάλων αναπτυξιακών τους δυνατοτήτων, συμπεριλαμβανομένων δομημένων, ημιδομημένων και αδόμητων δεδομένων.

• Χειρισμοί επεξεργασίας παρτίδας ή / και ροές δεδομένων σε πραγματικό χρόνο: Ο προσανατολισμός δράσης είναι ένα προϊόν ανάλυσης σε ροές δεδομένων σε πραγματικό χρόνο, ενώ ο προσανατολισμός της απόφασης μπορεί να εξυπηρετηθεί επαρκώς από την επεξεργασία παρτίδων. Ορισμένοι χρήστες θα απαιτήσουν και τους δύο, καθώς εξελίσσονται για να συμπεριλάβουν ποικίλες μορφές ανάλυσης.

• Χρησιμοποιήστε αυτό που ήδη υπάρχει στο περιβάλλον σας: Για να έχετε το σωστό πλαίσιο, ίσως είναι σημαντικό να αξιοποιήσετε υπάρχοντα δεδομένα και αλγόριθμους στο μεγάλο πλαίσιο ανάλυσης δεδομένων.

• Υποστήριξη του NoSQL και άλλων νεότερων μορφών πρόσβασης στα δεδομένα: Ενώ οι οργανισμοί θα συνεχίσουν να χρησιμοποιούν SQL, πολλοί εξετάζουν επίσης νεότερες μορφές πρόσβασης δεδομένων για την υποστήριξη ταχύτερων χρόνων απόκρισης ή ταχύτερων χρόνων στην απόφαση.

• Να ξεπεραστεί η χαμηλή λανθάνουσα κατάσταση: Εάν πρόκειται να αντιμετωπίσετε υψηλή ταχύτητα δεδομένων, θα χρειαστείτε ένα πλαίσιο που να μπορεί να υποστηρίξει τις απαιτήσεις για ταχύτητα και απόδοση.

• Παρέχετε φθηνό αποθηκευτικό χώρο: Τα μεγάλα δεδομένα σημαίνουν δυνητικά πολλά αποθηκευτικά μέσα - ανάλογα με το πόσα δεδομένα θέλετε να επεξεργαστείτε ή / και να διατηρήσετε.

• Ενσωμάτωση με εφαρμογές cloud: Το cloud μπορεί να παρέχει αποθήκευση και υπολογιστική χωρητικότητα κατόπιν ζήτησης. Όλο και περισσότερες εταιρείες χρησιμοποιούν το σύννεφο ως ανάλυση "sandbox. "Όλο και περισσότερο, το σύννεφο γίνεται ένα σημαντικό μοντέλο ανάπτυξης για την ενσωμάτωση των υπαρχόντων συστημάτων με ανάπτυξη cloud σε ένα υβριδικό μοντέλο.

Ενώ όλα αυτά τα χαρακτηριστικά είναι σημαντικά, η αντιληπτή και πραγματική αξία της δημιουργίας εφαρμογών από ένα πλαίσιο είναι ο ταχύτερος χρόνος για την ανάπτυξη.Με γνώμονα όλες αυτές τις δυνατότητες, εξετάστε ένα μεγάλο πλαίσιο εφαρμογής ανάλυσης δεδομένων από μια εταιρεία που ονομάζεται συνέχεια.

Το AppFabric Continuity είναι ένα πλαίσιο που υποστηρίζει την ανάπτυξη και ανάπτυξη εφαρμογών μεγάλων δεδομένων. Το ίδιο το AppFabric είναι ένα σύνολο τεχνολογιών που έχουν σχεδιαστεί ειδικά για την αφαίρεση των ιδιοτήτων των μεγάλων τεχνολογιών δεδομένων χαμηλού επιπέδου. Ο κατασκευαστής εφαρμογών είναι ένα plug-in Eclipse που επιτρέπει στον προγραμματιστή να δημιουργήσει, να δοκιμάσει και να εντοπίσει λάθη σε τοπικό επίπεδο και σε οικεία περιβάλλοντα.

Οι δυνατότητες AppFabric περιλαμβάνουν τα εξής:

• Υποστήριξη ροής για ανάλυση και αντίδραση σε πραγματικό χρόνο

• Ενιαίο API, εξαλείφοντας την ανάγκη εγγραφής σε μεγάλες υποδομές δεδομένων

• Διεπαφές ερωτήματος για απλά αποτελέσματα και υποστήριξη για επεξεργαστές ερωτημάτων

• Δεδομένα που αντιπροσωπεύουν ερωτήματα δεδομένων και πίνακες προσβάσιμα από το Unified API

• Ανάγνωση και γραφή δεδομένων ανεξάρτητα από μορφές εισόδου ή εξόδου ή υποκείμενες ιδιαιτερότητες εξαρτημάτων

• Επεξεργασία γεγονότων

• Πολυτροπική ανάπτυξη σε έναν μοναδικό κόμβο ή το σύννεφο

Αυτή η προσέγγιση θα κερδίσει την έλξη για την ανάπτυξη μεγάλων εφαρμογών δεδομένων κυρίως λόγω της πληθώρας εργαλείων και τεχνολογιών που απαιτούνται για τη δημιουργία ενός μεγάλου περιβάλλοντος δεδομένων.

Η έλλειψη συνεργασίας μπορεί να είναι δαπανηρή με πολλούς τρόπους. Οι μεγάλες οργανώσεις μπορούν να επωφεληθούν από εργαλεία που οδηγούν σε συνεργασίες. Πολύ συχνά οι άνθρωποι που κάνουν παρόμοια δουλειά αγνοούν τις προσπάθειες του άλλου που οδηγούν σε διπλό έργο.

Ένα άλλο καλό παράδειγμα ενός πλαισίου εφαρμογής είναι το OpenChorus. Εκτός από την ταχεία ανάπτυξη μεγάλων εφαρμογών ανάλυσης δεδομένων, υποστηρίζει επίσης τη συνεργασία και παρέχει πολλά άλλα χαρακτηριστικά σημαντικά για τους προγραμματιστές λογισμικού, όπως η ενοποίηση εργαλείων, ο έλεγχος εκδόσεων και η διαχείριση των ρυθμίσεων.

Το Open Chorus είναι ένα έργο που διατηρείται από την EMC Corporation και διατίθεται με την άδεια Apache 2. 0. Η EMC παράγει και υποστηρίζει μια εμπορική έκδοση της Χορωδίας. Και το Open Chorus και το Chorus έχουν ζωντανά δίκτυα συνεργατών, καθώς και ένα μεγάλο σύνολο ατομικών και εταιρικών συνεργατών.

Το Open Chorus είναι ένα γενικό πλαίσιο. Το κύριο χαρακτηριστικό του είναι η δυνατότητα δημιουργίας ενός κοινόχρηστου "κόμβου" για τη διανομή μεγάλων πηγών δεδομένων, γνώσεων, τεχνικών ανάλυσης και απεικονίσεων. Το Open Chorus παρέχει τα εξής:

• Αποθήκη εργαλείων ανάλυσης, τεχνουργήματα και τεχνικές με πλήρη έκδοση, παρακολούθηση αλλαγών και αρχειοθέτηση

• Χώροι εργασίας και sandboxes που είναι αυτοεξυπηρετημένοι και μπορούν εύκολα να συντηρηθούν από μέλη της κοινότητας

• χάρτες θερμότητας, χρονολογικές σειρές, ιστογράμματα και ούτω καθεξής

• Ομοιόμορφη αναζήτηση οποιουδήποτε στοιχείου και δεδομένων, συμπεριλαμβανομένων των Hadoop, μεταδεδομένων, αποθετηρίων SQL και σχολίων

• Συνεργασία μέσω λειτουργιών που μοιάζουν με κοινωνική δικτύωση που ενθαρρύνει την ανακάλυψη,

• Επεκτασιμότητα για την ενσωμάτωση στοιχείων και τεχνολογιών τρίτων κατασκευαστών