Πώς να ρυθμίσετε το αρχιτεκτονικό υπόβαθρο για τα μεγάλα δεδομένα - ανδρείκελα

Είναι σημαντικό να δημιουργήσετε ένα ισχυρό αρχιτεκτονικό υπόβαθρο εάν θέλετε να έχετε επιτυχία με μεγάλα δεδομένα. Εκτός από την υποστήριξη των λειτουργικών απαιτήσεων, είναι σημαντικό να υποστηρίξετε τις απαιτούμενες επιδόσεις. Οι ανάγκες σας θα εξαρτηθούν από τη φύση της ανάλυσης που υποστηρίζετε. Θα χρειαστείτε το σωστό ποσό υπολογιστικής ισχύος και ταχύτητας.

Η αρχιτεκτονική σας πρέπει επίσης να έχει το σωστό ποσό απόλυσης, έτσι ώστε να προστατεύεστε από την απροσδόκητη καθυστέρηση και χρόνο αναμονής.

Ξεκινήστε αναρωτώντας τις ακόλουθες ερωτήσεις:

• Πόσα δεδομένα χρειάζεται ο οργανισμός σας να διαχειριστεί σήμερα και στο μέλλον;

• Πόσο συχνά χρειάζεται ο οργανισμός σας να διαχειρίζεται δεδομένα σε πραγματικό χρόνο ή κοντά σε πραγματικό χρόνο;

• Πόσος κίνδυνος μπορεί να προσφέρει ο οργανισμός σας; Ο κλάδος σας υπόκειται σε αυστηρές απαιτήσεις ασφάλειας, συμμόρφωσης και διακυβέρνησης;

• Πόσο σημαντική είναι η ταχύτητα στην ανάγκη διαχείρισης δεδομένων;

• Πόσο συγκεκριμένα ή ακριβή πρέπει να είναι τα δεδομένα;

  

Διεπαφές και τροφοδοσίες για μεγάλα δεδομένα

Για να κατανοήσουμε πόσο μεγάλα δεδομένα λειτουργούν στον πραγματικό κόσμο, είναι σημαντικό να ξεκινήσουμε κατανοώντας την αναγκαιότητα διεπαφών και feeds. Στην πραγματικότητα, αυτό που κάνει τα μεγάλα δεδομένα μεγάλα είναι το γεγονός ότι βασίζεται στην ανάκτηση πολλών δεδομένων από πολλές πηγές.

Επομένως, οι ανοιχτές διασυνδέσεις προγραμματισμού εφαρμογών (API) θα είναι βασικές για οποιαδήποτε μεγάλη αρχιτεκτονική δεδομένων. Επιπλέον, να έχετε κατά νου ότι υπάρχουν διεπαφές σε κάθε επίπεδο και μεταξύ κάθε στρώματος της στοίβας. Χωρίς υπηρεσίες ενοποίησης, δεν μπορούν να γίνουν μεγάλα δεδομένα.

Υπερβολική φυσική υποδομή μεγάλων δεδομένων

Η υποστηρικτική φυσική υποδομή είναι θεμελιώδης για τη λειτουργία και την επεκτασιμότητα μιας μεγάλης αρχιτεκτονικής δεδομένων. Στην πραγματικότητα, χωρίς τη διαθεσιμότητα αξιόπιστων υλικών υποδομών, τα μεγάλα δεδομένα πιθανότατα δεν θα προέκυπταν ως μια τόσο σημαντική τάση. Για να υποστηρίξει έναν απρόβλεπτο ή απρόβλεπτο όγκο δεδομένων, μια φυσική υποδομή για μεγάλα δεδομένα πρέπει να είναι διαφορετική από αυτή των παραδοσιακών δεδομένων.

Η φυσική υποδομή βασίζεται σε ένα κατανεμημένο υπολογιστικό μοντέλο. Αυτό σημαίνει ότι τα δεδομένα μπορούν να αποθηκευτούν φυσικά σε πολλές διαφορετικές τοποθεσίες και να συνδεθούν μεταξύ τους μέσω δικτύων, τη χρήση ενός κατανεμημένου συστήματος αρχείων και διάφορα μεγάλα αναλυτικά εργαλεία και εφαρμογές δεδομένων.

Η απόλυση είναι σημαντική επειδή ασχολείσαι με τόσα πολλά δεδομένα από τόσες πολλές διαφορετικές πηγές. Ο πλεονασμός έρχεται σε πολλές μορφές. Εάν η εταιρεία σας δημιούργησε ένα ιδιωτικό σύννεφο, θα θελήσετε να έχετε δημιουργήσει πλεονασμό στο ιδιωτικό περιβάλλον, ώστε να μπορεί να κλιμακωθεί για να υποστηρίξει την αλλαγή φόρτου εργασίας.

Αν η εταιρεία σας θέλει να περιέχει εσωτερική ανάπτυξη πληροφορικής, μπορεί να χρησιμοποιήσει εξωτερικές υπηρεσίες cloud για να αυξήσει τους εσωτερικούς πόρους της. Σε ορισμένες περιπτώσεις, αυτή η απόλυση μπορεί να έρθει με τη μορφή μιας προσφοράς λογισμικού ως υπηρεσία (SaaS) που επιτρέπει στις εταιρείες να εκτελούν εξελιγμένες αναλύσεις δεδομένων ως υπηρεσία. Η προσέγγιση SaaS προσφέρει χαμηλότερο κόστος, ταχύτερη εκκίνηση και απρόσκοπτη εξέλιξη της βασικής τεχνολογίας.

Υποδομή ασφάλειας μεγάλων δεδομένων

Όσο πιο σημαντική είναι η μεγάλη ανάλυση δεδομένων για τις εταιρείες, τόσο πιο σημαντικό θα είναι να εξασφαλιστούν τα δεδομένα αυτά. Για παράδειγμα, αν είστε εταιρεία υγειονομικής περίθαλψης, πιθανότατα θα θέλετε να χρησιμοποιήσετε μεγάλες εφαρμογές δεδομένων για να καθορίσετε αλλαγές στις δημογραφικές ή μετατοπίσεις στις ανάγκες των ασθενών. Αυτά τα δεδομένα σχετικά με τα συστατικά σας πρέπει να προστατεύονται τόσο για την τήρηση των απαιτήσεων συμμόρφωσης όσο και για την προστασία της ιδιωτικής ζωής των ασθενών.

Θα χρειαστεί να λάβετε υπ 'όψιν σας ποιος μπορεί να δει τα δεδομένα και υπό ποιες συνθήκες επιτρέπεται να το κάνουν. Θα χρειαστεί να είστε σε θέση να επαληθεύσετε την ταυτότητα των χρηστών καθώς και να προστατεύσετε την ταυτότητα των ασθενών.

Λειτουργικές μεγάλες πηγές δεδομένων

Είναι σημαντικό να καταλάβετε ότι πρέπει να ενσωματώσετε όλες τις πηγές δεδομένων που θα σας δώσουν μια πλήρη εικόνα της επιχείρησής σας και να δούμε πώς τα δεδομένα επηρεάζουν τον τρόπο λειτουργίας της επιχείρησής σας. Καθώς ο κόσμος αλλάζει, είναι σημαντικό να καταλάβουμε ότι τα επιχειρησιακά δεδομένα πρέπει τώρα να περιλαμβάνουν ένα ευρύτερο σύνολο πηγών δεδομένων, συμπεριλαμβανομένων των μη δομημένων πηγών όπως τα δεδομένα των κοινωνικών μέσων σε όλες τις μορφές τους.

Βρίσκεστε νέες αναδυόμενες προσεγγίσεις στη διαχείριση δεδομένων στον μεγάλο κόσμο δεδομένων, συμπεριλαμβανομένων των αρχιτεκτονικών βάσεων δεδομένων εγγράφων, γραφικών, στηλών και γεωχωρικών βάσεων δεδομένων. Συλλογικά, αυτά αναφέρονται ως NoSQL, ή όχι μόνο SQL, βάσεις δεδομένων. Στην ουσία, πρέπει να αντιστοιχίσετε τις αρχιτεκτονικές δεδομένων με τους τύπους συναλλαγών.

Με αυτόν τον τρόπο θα διασφαλιστεί ότι τα δεδομένα δεξιά είναι διαθέσιμα όταν το χρειάζεστε. Χρειάζεστε επίσης αρχιτεκτονικές δεδομένων που υποστηρίζουν σύνθετο αδόμητο περιεχόμενο. Πρέπει να συμπεριλάβετε τόσο τις σχεσιακές βάσεις δεδομένων όσο και τις μη σχετικές βάσεις δεδομένων στην προσέγγισή σας για την αξιοποίηση μεγάλων δεδομένων. Είναι επίσης απαραίτητο να συμπεριληφθούν μη δομημένες πηγές δεδομένων, όπως συστήματα διαχείρισης περιεχομένου, ώστε να μπορείτε να πλησιάσετε στην επιχειρηματική αυτή προβολή 360 μοιρών.

Όλες αυτές οι λειτουργικές πηγές δεδομένων έχουν κοινά χαρακτηριστικά:

• Αντιπροσωπεύουν συστήματα καταγραφής που παρακολουθούν τα κρίσιμα δεδομένα που απαιτούνται για την καθημερινή λειτουργία της επιχείρησης σε πραγματικό χρόνο.

• Ανανεώνονται συνεχώς βάσει συναλλαγών που πραγματοποιούνται εντός επιχειρηματικών μονάδων και μέσω του διαδικτύου.

• Για να παρέχουν αυτές οι πηγές μια ακριβή αναπαράσταση της επιχείρησης, πρέπει να συνδυάσουν δομημένα και αδόμητα δεδομένα.

• Τα συστήματα αυτά πρέπει επίσης να μπορούν να κλιμακώνονται για να υποστηρίζουν χιλιάδες χρήστες σε συνεχή βάση. Αυτά μπορεί να περιλαμβάνουν συναλλακτικά συστήματα ηλεκτρονικού εμπορίου, συστήματα διαχείρισης πελατειακών σχέσεων ή εφαρμογές τηλεφωνικού κέντρου.