Upgrade eines Big Data Store vom Typ "spatiotemporal" unter AWS—ArcGIS Enterprise in der Cloud
Sie können ein Upgrade für einen Big Data Store vom Typ "spatiotemporal" in ArcGIS Data Store unter Amazon Web Services (AWS) mit manuellen Upgrade-Verfahren durchführen. Wenn Sie die Bereitstellung mit von Esri bereitgestellten Amazon Web Services CloudFormation-Vorlagen von Version 10.8 oder 10.8.1 erstellt haben, können Sie das Upgrade auch mithilfe von Chef-Skripten durchführen.
Überprüfen Sie unabhängig von der verwendeten Upgrade-Methode die folgenden Informationen, bevor Sie das Upgrade Ihrer Bereitstellung durchführen:
Upgrade mit manuellen Upgrade-Verfahren
Das manuelle Upgrade-Verfahren für Big Data Stores vom Typ "spatiotemporal" unter AWS ähnelt dem Durchführen eines Upgrades für einen lokalen Big Data Store vom Typ "spatiotemporal". Der Unterschied unter AWS besteht darin, dass Sie, wenn die Amazon Elastic Compute Cloud-Instanzen des Big Data Store vom Typ "spatiotemporal" in einer AWS Auto Scaling-Gruppe bereitgestellt sind, die Instanzen vor dem Upgrade aus der Auto Scaling-Gruppe entfernen müssen.
Führen Sie die folgenden Schritte aus, um alle EC2-Instanzen des Big Data Store vom Typ "spatiotemporal" aus der jeweiligen Auto Scaling-Gruppe zu entfernen, bevor Sie das Upgrade von ArcGIS Data Store durchführen. Melden Sie sich bei der AWS Management Console an, und suchen Sie die Auto Scaling-Gruppe, die mit Ihrem Big Data Store vom Typ "spatiotemporal" verknüpft ist. Die Auto Scaling-Gruppe enthält den Namen des CloudFormation-Stacks. Sie können auch die Instanzverwaltung für die Gruppe öffnen und sich vergewissern, dass die EC2-Instanzen in der Gruppe Teil des Big Data Store vom Typ "spatiotemporal" sind. Ändern Sie die Eigenschaften für die minimale Kapazität und die maximale Kapazität der Auto Scaling-Gruppe des Stacks in "0". Entfernen Sie alle EC2 -Instanzen aus der Auto Scaling-Gruppe. Ändern Sie die Eigenschaft für die gewünschte Kapazität der Auto Scaling-Gruppe in "0". Wenn Sie alle EC2-Instanzen entfernt haben, löschen Sie die Auto Scaling-Gruppe, um zu verhindern, dass Benutzer die Instanzen nach dem Upgrade des Data Store wieder hinzufügen.
Jetzt können Sie mit dem Upgrade des Big Data Store vom Typ "spatiotemporal" fortfahren. Voraussetzungen und Anweisungen für das Durchführen von Upgrades finden Sie in den Installationsanweisungen für ArcGIS Data Store.
Big-Data-Analysen - Das leisten Cloud-Services
Die Kosten im Griff
Für kleine und mittelständische Unternehmen senken Cloud-Services die Einstiegshürde für Big Data erheblich. Allerdings hilft Big Data nur dann weiter, wenn man weiß, wonach man sucht.
Viele kleine und mittelständische Unternehmen schreckt das Big in Big Data noch immer. Während laut einer Umfrage des Branchenverbands Bitkom 27 Prozent der Befragten aus Unternehmen mit 500 und mehr Mitarbeitern angaben, bereits Big-Data-Lösungen zu nutzen, waren es bei Mittelständlern mit 50 bis 499 Mitarbeitern nur 7 Prozent.
Verwendung von Big Data: Nur 7 Prozent der mittelständischen Unternehmen setzen bereits Big Data ein. Dabei steigen gerade im Mittelstand die Datenmengen stetig an – sogar schneller als in größeren Unternehmen. In der Bitkom-Umfrage gaben 92 Prozent der befragten KMUs an, ihr Datenvolumen sei von 2012 auf 2013 gestiegen, bei größeren Unternehmen waren es nur 82 Prozent.
Die Mittelständler verzeichneten ein durchschnittliches Datenwachstum von 22 Prozent, bei Unternehmen mit 500 und mehr Mitarbeitern waren es zwei Prozentpunkte weniger.
Diese Datenmengen bergen Informationsschätze, die noch allzu oft ungenutzt bleiben. Nach Angaben des Analystenhauses Forrester Research werten Unternehmen nur 12 Prozent der vorhandenen Daten aus. „Viele Unternehmen sind immer noch der Meinung, sie könnten das Thema Big Data aussitzen“, sagt Hans Wieser, Business Lead Data Platform bei Microsoft Deutschland. Ein Fehler, davon ist Wieser überzeugt: „Es wird ganz schwierig werden, sich zu halten – oder gar Marktführer zu bleiben, wenn man die Möglichkeiten ignoriert, die Big Data bietet.“
Big Data-Modell: Logische & physischen Komponenten
Ein Big-Data-Modell ist ein konzeptionelles Modell, das einen Überblick über die logischen Komponenten und Datenflüsse in einem Big-Data-System bietet. Der Zweck dieses Modells besteht darin, die Hauptakteure (Datenanbieter, Verbraucher und Anwendungsanbieter) sowie die Anforderungen an Nachrichtenübermittlung und Kommunikation, Ressourcenmanagement und Infrastruktur für die Verarbeitung und Speicherung von Big Data zu ermitteln. Darüber hinaus kann dieses Modell verwendet werden, um potenzielle Sicherheits-, Datenschutz- und Verwaltungsprobleme zu ermitteln.
Die logischen Komponenten eines Big Data-Modells sind:
Datenanbieter: Dies ist die Einheit, die die Daten für die Verarbeitung und Speicherung in einem Big Data-System bereitstellt. Der Datenlieferant kann eine Einzelperson, ein Unternehmen oder eine Organisation sein.
Datenkonsument: Dies ist die Instanz, die die Daten konsumiert, die in einem Big Data-System verarbeitet und gespeichert werden sollen. Bei dem Datenkonsumenten kann es sich um eine Einzelperson, ein Unternehmen oder eine Organisation handeln.
Anbieter von Big Data-Anwendungen: Dies ist die Einrichtung, die die Anwendung (oder Anwendungen) bereitstellt, die zur Verarbeitung und Speicherung der Daten in einem Big Data-System verwendet wird. Der Anwendungsanbieter kann eine Einzelperson, ein Unternehmen oder eine Organisation sein.
Big Data Framework-Anbieter: Dies ist die Instanz, die das Framework (oder die Frameworks) zur Verarbeitung und Speicherung der Daten in einem Big Data-System bereitstellt. Der Framework-Anbieter kann eine Einzelperson, ein Unternehmen oder eine Organisation sein.
Messaging/Kommunikation: Dies ist die Messaging- und Kommunikationsinfrastruktur, die für den Datenaustausch zwischen dem Datenanbieter, dem Datenverbraucher und dem Anwendungsanbieter verwendet wird.
Ressourcenmanagement: Dies ist die Infrastruktur für das Ressourcenmanagement, mit der die für die Verarbeitung und Speicherung von Daten in einem Big Data-System erforderlichen Ressourcen verwaltet werden.
Infrastruktureinrichtungen: Dies istdie physische Infrastruktur (z.B. Hardware, Netzwerke, Speicher), die zur Unterstützung der Verarbeitung und Speicherung von Daten in einem Big Data-System verwendet wird.
System-Orchestrierung: Dies ist die Instanz, die alle Datenflüsse in einem Big-Data-System koordiniert und verwaltet. Der System-Orchestrator kann eine Einzelperson, ein Unternehmen oder eine Organisation sein.
Sicherheit/Privatsphäre/Verwaltung: Dies sind die Sicherheits-, Datenschutz- und Verwaltungsrichtlinien und -verfahren, die zum Schutz der Daten in einem Big-Data-System eingesetzt werden
Verarbeitung: Dies ist der Prozess, durch den Daten in Informationen oder Wissen umgewandelt werden. Die Verarbeitung kann manuell oder automatisch mit Hilfe von Algorithmen erfolgen.
Speicherung: Organisation und Verteilung von Daten: Dies ist die Art und Weise, wie die Daten in einem Big Data-System organisiert und verteilt werden . Die Speicherung kann auf einem einzelnen Server oder in einem Netzwerk von Servern erfolgen.
Dies sind die logischen Komponenten eines Big Data-Modells und die entsprechenden Datenflüsse. Im nächsten Abschnitt werden wir die physischen Komponenten eines Big Data-Systems besprechen.
Es gibt drei physische Komponenten in einem Big Data-System:
Die erste ist die Datenquelle, bei der es sich um alles Mögliche handeln kann, von Social Media Feeds bis hin zu Transaktionsdaten.
Die zweite Komponente ist die Speicherebene, bei der es sich in der Regel um ein Hadoop Distributed File System (HDFS) handelt.
Die dritte und letzte Komponente ist die Verarbeitungsebene, die aus MapReduce-Aufträgen besteht, die die Daten transformieren und aggregieren
Diese drei Komponenten arbeiten zusammen, um eine skalierbare und flexible Big Data-Plattform bereitzustellen. Darüber hinaus gibt es viele andere Tools und Technologien, die in Verbindung mit diesen drei Komponenten eingesetzt werden können, um die Möglichkeiten eines Big-Data-Systems weiter zu erweitern. Dazu gehören NoSQL-Datenbanken, Stream Processing Frameworks, Graphdatenbanken und mehr.
Die physischen Komponenten eines Big Data-Systems sind die Datenquelle, die Speicherebene und die Verarbeitungsebene. Diese drei Komponenten arbeiten zusammen, um eine skalierbare und flexible Big Data-Plattform zu schaffen. Darüber hinaus gibt es viele andere Tools und Technologien, die in Verbindung mit diesen drei Komponenten verwendet werden können, um die Möglichkeiten eines Big Data-Systems weiter zu erweitern. Dazu gehören NoSQL-Datenbanken, Stream Processing Frameworks, Graphdatenbanken und vieles mehr.
NoSQL-Datenbanken eignen sich gut für die Speicherung großer Mengen unstrukturierter Daten wie Social Media Feeds oder Web-Logs. Stream-Processing-Frameworks wie Apache Storm können für die Verarbeitung von Echtzeit-Datenströmen verwendet werden. Graphdatenbanken wie Neo42 können verwendet werden, um komplexe Beziehungen zwischen Datenpunkten zu speichern und abzufragen.
Dies sind nur einige der vielen Tools und Technologien, die für den Aufbau eines Big Data-Systems verwendet werden können. Im nächsten Abschnitt werden wir erörtern, wie Sie das richtige Tool für diese Aufgabe auswählen.
Bei der Auswahl des richtigen Tools für die Aufgabe gibt es einige Faktoren zu beachten:
Der erste ist die Größe der Daten. Wenn Sie ein großes Datenvolumen haben, benötigen Sie ein Tool, das entsprechend skaliert werden kann.
Der zweite Faktor ist die Art der Daten. Wenn Sie unstrukturierte Daten haben, benötigen Sie ein Tool, das diese Art von Daten verarbeiten kann.
Der dritte Faktor ist die Verarbeitungsgeschwindigkeit. Wenn Sie Ergebnisse in Echtzeit benötigen, brauchen Sie ein Tool, das die Daten schnell verarbeiten kann.
Der vierte und letzte Faktor sind die Kosten . Einige Werkzeuge sind teurer als andere. Bei der Auswahl eines Werkzeugs müssen Sie Ihr Budget berücksichtigen.
Dies sind die vier wichtigsten Faktoren, die Sie bei der Auswahl des richtigen Tools berücksichtigen sollten. Im nächsten Abschnitt erfahren Sie, wie Sie ein Big-Data-System einsetzen können.
Big-Data-System einsetzen
Es gibt zwei Möglichkeiten für die Bereitstellung eines Big Data-Systems: vor Ort oder in der Cloud.
Bei der Bereitstellung vor Ort hosten Sie das System selbst. Diese Option gibt Ihnen mehr Kontrolle über das System, ist aber auch teurer.
Bei der Bereitstellung in der Cloud nutzen Sie einen Cloud-Anbieter wie Amazon Web Services oder Microsoft Azure. Diese Option ist weniger teuer, aber Sie haben weniger Kontrolle über das System
Dies sind die beiden wichtigsten Möglichkeiten, um ein Big Data-System bereitstellen. Im nächsten Abschnitt werden wir erörtern, wie Sie die richtige Bereitstellungsoption für Ihre Bedürfnisse auswählen.
Bei der Wahl der richtigen Bereitstellungsoption gibt es einige Faktoren zu berücksichtigen:
Der erste Faktor ist die Kontrolle. Wenn Sie mehr Kontrolle über das System haben möchten, sollten Sie es vor Ort bereitstellen.
Der zweite Faktor sind die Kosten. Wenn Sie nur über ein begrenztes Budget verfügen, sollten Sie das System in der Cloud bereitstellen.
Der dritte Faktor ist die Skalierbarkeit. Wenn Sie ein skalierbares System benötigen, sollten Sie es in der Cloud bereitstellen.
Der vierte und letzte Faktor ist die Sicherheit. Wenn Sie sich Sorgen um die Sicherheit machen, sollten Sie Ihr System vor Ort einsetzen.
Dies sind die vier wichtigsten Faktoren, die Sie bei der Entscheidung zwischen einer Vor-Ort-Lösung und einer Cloud-Lösung berücksichtigen sollten.
Jetzt, da Sie die Grundlagen von Big-Data-Systemen kennen, können Sie das richtige System für Ihre Bedürfnisse auswählen.