DE In diesem Tutorial erstellen Sie zufällige Daten und schreiben diese in HDFS. Anschließend lesen Sie die Daten aus HDFS, sortieren sie und zeigen das Ergebnis in der Konsole an.
DE In diesem Tutorial erstellen Sie zufällige Daten und schreiben diese in HDFS. Anschließend lesen Sie die Daten aus HDFS, sortieren sie und zeigen das Ergebnis in der Konsole an.
EN In this tutorial, generate random data and write them to HDFS. Then, read the data from HDFS, sort them and display the result in the Console.
Jerman | Basa inggris |
---|---|
tutorial | tutorial |
zufällige | random |
hdfs | hdfs |
sortieren | sort |
zeigen | display |
konsole | console |
ergebnis | result |
in | in |
diesem | this |
daten | data |
aus | from |
schreiben | to |
lesen | read |
der | the |
DE Der erste Unterjob, um Daten in HDFS zu schreiben, ist jetzt abgeschlossen. Dieser nimmt die in der zuvor erstellten „tRowGenerator“-Komponente generierten Daten und schreibt sie mit einer anhand von Metadaten definierten Verbindung ins HDFS.
EN The first subjob to write data to HDFS is now complete. It takes the data generated in the tRowGenerator you created earlier, and writes it to HDFS using a connection defined using metadata.
Jerman | Basa inggris |
---|---|
hdfs | hdfs |
jetzt | now |
nimmt | takes |
verbindung | connection |
definierten | defined |
schreibt | writes |
metadaten | metadata |
generierten | generated |
in | in |
daten | data |
zuvor | earlier |
erste | first |
schreiben | write |
ist | is |
erstellten | created |
von | a |
zu | to |
mit | using |
und | and |
DE Um die Kundendaten aus HDFS zu lesen, erstellen Sie eine neue „tHDFSInput“-Komponente, die Ihre bestehenden HDFS-Metadaten aus dem Project Repository wiederverwendet.
EN To read the customer data from HDFS, you will create a new tHDFSInput component that reuses the existing HDFS metadata available in the Project Repository.
Jerman | Basa inggris |
---|---|
hdfs | hdfs |
neue | new |
komponente | component |
bestehenden | existing |
metadaten | metadata |
repository | repository |
lesen | read |
erstellen | create |
project | project |
eine | a |
sie | you |
zu | to |
DE Jetzt können Sie Ihren Job ausführen. Zuerst werden Daten erstellt und in HDFS geschrieben. Anschließend werden die Daten aus HDFS ausgelesen und sortiert in der Konsole angezeigt.
EN Your Job is now ready to run. First, it generates data and writes it to HDFS. Then, it reads the data from HDFS, sorts it, and displays it in the console.
Jerman | Basa inggris |
---|---|
hdfs | hdfs |
sortiert | sorts |
konsole | console |
angezeigt | displays |
erstellt | generates |
jetzt | now |
job | job |
in | in |
ihren | your |
daten | data |
und | and |
aus | from |
der | the |
DE 2. Nutzen Sie die HDFS-Metadatendefinition und konfigurieren Sie die Verbindung zu HDFS und die Ausführung in Spark
EN 2. Use HDFS metadata definition to configure the connection to HDFS and the execution on Spark
Jerman | Basa inggris |
---|---|
konfigurieren | configure |
hdfs | hdfs |
spark | spark |
nutzen | use |
verbindung | connection |
zu | to |
ausführung | execution |
und | and |
DE Um Ihre Daten aus HDFS zu lesen, sollten Sie zunächst die Verbindung zu HDFS konfigurieren
EN To read your data from HDFS, you should first configure the connection to HDFS
Jerman | Basa inggris |
---|---|
hdfs | hdfs |
konfigurieren | configure |
verbindung | connection |
zu | to |
lesen | read |
ihre | your |
daten | data |
aus | from |
DE Mit Global ECS können Sie Ihre strukturierten oder unstrukturierten Daten analysieren, indem Sie HDFS benutzen
EN Global ECS lets you analyze all of your structured or unstructured object data using HDFS
Jerman | Basa inggris |
---|---|
global | global |
strukturierten | structured |
unstrukturierten | unstructured |
daten | data |
analysieren | analyze |
hdfs | hdfs |
ecs | ecs |
oder | or |
ihre | your |
sie | you |
mit | of |
DE Unabhängig davon, welches Protokoll Sie einsetzen, um Ihre Daten hochzuladen und zu synchronisieren, können Sie HDFS als Zugangsprotokoll verwenden, ohne einen ETL-Prozess zu benötigen.
EN No matter what protocol you use to upload and sync your data, you can use HDFS as an access protocol without any ETL process.
Jerman | Basa inggris |
---|---|
protokoll | protocol |
hdfs | hdfs |
etl | etl |
unabhängig | no matter |
prozess | process |
verwenden | use |
und | and |
daten | data |
zu | to |
welches | what |
ihre | your |
hochzuladen | to upload |
können | can |
synchronisieren | sync |
als | as |
ohne | without |
DE Grundlagen von Big Data: HDFS, MapReduce und Spark RDD
EN Big Data Essentials: HDFS, MapReduce and Spark RDD
Jerman | Basa inggris |
---|---|
grundlagen | essentials |
big | big |
data | data |
hdfs | hdfs |
spark | spark |
und | and |
DE Für Hive, HDFS und Kafka wenden Sie sich an Ihr Cloudera-Kundenbetreuungsteam.
EN For Hive, HDFS, and Kafka, reach out to your Cloudera account team
Jerman | Basa inggris |
---|---|
hive | hive |
hdfs | hdfs |
kafka | kafka |
cloudera | cloudera |
ihr | your |
und | and |
für | for |
sie | out |
sich | to |
DE Für den CDH 5.13+, der mit Hive und HDFS läuft, verwenden Sie den Replication Manager.
EN For CDH 5.13+ using Hive and HDFS, use Replication Manager
Jerman | Basa inggris |
---|---|
hive | hive |
hdfs | hdfs |
replication | replication |
manager | manager |
verwenden | use |
für | for |
und | and |
DE Daten in HDFS schreiben und lesen [Video und PDF-Checkliste] – Talend | Talend
EN Writing and Reading Data in HDFS [Video & PDF Checklist] - Talend | Talend
Jerman | Basa inggris |
---|---|
daten | data |
in | in |
hdfs | hdfs |
video | video |
checkliste | checklist |
talend | talend |
schreiben | writing |
lesen | reading |
und | and |
DE [TOS tutorial 12] Daten in HDFS schreiben und lesen
EN [TOS tutorial 12] Writing and Reading Data in HDFS
Jerman | Basa inggris |
---|---|
tos | tos |
tutorial | tutorial |
daten | data |
hdfs | hdfs |
in | in |
DE [TOS tutorial 12] Daten in HDFS schreibe…
EN [TOS tutorial 12] Writing and Reading Da…
DE Um sicherzustellen, dass die Hadoop-Clusterverbindungs- und HDFS-Verbindungsmetadaten im Project Repository erstellt wurden, erweitern SieHadoop Cluster.
EN To ensure that the Hadoop cluster connection and the HDFS connection metadata have been created in the Project Repository, expand Hadoop Cluster.
Jerman | Basa inggris |
---|---|
im | in the |
repository | repository |
erweitern | expand |
cluster | cluster |
hadoop | hadoop |
hdfs | hdfs |
erstellt | created |
sicherzustellen | to ensure |
und | and |
dass | that |
die | the |
project | project |
wurden | been |
DE Dazu erstellen Sie eine neue „tHDFSOutput“-Komponente, die bestehende HDFS-Metadaten aus dem Project Repository wiederverwendet.
EN For this, you will create a new tHDFSOutput component that reuses the existing HDFS metadata available in the Project Repository.
Jerman | Basa inggris |
---|---|
neue | new |
komponente | component |
bestehende | existing |
hdfs | hdfs |
metadaten | metadata |
repository | repository |
eine | a |
erstellen | create |
project | project |
sie | you |
DE Klicken Sie im Repository unter Metadata > HadoopCluster > MyHadoopCluster > HDFS auf MyHadoopCluster_HDFS und ziehen Sie es in den Job Designer.
EN From the Repository, under Metadata > HadoopCluster > MyHadoopCluster > HDFS, click MyHadoopCluster_HDFS and drag it to the Job Designer.
Jerman | Basa inggris |
---|---|
klicken | click |
repository | repository |
metadata | metadata |
hdfs | hdfs |
ziehen | drag |
job | job |
designer | designer |
gt | gt |
es | it |
und | and |
den | the |
DE In diesem Tutorial behalten wir die Standardkonfiguration bei und erstellen Metadatendefinitionen für YARN und HDFS.
EN In this tutorial, we will keep the default configuration and create metadata definitions for YARN and HDFS.
Jerman | Basa inggris |
---|---|
tutorial | tutorial |
yarn | yarn |
hdfs | hdfs |
in | in |
wir | we |
behalten | keep |
diesem | this |
für | for |
die | the |
erstellen | create |
und | and |
DE Beachten Sie, dass die Komponente bereits mit den vordefinierten HDFS-Metadatenverbindungsinformationen konfiguriert ist.
EN Note that the component is already configured with the pre-defined HDFS metadata connection information.
Jerman | Basa inggris |
---|---|
beachten | note |
komponente | component |
konfiguriert | configured |
hdfs | hdfs |
mit | with |
dass | that |
ist | is |
DE Als Nächstes erstellen Sie einen Unterjob, um die Kundendaten in HDFS zu lesen, zu sortieren und in der Konsole anzuzeigen
EN Next, you will build a subjob to read the customer data on HDFS, sort them, and display them in the console
Jerman | Basa inggris |
---|---|
kundendaten | customer data |
hdfs | hdfs |
sortieren | sort |
konsole | console |
anzuzeigen | display |
in | in |
zu | to |
lesen | read |
DE 4. Erstellen Sie entsprechende Definitionen für YARN und HDFS
EN 4. Create definitions corresponding to YARN and HDFS
Jerman | Basa inggris |
---|---|
entsprechende | corresponding |
definitionen | definitions |
yarn | yarn |
hdfs | hdfs |
erstellen | create |
und | and |
DE 4. Das Schema in der Inputkomponente „MyHadoopCluster_HDFS“ festlegen, um die Daten aus HDFS zu lesen
EN 4. Specify the schema in the MyHadoopCluster_HDFS input component to read the data from HDFS
Jerman | Basa inggris |
---|---|
festlegen | specify |
schema | schema |
hdfs | hdfs |
lesen | read |
daten | data |
in | in |
zu | to |
DE Erweitern Sie die Hauptdefinition mit dem Namen MyHadoopCluster_files, die dem YARN-Service entspricht. Erweitern Sie HDFS, das im Unterordner der zentralen MyHadoopCluster_files-Metaden gespeichert ist.
EN Expand the main definition named MyHadoopCluster_files, which corresponds to the YARN service. Expand HDFS, which is saved in the subfolder of the main MyHadoopCluster_files metadata.
Jerman | Basa inggris |
---|---|
erweitern | expand |
namen | named |
hdfs | hdfs |
unterordner | subfolder |
zentralen | main |
gespeichert | saved |
service | service |
im | in the |
entspricht | corresponds |
ist | is |
DE In diesem Tutorial behalten wir die Standardkonfiguration bei und erstellen Metadatendefinitionen für YARN, HDFS, Hive und HBase
EN In this tutorial, we will keep the default configuration and create metadata definitions for YARN, HDFS, Hive and HBase
Jerman | Basa inggris |
---|---|
tutorial | tutorial |
yarn | yarn |
hdfs | hdfs |
hive | hive |
in | in |
wir | we |
behalten | keep |
diesem | this |
für | for |
die | the |
erstellen | create |
und | and |
DE Erweitern Sie die Hauptdefinition mit dem Namen MyHadoopCluster, die dem YARN-Service entspricht. Erweitern Sie HBase, HDFS und Hive.
EN Expand the main definition named MyHadoopCluster, which corresponds to the YARN service. Expand HBase, HDFS, and Hive.
Jerman | Basa inggris |
---|---|
erweitern | expand |
namen | named |
hdfs | hdfs |
hive | hive |
service | service |
entspricht | corresponds |
und | and |
dem | the |
mit | to |
DE In diesem Tutorial erfahren Sie, wie Sie mittels Spark-Framework einen Big-Data-Batch-Job erstellen und Daten aus HDFS lesen, sortieren und in der Konsole anzeigen.
EN In this tutorial, create a Big Data batch Job using the Spark framework, read data from HDFS, sort them and display them in the Console.
Jerman | Basa inggris |
---|---|
tutorial | tutorial |
hdfs | hdfs |
sortieren | sort |
konsole | console |
anzeigen | display |
big | big |
framework | framework |
job | job |
in | in |
diesem | this |
aus | from |
erstellen | create |
lesen | read |
erfahren | and |
DE Dabei werden die im Tutorial „Erstellung von Metadaten für die Verknüpfung von Clustern“ erstellten Metadaten für die HDFS-Verknüpfung wiederverwendet.
EN It reuses the HDFS connection metadata created in the tutorial entitled “Creating Cluster Connection Metadata.”
DE Stellen Sie sicher, dass die Metadaten für die Hadoop-Cluster-Verknüpfung und die HDFS-Verknüpfung im Projekt-Repository angelegt wurden.
EN Ensure that the Hadoop cluster connection and the HDFS connection metadata have been created in the Project Repository.
Jerman | Basa inggris |
---|---|
metadaten | metadata |
angelegt | created |
hadoop | hadoop |
cluster | cluster |
hdfs | hdfs |
projekt | project |
repository | repository |
im | in the |
sicher | ensure |
dass | that |
und | and |
wurden | been |
DE Anders als YARN lässt sich Spark mit unterschiedlichen Dateispeichersystemen wie HDFS, Amazon S3 oder Cassandra verbinden
EN Unlike YARN, Spark can be connected to different file storage systems such as HDFS, Amazon S3, or Cassandra
Jerman | Basa inggris |
---|---|
yarn | yarn |
spark | spark |
hdfs | hdfs |
amazon | amazon |
verbinden | connected |
oder | or |
anders | unlike |
unterschiedlichen | different |
als | as |
DE Nutzen Sie dazu die im Repository verfügbaren Metadaten für die HDFS-Verknüpfung
EN To do so, you can use the HDFS connection metadata available in the Repository
Jerman | Basa inggris |
---|---|
repository | repository |
metadaten | metadata |
hdfs | hdfs |
nutzen | use |
im | in the |
verfügbaren | can |
DE Klicken Sie im Repository unter Metadata > HadoopCluster > MyHadoopCluster > HDFS auf MyHadoopCluster_HDFS und ziehen Sie diesen in den Job-Designer
EN From the Repository, under Metadata > HadoopCluster > MyHadoopCluster > HDFS, click MyHadoopCluster_HDFS and drag it to the Job Designer
Jerman | Basa inggris |
---|---|
klicken | click |
repository | repository |
metadata | metadata |
hdfs | hdfs |
ziehen | drag |
gt | gt |
job | job |
designer | designer |
und | and |
den | the |
DE Klicken Sie in der „Run“-Ansicht auf Spark Configuration und stellen Sie sicher, dass die Ausführung mit den im Repository verfügbaren Metadaten für die HDFS-Verknüpfung konfiguriert ist.
EN In the Run view, click Spark Configuration and check that the execution is configured with the HDFS connection metadata available in the Repository.
Jerman | Basa inggris |
---|---|
ansicht | view |
klicken | click |
konfiguriert | configured |
hdfs | hdfs |
metadaten | metadata |
repository | repository |
in | in |
ausführung | execution |
ist | is |
und | and |
DE Für die Konfiguration nutzt Studio die HDFS-Verknüpfungsmetadaten, die ebenfalls für die Konfiguration der Cluster-Version, Distribution und Ressourcenmanager-Adresse verwendet werden.
EN To configure it, the Studio uses the HDFS connection metadata, which also configures the cluster version, distribution, and resource manager address.
Jerman | Basa inggris |
---|---|
konfiguration | configure |
studio | studio |
distribution | distribution |
hdfs | hdfs |
cluster | cluster |
adresse | address |
version | version |
und | and |
verwendet | uses |
der | the |
DE 3. Konfigurieren Sie die tFileInputDelimited-Komponente, um Ihre Daten aus HDFS zu lesen
EN 3. Configure the tFileInputDelimited component to read your data from HDFS
Jerman | Basa inggris |
---|---|
konfigurieren | configure |
hdfs | hdfs |
komponente | component |
zu | to |
lesen | read |
ihre | your |
daten | data |
aus | from |
DE Jetzt können Sie eine Verbindung zu HDFS herstellen und Ihr Job wird so konfiguriert, dass er auf Ihrem Cluster ausgeführt wird
EN Now, you can connect to HDFS and your Job is configured to execute on your cluster
Jerman | Basa inggris |
---|---|
verbindung | connect |
hdfs | hdfs |
job | job |
konfiguriert | configured |
cluster | cluster |
jetzt | now |
ihr | your |
und | and |
herstellen | to |
wird | is |
können | can |
sie | you |
DE Die tFileInputDelimited-Komponente ist jetzt so konfiguriert, dass Kundendaten aus HDFS gelesen werden.
EN The tFileInputDelimited component is now configured to read customer data from HDFS.
Jerman | Basa inggris |
---|---|
konfiguriert | configured |
kundendaten | customer data |
hdfs | hdfs |
komponente | component |
jetzt | now |
gelesen | read |
ist | is |
die | the |
aus | from |
dass | to |
DE Ihr Job kann jetzt ausgeführt werden. Daten aus HDFS können gelesen, sortiert und in der Konsole angezeigt werden.
EN Your Job is now ready to run. It reads data from HDFS, sorts it, and displays it in the console.
Jerman | Basa inggris |
---|---|
hdfs | hdfs |
sortiert | sorts |
konsole | console |
angezeigt | displays |
job | job |
jetzt | now |
ausgeführt | run |
in | in |
ihr | your |
daten | data |
gelesen | and |
der | the |
aus | from |
werden | to |
DE MapReduce ist ein Programmiermodell bzw. Muster im Hadoop-Framework, das für den Zugriff auf Big Data im Hadoop File System (HDFS) verwendet wird. Es ist eine Kernkomponente, die für das Funktionieren des Hadoop-Frameworks unabdingbar ist.
EN MapReduce is a programming model or pattern within the Hadoop framework that is used to access big data stored in the Hadoop File System (HDFS). It is a core component, integral to the functioning of the Hadoop framework.
Jerman | Basa inggris |
---|---|
big | big |
hadoop | hadoop |
system | system |
hdfs | hdfs |
framework | framework |
muster | pattern |
im | in the |
data | data |
verwendet | used |
es | it |
zugriff | access |
bzw | or |
ein | a |
DE MapReduce war früher die einzige Methode, um die im HDFS gespeicherten Daten abzurufen, aber das ist inzwischen nicht mehr der Fall
EN MapReduce was once the only method through which the data stored in the HDFS could be retrieved, but that is no longer the case
Jerman | Basa inggris |
---|---|
früher | once |
methode | method |
hdfs | hdfs |
gespeicherten | stored |
im | in the |
war | was |
daten | data |
ist | is |
fall | the |
aber | but |
DE Heute gibt es noch andere abfragebasierte Systeme wie Hive und Pig, die zum Abrufen von Daten im HDFS mit SQL-ähnlichen Anweisungen verwendet werden
EN Today, there are other query-based systems such as Hive and Pig that are used to retrieve data from the HDFS using SQL-like statements
Jerman | Basa inggris |
---|---|
systeme | systems |
hive | hive |
hdfs | hdfs |
verwendet | used |
heute | today |
abrufen | retrieve |
daten | data |
und | and |
andere | other |
zum | the |
DE Alle Eingabe- und Ausgabedaten sind im HDFS gespeichert
EN All inputs and outputs are stored in the HDFS
Jerman | Basa inggris |
---|---|
im | in the |
hdfs | hdfs |
gespeichert | stored |
alle | all |
und | and |
sind | are |
DE Talend Studio mit seiner oberflächenbasierten Umgebung erlaubt Benutzern, Daten aus dem HDFS zu laden und zu extrahieren.
EN The Talend Studio provides a UI-based environment that enables users to load and extract data from the HDFS.
Jerman | Basa inggris |
---|---|
talend | talend |
studio | studio |
umgebung | environment |
benutzern | users |
hdfs | hdfs |
laden | load |
extrahieren | extract |
und | and |
zu | to |
daten | data |
dem | the |
erlaubt | enables |
aus | from |
DE Mit einem verteilten Dateisystem namens HDFS (Hadoop Distributed File System) werden die Daten auf mehrere Einheiten verteilt und in Clustern aus Commodity-Servern gespeichert
EN By using a distributed file system called an HDFS (Hadoop Distributed File System), the data is split into chunks and saved across clusters of commodity servers
Jerman | Basa inggris |
---|---|
namens | called |
hdfs | hdfs |
hadoop | hadoop |
system | system |
gespeichert | saved |
servern | servers |
daten | data |
und | and |
verteilt | distributed |
mit | of |
in | into |
DE Datenvielfalt – HDFS kann unterschiedliche Datenformate wie unstrukturierte (z. B
EN Data diversity — HDFS has the capability to store different data formats such as unstructured (e.g
DE HDFS ist der Teil von Hadoop, der das verteilte Dateisystem pflegt, damit Daten auf mehreren Servern gespeichert und repliziert werden können.
EN HDFS is the pillar of Hadoop that maintains the distributed file system. It makes it possible to store and replicate data across multiple servers.
Jerman | Basa inggris |
---|---|
hdfs | hdfs |
hadoop | hadoop |
verteilte | distributed |
pflegt | maintains |
servern | servers |
gespeichert | store |
ist | is |
daten | data |
und | and |
teil | of |
mehreren | multiple |
damit | to |
DE HDFS hat einen NameNode und einen DataNode
EN HDFS has a NameNode and DataNode
Jerman | Basa inggris |
---|---|
hdfs | hdfs |
einen | a |
und | and |
hat | has |
DE Hive ist ein Data Warehousing-System, das dabei hilft, große Datensätze im HDFS abzufragen
EN Hive is a data warehousing system that helps to query large datasets in the HDFS
Jerman | Basa inggris |
---|---|
hive | hive |
hilft | helps |
im | in the |
hdfs | hdfs |
system | system |
große | large |
ist | is |
ein | a |
data | data |
DE Hive hat den Vorteil, dass ein JDBC/ODBC-Treiber als Schnittstelle zwischen der Anwendung und dem HDFS dient
EN The advantage of Hive is that a JDBC/ODBC driver acts as an interface between the application and the HDFS
Jerman | Basa inggris |
---|---|
hive | hive |
vorteil | advantage |
jdbc | jdbc |
schnittstelle | interface |
hdfs | hdfs |
treiber | driver |
anwendung | application |
dass | that |
als | as |
zwischen | between |
und | and |
den | the |
ein | a |
DE Pig wurde von Yahoo! entwickelt und ähnelt Hive in der Hinsicht, dass damit keine MapReduce-Funktionen erstellt werden müssen, um das HDFS abzufragen
EN Pig, initially developed by Yahoo!, is similar to Hive in that it eliminates the need to create MapReduce functions to query the HDFS
Jerman | Basa inggris |
---|---|
yahoo | yahoo |
hive | hive |
hdfs | hdfs |
funktionen | functions |
entwickelt | developed |
in | in |
und | create |
ähnelt | similar to |
der | the |
dass | that |
damit | to |
DE Pig hat außerdem eine Laufzeitumgebung mit einer Schnittstelle zu HDFS. Scripts in Sprachen wie Java oder Python lassen sich auch in Pig einbetten.
EN Pig also has a runtime environment that interfaces with HDFS. Scripts in languages such as Java or Python can also be embedded inside Pig.
Jerman | Basa inggris |
---|---|
schnittstelle | interfaces |
hdfs | hdfs |
scripts | scripts |
java | java |
python | python |
sprachen | languages |
oder | or |
hat | has |
in | in |
auch | also |
mit | with |
lassen | can |
Nampilake terjemahan 50 saka 50