Iniziare con AWS EMR

Amazon Cloud Provider offre un servizio EMR attraverso il quale i cluster possono essere lanciati in pochi minuti senza preoccuparsi della gestione dei cluster e del provisioning dei nodi. Consente ai servizi di archiviazione e calcolo di Amazon di crescere in modo indipendente portando a un migliore utilizzo delle risorse. Consente all'utente di archiviare i dati in un bucket Amazon S3 ed eseguirli utilizzando i servizi di calcolo della piattaforma.

Cominciamo con il servizio Amazon EMR.

Iniziare con AWS EMR

Amazon EMR è un servizio di gestione dei dati che utilizza vari framework per l'analisi dei big data creando cluster utilizzando le istanze di Amazon EC2 e il suo flusso di lavoro è stato spiegato di seguito:

Pianifica e configura: Per creare un cluster EMR, l'utente deve pianificare l'archiviazione necessaria per gestire i big data e quindi scegliere i framework per analizzare i big data.

Maneggio: La gestione del cluster può essere eseguita collegando ad esso e quindi inviando i dati sul cluster per verificare i risultati prima di terminare il cluster:

Ripulire: Questo passaggio è per terminare il cluster e le sue risorse ed è importante poiché i cluster inattivi possono costare molto all'utente:

Nodo in emr

Un cluster EMR è una combinazione di istanze EC2 e ogni istanza è chiamata nodo e i suoi tipi sono spiegati di seguito:

Nodo principale: È il nodo principale o il nodo leader che è responsabile della gestione di tutte le risorse del cluster.

Nodo centrale: Host Host Hadoop Distributed File System (HDFS) Dati ed esegue le attività del nodo primario e il nodo primario gestisce le attività per il nodo core.

Nodo di attività: Questi nodi non ospitano dati ma eseguono attività per i nodi precedenti ed è un nodo helper, il che significa che non è obbligatorio creare durante l'avvio del cluster EMR:

Crea cluster EMR

Per creare un cluster sul servizio EMR di AWS, vai nella dashboard EMR cercando il servizio dalla console Amazon:

In questa pagina, selezionare "Gruppi"Dal pannello sinistro e fai clic su"Crea cluster"Pulsante:

Nella pagina di creazione del cluster, fai clic su "Vai alle opzioni anticipate" collegamento:

Configurazione del software: Nella pagina Impostazioni anticipate, l'utente può scegliere vari quadri di elaborazione dei dati open source e il servizio offre anche la creazione di più nodi sull'istanza EC2:

Configurazione hardware: In questa pagina, l'utente può configurare le risorse richieste per il cluster EMR disponibile sul cloud:

Nodi e istanze del cluster: Questa sezione offre all'utente di configurare i tipi di nodi che creeranno le istanze EC2 con risorse configurate:

Sicurezza: Nell'ultima pagina, selezionare il file della coppia di tasti privati ​​EC2 che può essere creato nella pagina della coppia di tasti dalla dashboard EC2 per connettersi ai nodi:

Il cluster EMR verrà visualizzato sulla sua pagina:

Hai creato con successo un cluster EMR su AWS.

Conclusione

Il servizio AWS EMR viene utilizzato per creare cluster per pianificare l'archiviazione per i big data da utilizzare con l'aiuto del file system distribuito. Ogni cluster viene creato con più nodi (istanze EC2) collegate ad esso che può creare e connettersi alla macchina virtuale vuota sul cloud. Questi cluster possono essere utilizzati per gestire i big data sul cloud senza che le risorse vengano utilizzate dal sistema.