Come creare un lavoro di operazione batch S3

Un'operazione batch è un'attività o un lavoro eseguito automaticamente da un sistema con interfaccia umana minima. L'operazione può essere programmata, il che significa che verrà sempre eseguita nella stessa moda di routine o invocata da una chiamata di funzione. Inoltre, un'operazione batch ci consente di eseguire lo stesso compito su un gran numero di oggetti invece di farlo su ogni singolo oggetto uno per uno. Questo lo rende molto conveniente e risparmiando tempo per il server.

AWS ci consente di creare operazioni batch per i nostri secchi S3 per elaborare i dati su larga scala. Gestisce e traccia anche le attività operative batch e mantiene i rapporti con dettagli sul completamento del lavoro. Le cose sono molto più facili da gestire in quanto questo è un servizio senza server di AWS. Diamo un'occhiata a come creare un lavoro di operazione batch per il nostro secchio S3.

Creazione di operazioni batch S3 utilizzando la console

Ora vedremo come creare un lavoro di operazione batch S3. Quindi, accedi al tuo account AWS e crea un secchio S3.

Per creare un lavoro di operazione batch, abbiamo bisogno di un file manifest dei dati che dobbiamo gestire utilizzando quel lavoro. Per generare il manifest, vai alla sezione di gestione nel secchio S3 utilizzando la barra dei menu in alto.

Nella sezione Gestione, trascinare verso il basso sulle configurazioni dell'inventario e fare clic su Crea configurazioni di inventario.

Nella sezione Crea, è necessario fornire un nome per la configurazione dell'inventario.

Quindi, è necessario selezionare il percorso di destinazione in cui si desidera archiviare i rapporti di inventario. Devi anche allegare la politica per concedere l'autorizzazione per mettere i dati nel bucket S3.

Puoi anche cambiare il formato del file manifest se lo desideri. Qui, andiamo con CSV come desideriamo utilizzarlo in un'operazione batch.

L'utente può specificare quale tipo di informazioni desidera nel suo rapporto manifest e riguardo a quali oggetti. AWS fornisce più opzioni, come tipo di oggetto, classe di archiviazione, integrità dei dati e blocco degli oggetti.

Ora, fai semplicemente clic sul pulsante Crea nell'angolo destro del pulsante e otterrai la configurazione dell'inventario per il tuo bucket S3. Il rapporto manifest verrà generato in 48 ore e memorizzato nel secchio di destinazione.

Successivamente, creeremo un lavoro batch S3. Basta fare clic sulle operazioni batch nel pannello menu giusto nella sezione S3 per aprire la console operativa batch.

Qui, dobbiamo creare un lavoro specifico per un compito particolare che vogliamo eseguire sui nostri oggetti nel secchio S3. Quindi, fai clic su Crea lavoro per iniziare a costruire il tuo primo lavoro di operazione batch S3.

Per la creazione di posti di lavoro, abbiamo prima bisogno di un manifest che fornisca i dettagli sugli oggetti memorizzati nel secchio. Puoi creare un manifest in JSON o CSV dalla sezione Gestione nel tuo secchio S3, ma ciò richiederà del tempo per generare il rapporto. Quindi facciamo clic su Crea manifest utilizzando la configurazione di replica S3.

Scegli il secchio di origine per il quale hai intenzione di creare questo lavoro. Il secchio può anche appartenere ad altri account AWS.

Puoi anche salvare il manifest, che verrà finalmente creato per questa operazione batch. Devi fornire la destinazione in cui verrà salvato.

Ora possiamo scegliere l'operazione che vogliamo che il nostro funzionamento batch. AWS fornisce più operazioni come oggetti copiati, invoca le funzioni Lambda, elimina i tag e molti altri. Tuttavia, un manifest creato utilizzando la configurazione di replica S3 consente solo l'operazione di replica.

Successivamente, è possibile fornire la descrizione dell'operazione batch e definire il livello di priorità in base ai numeri; valore elevato significa priorità maggiore.

Se si desidera ottenere un rapporto di completamento del lavoro, controlla l'opzione Genera Completion Report e fornisci la posizione in cui verrà archiviato.

Per le autorizzazioni, è necessario avere un ruolo IAM con una politica operativa batch S3 che è possibile creare facilmente per le operazioni batch nella sezione IAM.

Infine, rivedi tutte le impostazioni e fai clic su Crea lavoro per completare il processo.

Una volta creato, apparirà nella sezione Jobs. Potrebbe volerci del tempo per essere pronti in base alle operazioni che hai selezionato per il lavoro. Dopodiché, puoi eseguirlo come vuoi.

Quindi, abbiamo creato correttamente un lavoro di operazione batch S3 utilizzando la console AWS.

Creazione di operazioni batch S3 mediante CLI

Ora, vediamo come configurare un lavoro di operazione batch S3 utilizzando l'interfaccia della riga di comando AWS. Per questo, configura le credenziali CLI AWS sulla macchina. Visita il seguente blog per configurare le credenziali di AWS CLI.

https: // linuxhint.com/configure-aws-cli-credentials/

Dopo aver configurato le credenziali della CLI AWS, creare un bucket S3 utilizzando il seguente comando nel terminale:

$: AWS S3API Crea-Bucket--Bucket --regione

Quindi, devi creare l'operazione batch che si desidera eseguire sui tuoi oggetti. Quindi, crea un documento JSON, definisci l'operazione desiderata e fornisci gli attributi richiesti di detta operazione. Di seguito è riportato un esempio di operazione di tagging dell'oggetto S3:

Successivamente, se si desidera generare il rapporto di completamento del tuo lavoro batch, è necessario fornire la destinazione per archiviare quel file di report. Il formato JSON predefinito per questo è il seguente:

"Secchio": "",
"Formato": "report_csv_20180820",
"Abilitato": vero | falso,
"Prefisso": "",
"ReportScope": "Alltasks | non fa EventSonly"

Quindi, è necessario fornire il file manifest contenente i metadati di tutti gli oggetti memorizzati nel secchio S3 su cui si desidera eseguire l'operazione batch. Devi creare un altro file JSON con i seguenti attributi:

"Spec":
"Formato": "S3Batchoperations_csv_20180820"
"Fields": ["Bucket", "Key"]
,
"Posizione":
"Objectarn": "",
"ObjectversionId": "",
"Etag": ""

Infine, possiamo creare la nostra operazione batch usando il seguente comando:

$: AWS S3Control Create-Job
--Account ID
--conferma richiesta
--File operativo:
--File di report: //
--File manifest: //--essere di ruolo

Quindi, abbiamo creato con successo un lavoro di operazione batch utilizzando AWS CLI.

Conclusione:

L'operazione batch S3 è uno strumento molto utile da utilizzare quando si desidera gestire un gran numero di oggetti. I lavori batch potrebbero essere spesso difficili e complessi da impostare per la prima volta. Ma possono facilmente ridurre i tuoi sforzi, costi e tempo. Sono usati per eseguire algoritmi complessi, attività ripetitive, join tavolo in database SQL, invocare una funzione Lambda e chiamare un'API REST. Devi solo fornire l'elenco di oggetti nel secchio S3 su cui si desidera eseguire l'attività e il processo verrà eseguito ogni volta che viene attivata l'operazione batch. Esempi comuni di operazioni batch includono l'etichettatura dell'oggetto S3, il recupero di dati specifici dal ghiacciaio S3, il trasferimento di dati da un bucket S3 a un altro, generando estratti conto bancari, elaborazione di report e previsioni analitiche, notifiche di adempimento degli ordini e sistema di sincronizzazione e -mail. Speriamo che tu abbia trovato questo articolo utile. Controlla gli altri articoli di suggerimento Linux per ulteriori suggerimenti e tutorial.