Pyspark - Union & Unionall
Esempio 1:
Nel seguente esempio, creeremo il Frame dati PysPark con 5 righe e 6 colonne e visualizzano il metodo show ():
#import il modulo pyspark
importare pyspark
#IMPORT SPARKSESSION per la creazione di una sessione
da pyspark.SQL Importazione di importazione
#Crea un'app chiamata LinuxHint
Spark_app = SparkSession.costruttore.appname ('LinuxHint').getOrCreate ()
# Crea dati studenteschi con 5 righe e 6 attributi
Students1 = ['rollno': '001', 'name': 'sravan', 'age': 23, 'altezza': 5.79, "peso": 67, "indirizzo": "guntur",
'rollno': '002', 'name': 'ojaswi', 'age': 16, 'altezza': 3.79, 'peso': 34, 'indirizzo': 'hyd',
'rollno': '003', 'name': 'gnanesh chowdary', 'age': 7, 'altezza': 2.79, 'peso': 17, 'indirizzo': 'patna',
'rollno': '004', 'name': 'rohith', 'age': 9, 'altezza': 3.69, 'peso': 28, 'indirizzo': 'hyd',
'rollno': '005', 'name': 'sridevi', 'age': 37, 'altezza': 5.59, 'peso': 54, 'indirizzo': 'hyd']
# Crea il frame dati
df = spark_app.CreatedAtaFrame (Students1)
# Visualizza dati dati
df.spettacolo()
Produzione:
Esempio 2:
Nel seguente esempio, creeremo il Frame dati PysPark con 3 righe e 6 colonne e visualizzano il metodo show ():
#import il modulo pyspark
importare pyspark
#IMPORT SPARKSESSION per la creazione di una sessione
da pyspark.SQL Importazione di importazione
#Crea un'app chiamata LinuxHint
Spark_app = SparkSession.costruttore.appname ('LinuxHint').getOrCreate ()
# Crea dati studenteschi con 5 righe e 6 attributi
Students2 = ['rollno': '056', 'name': 'Vinay', 'Age': 23, 'altezza': 5.79, 'peso': 67, 'indirizzo': 'tamilnadu',
'rollno': '045', 'name': 'bhanu', 'age': 16, 'altezza': 3.79, 'peso': 34, 'indirizzo': 'hyd',
'rollno': '032', 'name': 'jyothika chowdary', 'age': 7, 'altezza': 2.79, 'peso': 17, 'indirizzo': 'Delhi']
# Crea il frame dati
df2 = spark_app.CreatedAtaFrame (Students2)
# Visualizza il secondo frame dati
df2.spettacolo()
Produzione:
Pyspark - Union () Function
La funzione Union () aggiungerà righe da uno o più frame di dati al primo frame dati. Vedremo come aggiungere le righe dal secondo frame dati al primo frame dati.
Sintassi:
First_DataFrame.Union (Second_DataFrame)
Dove:
- First_DataFrame è il primo Frame dati di input.
- Second_DataFrame è il secondo frame dati di input.
Esempio:
In questo esempio, applichiamo la funzione Union () per aggiungere il secondo frame di dati al primo
DataFrame. Infine, stiamo visualizzando il frame dati utilizzando il metodo show ():
#import il modulo pyspark
importare pyspark
#IMPORT SPARKSESSION per la creazione di una sessione
da pyspark.SQL Importazione di importazione
#Crea un'app chiamata LinuxHint
Spark_app = SparkSession.costruttore.appname ('LinuxHint').getOrCreate ()
# Crea dati studenteschi con 5 righe e 6 attributi
Students1 = ['rollno': '001', 'name': 'sravan', 'age': 23, 'altezza': 5.79, "peso": 67, "indirizzo": "guntur",
'rollno': '002', 'name': 'ojaswi', 'age': 16, 'altezza': 3.79, 'peso': 34, 'indirizzo': 'hyd',
'rollno': '003', 'name': 'gnanesh chowdary', 'age': 7, 'altezza': 2.79, 'peso': 17, 'indirizzo': 'patna',
'rollno': '004', 'name': 'rohith', 'age': 9, 'altezza': 3.69, 'peso': 28, 'indirizzo': 'hyd',
'rollno': '005', 'name': 'sridevi', 'age': 37, 'altezza': 5.59, 'peso': 54, 'indirizzo': 'hyd']
# Crea il frame dati
df = spark_app.CreatedAtaFrame (Students1)
# Crea dati studenteschi con 5 righe e 6 attributi
Students2 = ['rollno': '056', 'name': 'Vinay', 'Age': 23, 'altezza': 5.79, 'peso': 67, 'indirizzo': 'tamilnadu',
'rollno': '045', 'name': 'bhanu', 'age': 16, 'altezza': 3.79, 'peso': 34, 'indirizzo': 'hyd',
'rollno': '032', 'name': 'jyothika chowdary', 'age': 7, 'altezza': 2.79, 'peso': 17, 'indirizzo': 'Delhi']
# Crea il frame dati
df2 = spark_app.CreatedAtaFrame (Students2)
# Perform Union ()
df.Unione (DF2).spettacolo()
Produzione:
Pyspark - UnionAll () Function
La funzione UnionAll () aggiungerà righe da uno o più frame di dati al primo frame dati. Vedremo come aggiungere le righe dal secondo frame dati al primo frame dati.
Sintassi:
First_DataFrame.UnionAll (Second_DataFrame)
Dove:
- First_DataFrame è il primo Frame dati di input.
- Second_DataFrame è il secondo frame dati di input.
Esempio:
In questo esempio, applichiamo la funzione UnionAll () per aggiungere il secondo frame dati al primo frame dati. Infine, stiamo visualizzando il frame dati utilizzando il metodo show ().
#import il modulo pyspark
importare pyspark
#IMPORT SPARKSESSION per la creazione di una sessione
da pyspark.SQL Importazione di importazione
#Crea un'app chiamata LinuxHint
Spark_app = SparkSession.costruttore.appname ('LinuxHint').getOrCreate ()
# Crea dati studenteschi con 5 righe e 6 attributi
Students1 = ['rollno': '001', 'name': 'sravan', 'age': 23, 'altezza': 5.79, "peso": 67, "indirizzo": "guntur",
'rollno': '002', 'name': 'ojaswi', 'age': 16, 'altezza': 3.79, 'peso': 34, 'indirizzo': 'hyd',
'rollno': '003', 'name': 'gnanesh chowdary', 'age': 7, 'altezza': 2.79, 'peso': 17, 'indirizzo': 'patna',
'rollno': '004', 'name': 'rohith', 'age': 9, 'altezza': 3.69, 'peso': 28, 'indirizzo': 'hyd',
'rollno': '005', 'name': 'sridevi', 'age': 37, 'altezza': 5.59, 'peso': 54, 'indirizzo': 'hyd']
# Crea il frame dati
df = spark_app.CreatedAtaFrame (Students1)
# Crea dati studenteschi con 5 righe e 6 attributi
Students2 = ['rollno': '056', 'name': 'Vinay', 'Age': 23, 'altezza': 5.79, 'peso': 67, 'indirizzo': 'tamilnadu',
'rollno': '045', 'name': 'bhanu', 'age': 16, 'altezza': 3.79, 'peso': 34, 'indirizzo': 'hyd',
'rollno': '032', 'name': 'jyothika chowdary', 'age': 7, 'altezza': 2.79, 'peso': 17, 'indirizzo': 'Delhi']
# Crea il frame dati
df2 = spark_app.CreatedAtaFrame (Students2)
# Perform UnionAll ()
df.UnionAll (DF2).spettacolo()
Produzione:
Conclusione
In questo articolo, possiamo aggiungere due o più gesti di dati utilizzando i metodi Union () e UnionAll (). La funzionalità di entrambi i metodi è la stessa e discussa con esempi forniti. Speriamo che tu abbia trovato questo articolo utile. Dai un'occhiata a altri articoli di suggerimento Linux per suggerimenti e tutorial.