189 8069 5689
本篇文章为大家展示了Pyspark处理数据中带有列分隔符的数据集，内容简明扼要并且容易理解，绝对能使你眼前一亮，通过这篇文章的详细介绍希望你能有所收获。
创新互联建站主营云安网站建设的网络公司,主营网站建设方案,App定制开发,云安h5小程序定制开发搭建,云安网站营销推广欢迎云安等地区企业咨询
下面主要内容是处理在数据集中存在列分隔符或分隔符的特殊场景。对于Pyspark开发人员来说，处理这种类型的数据集有时是一件令人头疼的事情，但无论如何都必须处理它。
数据集基本上如下所示:
#first line is the headerNAME|AGE|DEP
Vivek|Chaudhary|32|BSC
John|Morgan|30|BE
Ashwin|Rao|30|BE数据集包含三个列" Name "， " AGE "， " DEP "，用分隔符" | "分隔。如果我们关注数据集，它也包含' | '列名。
让我们看看如何进行下一步:
步骤1。使用spark的Read .csv()方法读取数据集:
#create spark session
import pyspark
from pyspark.sql import SparkSession
spark=SparkSession.builder.appName(‘delimit’).getOrCreate()上面的命令帮助我们连接到spark环境，并让我们使用spark.read.csv()读取数据集
#create
df=spark.read.option(‘delimiter’,’|’).csv(r’/delimit_data.txt’,inferSchema=True,header=True)
df.show() 
从文件中读取数据并将数据放入内存后我们发现，最后一列数据在哪里，列年龄必须有一个整数数据类型，但是我们看到了一些其他的东西。这不是我们所期望的。一团糟，完全不匹配，不是吗?答案是肯定的，确实一团糟。
现在，让我们来学习如何解决这个问题。
步骤2。再次读取数据，但这次使用Read .text()方法:
df=spark.read.text(r’/Python_Pyspark_Corp_Training/delimit_data.txt’)
df.show(truncate=0)
#extract first row as this is our header
head=df.first()[0]
schema=[‘fname’,’lname’,’age’,’dep’]
print(schema)
Output: ['fname', 'lname', 'age', 'dep']
下一步是根据列分隔符对数据集进行分割:
#filter the header, separate the columns and apply the schema
df_new=df.filter(df[‘value’]!=head).rdd.map(lambda x:x[0].split(‘|’)).toDF(schema)
df_new.show()
现在，我们已经成功分离出列。
我们已经成功地将“|”分隔的列(“name”)数据分成两列。现在，数据更加干净，可以轻松地使用。
接下来，连接列“fname”和“lname”:
from pyspark.sql.functions import concat, col, lit
df1=df_new.withColumn(‘fullname’,concat(col(‘fname’),lit(“|”),col(‘lname’)))
df1.show()
要验证数据转换，我们将把转换后的数据集写入CSV文件，然后使用read. CSV()方法读取它。
df1.write.option(‘sep’,’|’).mode(‘overwrite’).option(‘header’,’true’).csv(r’\cust_sep.csv’)
下一步是数据验证:
df=spark.read.option(‘delimiter’,’|’).csv(r,inferSchema=True,header=True)
df.show() 
现在的数据看起来像我们想要的那样。
上述内容就是Pyspark处理数据中带有列分隔符的数据集，你们学到知识或技能了吗？如果还想学到更多技能或者丰富自己的知识储备，欢迎关注创新互联行业资讯频道。