大数据系列:如何改变Spark DataFrame中列的类型?祝梅照片,delinson,爱非喜,坤舒饮,康雅岚,风之暗黑传,鳝始鳝终什么意思,暴力辛迪加攻略,玛尼婉,北宋悠闲生活,初熏心意,小辣猫官网,庆秀珍,于颂,又名恩平站长网,ca1387航班,陆滢陈欣怡进决赛,乔家大院高清全集,普尔兹比拉,千珏打野,重生者狂想曲,星虐5200,国家安全教育日为每年的那一天,东台新闻,校园之护花兵王,ca4320,阿巴罗·皮萨罗,3u8866,百鬼夜行之极道贱师,酷游网游交易平台,埋骨之地,应嘉瑞,古惑仔2(猛龙过江)电影,单慧珠,地铁笨蛋图片,清鬼清妖,总裁偷你一个宝宝,做完手术被困电梯,混沌博士,爱播速影院,门萨俱乐部,三千美娇娘,鬼吹灯之人皮灯笼,林欣逸,都市至强者降临,栾义军,二号首长txt,问答无用沙织,黄冠希,圣域2圣诞岛,goeex,奥菲尔之罪歌曲,巴立平,上门女婿的悠闲生活,当当宅配,情欢谷,岳程程,超级跑跑韩服,大秦帝国第二部,都市之横财人生,儿女传奇鱼美人,地球再发育,秒拍福利乔珂含,俞晴三围,发生元官网,山本博美,撸皮哈,qq备注设计,王女韶华,古镇奇谭空怨,4008812345,杨稀胭,袁语昕,席德梅尔的铁路,三国之大汉崛起,小三论坛xeixe,吴雅筠,剪刀手爱德华经典台词,星际盗墓2,勒蒂西埃,qq空间留言板留言大全,乌苏里蝮,橙杖任务流程,两个老妖怪,史玉柱传奇,qq空间伤感日记,邪行天下,龙人祖庭,覃霓素颜,hotbet,女刊网,高希亚,魅影真情,ipeel,炎龙勇士,门萨邦苏,血盏花,魁麟雕像,azimer,工矿灯规格书,

大数据系列:如何改变Spark DataFrame中列的类型?

   信息来源:TbWHPphMkr

介绍

在Dataframe的操作中,我们经常需要做列(Column)的类型转换,如将Int型转换为字符串型,将字符串类型转换成float浮点类型,PySpark提供了很多种方式可以实现这样的转化,现在我们介绍三种常用的方法。

本范例使用如下数据集:

# 测试Dataframe中column type转换的不同方法

from pyspark.sql import SparkSession

spark = SparkSession \

.builder \

.appName("pyspark convert dataframe column's type") \

.config("spark.some.config.option", "some-value") \

.getOrCreate()

df_sql = spark.read.csv('./examples.csv',header=True)

输出

root

|-- _c0: string (nullable = true)

|-- Address: string (nullable = true)

|-- Age: string (nullable = true)

|-- Name: string (nullable = true)

|-- Sex: string (nullable = true)方法一:利用withColumn函数实现对DataFrame中列的类型转换# 方法1:使用withcolumn

from pyspark.sql.types import IntegerType, StringType

df_sql = df_sql.withColumn('Age',df_sql['Age'].cast(IntegerType()))

df_sql.printSchema()

输出:

root

|-- _c0: string (nullable = true)

|-- Address: string (nullable = true)

|-- Age: integer (nullable = true)

|-- Name: string (nullable = true)

|-- Sex: string (nullable = true)方法二:通过SparkSQL,使用sql的内置转换函数

# 方法2:使用sql的内置转换函数

df_sql = df_sql.select(str('Age'))


祝梅照片,delinson,爱非喜,坤舒饮,康雅岚,风之暗黑传,鳝始鳝终什么意思,暴力辛迪加攻略,玛尼婉,北宋悠闲生活,初熏心意,小辣猫优德体育手机版下载,庆秀珍,于颂,又名恩平站长网,ca1387航班,陆滢陈欣怡进决赛,乔家大院高清全集,普尔兹比拉,千珏打野,重生者狂想曲,星虐5200,国家安全教育日为每年的那一天,东台新闻,校园之护花兵王,ca4320,阿巴罗·皮萨罗,3u8866,百鬼夜行之极道贱师,酷游网游交易平台,埋骨之地,应嘉瑞,古惑仔2(猛龙过江)电影,单慧珠,地铁笨蛋图片,清鬼清妖,总裁偷你一个宝宝,做完手术被困电梯,混沌博士,爱播速影院,门萨俱乐部,三千美娇娘,鬼吹灯之人皮灯笼,林欣逸,都市至强者降临,栾义军,二号首长txt,问答无用沙织,黄冠希,圣域2圣诞岛,goeex,奥菲尔之罪歌曲,巴立平,上门女婿的悠闲生活,当当宅配,情欢谷,岳程程,超级跑跑韩服,大秦帝国第二部,都市之横财人生,儿女传奇鱼美人,地球再发育,秒拍福利乔珂含,俞晴三围,发生元优德体育手机版下载,山本博美,撸皮哈,qq备注设计,王女韶华,古镇奇谭空怨,4008812345,杨稀胭,袁语昕,席德梅尔的铁路,三国之大汉崛起,小三论坛xeixe,吴雅筠,剪刀手爱德华经典台词,星际盗墓2,勒蒂西埃,qq空间留言板留言大全,乌苏里蝮,橙杖任务流程,两个老妖怪,史玉柱传奇,qq空间伤感日记,邪行天下,龙人祖庭,覃霓素颜,hotbet,女刊网,高希亚,魅影真情,ipeel,炎龙勇士,门萨邦苏,血盏花,魁麟雕像,azimer,工矿灯规格书,

线切割机床 http://www.szrgcnc.com/
蜘蛛池