大数据系列:如何改变Spark DataFrame中列的类型?广东工业大学考研论坛,苏州乐园金逸国际电影城,董大维,秋霞电影院兔费理论84MB,cs1.5官网,多美熊,淮海晚报数字报,couples retreat,人魔借犊,兄贵同盟,弗沃尔发怒了,郭晶晶婚纱,阿诗玛是我国云南哪个民族塑造的艺术形象,欧伦堡旗舰店,魔兽领主下载,死神殿下溺宠我,邪道狼尊,平安证券e点通,混世小农民txt,传奇盟重花屏补丁,艾尔沃斯·蒙娜丽莎,陪嫁丫鬟紫嫣,上海黑匣子鬼屋,女孩别为我哭泣,212奶牛,阿弥壳断层之怪,求生之路2配置,部落守卫战12-4,绞刑架下的报告,芬克的挖掘机,木木坏,金山打字精灵,wrar破解版,游戏王5ds国语,谁让恶魔动了心,重生之绝世猛男,green网络加速器,12341234像首歌,poreotics,一本道系列,一吻成瘾鲜妻太美味免费阅读,守卫剑阁1.24,一骑当千第一季,你和他我们的爱国语版,宝至尊和田玉,ben10变身之谜,北洋军覆灭记,赵牧阳吸毒,煞到你的床,伏魔战记3.9变色宠版,爆笑打野鸡,三少爷的剑txt,ose.exe,92ri,霍震霆资产,hold住姐夫,黑石山英雄难度攻略,农女的锦绣田庄,天音教育互联,regalia三圣星,王牌逗王牌百度云,烈火金刚演员表,薄幸消得有青玉,重生之我为书狂,携创网,yiuxi,e7数码联盟,吱吱雀仙桥,百利东京商城,淫男乱女,国家宝藏1国语,穿书后我有了四个爸爸,明朗少女成功记国语版,govoyage,神木林官网,塔季扬娜·列别杰娃,何乘风,进藤光头像,旋风四驱王,枫岛松,宅福利 推女郎,解构艾弗森,卡卡是公主,qq炫舞迅雷下载,同涩网等级限制,影音先锋成人色情网站,玉竹嫩白柔肤水,妖舟作品,欢乐中国行魅力汉中,异界军火商,秋本纯菜,爱拼北京百度影音,闫凤娇迅雷下载,不辞冰雪为卿热txt,元素怪兽td,权色冲天,煲机教程,俊秀女装,成就一生金口才,济宁运河实验中学,

大数据系列:如何改变Spark DataFrame中列的类型?

   信息来源:TbWHPphMkr

介绍

在Dataframe的操作中,我们经常需要做列(Column)的类型转换,如将Int型转换为字符串型,将字符串类型转换成float浮点类型,PySpark提供了很多种方式可以实现这样的转化,现在我们介绍三种常用的方法。

本范例使用如下数据集:

# 测试Dataframe中column type转换的不同方法

from pyspark.sql import SparkSession

spark = SparkSession \

.builder \

.appName("pyspark convert dataframe column's type") \

.config("spark.some.config.option", "some-value") \

.getOrCreate()

df_sql = spark.read.csv('./examples.csv',header=True)

输出

root

|-- _c0: string (nullable = true)

|-- Address: string (nullable = true)

|-- Age: string (nullable = true)

|-- Name: string (nullable = true)

|-- Sex: string (nullable = true)方法一:利用withColumn函数实现对DataFrame中列的类型转换# 方法1:使用withcolumn

from pyspark.sql.types import IntegerType, StringType

df_sql = df_sql.withColumn('Age',df_sql['Age'].cast(IntegerType()))

df_sql.printSchema()

输出:

root

|-- _c0: string (nullable = true)

|-- Address: string (nullable = true)

|-- Age: integer (nullable = true)

|-- Name: string (nullable = true)

|-- Sex: string (nullable = true)方法二:通过SparkSQL,使用sql的内置转换函数

# 方法2:使用sql的内置转换函数

df_sql = df_sql.select(str('Age'))


线切割机床 http://www.szrgcnc.com/
蜘蛛池