spark dataframe如何排序？

作者：鑫鑫 2018-10-30

如何根据dataframe中的某列数据进行排序？如：valspark=SparkSession.builder().appName("Test").master("local[4]").getOrCreate()valsqlContext=spark.sqlContextvarv:DataFrame=sqlContext.createDa...
RDD操作详解4——Action算子

作者：机器小王子 2017-02-24

本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDDDAG的执行。根据Action算子的输出空间将Action算子进行分类：无输出、HDFS、Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。图中，foreach算子...
RDD操作详解3——键值型Transformation算子

作者：机器小王子 2017-02-24

Transformation处理的数据为Key-Value形式的算子大致可以分为：输入分区与输出分区一对一、聚集、连接操作。输入分区与输出分区一对一mapValuesmapValues：针对（Key，Value）型数据中的Value进行Map操作，而不对Key进行处理。方框代表RDD分区。a=>a+2代表只对（V1，1）数据中的1进行...
RDD操作详解2——值型Transformation算子

作者：机器小王子 2017-02-23

处理数据类型为Value型的Transformation算子可以根据RDD变换算子的输入分区与输出分区关系分为以下几种类型:1）输入分区与输出分区一对一型2）输入分区与输出分区多对一型3）输入分区与输出分区多对多型4）输出分区为输入分区子集型5）还有一种特殊的输入与输出分区一对一的算子类型：Cache型。Cache算子对RDD分区进行缓存输...
RDD操作详解1——Transformation和Actio

作者：机器小王子 2017-02-23

Spark算子的作用下图描述了Spark在运行转换中通过算子对RDD进行转换。算子是RDD中定义的函数，可以对RDD中的数据进行转换和操作。输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化...
RDD算子分类

作者：机器小王子 2017-02-23

RDD算子分类，大致可以分为两类，即：1.Transformation：转换算子，这类转换并不触发提交作业，完成作业中间过程处理。2.Action：行动算子，这类算子会触发SparkContext提交Job作业。一：Transformation：转换算子1.map：将原来RDD的每个数据项通过map中的用户自定义函数f映射转变为一个新的元素...
Spark安装与部署

作者：机器小王子 2017-02-23

1.安装Spark之前需要先安装Java，Scala及Python(个人喜欢用pyspark，当然你也可以用原生的Scala)首先安装Javajdk：我们可以在Oracle的官网下载JavaSEJDK，下载链接：http://www.oracle.com/technetwork/java/javase/downloads/index.htm...