假期学习【五】RDD编程实验四，,今天完成了实验四的第

假期学习【五】RDD编程实验四，,今天完成了实验四的第

今天完成了实验四的第二问和第三问

第二题

对于两个输入文件 A 和 B，编写 Spark 独立应用程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新文件 C。下面是输入文件和输出文件的一个样例，供参考。输入文件 A 的样例如下：20170101 x20170102 y20170103 x20170104 y20170105 z20170106 z输入文件 B 的样例如下：20170101 y20170102 y20170103 x20170104 z20170105 y根据输入的文件 A 和 B 合并得到的输出文件 C 的样例如下：20170101 x20170101 y20170102 y20170103 x20170104 y20170104 z20170105 y20170105 z20170106 z

源代码如下

实验结果：

第三题

每个输入文件表示班级学生某个学科的成绩，每行内容由两个字段组成，第一个是学生名字，第二个是学生的成绩；编写 Spark 独立应用程序求出所有学生的平均成绩，并输出到一个新文件中。下面是输入文件和输出文件的一个样例，供参考。Algorithm 成绩：小明 92小红 87小新 82小丽 90Database 成绩：小明 95小红 81小新 89小丽 85Python 成绩：小明 82小红 83小新 94小丽 91平均成绩如下：(小红,83.67)(小新,88.33)(小明,89.67)(小丽,88.67)源代码如下：

运行结果：

假期学习【五】RDD编程实验四