下面是小编为大家整理的大数据scala编程实验,供大家参考。
《Spark 编程基础》实验报告 题目：
scala 编程初级实验 姓名：
学号：
日期：
2019/4/12 实验环境：
操作系统：Centos7.0 Spark 版本：2.1.0 实验内容与完成情况：
1.统计学生成绩 学生的成绩清单格式如下所示，第一行为表头，各字段意思分别为学号、性别、课程名 1、课程名 2 等，后面每一行代表一个学生的信息，各字段之间用空白符隔开 Id
gender
Math
English
Physics
301610
male
80
64
78
301611 female
65
87
58
... 给定任何一个如上格式的清单（不同清单里课程数量可能不一样），要求尽可能采用函 数式编程，统计出各门课程的平均成绩，最低成绩，和最高成绩；另外还需按男女同学分开， 分别统计各门课程的平均成绩，最低成绩，和最高成绩。
测试样例 1 如下：
Id
gender
Math
English
Physics
301610
male
80
64
78
301611
female
65
87
58
301612
female
44
71
77
301613
female
66
71
91
301614
female
70
71
100
301615
male
72
77
72
301616
female
73
81
75
301617
female
69
77
75
301618
male
73
61
65
301619
male
74
69
68
301620
male
76
62
76
301621
male
73
69
91
301622
male
55
69
61
301623
male
50
58
75
301624
female
63
83
93
301625
male
72
54
100
301626
male
76
66
73
301627
male
82
87
79
301628
female
62
80
54
301629
male
89
77
72
完成情况截图：
出现的问题：
因为是第一次用 scala 语言进行编程，虽然和 java 有着很大的相似性，但是具体的函数名以及具体的语法使用还是不明白，去看了官方的参考代码后看懂了他的思路后对照着写，我最开始的用的 java 的类挨个进行功能编写，虽然也可以得出最后答案但是基本上没有答案的这么快捷，但是参考答案用的放发比较难懂，花了一些时间去读懂领悟，比如参考答案里的切词方法是直接用的 head 取学号和课程名，而我最开始用的 distinct 进行过滤筛选，以及 tail 将这两个值返回到容
器中，以及之后的 zip，感觉 scala 更快捷但是也不是很易读懂，看了参考代码后发现自己在新语言的掌握严重不足，在课下会花更多的时间来学习 scala 解决方案：
在出现的问题后已给出解决方案 总结：
在 spark 编程中，scala 语言有点像 java 和 C 的结合，有着 java 的大量易扩充的函数功能，大大缩减了代码长度，但是在底层的原理以及概念上还没有理解，仅仅是可以看懂代码但是自己的编写还是会有一定的难度，争取在大量的实践之后可以做到更加熟练于心。
推荐访问:大数据scala编程实验 编程 实验 数据