PDF《《Spark编程基础》》

2 第2章Scala语言基础 介绍Scala语言基础语法

6 第3章Spark的设计与运行 原理 Spark简介、运行架构、RDD的设计与运行原理、部署模式

3 第4章Spark环境搭建和使 用方法 Spark的基本安装方法,如何在spark-shell中运行代码以及如何开 发Spark独立应用程序

3 第5章RDD编程 RDD编程、键值对RDD、数据读写

4 第6章Spark SQL Spark SQL简介、DataFrame、读写Parquet、通过JDBC连接数据库、 连接Hive读写数据

4 第7章Spark Streaming 流计算简介、Spark Streaming简介、DStream操作

4 第8章Spark MLlib Spark MLlib简介、spark.mllib库、spark.ml库4综合案例 Spark应用程序案例

2 合计

32 《Spark编程基础》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 扫一扫访问平台主页 高校大数据课程公共服务平台精华资源http://dblab.xmu.edu.cn/post/8197/ 扫一扫观看3分钟FLASH动画宣传片 所有资料全部免费共享 支持电脑和手机浏览 《Spark编程基础》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 课程视频 课程在线视频地址:http://dblab.xmu.edu.cn/post/10482/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 实验1-Linux系统的安装和常用命令 实验2-Scala编程初级实践 实验3-Spark和Hadoop的安装 实验4-RDD编程初级实践 实验5-Spark SQL编程初级实践 实验6-Spark Streaming编程初级实践 实验7-Spark机器学习库MLlib编程实践 课程实验 可以访问教材官网获取以上课程实验 http://dblab.xmu.edu.cn/post/spark/ 《Spark编程基础》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 本案例涉及数据预处理、存储、 查询和可视化分析等数据处理全 流程所涉及的各种典型操作,涵盖Linux、MySQL、Hadoop、 Hive、Sqoop、Eclipse、 ECharts、Spark等系统和软件的 安装和使用方法 案例访问地址:http://dblab.xmu.edu.cn/post/8116/ Spark课程综合实验案例1:淘宝双11数据分析与预测 《Spark编程基础》 厦门大学计算机科学系 林子雨 ziyulin@xmu.edu.cn 课程配套教学资源 由厦门大学数据库实验室团队开发,旨在满足全 国高校大数据教学对实验案例的迫切需求.本案 例涉及数据预处理、消息队列发送和接收消息、 数据实时处理、数据实时推送和实时展示等数据 处理全流程所涉及的各种典型操作,涵盖Linux、 Spark、Kafka、Flask、Flask-SocketIO、 Highcharts.js、sockert.io.js、PyCharm等系统 和软件的安装........