小牛学堂为我院师生培训大数据课程

作者：日期：2017-01-05

2016年10月26日，信息工程学院与小牛学堂签订合作协议。此后，小牛学堂为我院提供了10余门课程的视频资料。2017年1月2日起，小牛学堂来到信息工程学院，为我院60余名师生讲授大数据相关课程。时间安排如下：

1月2日 linux日常管理操作

1月3日 hadoop集群搭建部署/hdfs常用操作

1月4日 mapreduce编程示范

1月5日 app日志的mapreduce清洗程序开发

1月6日 hive简单统计/flume日志采集系统搭建

1月9日《APP流量日志数据挖掘系统》（真实数据）行业背景和技术架构/业务分析集群准备

1月10日数据处理流程设计规划/采集+预处理开发实现

1月11日数据ETL（新增用户统计、日活用户、累计用户）

1月12日数据ETL/数据转储

1月13日数据报表可视化/项目总结

此次培训的目标要求是：

1) 成功搭建项目所需的数据处理平台

2) 掌握数据平台上各工具的基本操作技能

3) 数据预处理、ETL、数据可视化系统要求学生能独立完成关键代码

4) 整个系统最终能端到端打通流程，在最终的数据可视化系统中能看到数据挖掘结果

5) 所涉及到的技术linux、javaee、mysql、hdfs、mapreduce、flume、hive、sqoop

在培训中，师生们普遍反应良好，学习积极性很高。此次培训为我院未来开设大数据课程奠定了基础，为我院开展大数据方面的科研培训了师资。

本次培训的视频资料上传在我院滴答教育平台上（限内网访问）。