大数据解决方案

大数据解决方案


1、系统架构

针对高校大数据专业建设亟待解决的难题,育信科技以工程教育专业认证为标准,围绕新工科体系建设,为各大高校量身定制了大数据信息一体化的教学科研平台——智能云教育大数据服务平台

大数据专业建设为核心,成功推出“大数据分析与应用教学实验系统”,引入最新技术和数据流程理念,转换大数据项目案例作为课堂实践实习实训内容,包括完善的课程体系、教学环节和支撑平台,提供集专业方向、实战演练、职业规划、工程认证、教学体系、课程体系及师资培训于一体的建设思路,配备完整的大数据软、硬件环境和配套资源,理实结合,循序渐进全面培养大数据科学与工程领域的复合型技术人才

数据的视角,多维度客观评估教学的主体对象,开展学情管理,实时监控整个教学过程,有效推进完善持续改进,促进高校教学的质量保障


2、教学体系

教学目标

Ø人才类型:技能型、应用型、科研型

Ø多元化教学:理论、实践教学与大数据分析实战融为一体,基础学习、能力提升到强化训练,逐步提高“学”的质量

Ø兼顾科研工作:细化知识网络,引用真实数据源进行大数据科研工作,培养大数据专业复杂工程知识学习和解决能力,充分提升“研”的成效

Ø全数据采集:为专业认证提供数据支撑、为专业建设提供专项分析、为持续改进提供有效依据

Ø毕业去向:各行业大数据分析、处理、服务、开发、系统集成与管理维护、研究、咨询、教育培训等工作

能力要求

Ø大数据应用系统设计与开发能力

Ø一定的科研能力

Ø知识自我更新和不断创新能力

Ø解决复杂大数据工程问题的能力

系统基础操作——编程语言开发——数据库操作运维——大数据基础架构——云环境搭建——数据采集存储——数据挖掘分析——Python开发设计——机器学习——团队合作、各司其职——有效沟通、合理解说——方案设计、项目管理——不断创新、终身学习

3、课程体系

Ø以输出结果为导向,通过前置检索和优选,全面覆盖实践教学环节,精选优选案例完成大数据分析与应用教学实验系统的建设

Ø通过基础学习-能力提升-强化训练等阶段以循序渐进的方式完成大数据专业人才的培养,最终实现大数据教学与其它专业、产业、企业的无缝对接

Ø微课慕课、图文并茂学习理论知识,项目训练、科研训练、多人组队进行实践操作,着力培养学生学习、创新和解决复杂工程问题等综合能力

Ø课程体系构建了理论章节98个,涵盖知识点约600+,微课视频130+,共202学时教学容量;同时配套实验420个,练习720个(涉及验证型516个、推论型146个、设计型58个),教学容量共计341学时

涉及课程资源


阶段 

课程名

课程种类

基础

学习

系统基础

Linux系统管理

理论+实验




Windows系统使用

理论+实验

编程基础

C编程语言

理论+实验

C++语言教学实验系统

理论+实验

JAVA编程语言教学实验系统

理论+实验

Python编程语言教学实验系统

理论+实验

数据库基础

MySQL基础课程

理论+实验

Oracle基础及应用

理论+实验

大数据基础

Excel应用

理论+实验

Hadoop部署及管理

理论+实验

Hadoop-HA部署与使用

理论+实验

云计算

IaaS_CloudStack平台搭建及使用

理论+实验

IaaS_OpenStack安装部署

理论+实验

PaaS_Cloudify平台搭建及使用

理论+实验

SaaS_SugarCRM平台搭建及使用

理论+实验

能力提升阶段

Hive教程

理论+实验

HBase教程

理论+实验

Sqoop部署与使用

理论+实验

Azkaban的部署及管理

理论+实验

SPSS数据分析与挖掘

理论+实验

R语言

理论+实验

SAS数据分析

理论+实验

zookeeper基础教程

理论+实验

数据可视化

理论+实验

Python训练系统

实验

Python网络爬虫教学实验系统

理论+实验

大数据综合应用

实验

强化训练阶段

Flume部署及管理

理论+实验

Storm基础教程

理论+实验

Kafka基础教程

理论+实验

Scala语言

理论+实验

Spark技术教程

理论+实验

MATLAB数据分析与挖掘实战

理论+实验

Python数据分析与挖掘实战

实验

机器学习

理论+实验

第四阶段

科研

大数据科研

实验

数据源

数据源


4、大数据科研

Ø针对不同专业,推出“大数据分析与应用科研平台”,灵活创建切换应用环境

Ø轻松完成配置平台与初始化工作,灵活多变提供实训教学、科技训练等教学活动

Ø提供专用硬件设备、多种算法和真实数据源,完成整个大数据科研教学的工程性支撑

u算法列表

序号

算法类

算法

1

分类算法

逻辑回归

贝叶斯

支持向量机

感知器算法

神经网络

随机森林

有限波尔兹曼机

2

聚类算法

Canopy聚类(重点)

K均值算法(重点)

模糊K均值(重点)

EM聚类(期望最大化聚类)

均值漂移聚类

层次聚类(重点)

狄里克雷过程聚类

LDA聚类(重点)

谱聚类

3

关联规则挖掘

并行FP Growth算法

4

回归

局部加权线性回归

5

降维/维约简

奇异值分解

主成分分析

独立成分分析

高斯判别分析

6

进化算法

并行化了Watchmaker框架

7

推荐/协同过滤

Taste(UserCF, ItemCF, SlopeOne)

ItemCF

8

向量相似度计算

计算列间相似度

计算向量间距离

9

非Map-Reduce算法

隐马尔科夫模型


u数据源

提供包括金融、教育、医疗、商业、交通等21个行业总计400多个数据源

序号

行业

数据源名称

1

金融

美国劳工部官方统计数据

世界银行 World Develop,Ment Indicators 数据

……

2

人力

就业和失业(劳动力调查)-欧盟统计局

欧盟统计的人工成本年度数据

……

3

教育

美国教育部大学积分卡数据

多重性研究的电子探测器数据

……

4

医疗

癌症CT影像数据

软组织肉瘤CT图像数据

……

5

电力

美国电力信息_2018年

全球电厂数据库

……

6

人文

All-A,Ge-Faces数据集

耶鲁人脸数据库

……

7

电子商务

某社交网站上采集到网络舆情信息和分析对象数据

京东产品用户评论数据

……

8

物流

公路货物运输数据-欧盟统计

NUTS-2地区高速公路网络

……

9

商业

用户对美国航空公司的Twitter评论情绪数据

archive-2018-美国消费档案

……

10

文体娱乐