The competition solution workflow goes through seven stages described in the Data Science Solutions book.
1.Question or problem definition.
2.Acquire training and testing data.
3.Wrangle, prepare, cleanse the data.
4.Analyze, identify patterns, and explore the data.
5.Model, predict and solve the problem.
6.Visualize, report, and present the problem solving steps and final solution.
7.Supply or submit the results.
大数据应用领域：
- 互联网领域：搜索引擎、推荐系统、广告系统
- 电信领域：用户画像、用户行为分析
- 医药生物领域：DNA分析
- 视频领域：视频存储、视频分析
- 金融领域：信用卡欺诈分析、用户分析
- 矿产勘探领域：矿产石油勘察预测
Apache Spark 是一个新兴的大数据处理通用引擎，提供了分布式的内存抽象。Spark 拥有多种语言的函数式编程 API，提供了除 map 和 reduce 之外更多的运算符，这些操作是通过一个称作弹性分布式数据集(resilient distributed datasets, RDDs)的分布式数据框架进行的。
Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了能够提供交互式查询外，它还可以优化迭代工作负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用作其应用程序框架。与 Hadoop 不同，Spark 和 Scala 能够紧密集成，其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。
深度学习之CNN，学习网络结构，了解代码实现。卷积神经网络的知识点包括：局部感知、参数共享、池化。
用于图像分类的CNN经典网络有：LeNet5、AlexNet、VGG、GoogleNet、ResNet等，今天我们主要学一下LeNet5结构。
Welcome to Hexo! This is your very first post. Check documentation for more info. If you get any problems when using Hexo, you can find the answer in troubleshooting or you can ask me on GitHub.