数据获取：日志收集Scribe、Flume和爬虫等
数据处理：流式计算的storm，sparkstreaming、Hadoop、消息队列相关的如Kafka等
数据分析：HIVE、SPARK、基本算法、数据结构等
数据存储：HDFS等
数据挖掘：机器学习相关算法，聚类、时间序列、推荐系统、回归分析、文本挖掘、贝叶斯分类、神经网络等
一个优秀的大数据工程师要具备一定的逻辑分析能力，并能迅速定位某个商业问题的关键属性和决定因素。
学习能力能帮助大数据工程师快速适应不同的项目，并在短时间内成为这个领域的数据专家；沟通能力则能让他们的工作开展地更顺利，因为大数据工程师的工作主要分为两种方式：由市场部驱动和由数据分析部门驱动，前者需要常常向产品经理了解开发需求，后者则需要找运营部了解数据模型实际转化的情况。
| 留言与评论（共有 0 条评论） |
