在Azure上构建Hadoop集群，为企业提供生产所需的计算与存储资源。大数据平台赋予数据开发人员处理数据的能力，但并非完整数据产品。企业应提供原始数据，并遵循方法论进行组织、加工，最终由数据中台生成指标。大数据平台与数据中台共同构建数据生态系统，为企业决策提供科学依据，推动业务持续增长。
于是每家公司对大数据工作的要求不尽相同：有的强调数据库编程、有的突出应用数学和统计学知识、有的则要求有咨询公司或投行相关的经验、有些是希望能找到懂得产品和市场的应用型人才。
另外，当前由于人工智能技术的落地应用依然存在一定的瓶颈，所以算法岗目前也有所降温。大数据运维岗的人才需求量也相对比较大，大数据运维岗的覆盖面也非常广，数据采集、管理、存储、安全、大数据平台搭建等内容都可以归类到大数据运维岗，而且从事运维岗位还需要掌握大量的网络知识和服务器知识。
工作内容：主要是基于Hadoop、Spark等平台上面进行开发，各种开源技术框架平台很多，需要看企业实际的选择是什么，但目前Hadoop、Spark仍然占据广大市场。岗位要求：精通Java技术知识，熟悉Spark、kafka、Hive、HBase、zookeeper、HDFS、MR等应用设计及开发。
这适合用Python脚本来实现。我的数据超过了5TB 你应该考虑使用Hadoop，而无需做过多的选择。使用Hadoop唯一的好处是可伸缩性非常好。如果你有一个包含了数TB数据的表，Hadoop有一个适合全表扫描的选项。如果你没有这样大数据量的表，那么你应该像躲避瘟疫那样避免使用Hadoop。
成本低。Hadoop采用廉价的计算机集群，成本比较低，普通用户也很容易用自己的PC搭建Hadoop运行环境。运行在Linux平台上。Hadoop是基于Java语言开发的，可以较好地运行在Linux平台上，并且支持多种编程语言。
