岗位职责: 1、负责大数据架构相关组件的开发、维护和优化。 2、负责大数据平台运维管理工具系统的设计和实现。 3、确定大数据架构的整体技术路线和架构走向,新技术的调研和落地。 4、解决集群在应用与运行过程中的出现各种问题,保证集群的高效稳定运行。 岗位资格: 1、基本要求:统招本科及以上学历,计算机等相关专业。 2、工作经验:3年以上开发工作经验,具有以上组件的patch, 二次开发经验及有解决大规模Hadoop集群在应用与运行问题经验者优先。 3、知识技能: 1)熟练掌握Java/Scala。 2)熟悉大数据离线计算生态体系,对HDFS、MapReduce、Yarn、Hive、Spark,Flink等开源组件有深入研究。 3)熟悉日志采集传输、消息队列相关技术,对Kafka、Flume、Fluentd等开源组件有深入研究。 4)对于OLAP系统和实时实时数据服务有深入研究,有kylin或者 Druid 部署和开发经验。 4、素质要求:较强的分析问题与解决问题的能力,良好的沟通与协调能力。
中原地区某消费金融公司
职位顾问