1、负责大数据基础平台架构相关组件的开发、维护和优化。 2、负责大数据平台实时架构路线的调研,开发落地; 3、确定大数据架构的整体技术路线和架构走向,新技术的调研和落地。 4、解决大数据生态相关集群在应用与运行过程中的出现各种问题,保证集群的高效稳定运行。 5、负责分布式知识图谱技术架构的调研,选型,开发落地。 1、基本要求:本科及以上学历,计算机相关专业。 2、工作经验:8年以上大数据行业相关经验,5年以上互联网大数据架构设计经验。 3、知识技能: 1)熟练掌握Java/Scala; 2)熟悉大数据hadoop/spark生态体系,对HDFS、MapReduce、Yarn、Hive、Spark等开源组件有深入研究;对于HDFS底层文件系统优化有一定经验;对于Spark资源管理优化有实际经验; 3)熟悉大数据实时处理组件有较深入研究,包括但不限于Flink等开源组件; 4)对于离线OLAP和实时OLAP数据服务有深入研究,有kylin或者 Druid,clickhouse 部署和开发经验; 5)具有搭建数百台服务器组成单个集群经验、对于数据湖hudi、有开源组件代码等经验者优先; 6)熟悉常见的互联网,大数据、云计算、人工智能等技术和知识。 4、素质要求:较强的分析问题与解决问题的能力,良好的沟通与协调能力。
中原地区某消费金融公司
职位顾问