岗位职责: 1.负责大数据平台建设。包括数据管理平台、数据治理平台、能力门户等的设计、开发维护、技术方案确认、架构设计; 2.负责项目的技术方案制定与审核,调研与比较不同技术方案的优缺点,并根据实际条件选择合理的技术方案; 3.决策智能的实时和离线数据体系建设和技术链路架构,制定数据技术和服务的策略,并构建实时数仓和离线数仓,并参与数仓管理; 4.提供数据采集、计算、存储、产品化全链路数据解决方案,并参与方案建设。包括流数据、批处理场景; 5.协助建立完善的研发流程,通过优化研发过程以提高研发质量和研发效率。 任职要求: 1.本科以上学历,5年以上大数据相关工作经验,计算机相关专业优先; 2.熟悉hadoop部署和搭建过程,精通hadoop生态各类组件,包括hdfs/hive/clickhouse/spark/flink等,精通编写shell、hivesql、flink脚本; 3.精通各类数据采集、转化工具,如kettle、dataX、flume、kafka等,熟悉SQL语言 4.了解分布式调度工具,如oozie、azkaban等 5.精通Java语言,具有扎实的面向对象开发经验,熟悉分布式系统和相关性能调优思想; 6.熟悉大数据平台发展趋势,前沿技术; 7.有数据分析,数据挖掘,算法相关经验者优先。
武汉某红外公司武汉某红外公司武汉某红外公司
职位顾问