岗位职责:
1.根据数字化应用需求,制定ETL相关设计方案和开发计划,并进行后续的设计、实施、维护;
2.负责数据湖数据模型的管理工作(建模,设计,实施);
3.负责数据源调研、入库、开发的全流程工作,并保证数据质量;
4.负责数据仓库的模型的标准制定,实施,监督工作;
5.负责数据抽取、清洗、转化等数据处理程序开发。
任职要求:
1.3年以上大数据开发经验,计算机科学、软件工程、数学、统计学等相关专业;
2.具备扎实的编程基础,熟练掌握 Java、Python、Scala 等至少一种编程语言;
3.熟悉大数据技术栈,包括 Hadoop、Spark、Hive、HBase、Kafka 等,有实际项目开发经验者优先;
4.掌握数据仓库设计和开发方法,熟悉 SQL 语言,有数据仓库建设经验者优先。