职位描述： （一）数据仓库与平台建设 1、主导数据仓库架构设计与搭建，涵盖从原始数据探查、清洗、加工，到数据建模、主题集成，最终实现报表或页面可视化展现的全流程工作。依据业务需求构建合理的数据分层架构，如 ods、dwd、dws、ads 等，确保数据的高效管理与利用。 2、负责产品化数据平台（如 CDP、DMP 平台）的开发迭代工作。运用图算法（如 spark graphx）打破数据孤岛，构建全局 oneId 体系，设计并实现批流一体的标签流程，精准构建动态用户客群画像，深度挖掘数据价值，为业务决策提供有力支持。 （二）大数据技术组件运用 1、熟练运用大数据生态圈中的 hive、spark、clickhouse、elasticsearch、flink、kafka 等组件，根据不同业务场景和数据处理需求，合理选择并优化组件配置，充分发挥各组件优势，实现数据的高效存储、计算与分析。 2、基于上述组件进行数据处理任务开发，包括但不限于离线数据的批处理计算、实时数据的流处理分析，以及数据的索引、存储和检索等操作，保障数据处理的准确性和及时性。 （三）项目开发与维护 1、参与公司各类大数据项目的全生命周期管理，从需求分析、方案设计、编码实现，到测试部署、上线维护，确保项目按时、高质量交付。在项目实施过程中，积极与产品、运营、前端开发等团队协同合作，及时沟通并解决项目推进中的问题。 2、针对客户定制化项目，深入了解客户需求，提供个性化的大数据解决方案。对已上线项目进行持续优化，根据业务反馈和数据变化，不断改进数据处理逻辑和算法，提升系统性能和用户体验。 （四）数据处理与分析 1、负责设计和实现数据处理流程，对海量数据进行 ETL（抽取、转换、加载）操作，确保数据的一致性、完整性和准确性。运用数据挖掘和分析技术，对数据进行深度分析，提取有价值的信息和洞察，为业务部门提供数据驱动的决策建议。 2、参与实时数据处理和分析项目，如实时舆情监控、实时用户行为分析等。利用 SparkStreaming、Flink 等技术实现实时数据的消费、处理和存储，及时发现业务中的关键事件和趋势，为业务实时决策提供支持。 （五）技术支持与团队协作 1、为公司内部其他团队提供大数据技术支持，协助解决数据相关的技术难题。参与公司技术培训和知识分享活动，提升团队整体的大数据技术水平。 1、在团队中发挥技术带头作用，带领团队攻克技术难关，推动项目进展。与团队成员密切配合，合理分配工作任务，提升团队协作效率和项目交付能力。 职位要求： 1、本科及以上学历，计算机科学与技术、软件工程、数学、统计学等相关专业优先考虑。 2、具备 5 年以上大数据开发工作经验，拥有数据仓库建设、产品化数据平台开发迭代或大数据项目交付的实际经验，有从 0 到 1 构建大数据项目的经历者优先。 3、熟悉制造行业的业务流程和数据特点，能够将大数据技术与行业业务深度结合，提供有效的数据解决方案。 4、专业技能 （1）精通数据仓库架构体系与建设流程，熟练掌握数据建模方法，如维度建模、雪花模型等。熟悉主流的数据可视化工具，如 Tableau、PowerBI 等，能够将数据以直观、易懂的方式呈现给业务用户。 （2）深入掌握大数据生态圈 hadoop 中的 hive、spark、clickhouse、elasticsearch、flink、kafka 等组件的原理、使用场景和配置优化方法。具备使用这些组件进行复杂数据处理和分析任务的能力。 （3）熟练掌握 Java、Scala 等编程语言，能够运用其进行高效的数据处理和算法实现。熟悉常用的开发框架和工具，如 Spring Boot、Maven、Git 等，具备良好的代码编写习惯和规范。 （4）了解云计算平台，如联想云、华为云、阿里云等，熟悉云平台上的大数据服务和产品，具备在云环境中进行大数据开发和部署的能力。