职位描述
【保定总部工作】
1)基于外部感知项目需求,制定全面的数据采集策略,主导数据对接工作与开放平台,实现多源数据的高效采集;根据数据特性与业务场景,优化采集流程,确保数据的完整性、及时性与准确性;
2)梳理爬虫团队的技术、方向,根据业务需求主导技术架构设计与技术选型,确保系统的稳定性、可扩展性与性能优化;推动技术创新与实践,引入前沿技术提升团队竞争力;
3)构建爬虫的专业团队,管理和指导数据采集团队成员和外包人员,制定工作计划与目标,培养团队数据采集、清洗与处理等专业技能;及时向上级汇报项目进展与数据动态;与跨部门团队保持良好沟通,准确理解业务需求,保障数据采集工作与公司
任职资格:
1)计算机、统计学、数据分析相关专业,本科及以上学历,5年以上互联网行业行业经验,3 年以上数据采集或RPA自动采集数据管理经验,具备完整的从 0 到 1 再到 N 的数据项目技术管理经验;
2)精通 Python,熟练使用 Python Pandas、Numpy 等库进行数据处理;熟悉数据库操作,如 MySQL、PostgreSQL,能够编写高效的 SQL 语句进行数据查询与处理;
3)熟练使用自动化数据采集工具,如Selenium,Appium等。对数据采集过程中的反爬机制有深入理解与丰富的应对经验;
4)熟悉数据仓库架构与 ETL 流程,具备数据建模与数据清洗的能力;
5)优秀的沟通协调及组织管理能力,具备目标设定与执行、项目管理、激励与辅导能力,能够领导团队完成开发任务。