岗位职责：
1、参与负责公司数据采集需求的实现。
2、优化公司现有采集系统，不断提升可维护性、智能性。
3、负责公司部分现有采集程序的维护。
任职要求：
1、本科及以上计算机相关专业背景，2年及以上数据爬取及大规模爬虫开发相关工作经验。
2、熟练掌握Java、python语言。
3、熟悉scrapy，javascript，有过一定的实际使用经验。
4、熟悉中间件redis、mysql以及mongodb。
5、具有设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析的经验。
6、能设计爬虫策略和防屏蔽规则，提升网页和APP数据抓取的效率和质量，有App反编译经验者优先；
7、能独立解决实际开发过程碰到的各类问题，能参与制定反爬安全策略。