职位描述
岗位职责
1、负责网络关键信息抓取和大数据仓库维护;
2、监控和优化爬虫系统,提升性能和增强功能;
3、研发爬虫系统软件,负责的架构设计和开发;
4、解决实际工作中遇到的各种疑难杂症。
岗位要求
1、计算机相关专业,本科及以上学历,3年以上Python开发经验,有深厚的基础知识功底;
2、熟悉HTML、XPath、正则表达式、AJAX、HTTP协议等:
3、熟悉Selenium/Puppeteer/Scrapy/Nutch/DotnetSpider/PhantomJS等框架;;
4、熟悉MySQL、NoSQL等主流数据库、了解Git版本管理工具:
5、熟悉爬虫抓取原理,了解反爬策略;
6、对技术有追求,自学能力和执行力较好。
7、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
8、工作认真细致,态度积极,责任心强,良好的沟通与团队配合能力,能承受一定的工作压力。