岗位职责：

1.负责设计和开发网络爬虫系统，进行电商或社会媒体等平台信息的抓取和分析；

2.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

3.能独立解决实际开发过程中碰到的各类问题，能主动学习掌握最新反反爬技术手段；

4.有良好的学习习惯和团队沟通协作能力，有自驱力理解好业务需求场景的落地实现。

岗位要求：

1.本科及以上学历，有爬虫相关工作经验； 

2.熟练python等编程语言，有scrapy框架开发经验；

3.熟练运用正则表达式和xpath，JavaScript； 

4.熟练使用mysql数据库，熟悉redis等nosql数据库； 

5.熟悉linux操作系统，了解web及相关技术和原理，有过后台开发经验者优先； 

6.构建过分布式爬虫系统，参与过数据分析者优先。