上海
招聘岗位：工程技术人员
招聘人数：1名聘用方式
项目聘用a
招聘条件
大学专科和专科学校及以上学历,无学位要求
大专以上学历，985/211优先。1.从事数据爬虫领域至少3年以上，专科及以上学历，有较为系统的海量数据爬虫、反爬虫研发经验；2.有从事分布式数据获取经验，精通python开发，熟悉使用scrapy、selenuim等常用开源爬虫框架；；3.熟悉http协议、html、dom，并有一定的javascript能力；4.熟练使用xpath、正则表达式或beautifulsoup任一种解析框架；5.有丰富的应对反爬虫的经验，例如合理使用ip池、验证码识别技术等；6.熟练使用splash、浏览器内核等工具解析动态页面；7.熟悉多线程、网络编程以及分布式爬虫架构开发场景8.熟悉使用redis和任意一种常见的分布式消息队列；9.熟练使用模拟登陆、ua池、动态代理、ip池等常规伪装手段；10.熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；11.熟练使用mysql，熟悉nosql数据库等，有大数据开发相关经验更佳；12.熟悉ubuntu等linux系统，熟练使用shell工具；13.有业务sense，责任心强，做事细致，具备较强的沟通协作能力、自我驱动能力，能够通过梳理设计业务模型发现业务问题，并驱动业务目标实现；14.有学术、科研经验优先。
岗位职责
1.管理建设数据获取、爬虫平台框架，负责爬虫系统规划以及相应架构设计；2.负责设计和开发网络爬虫应用，包括调度、抓取、入库等内容；2.负责现有爬虫核心算法和策略优化；3.网络爬虫架构设计、功能开发及优化；4.参与建设平台治理统一的数据体系，能独立完成项目的系统分析，根据开发规范和数据模型设计实现数据开发任务，保证数据质量；5.参与数据仓库的设计和研发，进行海量数据模型设计、数据etl开发；7.参与数据产品及应用的数据研发，发觉数据业务价值，助力数据化运营业务。
岗位待遇
提供竞争性的薪酬待遇，可面议。与师生共同工作，缴纳五险一金。研究中心将视情况提供额外的激励措施和必要的工作开展条件。
其他
有意者请网上应聘，同时请将“岗位名称+姓名+个人简历+高校人才网”发送至联系人邮箱：wangfeng07@sjtu.edu.cn
联系方式
联系人：甘老师
tel：；e-mail：wangfeng07@sjtu.edu.cn
联系地址：
报名地址：
