职位&公司对比

职位详情

• 北京
• 3-5年
• 本科
• 完工结

• 爬虫
• 数据处理
• 分布式爬虫

岗位职责： 1、负责多平台boss的信息抓取、解析、数据清洗等研发与优化工作； 2、开发和维护采集程序，研究和应对反爬策略，保证采集的稳定性； 3、负责抓取数据的解析入库，爬虫系统的监控和异常警报。 任职要直聘求： 1、有较丰富的分布式爬虫系统开发经验； 2、熟练网页抓取原理、技术及正则表达式，熟悉JS逆向技术； 3、熟悉http、https、tcp/ip、websocket协议； 4、熟练使用mysqlBOSS直聘、mongoDB数据库； 5、熟悉linux常用命令，并维护优化服务器和日志查看； 6、有解决复杂的反爬限制实践经验，能解决如图片验证码、滑块、账号限制、ip限制、签名等问题； 7、精通post操作、Js脚本分析、网页填直聘表、模拟操作、多线程操作、代理IP、数据库 8、工作主动性强，认真负责，抗压能力强，能够独立分析和解决问题； 9、性格乐观开朗，服从安排，有团队合作意识。