职位&公司对比

职位详情

• 北京
• 3-5年
• 本科

• akamai
• F5

岗位职责： 1. 对指定的多个网站进行网页抓取、数据提取；破解反爬策略； 2. 负责网页信息抽取、数据清洗等研发和优化工作； 3. 负责设计和开boss发分布式网络爬虫系统，进行多平台信息的抓取和分析工作 任职需求： boss1、统招大学本BOSS直聘科以上学历，计算机或相关专业；5年以上实际项目爬虫开发经验； 2、熟练掌握 TCP，HTTP，HTTPS，多线程底层原理。能处理多线程高并发。 3、熟练掌握JAVASCRIPT，熟悉HTML，CSS 4、熟悉反爬虫技术经验优先； 5、熟悉Mysql/Hadoop/基础存储，熟悉REDIS，设计高效的存储方式。 6、有大数据处理经验优先。