职位&公司对比

职位详情

• 杭州
• 3-5年
• 本科

• 爬虫工程师
• 可兼职

岗位前置语： 1、科技型创业公司，小天花板级技术团队，事密则成。 2、接受线上、线下Part-time，结果导向，不拘直聘泥于形式。 3、未来定位为一家以技术驱动业务的科技独角兽。 职位描述： 1、遵循robots协议，参与爬虫系统的建boss设与优化，满足各类业务数据需求； 2、负责分布式爬虫系统的建设，优化数据调度、抓取、解析、存储全栈流程； 3、帮助团队攻克网页信息抽取技术算法的难关，提升海量数据系统的抓取效果与性能。 4、关注最新数据挖掘、抓取技术，不断维护和优化现有爬虫框架，确保抓取的高效和稳定性。 职位要求： 1、本科或研究生以上学历，3-5年爬虫抓取采集相关工作经历； BOSS直聘2、熟悉主流爬取技术及爬虫框架工具，如Selenium/Puppeteer/Scrapy/PhantomJS等； 3、熟悉Python/Java/Go/C++其中一种语言，具备扎实的编码能力； 4、熟悉常见反爬封禁策略，并具备相关kanzhun的实战经验。 加分项： 有产业链数据相关经验者优先考虑。 有大模型应用开发相关经验者优先考虑。 熟悉分布式爬虫框架（如StormCrawler、直聘Heritrix等） 有大数据相关技术（如Hadoop、Spark、Kafka）的使用经验