职位&公司对比

职位详情

• 北京
• 1-3年
• 本科

• Python
• Java
• C++
• Scrapy
• Numpy
• Selenium
• 爬虫经验
• Shapefile

BOSS直聘岗位职责： 1.研发爬虫工具‌：负责业务需求的数据采集与爬取、解析处理、入库及备份等数据工作。 2.研究Web、APP反爬策略，攻克技术难点，破解反爬机制，优化爬虫路由调度策略，同时负责反爬策略的设计及优化； 3. 负责爬虫核心算法的策略优化研究，提升爬虫抓直聘取效率和质量，提升数据抓取的效kanzhun率和质量； 4. 设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码、JS加密等难点攻克； 5.数据清洗与整合‌：对抓取到的数据进行清洗、去重、格式化等预处理工作，确保数据的准确性、完整性和一致性。 6.‌技术研究与创新‌：跟踪最新的爬虫技术、数据处理算法及GIS领域的发展动态，特别是三维数据的相关技术，不断探索并引入新技术以提升工作效率和数据质量。 任职要求： 1. GIS、遥感、计算机、软件工程相关专业，本科及以上学历。 2. python基础扎实，熟练掌握Java、C++中至少一种，有爬虫开发经验者优先。 3. 熟练使用Scrapy、BeautifulSoup、Selenium等爬虫框架和工具，精通爬boss虫相关技术(requests/xpath/scrapy/正则表达式/验证码加密处理/代理池)，熟悉js加密，了解python常见执行js方法；熟悉常用反爬应对方法,熟悉模拟器使用和爬取。 4. 熟悉地理信息相关知识，对地理信息基础算法熟练掌握，深入了解GIS数据格式（如Shapefile、GeoJSON、KML、OSGB、3D Tiles等）及空间数据库（PostGIS、SpatiaLite等）的使用。 5. 熟悉常见地理信息数据发布服务，如WMS、WMTS、WFS等。 6. 具备良好的数据处理能力，熟悉Pandas、NumPy、GDAL等数据处理库，以及三维数据处理工具。 7. 具有良好的学习能力，有良好的团队意识及责任心，有良好的抗压能力。