职位&公司对比

职位详情

• 上海
• 不限
• 本科

• 爬虫
• 医学
• 数据处理经验
• 爬虫开发经验
• 爬虫工程师
• Python
• 数据清洗

主要职责： 医学数据的爬取和标准化： 熟悉常见医学数据源和数据格式，对数据进行爬取和清洗 数据架构和设计： 设计和开发可扩展且稳健的数据架构。 创建和维护数据模型、架构和数据库。 开发和优化数据管道和工作流，以从各种来源提取、转换和加载（ETL）数据。 数据存储和管理： 设置和管理数据存储解决方案，如数据仓库、数据湖和云存储。 实施数据分区、索引和缓存策略以优化性能。 监控和维护数据存储系统的健康和性能。 数据处理： 构建和维护数据处理kanzhun框架。 必备技能和资格： 计算机科学、工程或相关领域的学士学位。 3 年以上数据工程或类似职位的工作经验，优秀者可放宽 精通 Python、Java 等编程语言。 对医学数据的爬直聘取和标准化有经验。 具备关系型数据库和 NoSQL 数据库的经验。 有使用 Azure、阿里云等云服务的经验。 深刻理解数据建模技术和最佳实践。 了解数据治理框架和实践。 较强的分析和解决问题的能力。 优秀的沟通和协作能力。 优先考虑技能： 【重要】对boss医学以及健康领域的数据爬取和标准化具有经验 具备使用 BeautifulSoupkanzhun、Scrapy、Selenium 等网络抓取工具和框架的经验。 了解 HTML、CSS 和 HTTP 协议。 熟悉使用 cron jobs 或基于云的服务进行调度。