崗位職責
一云計算架構與基礎設施
1.云平臺設計與部署
基于 AWS/Aliyun/Azure 等公有云搭建高可用可擴展的物聯網云平臺支持海量設備接入如百萬級陪護機器人
設計 VPC 網絡架構安全組策略實現設備-云端安全通信TLS/DTLS
構建混合云方案邊緣節點 + 中心云優化數據本地化處理與云端協同
2.容器化與微服務治理
使用 Kubernetes/ECS 管理容器化服務如設備管理微服務數據分析API
實現服務自動擴縮容HPA灰度發布與故障自愈Service Mesh
3.資源成本優化
分析云資源使用率如 EC2 負載峰值S3 存儲冷熱數據分布制定成本優化策略預留實例/Spot 實例混用
設計自動化資源回收機制如閑置 EKS 集群夜間關閉
二數據工程與處理
1.數據管道構建
開發端到端數據流水線
設備端定義數據采集規范如 RK3588S 傳感器數據格式實現邊緣計算Apache Edgent預處理
傳輸層通過 Kafka/Pulsar 實現設備數據異步傳輸保障高吞吐與低延遲
存儲層設計時序數據庫InfluxDB/TDengine存儲傳感器數據關系型數據庫PostgreSQL存儲業務元數據
2.大數據處理與分析
使用 Spark/Flink 處理實時流數據如機器人運動軌跡異常檢測離線批處理生成報表用戶行為分析
構建數據湖Delta Lake/Iceberg支持多模態數據日志視頻片段音頻的統一存儲與查詢
3.數據治理與質量
實現數據血緣追蹤Apache Atlas元數據管理保障數據一致性
開發數據質量監控規則如傳感器數據缺失率報警自動觸發數據修復流程
三物聯網場景專項能力
1.設備管理與協議適配
對接嵌入式團隊定義設備通信協議MQTT/CoAP開發設備影子Device Shadow服務支持設備狀態同步與指令下發
實現 OTA 升級服務管理固件版本灰度發布與回滾策略
2.邊緣計算協同
部署 AWS Greengrass/Aliyun Link IoT Edge實現邊緣節點 AI 模型推理如 RK3588S 人臉識別結果過濾后上報
設計邊緣-云數據同步策略如僅上傳異常事件數據降低帶寬成本
3.安全與合規
實施數據加密KMS 管理密鑰設備身份認證X.509 證書滿足 GDPR/HIPAA 等合規要求
構建審計日志系統記錄數據訪問與操作痕跡
任職資格
1.計算機科學數據科學相關專業本科及以上學歷
2.熟悉MySQL/MongoDB等數據庫技術
3.有大數據處理經驗Spark/Flink者優先
熟悉云平臺AWS/Azure及DevOps工具鏈者優先
舉報
一云計算架構與基礎設施
1.云平臺設計與部署
基于 AWS/Aliyun/Azure 等公有云搭建高可用可擴展的物聯網云平臺支持海量設備接入如百萬級陪護機器人
設計 VPC 網絡架構安全組策略實現設備-云端安全通信TLS/DTLS
構建混合云方案邊緣節點 + 中心云優化數據本地化處理與云端協同
2.容器化與微服務治理
使用 Kubernetes/ECS 管理容器化服務如設備管理微服務數據分析API
實現服務自動擴縮容HPA灰度發布與故障自愈Service Mesh
3.資源成本優化
分析云資源使用率如 EC2 負載峰值S3 存儲冷熱數據分布制定成本優化策略預留實例/Spot 實例混用
設計自動化資源回收機制如閑置 EKS 集群夜間關閉
二數據工程與處理
1.數據管道構建
開發端到端數據流水線
設備端定義數據采集規范如 RK3588S 傳感器數據格式實現邊緣計算Apache Edgent預處理
傳輸層通過 Kafka/Pulsar 實現設備數據異步傳輸保障高吞吐與低延遲
存儲層設計時序數據庫InfluxDB/TDengine存儲傳感器數據關系型數據庫PostgreSQL存儲業務元數據
2.大數據處理與分析
使用 Spark/Flink 處理實時流數據如機器人運動軌跡異常檢測離線批處理生成報表用戶行為分析
構建數據湖Delta Lake/Iceberg支持多模態數據日志視頻片段音頻的統一存儲與查詢
3.數據治理與質量
實現數據血緣追蹤Apache Atlas元數據管理保障數據一致性
開發數據質量監控規則如傳感器數據缺失率報警自動觸發數據修復流程
三物聯網場景專項能力
1.設備管理與協議適配
對接嵌入式團隊定義設備通信協議MQTT/CoAP開發設備影子Device Shadow服務支持設備狀態同步與指令下發
實現 OTA 升級服務管理固件版本灰度發布與回滾策略
2.邊緣計算協同
部署 AWS Greengrass/Aliyun Link IoT Edge實現邊緣節點 AI 模型推理如 RK3588S 人臉識別結果過濾后上報
設計邊緣-云數據同步策略如僅上傳異常事件數據降低帶寬成本
3.安全與合規
實施數據加密KMS 管理密鑰設備身份認證X.509 證書滿足 GDPR/HIPAA 等合規要求
構建審計日志系統記錄數據訪問與操作痕跡
任職資格
1.計算機科學數據科學相關專業本科及以上學歷
2.熟悉MySQL/MongoDB等數據庫技術
3.有大數據處理經驗Spark/Flink者優先
熟悉云平臺AWS/Azure及DevOps工具鏈者優先
舉報
大數據開發工程師職業大全:
溫馨提示

- 你可能感興趣的職位
- 最近瀏覽記錄
-
0.6-1萬/月
-
0.6-1萬/月
-
0.6-1萬/月
-
面議
-
面議
-
面議
-
面議
-
面議
暫沒有相關信息
- 公司規模:50 - 99人
- 所屬行業:互聯網/電子商務
- 聯系人:殷燕
- 手機:會員登錄后才可查看
- 郵箱:會員登錄后才可查看
- 郵政編碼:
工作地址
- 地址:深圳市南山區桃源街道大學城社區篤學路9號國家超級計算深圳中心科研樓七樓