職位摘要:
我們正在尋求一位技術精湛、經驗豐富的資料工程師加入我們的團隊。資料工程師將負責設計、開發和維護可擴充的資料管道和系統。此職務對於組合複雜的資料集、透過自動化改善內部流程,以及優化資料基礎架構以提高可擴展性和效率至關重要。理想的應徵者將與資料科學家、分析師和其他利害關係人密切合作,以支援資料分析、商業智慧和 AI 計畫,確保整個組織的高資料品質和完整性。
工作詳情:
- 週一至週五 | 夜班
- 在家工作
職責:
- 設計、開發和維護可擴充的資料管道和系統。
- 匯整大型、複雜的資料集,以符合功能性和非功能性的業務需求。
- 識別、設計並實施內部流程改進:將手動流程自動化、優化資料傳遞,以及重新設計基礎結構以提高可擴展性。
- 使用 SQL 和 Azure 技術從各種資料來源建立資料最佳抽取、轉換和載入 (ETL) 所需的基礎架構。
- 開發和維護資料架構和系統,以支援資料分析、商業智慧和 AI 計畫。
- 與資料科學家、分析師和其他利害關係人合作,協助解決資料相關的技術問題,並支援他們的資料基礎架構需求。
- 透過執行資料清理、驗證和分析,確保資料的品質和完整性。
- 監控資料管道效能與可靠性,並排除故障。
要求:
- 電腦科學、工程或相關領域的學士學位。
- 具備資料工程師或類似職務的經驗。
- 具備豐富的 SQL 知識和使用關聯式資料庫 (如 MySQL、PostgreSQL) 的經驗。
- 擁有大數據工具和框架(例如 Hadoop、Spark、Kafka)的經驗。
- 精通 Python、Java 或 Scala 等程式語言。
- 擁有豐富的 Azure 雲端服務經驗,包括 Azure Data Factory、Azure Databricks 和 Azure Synapse Analytics。
- 熟悉資料倉儲解決方案,尤其是 Microsoft Fabric。
- 具有很強的解決問題能力,並注重細節。
- 優秀的溝通與合作技巧。
- 具備資料分析和人工智慧(AI)的經驗,包括資料可視化、統計分析、預測建模和機器學習。