崗位職責:
- 基于Hadoop、Spark、Hive等框架進行數(shù)據(jù)處理方案設計與實現(xiàn),熟悉大數(shù)據(jù)平臺的維護;
- 負責ETL流程的設計、開發(fā)與調(diào)度管理,使用海豚調(diào)度等工具保障數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、加載的高效執(zhí)行;
- 運用SQL、Python等編程語言,開展數(shù)據(jù)建模、數(shù)據(jù)清洗、轉(zhuǎn)換及匯聚工作,為業(yè)務提供高質(zhì)量數(shù)據(jù)支持;
- 參與關系型數(shù)據(jù)庫(如MySQL、PG)的設計、維護及數(shù)據(jù)交互,確保數(shù)據(jù)存儲與訪問的穩(wěn)定性;
- 負責數(shù)據(jù)系統(tǒng)的日常運維,監(jiān)控數(shù)據(jù)質(zhì)量,及時處理數(shù)據(jù)異常,排查并解決數(shù)據(jù)處理過程中的各類問題;
- 與業(yè)務部門緊密溝通,精準理解數(shù)據(jù)需求,將業(yè)務需求轉(zhuǎn)化為可行的數(shù)據(jù)處理方案,并推動落地。
任職要求:
1. 熟悉大數(shù)據(jù)處理框架(如Hadoop、Spark、Hive)及ETL工具(海豚調(diào)度、xxljob等);
2. 掌握SQL、Python等編程語言,具備數(shù)據(jù)建模、數(shù)據(jù)清洗、轉(zhuǎn)換、匯聚能力;
3. 熟練掌握關系型數(shù)據(jù)庫(如MySQL、PG)等;
4. 具備系統(tǒng)運維能力,能處理數(shù)據(jù)異常,有數(shù)據(jù)質(zhì)量監(jiān)控、問題排查能力;
5.具備良好的溝通、需求理解、邏輯思維和問題解決能力,對數(shù)據(jù)敏感,有較強的責任心和團隊合作精神。
6.本崗位勞動合同與第三方簽訂。