中国僵尸片,亚洲欧美国产另类视频,亚洲精品无码人妻无码,亚洲有码转帖,亚洲欧美精品伊人久久,97精品依人久久久

數(shù)據(jù)開發(fā)工程師 (Data Lake & ETL Pipeline)
職位描述:
尋找一位經(jīng)驗豐富的數(shù)據(jù)開發(fā)工程師，負責(zé)公司內(nèi)部數(shù)據(jù)湖的開發(fā)與維護，基于業(yè)務(wù)需求構(gòu)建并維護數(shù)據(jù)報表和搭建ETL Pipeline。您將與數(shù)據(jù)科學(xué)家、業(yè)務(wù)分析師和其他工程師緊密合作，構(gòu)建高效、可靠的數(shù)據(jù)處理系統(tǒng)，為公司提供數(shù)據(jù)驅(qū)動的決策支持。
工作職責(zé):
? 參與公司數(shù)據(jù)湖的開發(fā)和維護，確保數(shù)據(jù)的高效存儲、處理和分析。
? 基于業(yè)務(wù)需求，設(shè)計和開發(fā)數(shù)據(jù)報表，為業(yè)務(wù)部門提供數(shù)據(jù)洞察。
? 構(gòu)建和維護高效的ETL Pipeline，處理來自不同數(shù)據(jù)源的批量數(shù)據(jù)和實時數(shù)據(jù)。
? 優(yōu)化數(shù)據(jù)處理流程，提高數(shù)據(jù)處理的效率和穩(wěn)定性。
? 編寫清晰、可維護的技術(shù)文檔。
技能要求:
? 精通Hive、Yarn、Spark等大數(shù)據(jù)處理框架，了解Flink者優(yōu)先。
? 熟練使用Python進行數(shù)據(jù)處理和分析，熟練掌握Scala或Java其中一種語言。
? 具備ClickHouse和Vertica等數(shù)據(jù)庫的實戰(zhàn)經(jīng)驗，能夠構(gòu)建健壯的Streaming或Batch ETL Pipeline。
? 深入了解Kafka原理，具備后端開發(fā)經(jīng)驗，熟悉SpringBoot等框架者優(yōu)先。
? 具備良好的溝通能力和團隊合作精神，能夠獨立解決問題。