職位描述
IT互聯(lián)網(wǎng)類/數(shù)據(jù)開發(fā)
1.數(shù)據(jù)模型與架構(gòu)設(shè)計(jì): 參與數(shù)據(jù)倉庫的模型設(shè)計(jì)、分層(ODS, DWD, DWS, ADS)和優(yōu)化,確保數(shù)據(jù)架構(gòu)的合理性、可擴(kuò)展性和高性能。
2.ETL/ELT開發(fā)與維護(hù): 負(fù)責(zé)從多種數(shù)據(jù)源(業(yè)務(wù)數(shù)據(jù)庫、日志等)進(jìn)行數(shù)據(jù)的抽取、清洗、轉(zhuǎn)換、加載和集成工作。
3.大數(shù)據(jù)平臺(tái)開發(fā): 基于阿里云和袋鼠云的大數(shù)據(jù)組件進(jìn)行數(shù)據(jù)開發(fā),構(gòu)建穩(wěn)定可靠的數(shù)據(jù)管道和數(shù)據(jù)服務(wù)。
4.數(shù)據(jù)質(zhì)量與治理: 設(shè)計(jì)和實(shí)施數(shù)據(jù)質(zhì)量監(jiān)控規(guī)則,保障數(shù)據(jù)的準(zhǔn)確性、一致性和完整性;參與數(shù)據(jù)治理流程,完善數(shù)據(jù)資產(chǎn)地圖。
5.性能優(yōu)化: 持續(xù)監(jiān)控和優(yōu)化數(shù)據(jù)任務(wù)的執(zhí)行效率與資源消耗,解決數(shù)據(jù)處理過程中的性能瓶頸。
6.跨部門協(xié)作: 與業(yè)務(wù)分析師、產(chǎn)品經(jīng)理及后端開發(fā)團(tuán)隊(duì)緊密合作,理解業(yè)務(wù)需求,并將其轉(zhuǎn)化為可靠的數(shù)據(jù)解決方案。
7.技術(shù)文檔編寫: 編寫清晰的技術(shù)設(shè)計(jì)、流程說明和運(yùn)維文檔。
任職資格核心技術(shù)棧:
1.精通 SQL,具備出色的SQL編寫和性能調(diào)優(yōu)能力。
2.熟悉 Hadoop 生態(tài)圈常用組件(如 Hive, Spark, HDFS, YARN)。
3.具備 Java 或 Python 或 Scala 至少一種語言的開發(fā)能力。
云平臺(tái)經(jīng)驗(yàn):
1.必須熟悉阿里云大數(shù)據(jù)產(chǎn)品體系,如:
2.數(shù)據(jù)計(jì)算:MaxCompute (ODPS)、EMR
3.數(shù)據(jù)集成與開發(fā):DataWorks
4.實(shí)時(shí)計(jì)算:Flink、Blink
5.數(shù)據(jù)存儲(chǔ):OSS、RDS、AnalyticDB
6.必須熟悉袋鼠云數(shù)據(jù)棧,有 DataStudio (數(shù)據(jù)開發(fā)平臺(tái)) 或 DataX (數(shù)據(jù)同步工具)、ChunJun (實(shí)時(shí)同步) 等項(xiàng)目實(shí)踐經(jīng)驗(yàn)。
7.數(shù)據(jù)建模理論: 深入理解數(shù)據(jù)倉庫建模理論(如維度建模),熟悉Kimball或Inmon方法論。
8.問題解決能力: 優(yōu)秀的問題定位、分析和解決能力,能獨(dú)立承擔(dān)復(fù)雜數(shù)據(jù)任務(wù)的處理。
9.團(tuán)隊(duì)與溝通: 良好的團(tuán)隊(duì)協(xié)作精神和溝通能力,工作積極主動(dòng),責(zé)任心強(qiáng)