崗位職責(zé):
1、負(fù)責(zé)或參與公司數(shù)據(jù)治理平臺(tái)的建設(shè)、集成與優(yōu)化,包括但不限于元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)等系統(tǒng)的開發(fā)與維護(hù)。
2、設(shè)計(jì)并實(shí)施數(shù)據(jù)質(zhì)量監(jiān)控方案,定義質(zhì)量規(guī)則,完成數(shù)據(jù)探查、質(zhì)量評(píng)估、問(wèn)題根因分析及推動(dòng)整改,形成質(zhì)量治理閉環(huán)。
3、構(gòu)建元數(shù)據(jù)管理體系,實(shí)現(xiàn)數(shù)據(jù)血緣追溯、影響分析和資產(chǎn)目錄管理,提升數(shù)據(jù)透明度和可信度。
4、參與制定和維護(hù)企業(yè)級(jí)數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)模型規(guī)范,并推動(dòng)在具體業(yè)務(wù)和技術(shù)項(xiàng)目中落地實(shí)施。
5、參與設(shè)計(jì)數(shù)據(jù)安全策略,協(xié)助完成數(shù)據(jù)脫敏、權(quán)限管控、數(shù)據(jù)生命周期管理等工作,以滿足安全合規(guī)要求。
6、參與主數(shù)據(jù)(MDM)方案的設(shè)計(jì)與實(shí)施,解決核心主數(shù)據(jù)不一致、不完整等問(wèn)題,保障核心數(shù)據(jù)的唯一性和準(zhǔn)確性。
任職要求:
1、計(jì)算機(jī)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷,具備5-8年及以上數(shù)據(jù)開發(fā)或數(shù)據(jù)治理相關(guān)工作經(jīng)驗(yàn)。
2、熟練掌握SQL,能高效編寫復(fù)雜查詢、存儲(chǔ)過(guò)程,具備豐富的SQL性能調(diào)優(yōu)經(jīng)驗(yàn)。
3、精通至少一門腳本語(yǔ)言(Python/Shell),可獨(dú)立開發(fā)數(shù)據(jù)清洗、校驗(yàn)、同步等自動(dòng)化腳本。
4、熟悉Hadoop/Spark/Flink等至少一種大數(shù)據(jù)生態(tài)系統(tǒng),理解分布式計(jì)算原理,有批流一體數(shù)據(jù)處理經(jīng)驗(yàn)。
5、深入理解數(shù)據(jù)倉(cāng)庫(kù)建模理論(如維度建模),熟悉分層設(shè)計(jì)(如ODS/DWD/DWS/ADS),并能獨(dú)立進(jìn)行模型設(shè)計(jì)。
6、有實(shí)際使用或二次開發(fā)元數(shù)據(jù)工具(如Apache Atlas、DataWorks、DataArts)的經(jīng)驗(yàn),熟悉元數(shù)據(jù)采集、血緣分析、影響分析。
7、有使用數(shù)據(jù)質(zhì)量工具(如Great Expectations, Deequ, DataWorks等)的經(jīng)驗(yàn),能獨(dú)立設(shè)計(jì)并落地完整性、一致性、準(zhǔn)確性、及時(shí)性等監(jiān)控規(guī)則。
8、了解GDPR、網(wǎng)絡(luò)安全法等數(shù)據(jù)合規(guī)要求,有數(shù)據(jù)脫敏、權(quán)限管理、數(shù)據(jù)生命周期管理等相關(guān)實(shí)