崗位職責(zé):
1、業(yè)務(wù)數(shù)據(jù)分析、調(diào)研及數(shù)據(jù)采集;
2、大數(shù)據(jù)平臺的數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)存儲;
3、持續(xù)跟蹤大數(shù)據(jù)平臺運行情況,監(jiān)控數(shù)據(jù)同步鏈路,處理各類異常和故障;
4、數(shù)據(jù)治理相關(guān)開源項目產(chǎn)品的部署安裝、性能調(diào)優(yōu)和監(jiān)控;
5、參與集團(tuán)數(shù)據(jù)標(biāo)準(zhǔn)制定與規(guī)范建設(shè);
6、完成集團(tuán)數(shù)據(jù)中臺及協(xié)助與支持各數(shù)源方按照相關(guān)數(shù)據(jù)標(biāo)準(zhǔn)與規(guī)范完成數(shù)據(jù)治理各項制度的落地及執(zhí)行效果評估(包括元數(shù)據(jù)、主數(shù)據(jù)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全、數(shù)據(jù)資產(chǎn)管理等)。
崗位要求:
1、熟悉Oracle、MySQL等相關(guān)數(shù)據(jù)庫及相關(guān)配套工具,熟悉SQL語言;
2、熟悉java,熟悉Linux操作系統(tǒng);
3、熟悉Mapreduce、Redis、Kafka、Flink、spark等大數(shù)據(jù)組件的應(yīng)用場景和配置規(guī)則;
4、了解大數(shù)據(jù)處理的流計算、分布式文件系統(tǒng)、分布式存儲等相關(guān)技術(shù);
5、了解容器、虛擬化、微服務(wù)框架等相關(guān)技術(shù);
6、能接受出差,溝通能力良好,能夠獨立排查和處理問題。