關(guān)鍵字:大數(shù)據(jù)遷移、Hadoop、Spark、Nifi、CDM、華為數(shù)據(jù)湖、數(shù)據(jù)倉庫
主要職責(zé):
1、負(fù)責(zé)大數(shù)據(jù)搬遷和系統(tǒng)集成。
2、利用華為云數(shù)據(jù)遷移工具搬遷數(shù)據(jù)倉庫并進(jìn)行數(shù)據(jù)核對(duì)。
3、處理海量數(shù)據(jù),進(jìn)行實(shí)時(shí)和批處理分析,支持業(yè)務(wù)需求。
4、負(fù)責(zé)Nifi作業(yè)的遷移和調(diào)測(cè)。
5、具備良好的SQL優(yōu)化能力;能夠完成數(shù)據(jù)比對(duì)工作,具備數(shù)據(jù)追溯并定位出問題能力。
6、參與方案調(diào)研,能夠做詳細(xì)的方案設(shè)計(jì),負(fù)責(zé)分配、管理開發(fā)任務(wù),技術(shù)攻關(guān),代碼評(píng)審等,需要有較豐富的大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)。
任職資格:
1、8年大數(shù)據(jù)開發(fā)經(jīng)驗(yàn),熟悉大數(shù)據(jù)相關(guān)技術(shù)棧。
2、精通kafka、fink、spark、hive等大數(shù)據(jù)組件,能夠獨(dú)立完成fink作業(yè)、spark作業(yè)、數(shù)據(jù)質(zhì)量作業(yè)的遷移/開發(fā),能夠端到端的進(jìn)行調(diào)測(cè)。能夠配合業(yè)務(wù)用戶完成集成測(cè)試。
3、精通apache nifi開源組件,能夠獨(dú)立完成Nifi作業(yè)的遷移和調(diào)測(cè)。
4、精通掌握 Java、SQL、Scala 或 Python 等語言。
5、參與方案調(diào)研,能夠做詳細(xì)的方案設(shè)計(jì),負(fù)責(zé)分配、管理開發(fā)任務(wù),技術(shù)攻關(guān),代碼評(píng)審等,需要有較豐富的大數(shù)據(jù)項(xiàng)目經(jīng)驗(yàn)
6、具備良好的SQL優(yōu)化能力,熟悉關(guān)系型數(shù)據(jù)庫和NoSQL數(shù)據(jù)庫。
7、具備大數(shù)據(jù)平臺(tái)性能優(yōu)化的經(jīng)驗(yàn)。
8、優(yōu)秀的溝通能力和書面表達(dá)能力。
9、熟悉華為大數(shù)據(jù)平臺(tái)MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先。
10、統(tǒng)招大專以上學(xué)歷。
11、熟悉華為大數(shù)據(jù)平臺(tái)MRS、DataArt studio、Data Lake、Gaussdb(DWS)優(yōu)先、具備大數(shù)據(jù)遷移工作經(jīng)驗(yàn)優(yōu)先。。