崗位職責:
1.負責大數(shù)據(jù)平臺集群建設優(yōu)化,包括整體架構設計、組件選型、部署維護、參數(shù)調優(yōu)等;
2.負責大數(shù)據(jù)平臺集群整體運維、監(jiān)控及安全體系建設,包括集群運行、調度任務監(jiān)控告警等;
3.參與大數(shù)據(jù)平臺數(shù)據(jù)產品架構設計與優(yōu)化;
4.為平臺上層數(shù)據(jù)應用提供技術支持;
5.參與大數(shù)據(jù)領域前沿技術調研和引進。
任職要求:
1.碩士研究生及以上學歷,計算機相關專業(yè);
2.5年以上工作經(jīng)驗,3年以上大數(shù)據(jù)平臺開發(fā)、運維經(jīng)驗;
3.精通Hadoop生態(tài)圈(如:Hive、Hbase、CK、Spark、Flink等等),熟悉各組件運行原理及運維部署調優(yōu),至少需要具備HDFS(含Yarn、Hive、Spark)、Hbase、CK集群的實際部署及運維經(jīng)驗,對華為MRS集群有實際部署維護經(jīng)驗優(yōu)先;
4.熟悉MPP類型數(shù)據(jù)庫運行原理及調優(yōu),對華為DWS數(shù)據(jù)庫有實際部署維護經(jīng)驗優(yōu)先;
5.熟悉各類關系型數(shù)據(jù)庫(如:Mysql、Postgres、Oracle),有良好的sql編寫.優(yōu)化能力;
6.具備Shell、Python 等腳本編程能力,邏輯思維能力強,問題排查思路清晰;
7.有良好的Java語言編程基礎,具備至少一個應用類項目開發(fā)經(jīng)驗;
8.能夠熟練調用大數(shù)據(jù)生態(tài)圈各組件API接口;
9.有良好的代碼編寫規(guī)范。