崗位職責(zé):
1.負(fù)責(zé)hadoop、flink、spark等集群及其子系統(tǒng)的維護(hù)、資源管理、監(jiān)控與優(yōu)化,子系統(tǒng)包括但不限于FLINK、HDFS、HBASE、YARN、SPARK、KAFKA、Doris等。
2.承擔(dān)數(shù)千臺規(guī)模Hadoop集群的管理工作,解決大規(guī)模Hadoop集群在應(yīng)用與運(yùn)行過程中的出現(xiàn)各種問題,保證集群的高效穩(wěn)定運(yùn)行。
3.使用hive、spark、flink、mapreduce進(jìn)行數(shù)據(jù)處理,對相關(guān)服務(wù)進(jìn)行調(diào)優(yōu)
4.結(jié)合AI能力,構(gòu)建可以直接應(yīng)用于AI的數(shù)據(jù)智能平臺,服務(wù)于公司內(nèi)AI產(chǎn)品
任職要求:
1、計(jì)算機(jī)或數(shù)學(xué)相關(guān)專業(yè)、本科及以上學(xué)歷,985/211優(yōu)先
2、了解Hadoop、spark、flink任一框架,對社區(qū)有源碼貢獻(xiàn)者優(yōu)先;
3、精通Java語言、熟悉分布式系統(tǒng)設(shè)計(jì)、開發(fā)
4、對大數(shù)據(jù)行業(yè)相關(guān)技術(shù)有持續(xù)學(xué)習(xí)的熱情,對AI應(yīng)用有一定的了解,并了解行業(yè)最新技術(shù)動態(tài),開源社區(qū)參與者和貢獻(xiàn)者優(yōu)先;
6、思維敏捷,嚴(yán)謹(jǐn)、有較強(qiáng)的鉆研學(xué)習(xí)能力;較好的溝通能力、團(tuán)隊(duì)合作