崗位職責:
1. 集群管理:負責Hadoop集群的安裝、配置、維護和優(yōu)化,確保系統(tǒng)的高可用性和穩(wěn)定性。
2. 性能調(diào)優(yōu):監(jiān)控集群性能,進行必要的調(diào)整以提高數(shù)據(jù)處理效率和資源利用率。
3. 故障排查:快速響應(yīng)系統(tǒng)故障,定位問題原因,實施有效的解決方案。
4. 安全管理:建立和完善安全機制,保護數(shù)據(jù)安全,防止未授權(quán)訪問。
5. 技術(shù)選型:根據(jù)業(yè)務(wù)需求選擇合適的Hadoop生態(tài)組件和技術(shù)棧。
6. 項目支持:為業(yè)務(wù)團隊提供技術(shù)支持,參與需求分析,協(xié)助設(shè)計數(shù)據(jù)處理流程。
7. 文檔編寫:撰寫技術(shù)文檔,如操作手冊、故障排除指南等,以便團隊成員共享知識。
崗位要求:
1. 教育背景:計算機科學(xué)或相關(guān)領(lǐng)域的學(xué)士/碩士學(xué)位。
2. 經(jīng)驗要求:3年以上的大數(shù)據(jù)平臺運維經(jīng)驗,特別是Hadoop生態(tài)系統(tǒng)。
3. 技術(shù)技能:深入理解Hadoop架構(gòu)及其核心組件(如HDFS、YARN等);熟悉Hadoop生態(tài)圈其他工具(如Kerberos、LDAP、Hive、Spark、Flink、Kyuubi、Kafka、HBase、ES等);掌握Linux操作系統(tǒng);了解Shell腳本編程;具有Python、Java或Scala等至少一種編程語言的經(jīng)驗。
4. 軟技能:良好的溝通能力和團隊合作精神;能夠獨立解決問題;對新技術(shù)保持好奇心和學(xué)習態(tài)度。
5. 加分項:熟悉Ambari Mpack開發(fā),機器規(guī)模百臺、數(shù)據(jù)規(guī)模PB級以上運維經(jīng)驗。