雇員點評標簽
職位描述
Hadoop大數(shù)據(jù)開發(fā)
崗位職責：
1. 平臺開發(fā)與部署：
? 設計、開發(fā)和維護基于Hadoop生態(tài)系統(tǒng)的大數(shù)據(jù)平臺（如HDFS、YARN、Hive、Spark、HBase等）。
? 開發(fā)和優(yōu)化數(shù)據(jù)管道（Data Pipeline），支持數(shù)據(jù)采集、存儲、處理和分析。
? 編寫和維護自動化腳本（如Shell、Python）以簡化部署和管理流程。
2. 平臺運維與監(jiān)控：
? 負責Hadoop集群的日常運維，包括安裝、配置、升級和故障排除。
? 監(jiān)控集群性能，優(yōu)化資源利用率，確保系統(tǒng)高可用性和穩(wěn)定性。
? 使用監(jiān)控工具（如Ganglia、Nagios、Prometheus等）實時監(jiān)控集群狀態(tài)，及時發(fā)現(xiàn)并解決問題。
3. 性能優(yōu)化：
? 分析和優(yōu)化Hadoop集群的性能，解決數(shù)據(jù)傾斜、資源爭用等問題。
? 優(yōu)化MapReduce、Spark等計算框架的任務執(zhí)行效率。
? 調整HDFS存儲策略，優(yōu)化數(shù)據(jù)讀寫性能。
4. 安全管理：
? 配置和管理Hadoop平臺的安全機制，包括Kerberos認證、權限控制（ACL）和數(shù)據(jù)加密。
? 定期進行安全審計，確保平臺符合公司安全政策和行業(yè)標準。
5. 故障排查與恢復：
? 快速定位和解決Hadoop集群中的故障，包括硬件故障、網(wǎng)絡問題和軟件異常。
? 制定和實施災難恢復計劃，確保數(shù)據(jù)安全 任職要求：
1. 教育背景：
? 計算機科學、信息技術、軟件工程或相關專業(yè)本科及以上學歷。
2. 工作經(jīng)驗：
? 4年以上大數(shù)據(jù)平臺開發(fā)或運維經(jīng)驗，熟悉Hadoop生態(tài)系統(tǒng)及其核心組件（如HDFS、YARN、Hive、Spark、HBase等）。
? 有大規(guī)模集群（100+節(jié)點）運維經(jīng)驗者優(yōu)先。
3. 技術技能：
? 熟練掌握Hadoop生態(tài)系統(tǒng)的部署、配置和優(yōu)化。
? 熟悉至少一種編程語言（如Java、Python、Scala）。
? 熟悉Linux操作系統(tǒng)，具備Shell腳本編寫能力。
? 熟悉大數(shù)據(jù)處理框架（如MapReduce、Spark、Flink）。
? 熟悉數(shù)據(jù)倉庫工具（如Hive、Impala）和消息隊列（如Kafka）。
? 了解容器化技術（如Docker、Kubernetes）和云計算平臺（如AWS、Azure、阿里云）者優(yōu)先。
4. 軟技能：
? 具備良好的問題分析和解決能力。
? 具備較強的溝通能力和團隊協(xié)作精神。
? 能夠在高壓環(huán)境下工作，具備快速學習和適應新技術的能力。
工作地點
平頂山湛河區(qū)平高集團
相似職位
- 大數(shù)據(jù)開發(fā)（平頂山市）8000-12000元
平頂山 - 湛河區(qū)
華蘇科技 - 數(shù)據(jù)開發(fā)工程師7000-14000元
平頂山 - 湛河區(qū)
河南馳鵬科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
李女士/HR
立即溝通
華蘇科技南京華蘇科技有限公司（簡稱：華蘇科技）成立于2003年，是軟件產(chǎn)品、解決方案和技術服務的提供商，致力為產(chǎn)業(yè)數(shù)字化轉型注入新動能?？偛课挥谥袊暇┸浖?，目前在北京、廣州、福州、沈陽、成都、西安、杭州、濟南等多地擁有分支機構。2016年加入神州信息，承載其ICT業(yè)務。深耕行業(yè)二十年，華蘇科技具備行業(yè)領先的研發(fā)能力、產(chǎn)品和服務。憑借對IT、網(wǎng)絡環(huán)境和行業(yè)運營需求的深入理解，過硬的項目管理能力和豐富的產(chǎn)品研發(fā)經(jīng)驗，與中國移動、中國電信、中國聯(lián)通、華為、中興、愛立信、國家電網(wǎng)等行業(yè)龍頭企業(yè)建立了深厚的合作伙伴關系。業(yè)務覆蓋全國除港澳臺外所有省級行政區(qū)，以及海外多個國家和地區(qū)。華蘇科技始終堅持研發(fā)高投入，以通信基礎能力為底座，加速擁抱5G、人工智能、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)等新興技術，形成“浩”和“Howso@”系列數(shù)字化產(chǎn)品。以深厚的技術底蘊和敏捷的創(chuàng)新能力，持續(xù)驅動軟件和服務產(chǎn)品的智能化迭代，深度參與產(chǎn)業(yè)數(shù)字化發(fā)展進程，為通信、電力、政企、汽車、地產(chǎn)、互聯(lián)網(wǎng)等行業(yè)獻力賦能。
公司主頁