崗位職責
1、負責大數(shù)據平臺架構規(guī)劃設計、規(guī)范制定、平臺優(yōu)化、技術選型、新技術調研。
2、負責公司大數(shù)據平臺相關數(shù)據產品的方案設計、評審及技術優(yōu)化,負責關鍵技術模塊的設計和開發(fā)。
3、制定和持續(xù)優(yōu)化大數(shù)據平臺相關的架構、規(guī)范與流程,包括但不限于技術方案規(guī)范、代碼管理規(guī)范、部署運維規(guī)范等。
4、負責大數(shù)據平臺運維,異常調查、處理,確保平臺穩(wěn)定高效運行。
任職要求
1、計算機相關專業(yè),5 年以上大數(shù)據領域相關經驗,對大數(shù)據技術有濃厚的興趣。
2、具備豐富的大數(shù)據平臺架構設計經驗,熟悉數(shù)據采集、清洗、同步、計算、存儲、應用等各個環(huán)節(jié),熟悉離線數(shù)倉、實時數(shù)倉、數(shù)據湖、湖倉一體等架構的平臺構建方法。
3、熟悉大數(shù)據集群,具有大規(guī)模集群規(guī)劃實施、監(jiān)控與運維工作經驗,熟悉大數(shù)據常見問題及處理方法。
4、熟悉 Hadoop 大數(shù)據生態(tài),對
Hadoop/Hive/Spark/Flink/Kafka/HBase/Redis/Hudi/Iceberg/Delta Lake/Doris/StarRocks/ClickHouse 等大數(shù)據框架的原理、配置、使用、優(yōu)化等方面有一定理解和掌握,至少精通其中 1-2 種。
5、扎實的編程基礎,精通 java/scala/python 其中任一開發(fā)語言,熟練掌握 jvm 性能調優(yōu)和問題排查方法。
6、強烈的責任心和良好的分析問題、解決問題的能力。溝通能力強,能與周邊同事友好相處,抗壓能力強。