崗位要求:
1. 3年以上工作經(jīng)驗。
2. java系統(tǒng)開發(fā)經(jīng)驗,具備良好的數(shù)據(jù)結(jié)構(gòu)、算法功底,良好的編程開發(fā)能力。
3. 熟悉并精通hadoop生態(tài)圈技術(shù)棧,如hive、flink、hbase、spark、kafka等,掌握ClickHouse、StarRocks等OLAP數(shù)據(jù)庫優(yōu)先。
4、具備算法工程系統(tǒng)、算法工程平臺或相關(guān)開源項目研發(fā)經(jīng)驗。
5、具備大型分布式、高并發(fā)、高負載、高可用系統(tǒng)設(shè)計、開發(fā)以及調(diào)優(yōu)經(jīng)驗,有大數(shù)據(jù)平臺的軟件開發(fā)和部署經(jīng)驗者優(yōu)先。
崗位職責(zé):
1. 參與公司大數(shù)據(jù)開發(fā)治理平臺DataOps和機器訓(xùn)練和推理平臺MLOps的開發(fā)和交付,通過這兩個平臺的構(gòu)建提升數(shù)據(jù)和算法開發(fā)效率,加快公司數(shù)據(jù)變現(xiàn)。
2. 對模塊進行場景分析和方案設(shè)計,輸出詳細設(shè)計方案。
3. 關(guān)鍵大數(shù)據(jù)技術(shù)預(yù)研和攻關(guān),如大數(shù)據(jù)在離線混部、資源動態(tài)調(diào)優(yōu)、GPU資源動態(tài)分配、湖倉治理等。
4.多模態(tài)數(shù)據(jù)存儲和計算方案設(shè)計和落地。