崗位職責(zé):
1、參與公司大數(shù)據(jù)平臺的規(guī)劃、制定共享數(shù)據(jù)管理的規(guī)范,參與平臺產(chǎn)品的功能設(shè)計;
2、負責(zé)公司大數(shù)據(jù)平臺系統(tǒng)模塊的分解、接口設(shè)計、技術(shù)文檔規(guī)范的編制;
3、負責(zé)大數(shù)據(jù)平臺的研發(fā),解決大數(shù)據(jù)平臺開發(fā)過程的各類技術(shù)問題;
4、負責(zé)大數(shù)據(jù)平臺的數(shù)據(jù)治理,為數(shù)據(jù)應(yīng)用場景提供規(guī)范、清潔的數(shù)據(jù);
5、開發(fā)可靠、高效、準確的數(shù)據(jù)集市, 并提供技術(shù)支持維護和升級大數(shù)據(jù)基礎(chǔ)設(shè)施。
任職要求:
1、崗位要求Hadoop和FLink必須精通,目前使用技術(shù)棧是doris(了解clickhouse等其他實時數(shù)倉也可以)
2、熟悉使用Hadoop,Spark,HBase,doris等大數(shù)據(jù)技術(shù)平臺,有大規(guī)模數(shù)據(jù)日志處理經(jīng)驗者優(yōu)先
3、熟悉數(shù)據(jù)分析、數(shù)據(jù)挖掘、機器學(xué)習(xí)、分布式計算至少某一方面,有較深的理論研究和實踐經(jīng)驗優(yōu)先
4、具有Hadoop/Spark,以及kafka、flume、hbase、hive、zookeeper等大數(shù)據(jù)生態(tài)圈實際開發(fā)經(jīng)驗。深入了解Hadoop/Spark生態(tài)圈產(chǎn)品的工作原理及應(yīng)用場景
5、掌握主流數(shù)據(jù)庫技術(shù)(如hbase、MySQL、MangoDB、elasticsearch等),并熟悉SQL開發(fā)
6、具備大數(shù)據(jù)基礎(chǔ)平臺搭建和運維能力 。