崗位職責(zé):
1、根據(jù)項(xiàng)目需求對(duì)接大數(shù)據(jù)平臺(tái),進(jìn)行相應(yīng)的數(shù)據(jù)接入處理,包含數(shù)據(jù)的提取、存儲(chǔ)以及清洗處理等;
2、根據(jù)業(yè)務(wù)需求設(shè)計(jì)數(shù)據(jù)庫(kù)邏輯和物理模型, 開發(fā)數(shù)據(jù)庫(kù)生產(chǎn)環(huán)境所需要的存儲(chǔ)過(guò)程、函數(shù)、腳本等;
3、參與數(shù)據(jù)庫(kù)生產(chǎn)環(huán)境的問(wèn)題優(yōu)化和解決。
任職要求:
1、掌握數(shù)據(jù)庫(kù)開發(fā)技術(shù):包含Oracle、Teradata、DB2、Mysql等,靈活運(yùn)用SQL實(shí)現(xiàn)海量數(shù)據(jù)ETL加工處理;
2、熟悉Linux系統(tǒng)常規(guī)shell處理命令,靈活運(yùn)用shell做的文本處理和系統(tǒng)操作;
3、有從事分布式數(shù)據(jù)存儲(chǔ)與計(jì)算平臺(tái)應(yīng)用開發(fā)經(jīng)驗(yàn),熟悉Hadoop生態(tài)相關(guān)技術(shù)并有相關(guān)實(shí)踐經(jīng)驗(yàn)著優(yōu)先,重點(diǎn)考察Hdfs、Mapreduce、Hive、Hbase;
4、熟練掌握一門或多門編程語(yǔ)言,并有大型項(xiàng)目建設(shè)經(jīng)驗(yàn)者優(yōu)先,重點(diǎn)考察Java、Python、Perl;
5、熟悉數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域知識(shí)和技能者優(yōu)先,包括但不局限于:元數(shù)據(jù)管理、數(shù)據(jù)開發(fā)測(cè)試工具與方法、數(shù)據(jù)質(zhì)量、主數(shù)據(jù)管理;
6、掌握實(shí)時(shí)流計(jì)算技術(shù),有storm開發(fā)經(jīng)驗(yàn)者優(yōu)先;
7、認(rèn)真負(fù)責(zé),有團(tuán)隊(duì)協(xié)作精神,能夠與團(tuán)隊(duì)相處融洽,協(xié)同處理好項(xiàng)目工作;
8、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè)優(yōu)先。