崗位職責(zé):
1、負(fù)責(zé)情報(bào)系統(tǒng)的整體架構(gòu)設(shè)計(jì)及數(shù)據(jù)爬取能力建設(shè),保證數(shù)據(jù)獲取能力的穩(wěn)定性,負(fù)責(zé)爬蟲(chóng)技術(shù)的核心難點(diǎn)攻堅(jiān);
2、負(fù)責(zé)數(shù)據(jù)抓取的全面性、準(zhǔn)確性、及時(shí)性建設(shè),解決抓取過(guò)程中遇到的技術(shù)問(wèn)題和挑戰(zhàn);
3、建設(shè)情報(bào)系統(tǒng)的離線(xiàn)、實(shí)時(shí)監(jiān)測(cè)及預(yù)警能力,保障數(shù)據(jù)實(shí)時(shí)入倉(cāng),并優(yōu)化查詢(xún)性能,具備大規(guī)模高性能數(shù)據(jù)檢索能力;
崗位要求:
1、5年以上工作經(jīng)驗(yàn),精通Java及Python技術(shù)棧,熟練使用SpringMVC、Python,常用緩存、隊(duì)列、存儲(chǔ)等中間件技術(shù);
2、3年以上大數(shù)據(jù)開(kāi)發(fā)相關(guān)經(jīng)驗(yàn),熟悉大數(shù)據(jù)技術(shù)及相關(guān)原理,能夠快手開(kāi)發(fā)并優(yōu)化日常問(wèn)題;
3、有海外媒體平臺(tái)的數(shù)據(jù)系統(tǒng)建設(shè)經(jīng)驗(yàn)優(yōu)先;
4、積極樂(lè)觀(guān),認(rèn)真負(fù)責(zé),樂(lè)于協(xié)作,熱愛(ài)技術(shù),具備快速學(xué)習(xí)能力;