崗位要求:
1、負(fù)責(zé)爬取電商平臺(tái)、內(nèi)容平臺(tái)或者短視頻方向的網(wǎng)站數(shù)據(jù),分析鏈接,轉(zhuǎn)碼等;
2、負(fù)責(zé)研究和破解各種反爬機(jī)制,優(yōu)化爬蟲性能,保障爬蟲的穩(wěn)定性和速度;
3、負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)提取、清洗、結(jié)構(gòu)化、入庫(kù)、統(tǒng)計(jì)分析等需求;
4、負(fù)責(zé)爬蟲系統(tǒng)的架構(gòu)設(shè)計(jì)與開發(fā);
5、能獨(dú)立解決實(shí)際開發(fā)過程碰到的各類問題。
職位要求:
1、 本科及以上學(xué)歷,計(jì)算機(jī)、信息技術(shù)等相關(guān)專業(yè),具有數(shù)據(jù)挖掘、自然語(yǔ)言處理、信息檢索、機(jī)器學(xué)習(xí)背景者優(yōu)先;
2、 三年以上開發(fā)經(jīng)驗(yàn),熟悉Linux平臺(tái),有大規(guī)模網(wǎng)頁(yè)爬蟲開發(fā)和分布式爬蟲架構(gòu)經(jīng)驗(yàn)者經(jīng)驗(yàn)優(yōu)先;
3、 熟悉主流的python爬蟲框架,如 pyspider,scrapy等;
4、了解常用反爬方式,有實(shí)際應(yīng)對(duì)措施和解決方案,包括并不限于ip限制,指紋限制,數(shù)據(jù)加密,請(qǐng)求參數(shù)加密等;
5、有很強(qiáng)的分析解決問題能力;
6、強(qiáng)烈的責(zé)任心和良好的團(tuán)隊(duì)合作能力"