崗位要求:
1. 負(fù)責(zé)設(shè)計(jì)開發(fā)爬蟲系統(tǒng)以及優(yōu)化爬蟲策略,進(jìn)行多平臺(tái)信息的抓取和分析
2. 設(shè)計(jì)爬蟲策略和防屏蔽規(guī)則,完成對(duì)復(fù)雜網(wǎng)站信息抓取
3. 參與業(yè)務(wù)功能需求探討,數(shù)據(jù)分析處理落地,并提供后端接口
任職資格:
1、熟練使用python,熟練爬蟲開發(fā),熟練使用scrapy、selenium開源框架,1年及以上python爬蟲經(jīng)驗(yàn);
2、熟練常見反爬機(jī)制,IP代理池、headers認(rèn)證和cookie等;
3、對(duì)HTTP協(xié)議及HTML有深入理解,精通正則,xpath等,熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
4、積極主動(dòng),愿意接受挑戰(zhàn),抗壓性強(qiáng)。