崗位要求:
1、負責設計開發(fā)爬蟲系統(tǒng)以及優(yōu)化爬蟲策略,進行多平臺信息的抓取和分析
2、設計爬蟲策略和防屏蔽規(guī)則,完成對復雜網(wǎng)站信息抓取
3、參與業(yè)務功能需求探討,數(shù)據(jù)分析處理落地,并提供后端接口
任職資格:
1、熟練常見反爬機制,IP代理池、headers認證和cookie等;
2、對HTTP協(xié)議及HTML有深入理解,精通正則,xpath等,熟練從結(jié)構(gòu)化和非結(jié)構(gòu)化的數(shù)據(jù)中獲取信息;
3、熟練使用python,熟練爬蟲開發(fā),熟練使用scrapy、selenium開源框架,1年及以上python爬蟲經(jīng)驗;
4、積極主動,愿意接受挑戰(zhàn),抗壓性強。