崗位職責(zé):
1、負(fù)責(zé)分布式爬蟲(chóng)系統(tǒng)的核心架構(gòu)設(shè)計(jì)以及系統(tǒng)規(guī)劃;
2、負(fù)責(zé)抓取數(shù)據(jù)的清洗、落地、分析,確保數(shù)據(jù)抽取準(zhǔn)確、高效;
3、破解反爬機(jī)制,優(yōu)化爬蟲(chóng)路由調(diào)度策略;
4、負(fù)責(zé)高性能爬蟲(chóng)系統(tǒng)的后臺(tái)監(jiān)控、報(bào)警模塊的開(kāi)發(fā)。
任職資格:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專(zhuān)業(yè),有強(qiáng)烈的好奇心;
2、三年以上數(shù)據(jù)采集開(kāi)發(fā)經(jīng)驗(yàn),具備扎實(shí)的計(jì)算機(jī)專(zhuān)業(yè)基礎(chǔ)知識(shí);
3、熟悉linux平臺(tái)開(kāi)發(fā),精通Python編程語(yǔ)言;
4、熟悉網(wǎng)頁(yè)抓取原理及技術(shù),至少熟悉一種爬蟲(chóng)框架(如Scrapy、Feapdr等);
5、熟悉 selenium 、DrissionPage 等自動(dòng)化抓取技術(shù);
6、熱愛(ài)解決爬蟲(chóng)的各種技術(shù)問(wèn)題,勇于挑戰(zhàn)。