崗位職責(zé):
1、負(fù)責(zé)分布式爬蟲系統(tǒng)的核心架構(gòu)設(shè)計(jì)以及系統(tǒng)規(guī)劃;
2、負(fù)責(zé)抓取數(shù)據(jù)的清洗、落地、分析,確保數(shù)據(jù)抽取準(zhǔn)確、高效;
3、破解反爬機(jī)制,優(yōu)化爬蟲路由調(diào)度策略;
4、負(fù)責(zé)高性能爬蟲系統(tǒng)的后臺監(jiān)控、報(bào)警模塊的開發(fā)。
任職資格:
1、本科及以上學(xué)歷,計(jì)算機(jī)相關(guān)專業(yè),有強(qiáng)烈的好奇心;
2、三年以上數(shù)據(jù)采集開發(fā)經(jīng)驗(yàn),具備扎實(shí)的計(jì)算機(jī)專業(yè)基礎(chǔ)知識;
3、熟悉linux平臺開發(fā),精通Python編程語言;
4、熟悉網(wǎng)頁抓取原理及技術(shù),至少熟悉一種爬蟲框架(如Scrapy、Feapdr等);
5、熟悉 selenium 、DrissionPage 等自動(dòng)化抓取技術(shù);
6、熱愛解決爬蟲的各種技術(shù)問題,勇于挑戰(zhàn)。