工作職責:
1.使用爬蟲技術(shù)采集指定的互聯(lián)網(wǎng)數(shù)據(jù);
2.對采集的數(shù)據(jù)進行清洗治理;
3 負責爬蟲系統(tǒng)外部調(diào)用接口的實現(xiàn)。
任職要求:
1.本科以上學歷,計算機相關(guān)專業(yè) ,3年以上爬蟲工作經(jīng)驗,獨立設(shè)計開發(fā)爬蟲系統(tǒng);
2 精通Python語言,熟練掌握主流爬蟲框架;熟悉常用的庫requests/gevent等;
3.了解各種加密算法,能夠獨立解決js反爬和模擬登陸問題等問題;
4.熟練掌握正則表達式、XPath、CSS等網(wǎng)頁信息抽取技術(shù);
5. 熟悉常見反爬機制,驗證碼識別,IP代理池、應用Ip池、headers認證和cookie等;
6. 熟練使用Selenium等爬蟲框架實施動態(tài)抓?。?
7.熟悉熟練使用charles、fiddler等抓包工具者優(yōu)先。