職位描述
可轉正實習證明PythonHTML分布式爬蟲數(shù)據(jù)挖掘數(shù)據(jù)采集爬蟲技術設計和開發(fā)信息入庫熟悉SCRAPY熟悉LINUX電商社交
【歡迎大三或者研三在讀生投遞】【要求每周可全勤到崗，不接受線上實習】
崗位職責：
1、負責多平臺信息爬取和頁面內(nèi)容的提取分析；
2、分析各種網(wǎng)站、網(wǎng)頁、鏈接的形態(tài)，分析網(wǎng)站數(shù)據(jù)結構，提取業(yè)務需求數(shù)據(jù)；
3、解決技術包括反爬、采集速度等問題；
4、爬取數(shù)據(jù)處理、清洗、入庫，數(shù)據(jù)質量核對。
崗位要求：
1、能夠完成爬蟲技術設計和開發(fā)，找尋相關網(wǎng)站，并從中爬取數(shù)據(jù)、信息入庫整理；
2、熟悉python語言、熟悉scrapy及其拓展模塊；
3、熟悉Mysql、MongoDB等數(shù)據(jù)庫的使用；
4、熟悉HTTP協(xié)議，掌握Session、Cookie、Ajax等，了解常用驗證碼識別技術；
5、能夠維護和優(yōu)化已有的爬蟲服務，按需求做增量采集，數(shù)據(jù)監(jiān)控，拓展數(shù)據(jù)源；
6、能夠解決封賬號、封IP采集等問題，解決網(wǎng)頁抓取、信息抽取等問題，構建完善的網(wǎng)絡信息收集平臺；
7、熟悉Linux常用命令、docker容器技術和git技術者優(yōu)先。
崗位職責：
1、負責多平臺信息爬取和頁面內(nèi)容的提取分析；
2、分析各種網(wǎng)站、網(wǎng)頁、鏈接的形態(tài)，分析網(wǎng)站數(shù)據(jù)結構，提取業(yè)務需求數(shù)據(jù)；
3、解決技術包括反爬、采集速度等問題；
4、爬取數(shù)據(jù)處理、清洗、入庫，數(shù)據(jù)質量核對。
崗位要求：
1、能夠完成爬蟲技術設計和開發(fā)，找尋相關網(wǎng)站，并從中爬取數(shù)據(jù)、信息入庫整理；
2、熟悉python語言、熟悉scrapy及其拓展模塊；
3、熟悉Mysql、MongoDB等數(shù)據(jù)庫的使用；
4、熟悉HTTP協(xié)議，掌握Session、Cookie、Ajax等，了解常用驗證碼識別技術；
5、能夠維護和優(yōu)化已有的爬蟲服務，按需求做增量采集，數(shù)據(jù)監(jiān)控，拓展數(shù)據(jù)源；
6、能夠解決封賬號、封IP采集等問題，解決網(wǎng)頁抓取、信息抽取等問題，構建完善的網(wǎng)絡信息收集平臺；
7、熟悉Linux常用命令、docker容器技術和git技術者優(yōu)先。
工作地點
廣州海珠區(qū)TCL大廈2301
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
梁女士/HRBP
立即溝通
廣州信安數(shù)據(jù)有限公司廣州信安數(shù)據(jù)有限公司成立于2016年，從事特定細分市場6年，創(chuàng)始團隊具有豐富的產(chǎn)業(yè)級數(shù)據(jù)管理理論和實踐經(jīng)驗。公司以“數(shù)據(jù)信安，強國富民”為企業(yè)愿景，致力于成為中國最好的產(chǎn)業(yè)級數(shù)據(jù)治理及要素運營服務商。信安數(shù)據(jù)聚焦大數(shù)據(jù)行業(yè)，面向電力、航空、金融、政務等數(shù)據(jù)要素密集市場的頭部客戶，圍繞數(shù)據(jù)治理及數(shù)據(jù)要素流通領域，提供包括咨詢、產(chǎn)品、運營、創(chuàng)新在內(nèi)的一體化綜合解決方案，有效幫助客戶盤活數(shù)據(jù)資產(chǎn)、促進數(shù)據(jù)價值釋放。信安數(shù)據(jù)以南方電網(wǎng)、南航、各地政數(shù)局等超大型國企及政府單位為主要客戶，建立了穩(wěn)定的客群。同時積極與BAT、聯(lián)通、移動、華為等渠道廠商、DAMA中國、中國信通院等行業(yè)聯(lián)盟及暨南大學、廣州大學、華中科技大學等高校合作，形成了“產(chǎn)學研”一體的生態(tài)體系。信安數(shù)據(jù)自成立以來，高度重視企業(yè)資質和知識產(chǎn)權建設，已先后通過了AAA級信用企業(yè)認定、ISO27001、ISO20000、CMMI3、CS2等認證；成為DAMA中國理事會員單位、BDIAC和TC606及數(shù)據(jù)安全產(chǎn)業(yè)研究工作組成員單位。擁有多項軟件著作權和發(fā)明專利，積極參與各類創(chuàng)新大賽并獲獎；深度參與國家標準規(guī)范及區(qū)域創(chuàng)新規(guī)劃工作，具有很高的市場美譽度及品牌影響力。
公司主頁