雇員點(diǎn)評(píng)標(biāo)簽
職位描述
數(shù)據(jù)爬蟲數(shù)據(jù)埋點(diǎn)PythonGOJavaHadoopDjango云計(jì)算/大數(shù)據(jù)
【崗位職責(zé)】
1. 多類型數(shù)據(jù)源對(duì)接：負(fù)責(zé)對(duì)接 API 接口（第三方開放平臺(tái)、業(yè)務(wù)系統(tǒng)接口）、服務(wù)器日志（Nginx/ELK 等）、關(guān)系型 / 非關(guān)系型數(shù)據(jù)庫（MySQL、MongoDB、HBase 等）、IoT 設(shè)備（傳感器、智能硬件）及爬蟲（合規(guī)場(chǎng)景下網(wǎng)頁 / APP 數(shù)據(jù)采集），完成數(shù)據(jù)源調(diào)研、協(xié)議適配與接入落地；
2. 采集腳本與工具開發(fā)：基于 Python/Java/Go 等語言開發(fā)采集腳本，或配置開源采集工具（如 DataX、Flume、Airbyte、Apache NiFi），實(shí)現(xiàn)數(shù)據(jù)定時(shí) / 實(shí)時(shí)采集，確保采集邏輯高效、可復(fù)用；
3。 采集異常處理與優(yōu)化：監(jiān)控采集鏈路運(yùn)行狀態(tài)，快速排查并解決采集中斷、數(shù)據(jù)丟失、格式異常、接口限流等問題；定期分析采集性能（如延遲、成功率），優(yōu)化采集策略（如增量采集、斷點(diǎn)續(xù)傳、并發(fā)控制），提升數(shù)據(jù)采集穩(wěn)定性與效率；
4. 文檔與協(xié)作：編寫數(shù)據(jù)源對(duì)接文檔、采集腳本說明文檔，配合數(shù)據(jù)清洗、數(shù)倉團(tuán)隊(duì)同步采集數(shù)據(jù)格式與進(jìn)度，確保數(shù)據(jù)流轉(zhuǎn)順暢。
1. 多類型數(shù)據(jù)源對(duì)接：負(fù)責(zé)對(duì)接 API 接口（第三方開放平臺(tái)、業(yè)務(wù)系統(tǒng)接口）、服務(wù)器日志（Nginx/ELK 等）、關(guān)系型 / 非關(guān)系型數(shù)據(jù)庫（MySQL、MongoDB、HBase 等）、IoT 設(shè)備（傳感器、智能硬件）及爬蟲（合規(guī)場(chǎng)景下網(wǎng)頁 / APP 數(shù)據(jù)采集），完成數(shù)據(jù)源調(diào)研、協(xié)議適配與接入落地；
2. 采集腳本與工具開發(fā)：基于 Python/Java/Go 等語言開發(fā)采集腳本，或配置開源采集工具（如 DataX、Flume、Airbyte、Apache NiFi），實(shí)現(xiàn)數(shù)據(jù)定時(shí) / 實(shí)時(shí)采集，確保采集邏輯高效、可復(fù)用；
3。 采集異常處理與優(yōu)化：監(jiān)控采集鏈路運(yùn)行狀態(tài)，快速排查并解決采集中斷、數(shù)據(jù)丟失、格式異常、接口限流等問題；定期分析采集性能（如延遲、成功率），優(yōu)化采集策略（如增量采集、斷點(diǎn)續(xù)傳、并發(fā)控制），提升數(shù)據(jù)采集穩(wěn)定性與效率；
4. 文檔與協(xié)作：編寫數(shù)據(jù)源對(duì)接文檔、采集腳本說明文檔，配合數(shù)據(jù)清洗、數(shù)倉團(tuán)隊(duì)同步采集數(shù)據(jù)格式與進(jìn)度，確保數(shù)據(jù)流轉(zhuǎn)順暢。
【崗位要求】
1. 學(xué)歷與經(jīng)驗(yàn)：本科及以上學(xué)歷，計(jì)算機(jī)、大數(shù)據(jù)、軟件工程等相關(guān)專業(yè)；1-3 年數(shù)據(jù)采集相關(guān)工作經(jīng)驗(yàn)，有多類型數(shù)據(jù)源（尤其是 IoT 設(shè)備、復(fù)雜 API、合規(guī)爬蟲）對(duì)接經(jīng)驗(yàn)者優(yōu)先；
2. 技術(shù)能力：
熟練掌握至少一種編程語言（Python 優(yōu)先，或 Java/Go），能獨(dú)立開發(fā)采集腳本；
3.熟悉常見數(shù)據(jù)傳輸協(xié)議（HTTP/HTTPS、MQTT、TCP/IP 等），了解 API 接口認(rèn)證（Token、OAuth2.0 等）與參數(shù)調(diào)試；
4. 了解開源采集工具（DataX、Flume、Airbyte 等）的使用與配置，有分布式采集系統(tǒng)經(jīng)驗(yàn)者加分；
5. 具備基礎(chǔ)的數(shù)據(jù)庫操作能力（SQL 查詢、數(shù)據(jù)導(dǎo)出），了解日志解析、數(shù)據(jù)格式轉(zhuǎn)換（JSON/CSV/Parquet 等）邏輯；
【崗位福利】?
1. 有競(jìng)爭(zhēng)力的薪資體系：固定薪資 + 績(jī)效獎(jiǎng)金 + 年終分紅，根據(jù)能力與貢獻(xiàn)提供年度調(diào)薪機(jī)會(huì)，確保付出與回報(bào)匹配；?
2. 全方位成長(zhǎng)支持：提供大數(shù)據(jù)領(lǐng)域前沿技術(shù)培訓(xùn)（如 Flink 進(jìn)階、數(shù)倉架構(gòu)設(shè)計(jì)等），配備資深技術(shù)導(dǎo)師一對(duì)一指導(dǎo)，支持參加行業(yè)技術(shù)峰會(huì)與認(rèn)證考試（費(fèi)用公司承擔(dān)）；
?
3. 完善的基礎(chǔ)保障：繳納五險(xiǎn)一金、帶薪病假、節(jié)日福利（春節(jié) / 中秋等節(jié)日禮金）；?
4. 舒適的工作環(huán)境：辦公區(qū)配備休閑區(qū)（咖啡 / 茶 / 零食無限供應(yīng)）、健身房，定期組織團(tuán)隊(duì)建設(shè)活動(dòng)（如技術(shù)分享會(huì)、戶外團(tuán)建、年度旅游）；?
5. 技術(shù)驅(qū)動(dòng)的工作氛圍：鼓勵(lì)創(chuàng)新嘗試，支持利用 AI 工具優(yōu)化工作流程，團(tuán)隊(duì)內(nèi)部無繁瑣流程，專注技術(shù)落地與價(jià)值創(chuàng)造。
1. 學(xué)歷與經(jīng)驗(yàn)：本科及以上學(xué)歷，計(jì)算機(jī)、大數(shù)據(jù)、軟件工程等相關(guān)專業(yè)；1-3 年數(shù)據(jù)采集相關(guān)工作經(jīng)驗(yàn)，有多類型數(shù)據(jù)源（尤其是 IoT 設(shè)備、復(fù)雜 API、合規(guī)爬蟲）對(duì)接經(jīng)驗(yàn)者優(yōu)先；
2. 技術(shù)能力：
熟練掌握至少一種編程語言（Python 優(yōu)先，或 Java/Go），能獨(dú)立開發(fā)采集腳本；
3.熟悉常見數(shù)據(jù)傳輸協(xié)議（HTTP/HTTPS、MQTT、TCP/IP 等），了解 API 接口認(rèn)證（Token、OAuth2.0 等）與參數(shù)調(diào)試；
4. 了解開源采集工具（DataX、Flume、Airbyte 等）的使用與配置，有分布式采集系統(tǒng)經(jīng)驗(yàn)者加分；
5. 具備基礎(chǔ)的數(shù)據(jù)庫操作能力（SQL 查詢、數(shù)據(jù)導(dǎo)出），了解日志解析、數(shù)據(jù)格式轉(zhuǎn)換（JSON/CSV/Parquet 等）邏輯；
【崗位福利】?
1. 有競(jìng)爭(zhēng)力的薪資體系：固定薪資 + 績(jī)效獎(jiǎng)金 + 年終分紅，根據(jù)能力與貢獻(xiàn)提供年度調(diào)薪機(jī)會(huì)，確保付出與回報(bào)匹配；?
2. 全方位成長(zhǎng)支持：提供大數(shù)據(jù)領(lǐng)域前沿技術(shù)培訓(xùn)（如 Flink 進(jìn)階、數(shù)倉架構(gòu)設(shè)計(jì)等），配備資深技術(shù)導(dǎo)師一對(duì)一指導(dǎo)，支持參加行業(yè)技術(shù)峰會(huì)與認(rèn)證考試（費(fèi)用公司承擔(dān)）；
?
3. 完善的基礎(chǔ)保障：繳納五險(xiǎn)一金、帶薪病假、節(jié)日福利（春節(jié) / 中秋等節(jié)日禮金）；?
4. 舒適的工作環(huán)境：辦公區(qū)配備休閑區(qū)（咖啡 / 茶 / 零食無限供應(yīng)）、健身房，定期組織團(tuán)隊(duì)建設(shè)活動(dòng)（如技術(shù)分享會(huì)、戶外團(tuán)建、年度旅游）；?
5. 技術(shù)驅(qū)動(dòng)的工作氛圍：鼓勵(lì)創(chuàng)新嘗試，支持利用 AI 工具優(yōu)化工作流程，團(tuán)隊(duì)內(nèi)部無繁瑣流程，專注技術(shù)落地與價(jià)值創(chuàng)造。
【其他】
1. 軟技能：具備較強(qiáng)的問題排查能力，能快速定位并解決采集過程中的異常；工作嚴(yán)謹(jǐn)負(fù)責(zé)，有良好的溝通協(xié)作能力與文檔編寫習(xí)慣；
2. 擁抱AI： 我們鼓勵(lì)團(tuán)隊(duì)中使用AI 開發(fā)工作流和工具，來提升工作效率，如TRAE，chatGPT Gemini Claud
1. 軟技能：具備較強(qiáng)的問題排查能力，能快速定位并解決采集過程中的異常；工作嚴(yán)謹(jǐn)負(fù)責(zé)，有良好的溝通協(xié)作能力與文檔編寫習(xí)慣；
2. 擁抱AI： 我們鼓勵(lì)團(tuán)隊(duì)中使用AI 開發(fā)工作流和工具，來提升工作效率，如TRAE，chatGPT Gemini Claud
【薪資待遇】：15-25k
【工作時(shí)間】：早九晚六，雙休
【辦公地點(diǎn)】：杭州崇賢創(chuàng)新創(chuàng)業(yè)園區(qū)9樓
工作地點(diǎn)
臨平區(qū)崇賢創(chuàng)新創(chuàng)業(yè)中心杭州崇賢創(chuàng)新創(chuàng)業(yè)園區(qū)9樓
入職公司信息
- 入職公司: 天津浩玩網(wǎng)絡(luò)技術(shù)有限公司重慶分公司
- 公司地址: 重慶渝北區(qū)洪湖西路26號(hào)完美世界大廈
- 公司人數(shù): 20-99人
認(rèn)證資質(zhì)
勞務(wù)派遣經(jīng)營許可認(rèn)證
勞務(wù)派遣經(jīng)營許可證是由國家人力資源與社會(huì)保障相關(guān)部門頒發(fā)，代表人才經(jīng)紀(jì)人所在企業(yè)可以合法開展勞務(wù)派遣相關(guān)業(yè)務(wù)的資質(zhì)證件。展示該標(biāo)簽代表該企業(yè)發(fā)布此職位時(shí)已上傳《勞務(wù)派遣許可證》并經(jīng)由平臺(tái)審驗(yàn)通過。
相似職位
- 26屆實(shí)習(xí)生+周末雙休a3000-5000元
杭州 - 濱江
浙江愛才人力資源股份有限公司
- 【杭州雙休】數(shù)據(jù)采集員4000-5000元
杭州 - 西湖
北京快聘優(yōu)才人力資源有限公司 - 艙外數(shù)據(jù)采集實(shí)習(xí)生3000-4000元
杭州 - 濱江
愛才集團(tuán)有限公司 - 26屆數(shù)據(jù)采集實(shí)習(xí)生+周末雙休3000-5000元
杭州 - 濱江
- 數(shù)據(jù)采集工程師1.5-2.5萬
杭州 - 臨平
北京易才博普奧管理顧問有限公司 - 車載TE（adb命令）/雙休/社保a5000-6000元
杭州 - 濱江
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長(zhǎng)城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
秦先生/HRS
今日活躍立即溝通
北京易才博普奧管理顧問有限公司易才TMO（Talent Management Outsourcing）成立于2007年，隸屬于易才集團(tuán).易才TMO是全國首家實(shí)現(xiàn)0T0(Online to Offline)商業(yè)模式的綜合人力資源服務(wù)解決方案提供商。TMO依托全國的服務(wù)網(wǎng)絡(luò)和品牌實(shí)力，充分利用優(yōu)質(zhì)的服務(wù)理念及專業(yè)的信息處理服務(wù)能力，為企業(yè)客戶提供全方位、多層次、高標(biāo)準(zhǔn)的行業(yè)人力資源外包和業(yè)務(wù)管理外包服務(wù)方案，涉及的行業(yè)領(lǐng)域有物流、公共服務(wù)、地面交通、信息數(shù)據(jù)處理、財(cái)務(wù)管理、金融、呼叫中心、快速消費(fèi)品等。TMO與全球最大的企業(yè)管理軟件供應(yīng)商SAP合作共同開發(fā)企業(yè)人才管理系統(tǒng)、Payroll薪酬管理系統(tǒng)、ITAS移動(dòng)終端管理系統(tǒng)，通過線上線下產(chǎn)品的整合模式，進(jìn)一步提升了TMO自身整體解決方案的價(jià)值，以幫助客戶提升人力資本，為客戶創(chuàng)造更高的價(jià)值。易才集團(tuán)是中國最專業(yè)的人力資源及相關(guān)流程外包服務(wù)供應(yīng)商，并不斷創(chuàng)新，致力達(dá)到國際領(lǐng)先水準(zhǔn)。集團(tuán)以客戶需求為導(dǎo)向，以“以人為本，與企業(yè)與社會(huì)共贏未來”為企業(yè)使命，匯集業(yè)內(nèi)精英，依托全國范圍的服務(wù)網(wǎng)絡(luò)、先進(jìn)的互聯(lián)網(wǎng)服務(wù)平臺(tái)和強(qiáng)大的計(jì)算機(jī)技術(shù)支持，為客戶提供人事代理、工資與薪酬服務(wù)、勞務(wù)派遣、行業(yè)租賃（BPO）、人才招聘、福利保險(xiǎn)、勞動(dòng)關(guān)系管理、咨詢與培訓(xùn)等全方位、多層次、高效率的人力資源服務(wù)。易才集團(tuán)成立于2003年，目前已在中國北京、上海、廣州、西安、南京、拉薩等300多個(gè)城市和海外香港、美國設(shè)立分公司及辦事處。2010、2011連續(xù)兩年，集團(tuán)作為中國人力資源唯一代表企業(yè)入選國際外包專業(yè)協(xié)會(huì)（IAOP）“全球外包100強(qiáng)(Global Outsourcing 100)”，是目前國內(nèi)唯一獲得國際認(rèn)可，具有中國最大全球性服務(wù)網(wǎng)絡(luò)的人力資源服務(wù)提供商。易才集團(tuán)將以卓越的創(chuàng)新能力、國際化視野的團(tuán)隊(duì)、一流的戰(zhàn)略和運(yùn)營管理水平，成為社會(huì)尊敬、客戶信賴、員工自豪的具全球競(jìng)爭(zhēng)力的標(biāo)桿企業(yè)。
公司主頁