trico爬蟲云原生無需發(fā)布部署,擁有強大的集群支持和多用戶協(xié)作管理平臺的支撐,同時可以靈活調度任務,順利爬取海量數(shù)據的一套云數(shù)據采集平臺,trico爬蟲云原生能夠為用戶提供房價、天氣、新聞、媒體、廣告以及新聞等方面的數(shù)據采集操作。
trico爬蟲云原生可提供商品、房價、快遞物流、天氣、新聞、咨詢、知識體庫、文獻、媒體廣告、股票基金、汽車、醫(yī)藥等各行業(yè)百萬數(shù)據信息采集服務,眼見即可采,不管是圖片電話,還是貼吧論壇,支持所有業(yè)務渠道的爬蟲,滿足各種采集需求。目前已有杭州淘粉吧、海狐等公司在爬取數(shù)百個海內外電商官網(amazon,Esteelauder,Eastbay,Nordstrom,Mankind,Macy,Iherb,Escentual、聚劃算、大淘客等)數(shù)據源,全面覆蓋電商行業(yè)商品類目選品,只需簡單設置,就可快速準確獲取數(shù)據。另外還有商戶爬取了北美等城市的房產信息源,速度極快。
爬取片段
編寫自定義的爬取片段,上傳至Trico,Trico將會幫助你部署你的片段代碼,并且以最優(yōu)的調度原則將任務投遞到Trico的爬蟲集群。剩下的你只需要等待Trico回調你的服務,給想要的結果。當然你也可以選擇將數(shù)據投遞到你的郵箱,更高效簡單的查看簡單的數(shù)據。
無需發(fā)布部署
強大的集群支持
Trico爬蟲語言處理
復雜邏輯的數(shù)據結
在將segment(yml語法的代碼片段)提交給Trico部署前,您可以選擇在本地搭建Trico服務來驗證和調試你的segment。
Step 1: 下載/安裝Docker
先下載docker到您使用的機器中(Mac版本/Windows版本), 并安裝它(Mac版本/Windows版本)。
Step 2: 拉取鏡像并啟動容器
我們已經將trico運行所需要的環(huán)境打入鏡像中,您只需要通過以下代碼拉取鏡像,并通過docker運行。
sudo docker pull tricooffical/kenerl
sudo docker run -d -p 8080:8080 -p 9010:9010 -it tricooffical/kenerl
Step 3: 使用編輯器
打開編輯器,左下角的kenerl變?yōu)榫G色表示連接成功,輸入對應的腳本點擊RUN按鈕運行
關于騰牛 | 聯(lián)系方式 | 發(fā)展歷程 | 版權聲明 | 下載幫助(?) | 廣告聯(lián)系 | 網站地圖 | 友情鏈接
Copyright 2005-2022 QQTN.com 【騰牛網】 版權所有 鄂ICP備2022005668號-1 | 鄂公網安備 42011102000260號
聲明:本站非騰訊QQ官方網站 所有軟件和文章來自互聯(lián)網 如有異議 請與本站聯(lián)系 本站為非贏利性網站 不接受任何贊助和廣告