经典轻变传奇网站在线观看_1.76情怀赤月手游传奇_传奇sf1.76版本低_我本沉默传奇手游贴吧

安全的QQ軟件下載站 本站非騰訊QQ官方網(wǎng)站

QQ下載|QQ資訊|QQ分類|下載排行|最近更新

軟件
軟件
文章
搜索
當(dāng)前位置:首頁應(yīng)用軟件編程開發(fā) → Crawlab(分布式爬蟲管理平臺) v0.5.1 中文免費(fèi)版
Crawlab(分布式爬蟲管理平臺)

Crawlab(分布式爬蟲管理平臺)

v0.5.1 中文免費(fèi)版Crawlab中文版免費(fèi)下載評分:
下載地址
  • 軟件介紹
  • 軟件截圖
  • 猜你喜歡
  • 同類推薦
  • 相關(guān)文章

Crawlab破解版是一個(gè)支持Python、NodeJS等多種編程語言及多種爬蟲框架的分布式爬蟲管理平臺,而且主界面功能模塊設(shè)置清爽明了,用戶一看便知,相信使用起來也是非常順手,同時(shí)安裝方式也為多種,歡迎需要的用戶的來下載。

Crawlab(分布式爬蟲管理平臺)

軟件說明

Crawlab能夠幫助用戶實(shí)現(xiàn)多語言爬蟲的目的,通過多種方式進(jìn)行安裝即可使用,軟件采用主節(jié)點(diǎn)的形式來快速獲取網(wǎng)站數(shù)據(jù),從而保存到本地?cái)?shù)據(jù)中,每當(dāng)目標(biāo)站點(diǎn)發(fā)生變化時(shí)即會(huì)更新數(shù)據(jù),用戶還可通過相關(guān)控件來設(shè)計(jì)前端展示效果,極大的提升了程序員開發(fā)的效率。

軟件介紹

Crawlab架構(gòu):

Crawlab的架構(gòu)包括了一個(gè)主節(jié)點(diǎn)(Master Node)和多個(gè)工作節(jié)點(diǎn)(Worker Node),以及負(fù)責(zé)通信和數(shù)據(jù)儲存的Redis和MongoDB數(shù)據(jù)庫。

前端應(yīng)用向主節(jié)點(diǎn)請求數(shù)據(jù),主節(jié)點(diǎn)通過MongoDB和Redis來執(zhí)行任務(wù)派發(fā)調(diào)度以及部署,工作節(jié)點(diǎn)收到任務(wù)之后,開始執(zhí)行爬蟲任務(wù),并將任務(wù)結(jié)果儲存到MongoDB。架構(gòu)相對于v0.3.0之前的Celery版本有所精簡,去除了不必要的節(jié)點(diǎn)監(jiān)控模塊Flower,節(jié)點(diǎn)監(jiān)控主要由Redis完成。

主節(jié)點(diǎn)

主節(jié)點(diǎn)是整個(gè)Crawlab架構(gòu)的核心,屬于Crawlab的中控系統(tǒng)。主節(jié)點(diǎn)負(fù)責(zé)與前端應(yīng)用進(jìn)行通信,并通過Redis將爬蟲任務(wù)派發(fā)給工作節(jié)點(diǎn)。同時(shí),主節(jié)點(diǎn)會(huì)同步(部署)爬蟲給工作節(jié)點(diǎn),通過Redis和MongoDB的GridFS。

工作節(jié)點(diǎn)

工作節(jié)點(diǎn)的主要功能是執(zhí)行爬蟲任務(wù)和儲存抓取數(shù)據(jù)與日志,并且通過Redis的PubSub跟主節(jié)點(diǎn)通信。通過增加工作節(jié)點(diǎn)數(shù)量,Crawlab可以做到橫向擴(kuò)展,不同的爬蟲任務(wù)可以分配到不同的節(jié)點(diǎn)上執(zhí)行。

MongoDB

MongoDB是Crawlab的運(yùn)行數(shù)據(jù)庫,儲存有節(jié)點(diǎn)、爬蟲、任務(wù)、定時(shí)任務(wù)等數(shù)據(jù),另外GridFS文件儲存方式是主節(jié)點(diǎn)儲存爬蟲文件并同步到工作節(jié)點(diǎn)的中間媒介。

Redis

Redis是非常受歡迎的Key-Value數(shù)據(jù)庫,在Crawlab中主要實(shí)現(xiàn)節(jié)點(diǎn)間數(shù)據(jù)通信的功能。例如,節(jié)點(diǎn)會(huì)將自己信息通過HSET儲存在Redis的nodes哈希列表中,主節(jié)點(diǎn)根據(jù)哈希列表來判斷在線節(jié)點(diǎn)。

前端

前端是一個(gè)基于Vue-Element-Admin的單頁應(yīng)用。其中重用了很多Element-UI的控件來支持相應(yīng)的展示。

使用方法

1 下載完成后不要在壓縮包內(nèi)運(yùn)行軟件直接使用,先解壓;

2 軟件同時(shí)支持32位64位運(yùn)行環(huán)境;

3 如果軟件無法正常打開,請右鍵使用管理員模式運(yùn)行;

軟件截圖

  • Crawlab(分布式爬蟲管理平臺)v0.5.1 中文免費(fèi)版

下載地址

  • PC版

相關(guān)版本

同類推薦

相關(guān)文章

用戶評論

請自覺遵守互聯(lián)網(wǎng)相關(guān)政策法規(guī),評論內(nèi)容只代表網(wǎng)友觀點(diǎn),與本站立場無關(guān)!

熱門評論

最新評論

已有0人參與,點(diǎn)擊查看更多精彩評論

關(guān)于騰牛 | 聯(lián)系方式 | 發(fā)展歷程 | 版權(quán)聲明 | 下載幫助(?) | 廣告聯(lián)系 | 網(wǎng)站地圖 | 友情鏈接

Copyright 2005-2024 QQTN.com 【騰牛網(wǎng)】 版權(quán)所有 鄂ICP備2022005668號-1 | 鄂公網(wǎng)安備 42011102000260號

聲明:本站非騰訊QQ官方網(wǎng)站 所有軟件和文章來自互聯(lián)網(wǎng) 如有異議 請與本站聯(lián)系 本站為非贏利性網(wǎng)站 不接受任何贊助和廣告