Crawlab简介
安装Crawlab
Docker
直接部署
配置Crawlab
使用Crawlab
节点
查看节点列表
查看节点拓扑图
爬虫
创建爬虫
自定义爬虫
可配置爬虫
部署爬虫
运行爬虫
统计数据
任务
查看任务
操作任务
下载结果
定时任务
原理
整体架构
节点通信
节点监控
爬虫部署
任务执行
样例
与Scrapy集成
与Puppeteer集成
Q&A
Published with GitBook
节点
节点
节点可以看作是一个服务器。节点负责执行爬虫任何、提供API等功能。节点之间是可以相互通信的,节点通信主要通过Redis。
查看节点列表
查看节点拓扑图
results matching "
"
No results matching "
"