Q&A

1. 为何我访问 http://localhost:8080 提示访问不了?

假如您是Docker部署的,请检查一下您是否用了Docker Machine,这样的话您需要输入地址 http://192.168.99.100:8080 才行。

另外,请确保您用了-p 8080:8080来映射端口,并检查宿主机是否开放了8080端口。

2. 我可以看到登录页面了,但为何我点击登陆的时候按钮一直转圈圈?

绝大多数情况下,您可能是没有正确配置CRAWLAB_API_ADDRESS这个环境变量。这个变量是告诉前端应该通过哪个地址来请求API数据的,因此需要将它设置为宿主机的IP地址+端口,例如 192.168.0.1:8000。接着,重启容器,在浏览器中输入宿主机IP+端口,就可以顺利登陆了。

请注意,8080是前端端口,8000是后端端口,您在浏览器中只需要输入前端的地址就可以了,要注意区分。

3. 在爬虫页面有一些不认识的爬虫列表,这些是什么呢?

这些是demo爬虫,如果需要添加您自己的爬虫,请将您的爬虫文件打包成zip文件,再在爬虫页面中点击添加爬虫上传就可以了。

注意,Crawlab将取文件名作为爬虫名称,这个您可以后期更改。另外,请不要将zip文件名设置为中文,可能会导致上传不成功。

4. 我执行了爬虫,但是在Crawlab上看不到结果

强烈建议您先阅读了与Scrapy集成

简单来说,Crawlab目前只支持MongoDB,而且您需要保证存放的数据与Crawlab的数据库一致,另外您需要在传给MongoDB时加上task_id,并设置为Crawlab传过来的环境变量CRAWLAB_TASK_ID,您需要存放的collection名字为同样是传过来的CRAWLAB_COLLECTION

5. 为何启动Crawlab时,后台日志显示no reachable servers

这是因为您没有连上MongoDB,请确保您的CRAWLAB_MONGO_HOST是否设置对。如果为Docker Compose,可以将其设置为mongo

6. 在爬虫程序中打印中文会报错

有不少朋友反映这个问题了,可能是跟Docker镜像有关。建议您暂时不打印中文,等待我们fix这个问题。

results matching ""

    No results matching ""