Skip to content

Latest commit

 

History

History
158 lines (113 loc) · 5.87 KB

README_CN.md

File metadata and controls

158 lines (113 loc) · 5.87 KB
Raw

🔤 English | 🀄 简体中文

ScrapydWeb：用于 Scrapyd 集群管理的 web 应用，支持 Scrapy 日志分析和可视化。

PyPI - scrapydweb Version PyPI - Python Version CircleCI codecov Coverage Status Downloads - total GitHub license Twitter

servers

Scrapyd ❌ ScrapydWeb ❌ LogParser

📖 推荐阅读

🔗 如何简单高效地部署和监控分布式爬虫项目

🔗 如何免费创建云端爬虫集群

👀 在线体验

🔗 scrapydweb.herokuapp.com

⭐ 功能特性

查看内容

  • 💠 Scrapyd 集群管理

    • 💯 支持所有 Scrapyd JSON API
    • ☑️ 支持通过分组和过滤来选择若干个节点
    • 🖱️ 一次操作, 批量执行

  • 🔍 Scrapy 日志分析

    • 🔢 数据统计
    • 📈 进度可视化
    • 📑 日志分类

  • 🔋 增强功能

    • 📦 自动打包项目
    • 🕵️‍♂️ 集成 🔗 LogParser
    • ⏰ 定时器任务
    • 📧 监控和警报
    • 📱 移动端 UI
    • 🔐 web UI 支持基本身份认证

💻 上手

查看内容

⚠️ 环境要求

❗ 请先确保所有主机都已经安装和启动 🔗 Scrapyd 。

‼️ 如果需要远程访问 Scrapyd，则需在 🔗 Scrapyd 配置文件 中设置 'bind_address = 0.0.0.0'，然后重启 Scrapyd。

⬇️ 安装

  • 通过 pip:
pip install scrapydweb

❗ 如果 pip 安装结果不是最新版本的 scrapydweb，请先执行python -m pip install --upgrade pip，或者前往 https://pypi.org/project/scrapydweb/#files 下载 tar.gz 文件并执行安装命令 pip install scrapydweb-x.x.x.tar.gz

  • 通过 git:
pip install --upgrade git+https://github.com/my8100/scrapydweb.git

或:

git clone https://github.com/my8100/scrapydweb.git
cd scrapydweb
python setup.py install

▶️ 启动

  1. 通过运行命令 scrapydweb 启动 ScrapydWeb（首次启动将自动生成配置文件）。
  2. 访问 http://127.0.0.1:5000 （建议使用 Google Chrome 以获取更好体验）。

🌐 浏览器支持

最新版本的 Google Chrome，Firefox 和 Safari。

✔️ 执行测试

查看内容 
$ git clone https://github.com/my8100/scrapydweb.git
$ cd scrapydweb

# 创建虚拟环境
$ pip install virtualenv
$ virtualenv venv/scrapydweb
# 亦可指定 Python 解释器：$ virtualenv -p /usr/local/bin/python3.7 venv/scrapydweb
$ source venv/scrapydweb/bin/activate

# 安装依赖库
(scrapydweb) $ python setup.py install
(scrapydweb) $ pip install pytest
(scrapydweb) $ pip install coverage

# 请先确保已经安装和启动 Scrapyd，然后检查和更新 tests/conftest.py 文件中的 custom_settings
(scrapydweb) $ vi tests/conftest.py
(scrapydweb) $ curl http://127.0.0.1:6800

# '-x': 在第一次出现失败时停止测试
(scrapydweb) $ coverage run --source=scrapydweb -m pytest tests/test_a_factory.py -s -vv -x
(scrapydweb) $ coverage run --source=scrapydweb -m pytest tests -s -vv --disable-warnings
(scrapydweb) $ coverage report
# 生成 HTML 报告, 文件位于 htmlcov/index.html
(scrapydweb) $ coverage html

🏗️ 框架和依赖库

查看内容

📋 更新日志

详见 🔗 HISTORY.md。

👨‍💻 作者


my8100

👥 贡献者


Kaisla

©️ 软件许可

本项目采用 GNU General Public License v3.0 许可协议，详见 🔗 LICENSE。