使用与开发交流

使用交流

ScrapydArt作为奎因的长期维护项目，奎因会跟进scrapyd的版本。同时，在功能上更需要使用者的建议与意见，为此我特地申请了一个QQ群，作为使用者的交流场所:

QQ群 722856503

开发交流

我在ScrapydArt的开发过程中积累了一些编程经验以及Scrapyd的知识，我会将这些内容以文章[掘金小册]的形式呈现出来。关于章节和目录，我已有计划

主题暂定:

《scrapyd进阶与实战：权限验证、自定义api、数据统计，打造功能丰富的爬虫部署管理控制台》

简介:

拒绝裸奔，为你的scrapyd加上权限验证。美化界面、自定义api、开发数据统计功能、带你逐步打造功能丰富的爬虫部署管理控制台。

详细介绍:

scrapyd是世界最优秀的爬虫框架scrapy官方提供的部署控管理平台，它提供了爬虫任务调用的api、爬虫运行日志功能。

但它并不提供访问权限控制功能，意味着只要你部署到服务器，任何人都可以访问它并且控制你的爬虫。

它也不提供数据统计的功能，你不可能知道你部署的爬虫有多少、也不知道它们运行了多少次、谁的运行时间最长。

官方开发人员关注的重点是api功能性而非界面，所以界面（甚至可以说没有界面）不谈美观。

本文将带你从scrapyd目录、功能模块、源码剖析来逐步了理解相关功能的原理，并且通过自定义api、增加统计数据和界面美化来进一步加深对scrapyd的理解。最终达到可以随心所欲的对scrapyd的功能进行扩展，从而实现自己想要的爬虫部署管理控制台。

章节暂定:

第1节 基础篇-使用scrapyd来部署爬虫项目
1.1 基础-scrapyd简介、安装与启动
1.2 实战-使用scrapyd部署爬虫
1.3 基础-scrapyd常用功能与api
1.4 基础-scrapyd的利弊

第2节 进阶篇-scrapyd源码目录讲解
2.1 基础-scrapyd项目及文档介绍
2.2 进阶-scrapyd源码目录讲解
2.3 进阶-scrapyd配置文件详解
2.4 进阶-scrapyd底层实现

第3节 进阶与实战-视图以及api的源码剖析
3.1 进阶-scrapyd视图类
3.2 进阶-官方api源码剖析
3.3 实战-编写兼容html与json的视图类

第4节 实战篇-开发自定义api
1.1 实战-开发GET类型的爬虫统计api
1.2 实战-开发POST类型的爬虫运行数据统计api

第5节 实战篇-打造爬虫管理控制台
5.1 实战-控制台功能规划
5.2 实战-爬虫运行时长数据统计功能开发
5.3 实战-爬虫排行榜功能开发
5.4 实战-爬虫项目统计功能开发
5.5 实战-重构界面及界面美化

第6节 进阶实战-为scrapyd增加权限验证
6.1 进阶-权限验证
6.2 实战-权限验证功能开发
6.3 实战-重写视图类并集成权限验证

第7节 总结与展望
7.1 项目实战总结
7.2 爬虫管理平台的规划与展望

如果有兴趣，可以加入QQ群，你将能为ScrapydArt贡献创意和代码。