.. _contact:
============
使用与开发交流
============

使用交流
------------

ScrapydArt作为奎因的长期维护项目，奎因会跟进scrapyd的版本。同时，在功能上更需要使用者的建议与意见，为此我特地申请了一个QQ群，作为使用者的交流场所::

    QQ群 722856503

开发交流
--------------------------------

我在ScrapydArt的开发过程中积累了一些编程经验以及Scrapyd的知识，我会将这些内容以文章[掘金小册]的形式呈现出来。关于章节和目录，我已有计划

主题暂定::

  《scrapyd进阶与实战：权限验证、自定义api、数据统计，打造功能丰富的爬虫部署管理控制台》

简介::

  拒绝裸奔，为你的scrapyd加上权限验证。美化界面、自定义api、开发数据统计功能、带你逐步打造功能丰富的爬虫部署管理控制台。

详细介绍:

scrapyd是世界最优秀的爬虫框架scrapy官方提供的部署控管理平台，它提供了爬虫任务调用的api、爬虫运行日志功能。

但它并不提供访问权限控制功能，意味着只要你部署到服务器，任何人都可以访问它并且控制你的爬虫。

它也不提供数据统计的功能，你不可能知道你部署的爬虫有多少、也不知道它们运行了多少次、谁的运行时间最长。

官方开发人员关注的重点是api功能性而非界面，所以界面（甚至可以说没有界面）不谈美观。

本文将带你从scrapyd目录、功能模块、源码剖析来逐步了理解相关功能的原理，并且通过自定义api、增加统计数据和界面美化来进一步加深对scrapyd的理解。最终达到可以随心所欲的对scrapyd的功能进行扩展，从而实现自己想要的爬虫部署管理控制台。

章节暂定::

    第1节 基础篇-使用scrapyd来部署爬虫项目
    1.1 基础-scrapyd简介、安装与启动
    1.2 实战-使用scrapyd部署爬虫
    1.3 基础-scrapyd常用功能与api
    1.4 基础-scrapyd的利弊

    第2节 进阶篇-scrapyd源码目录讲解
    2.1 基础-scrapyd项目及文档介绍
    2.2 进阶-scrapyd源码目录讲解
    2.3 进阶-scrapyd配置文件详解
    2.4 进阶-scrapyd底层实现

    第3节 进阶与实战-视图以及api的源码剖析
    3.1 进阶-scrapyd视图类
    3.2 进阶-官方api源码剖析
    3.3 实战-编写兼容html与json的视图类

    第4节 实战篇-开发自定义api
    1.1 实战-开发GET类型的爬虫统计api
    1.2 实战-开发POST类型的爬虫运行数据统计api

    第5节 实战篇-打造爬虫管理控制台
    5.1 实战-控制台功能规划
    5.2 实战-爬虫运行时长数据统计功能开发
    5.3 实战-爬虫排行榜功能开发
    5.4 实战-爬虫项目统计功能开发
    5.5 实战-重构界面及界面美化

    第6节 进阶实战-为scrapyd增加权限验证
    6.1 进阶-权限验证
    6.2 实战-权限验证功能开发
    6.3 实战-重写视图类并集成权限验证

    第7节 总结与展望
    7.1 项目实战总结
    7.2 爬虫管理平台的规划与展望

如果有兴趣，可以加入QQ群，你将能为ScrapydArt贡献创意和代码。