在spiders同级目录下创建debug.py文件，用于启动爬虫测试。
~~~
import os
import sys
from scrapy.cmdline import execute
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(['scrapy', 'crawl', 'taobao'])
~~~
也可以直接在命令行中运行以下命令启动爬虫
~~~
scrapy crawl taobao
~~~
把settings里的ROBOTSTXT_OBEY变量改为False,不遵守robots协议
~~~
ROBOTSTXT_OBEY = False
~~~
