小白第一次,原来都是本地随手记录一下,最近在找python3.7+scrapy框架的学习后续的selenium也会继续学习
在这里记录一下印象深刻的问题及解决办法:解决办法都是网上找大佬们学习到的。
大佬们的博客地址就不贴了,一开始没想到会写这些的…所以就没保留记录。
问题一:运行scrapy fetch 失败!语法错误。
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsICM38CXlZHbvN3cpR2Lc1TPB10QGtWUCpEMJ9CXsxWam9CXwADNvwVZ6l2c052bm9CXUJDT1wkNhVzLcRnbvZ2Lc1TPB1UNnpmT1kkaNBDOsJGcohVYsR2MMBjVtJWd0ckW65UbM5WOHJWa5kHT20ESjBjUIF2LcRHelR3LcJzLctmch1mclRXY39DNyUTMxcDM4EjNwkDM4EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
原因是:3.7版本更新了语法糖,async=False,async不能作为关键字被调用了,进去文件目录用notepad++等工具打开将async全部替换为async1什么的就解决了
问题二:再次运行依旧报错,原因是没有安装pywin32依赖库(貌似是这么说的),因为这win10上面安装的所以需要,有人推荐使用更干净的linux开发学习。(pip install pywin32)多个py版本进入对应pip目录下运行更好。
通过scrapy -h 可以查看到当前目录下可以使用哪些命令行,例如:scrapy startproject [文件名],创建一个scrapy项目。
还有pycharm下面scrapy自定义函数和类的调用需要加强学习,今天先记录到这里,爬坑的感觉,痛并快乐着嘿嘿!
ps:截图无法显示的问题搞定了在补上!第二次上传貌似成功了