天天看点

Python elasticsearch 导入json文件数据 + 将scrapy爬虫数据直接存入elasticsearch

1、json文件数据存入elasticsearch

  • json文件是从网上爬下来的数据
Python elasticsearch 导入json文件数据 + 将scrapy爬虫数据直接存入elasticsearch
  • scrapy 保存的json格式数据默认Unicode格式编码,转utf-8 格式需要在settings里面加入一条:

2、 将scrapy爬虫数据直接存入elasticsearch

  • settings.py里面设置elasticsearch host
  • pipelines.py添加代码:
    Python elasticsearch 导入json文件数据 + 将scrapy爬虫数据直接存入elasticsearch
  • 需要注意在settings.py开启 ITEM_PIPELINES选项

继续阅读