MongoDB

带你搞懂Scrapy与MongoDB交互过程详细记录

Pipeline.py

class MongoDBPipeline:
def __init__(self,conn,database):
self.conn = conn
self.database = database
@classmethod
def from_crawler(cls, crawler):
return cls(
conn=crawler.settings.get(‘MONGODB_CONNECTION_STRING’),
database=crawler.settings.get(‘MONGODB_DATABASE’)
)
def open_spider(self,spider):
# 创建连接对象
self.client = pymongo.MongoClient(self.conn)
# 连接要用的使用的数据库
self.db = self.client[self.database]
def process_item(self,item,spider):
# 设置使用表名称
name = item.__class__.__name__
# 默认item类名
self.db[name].insert_one(dict(item))
return item
def close_spider(self,spider):
self.client.close()

PS:

1.不能用insert来插入数据，PyMongo 4.0.* 中 Collection.insert 方法被移除，使用 Collection.insert_one 或者 Collection.insert_many 替代：

db[name].insert_one({‘my’: ‘document’})
db[name].insert_many([{‘doc’: 2}, {‘doc’: 3}])

2.process_item一定要写return item，不然接收不了返回值。

3.open_spider, process_item, close_spider的名称和参数不能改变，因为这是重写类方法。

setting.py

MONGODB_CONNECTION_STRING = ‘127.0.0.1’
MONGODB_DATABASE = ‘test’

补充知识点：类方法@classmethod

类方法也算一种实用的技巧，简单描述之：“类方法让类模板具有记忆力”。

类模板就是我们所定义的类。在普通情况下，不使用类方法对类进行实例化，类本身是不具有记忆性的。只是当一个静态模板被套用多次而已。如果我们想让类在每一次实例化之后，都能记载一些记忆，是否会对很多操作很有用？

举个例子：

class Man:
id = 0 # 类变量
def __init__(self, name):
self.name = name
self.id = self.id_number()
@classmethod
def id_number(cls):
cls.id += 1
return cls.id
a = Man(‘A’)
print(a.id)
b = Man(‘B’)
print(b.id)

上面的输出为:

1
2

我对Man这个类进行实例化2次，每个实例的id都不一样。这就依靠类方法来实现了：首先，用@classmethod描述类方法，然后用"cls"代表本类。类方法对类属性进行的处理是有记忆性的。

PS：类方法处理的变量一定要是类变量。因为在类方法里你用不了self来寻址实例变量，所以需要把类变量放到最前面描述，如上面的"id=0"所示。类变量是可以被self访问的，所以，在类变量定义好了以后，不需要在_init_函数里对类变量再一次描述。所以，上面代码里self.id不一定需要。

到此这篇关于Scrapy与MongoDB交互的文章就介绍到这了,更多相关Scrapy与MongoDB内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持！


数据运维技术 » 带你搞懂Scrapy与MongoDB交互过程详细记录
分享到：

相关推荐