Python 中使用 MongoDB 存储爬虫数据

原创

用户7718188

修改于 2021-11-03 13:13:18

51700

代码可运行

文章被收录于专栏：高级工程司高级工程司

运行总次数：0

代码可运行

现在在做一个简单的搜索引擎，使用今日头条的新闻数据作为数据源。这些数据都是非结构性的，比较适合用 MongoDB 来进行存储。

以下为简单使用的示例。

#!/usr/bin/python
# -*- coding:utf-8 -*-

import pymongo

class documentManager(object):
    def __init__(self):
        pass

    def connect_mongo(self):
        client = pymongo.Connection("127.0.0.1",27017)
        db = client.data_db
        collection = db.data_collection
        mydict = {"name":"Lucy", "sex":"female","job":"nurse"}
        collection.insert(mydict)

        for i in collection.find({"name":"Lucy"}):
            print i

if __name__ == '__main__':
    manager = documentManager()
    manager.connect_mongo()

原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。

如有侵权，请联系 cloudcommunity@tencent.com 删除。

搜索引擎