Loading [MathJax]/jax/output/CommonHTML/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >Python 中使用 MongoDB 存储爬虫数据

Python 中使用 MongoDB 存储爬虫数据

原创
作者头像
用户7718188
修改于 2021-11-03 05:13:18
修改于 2021-11-03 05:13:18
51600
代码可运行
举报
文章被收录于专栏:高级工程司高级工程司
运行总次数:0
代码可运行

现在在做一个简单的搜索引擎,使用今日头条的新闻数据作为数据源。这些数据都是非结构性的,比较适合用 MongoDB 来进行存储。

以下为简单使用的示例。

代码语言:javascript
代码运行次数:0
运行
AI代码解释
复制
#!/usr/bin/python
# -*- coding:utf-8 -*-

import pymongo

class documentManager(object):
    def __init__(self):
        pass

    def connect_mongo(self):
        client = pymongo.Connection("127.0.0.1",27017)
        db = client.data_db
        collection = db.data_collection
        mydict = {"name":"Lucy", "sex":"female","job":"nurse"}
        collection.insert(mydict)

        for i in collection.find({"name":"Lucy"}):
            print i

if __name__ == '__main__':
    manager = documentManager()
    manager.connect_mongo()

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
初窥Python(一)——使用pymon
Python 可以使用 pymongo 库方便的操作 MongoDB 。MongoDB 不同于关系型结构的三层结构——database--> table --> record,它的层级为 database -->collection --> document 。这里不重点介绍 MongoDB  用法,主要来看一下如何用 Python 使用 MongoDB。
py3study
2020/01/07
8280
【python学习】python连接数据
一,python 操作 MySQL:详情见: 【apt-get install python-mysqldb】
py3study
2020/01/10
6110
Python中MongoDB使用
MongoDB for Python #1 环境 Python3.7.3 pymongo==3.7.2 #1 准备 from pymongo import MongoClient #1.1 链接MongoDB client = MongoClient('localhost',27017) #1.2 链接数据库 db=client.proxy # proxy是我的MongoDB的一个数据库名 #1.3 连接集合(表名) collection=db.proxytable # proxytable是我的Mongo
Autooooooo
2020/11/09
7440
Python中MongoDB使用
Python操作MongoDB
mongod --auth --dbpath="/usr/local/mongodb/data" --logpath="/usr/local/mongodb/logs/mongod.log" --install #创建admin数据表 use admin #创建管理用户的用户 db.createUser( { user: "root", pwd: "123456", roles: [ { role: "use
前端小鑫同学
2022/12/24
2970
Python爬虫-MongoDB
上一份的推送是关于QQ音乐所有评论的获取,这一次讲讲QQ音乐精彩评论的获取。翻了一下QQ音乐热歌排行榜上的歌,发现QQ音乐热评多的歌不多,所有评论和网易云音乐比起来也挺寒碜的,只能说网易云不愧是文艺小青年的聚集地。不过不能因为评论少就不爬了,见面就是莽,不虚。
小F
2020/10/09
4340
Python爬虫-MongoDB
Python之MongoDB实操
最近几篇文章都是讲的Mongo, 也是想趁这个机会把Mongo的使用的一些技巧总结并分享一下,今天的文章是围绕着Python如何来连接Mongo服务操作MongoDB,如果你正在工作或学习中使用Python并且也正好在使用MongoDB,相信对大家有益处。
Wu_Candy
2022/07/04
4980
使用python语言操作MongoDB
MongoDB是一个跨平台的NoSQL,基于Key-Value形式保存数据。其储存格式非常类似于Python的字典,因此用Python操作MongoDB会非常的容易。
py3study
2020/01/09
3850
python3连接MongoDB4.4
windows离线安装python3.6.8环境:https://blog.csdn.net/qq262593421/article/details/111309116
静谧星空TEL
2022/01/05
4090
python3连接MongoDB4.4
Python连接MongoDB数据库并执
官网:https://pypi.python.org/pypi/pymongo/(按需下载)
py3study
2020/01/07
6590
Python连接MongoDB数据库并执
python 链接mongo数据库说明
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/149546.html原文链接:https://javaforall.cn
全栈程序员站长
2022/07/05
7300
菜鸟用Python操作MongoDB,看这一篇就够了
MongoDB是由C++语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似JSON对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。在这一节中,我们就来看看Python 3下MongoDB的存储操作。
IT派
2018/07/30
1.9K0
菜鸟用Python操作MongoDB,看这一篇就够了
Python操作MongoDB看这一篇就够了
MongoDB是由C++语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似JSON对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。在这一节中,我们就来看看Python 3下MongoDB的存储操作。
python大志
2021/12/14
1.5K0
MongoDB与python交互
PyMongo是Mongodb的Python接口开发包,是使用python和Mongodb的推荐方式。 官方文档
周小董
2019/03/25
8350
MongoDB与python交互
Python Scrapy 爬虫框架 | 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB
前文中讲到了将爬取的数据导出到文件中,接下来就在前文的代码基础之上,将数据导出到 MongoDB中。
TeamsSix
2019/12/31
1.1K0
Python Scrapy 爬虫框架 | 5、利用 pipelines 和 settings 将爬取数据存储到 MongoDB
Python爬虫之mongodb和python交互
pymongo 提供了mongdb和python交互的所有方法 安装方式: pip install pymongo
海仔
2020/09/23
8290
爬虫——实战完整版
mongodb操作 1 import pymongo 2 3 #连接数据库实例(连接数据库)---》获取相应数据库---》获取相应collection集合(表) 4 client = pymongo.MongoClient(host='localhost',port=27017) 5 6 db = client.test #也可用字典形式操作,如下 7 # db = client["test"] 8 9 collection = db.students #也可用字典
py3study
2020/01/19
1.3K0
MongoDB与python交互1.Pymongo2.安装3.使用4.mongoDB其它操作5.Mongodb与python交互6.完成命令行项目:学生信息管理(基于Python2.7)
PyMongo是Mongodb的Python接口开发包,是使用python和Mongodb的推荐方式。
Python攻城狮
2018/08/23
1.1K0
MongoDB与python交互1.Pymongo2.安装3.使用4.mongoDB其它操作5.Mongodb与python交互6.完成命令行项目:学生信息管理(基于Python2.7)
mongodb的基本使用以及pymong的用法
MongoDB 是由 C++ 语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似 JSON 对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。
DC童生
2019/11/27
1K0
pymongo:Python下 MongoDB 的存储操作
pymongo 3.x版本中,insert()方法官方已不推荐使用,推荐使用insert_one()和insert_many()将插入单条和多条记录分开。
luckpunk
2023/09/29
4370
Python操作MongoDB看这一篇就够了
MongoDB是由C++语言编写的非关系型数据库,是一个基于分布式文件存储的开源数据库系统,其内容存储形式类似JSON对象,它的字段值可以包含其他文档、数组及文档数组,非常灵活。在这一节中,我们就来看看Python 3下MongoDB的存储操作。 1. 准备工作 在开始之前,请确保已经安装好了MongoDB并启动了其服务,并且安装好了Python的PyMongo库。 2. 连接MongoDB 连接MongoDB时,我们需要使用PyMongo库里面的MongoClient。一般来说,传入MongoDB的
崔庆才
2018/06/25
23K0
相关推荐
初窥Python(一)——使用pymon
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档
本文部分代码块支持一键运行,欢迎体验
本文部分代码块支持一键运行,欢迎体验