Python如何把爬虫爬的数据存到mongodb里

1. Python如何把爬虫爬的数据存到mongodb里

难道是img的问题。
mongodb是可以直接存的。这种写法没有问题。问题还是出在变量名与变量值上。
很简单就可以定位。你先将img换成一个字符串，如果成功了，就是img本身的格式问题。如果还不成可以试试将"id"换成"Identify"类似的这样的名子再式。2-3次试验就可以找到原因。

2. python 怎样通过遍历以下文件后全部读到mongodb数据库中？

python 访问 mongodb 需要先安装 pymongo，如下：

1
pip install pymongo

txt 文件格式：

代码如下：

#coding=utf-8 from pymongo import MongoClient conn = MongoClient('127.0.0.1', 27017) # 连接 test 数据库，没有则自动创建db = conn.test   # 使用 students 集合，没有则自动创建students = db.students # 打开学生信息文件, 并将数据存入到数据库with open('students.txt', 'r') as f:         for line in f.readlines():                 # 分割学生信息        items = line.strip('\r').strip('\n').split(',')                 # 添加到数据库        students.insert({ 'stu_id': items[0], 'name': items[1], 'grade': int(items[2]) }) # 数据库查询学生信息并打印出来for s in students.find():    print(s)

3. 怎么将python爬取的数据存如数据库中

使用mongodb很简单。
首先安装pymongo：

1
   
pip install pymongo
   

代码实现：用urllib2读取数据，打包成JSON格式插入到mongodb中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
   
from pymongo import MongoClient
try:
    from urllib2 importurlopen, Request, HTTPError, URLError
except ImportError:
    from urllib.request import urlopen, Request, HTTPError, URLError
result = []
try:
    f = urlopen('http://www.dynamsoft.com', timeout=3)
    while 1:
        tmp = f.read(10240)
        if len(tmp) == 0:
            break

4. python写了一个爬虫，内容储存到mongodb数据库，遇到一个错误不知怎么改，求大神帮忙

你不能直接存储一个类的实例啊，mongodb用bson存储数据，bson是json的binary形式，所以你只能存储javascript的基本类型、Object和Array这些东西。像beautiful soup里面的类的实例，你可以存储关键的数据，到你再需要用的时候，取出数据再构造一个新实例，而不是把这个实例存入数据库。

5. 各位大大，python将数据批量插入mongodb的高效方法有哪些

mongodb的结构与关系型数据库不同，它类似树状结构，可以很方便对每个分支进行操作，但它没有像mysql那样insert(value、value、value...)那样的语法，也不支持transaction 所以mongodb不能批量插入数据，如果你要批量插入数据，可以在mongodb里...

6. 怎么使用python编写根据输入查询条件查询mongoDB数据库？

hid=239526
cur  =  my_set.find({"sourceID":1,"downloadDate":"2018-05-08","bwHotelID":hid},{"checkIn":1,"_id":0}).sort([("checkIn",1)])
查询条件参数化， 这里是josn格式，不是这字符串，不用占位符之类的东西
你要知道json对象就等同于你的python代码

你在它那直接用变量代替就行

7. 各位大脑，如何把txt文件用python导入到mongoDB数据库里？txt里面字段是姓名学号成绩

python 访问 mongodb 需要先安装 pymongo，如下：
pip install pymongotxt 文件格式：

代码如下：
#coding=utf-8from pymongo import MongoClientconn = MongoClient('127.0.0.1', 27017)# 连接 test 数据库，没有则自动创建db = conn.test  # 使用 students 集合，没有则自动创建students = db.students# 打开学生信息文件, 并将数据存入到数据库with open('students.txt', 'r') as f:        for line in f.readlines():                # 分割学生信息        items = line.strip('\r').strip('\n').split(',')                # 添加到数据库        students.insert({ 'stu_id': items[0], 'name': items[1], 'grade': int(items[2]) })# 数据库查询学生信息并打印出来for s in students.find():    print(s)

8. python爬取文件导入数据库问题！求教！！！谢谢啦！

这里不是写得很清楚了吗，主键重复了，请检查一下是不是有多个 '2147483647'。