怎么将python爬取的数据存如数据库中

1. 怎么将python爬取的数据存如数据库中

使用mongodb很简单。
首先安装pymongo：

1
   
pip install pymongo
   

代码实现：用urllib2读取数据，打包成JSON格式插入到mongodb中。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
   
from pymongo import MongoClient
try:
    from urllib2 importurlopen, Request, HTTPError, URLError
except ImportError:
    from urllib.request import urlopen, Request, HTTPError, URLError
result = []
try:
    f = urlopen('http://www.dynamsoft.com', timeout=3)
    while 1:
        tmp = f.read(10240)
        if len(tmp) == 0:
            break

2. python将爬取到的数据存储该怎么操作

存储在计算机中的只是这样的编码，而不是一个一个的汉字，在print的时候要知道当时是用的什么样的编码方式，才能正确的print出来。有一个说法提得很好，python中的Unicode才是真正的字符串，而string是字节串！

3. python爬取到的json数据怎么存入到MySQL数据库中

python爬取到的json数据怎么存入到MySQL数据库中
json的数据json.loads进来以后会变成一个json的对象，你需要自己把python对象中的字段值取出来，拼成sql语句

4. python把爬到的数据放到数据库

去装一个 pymsql包
然后
import pymysql  #导入pymsql模块 #链接数据库，注意port是int型，不是str，所以不要用引号conn = pymysql.connect(                user='root',                password='root',                host='127.0.0.1',                port=3306,                database='test_demo',                use_unicode=True,                charset="utf8"            )#获取游标cursor = conn.cursor()#插入数据，注意看有变量的时候格式cursor.execute("INSERT INTO tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level, level_statu, tieba_name))#提交conn.commit()#关闭连接cursor.close()


类似这样

5. 怎么完整地用python爬取百度地图API保存至数据库?很希望专业人士详细指导我一下。感谢～

pycharm是一个开发python项目的IDE集成开发环境软件，就像用vs开发C++，eclipse开发java这样的

6. Python爬取信息读写数据库问题

按 F12 或 ctrl+u 审查元素，结果如下:

  结构很清晰简单，我们就是要爬 tr 标签里面的 style 和 tr 下几个并列的 td 标签，下面是爬取的代码:
#!/usr/bin/env python
# coding=utf-8

import requests

7. 用python获取的数据怎样写入数据库中

以前写过这方面的攻略 可以参考下：
http://blog.163.com/lucia_gagaga/blog/static/2647680192016829115638888

8. 如何将python爬虫数据直接存到数据库

直接使用sqlite 这个是python自带的
用起来也很简单百度一下教程就行 ，很容易就把数据写到数据库里了