python把爬到的数据放到数据库

1. python把爬到的数据放到数据库

去装一个 pymsql包
然后
import pymysql  #导入pymsql模块 #链接数据库，注意port是int型，不是str，所以不要用引号conn = pymysql.connect(                user='root',                password='root',                host='127.0.0.1',                port=3306,                database='test_demo',                use_unicode=True,                charset="utf8"            )#获取游标cursor = conn.cursor()#插入数据，注意看有变量的时候格式cursor.execute("INSERT INTO tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level, level_statu, tieba_name))#提交conn.commit()#关闭连接cursor.close()


类似这样

2. scrapy框架python语言爬虫得到的数据怎么存入数据库？

Scrapy依赖于twisted，所以如果Scrapy能用，twisted肯定是已经安装好了。
抓取到的数据，可以直接丢到MySQL，也可以用Django的ORM模型丢到MySQL，方便Django调用。方法也很简单，按数据库的语句来写就行了，在spiders目录里定义自己的爬虫时也可以写进去。
当然使用pipelines.py是更通用的方法，以后修改也更加方便。你的情况，应该是没有在Settings.py里定义pipelines，所以Scrapy不会去执行，就不会生成pyc文件了。

3. python爬虫爬下来的数据怎么导入到MySQL

下载mysql.connector库
然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的
import mysql.connectorconn = mysql.connector.connect(    user='root',    password='root',    host='127.0.0.1',    port='3306',    database='test_demo')cursor = conn.cursor()cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])print('************** %s  %s 数据保存成功 **************'%(user_rank,user_name))conn.commit()cursor.close()
插进入就这样的

4. python怎样将数据存入mysql数据库

下载mysql.connector库
然后把爬虫爬到的数据通过mysql里面的insert语句查到数据库，当然也可以建表，一般我没用python建表 是先建好再写数据的

import mysql.connector
conn = mysql.connector.connect(
user='root',
password='root',
host='127.0.0.1',
port='3306',
database='test_demo'
)

cursor = conn.cursor()

cursor.execute("INSERT INTO test_user(`uuid`,`user_name`,`user_level`) VALUES (%s,%s,%s)",[id, user_name, user_level])
cursor.execute("INSERT INTO tieba_user_detail(`user_name`,`user_exp`,`user_sex`,`tieba_age`,`tieba_note`,`user_favorites`,`user_fans`) VALUES (%s,%s,%s,%s,%s,%s,%s)",[user_name,user_exp,user_sex, tieba_age,tieba_note, user_favorites, user_fans])

print('************** %s  %s 数据保存成功 **************'%(user_rank,user_name))
conn.commit()
cursor.close()

5. python 爬虫怎么处理爬取数据中含有单引号，并将其存入数据库

把爬到的数据用三引号接收再想办法处理呢 
a="""aaa"aa"aa'aa'"""  #a为你实际爬到的数据b = """%s""" %(a)print b #打印 '"aaa"aa"aa\'aa\''

6. python将爬取到的数据存储该怎么操作

存储在计算机中的只是这样的编码，而不是一个一个的汉字，在print的时候要知道当时是用的什么样的编码方式，才能正确的print出来。有一个说法提得很好，python中的Unicode才是真正的字符串，而string是字节串！

7. 请教爬虫的数据如何直接存到hdfs上？

直接使用sqlite 这个是python自带的
用起来也很简单百度一下教程就行 ，很容易就把数据写到数据库里了

8. python爬取到的json数据怎么存入到MySQL数据库中

python爬取到的json数据怎么存入到MySQL数据库中
json的数据json.loads进来以后会变成一个json的对象，你需要自己把python对象中的字段值取出来，拼成sql语句