scrapy框架python语言爬虫得到的数据怎么存入数据库？

1. scrapy框架python语言爬虫得到的数据怎么存入数据库？

Scrapy依赖于twisted，所以如果Scrapy能用，twisted肯定是已经安装好了。
抓取到的数据，可以直接丢到MySQL，也可以用Django的ORM模型丢到MySQL，方便Django调用。方法也很简单，按数据库的语句来写就行了，在spiders目录里定义自己的爬虫时也可以写进去。
当然使用pipelines.py是更通用的方法，以后修改也更加方便。你的情况，应该是没有在Settings.py里定义pipelines，所以Scrapy不会去执行，就不会生成pyc文件了。

2. python爬虫：如何爬网页数据并将其放在文本

用requests库
r=r.requests.get(url)
r.concent
保存到文件里就行了

3. 爬虫怎么爬取完整的商品分类列表,并将其完整的关联的关系也存取数据库

把爬到的数据用三引号接收再想办法处理呢 
a="""aaa"aa"aa'aa'"""  #a为你实际爬到的数据b = """%s""" %(a)print b #打印 '"aaa"aa"aa\'aa\''

4. python爬虫下来的数据怎么存

如果是存到mysql中，可以设置为字段类型为text。
mysql中text 最大长度为65,535(2的16次方–1)字符的TEXT列。
如果你觉得text长度不够，可以选择
MEDIUMTEXT最大长度为16,777,215。
LONGTEXT最大长度为4,294,967,295
Text主要是用来存放非二进制的文本，如论坛帖子,题目，或者百度知道的问题和回答之类。
需要弄清楚的是text 和 char varchar blob这几种类型的区别

如果真的特别大，就用python在某一路径下建一个文件，把内容write到文件中就可以了

5. python爬虫爬下来的数据怎么导入到MySQL

去装一个 pymsql包
然后
import pymysql  #导入pymsql模块#链接数据库，注意port是int型，不是str，所以不要用引号conn = pymysql.connect(                user='root',                password='root',                host='127.0.0.1',                port=3306,                database='test_demo',                use_unicode=True,                charset="utf8"            )#获取游标cursor = conn.cursor()#插入数据，注意看有变量的时候格式cursor.execute("INSERT INTO tieba_user(`uuid`,`user_name`,`user_rank`,`user_level`,`level_status`,`tieba_name`) VALUES (%s,%s,%s,%s,%s,%s)", (user_id, user_name, user_rank, user_level, level_statu, tieba_name))#提交conn.commit()#关闭连接cursor.close()类似这样

6. Python爬虫数据处理？

把car_list函数里的for循环去掉， 然后直接return list_text即可。 只有“第一个字”就是因为这个for循环。这个list_text就已经是汽车名称的列表了， 如果再遍历这个列表的话，每个item就是字符串类型的单个汽车名称，所以你的item[0]就只能是第一个字了呗~

7. Python如何把爬虫爬的数据存到mongodb里

难道是img的问题。
mongodb是可以直接存的。这种写法没有问题。问题还是出在变量名与变量值上。
很简单就可以定位。你先将img换成一个字符串，如果成功了，就是img本身的格式问题。如果还不成可以试试将"id"换成"Identify"类似的这样的名子再式。2-3次试验就可以找到原因。

8. 求python代码 用Python爬虫爬取艺恩网数据 存入一个数据库 再用flask做个搜索引擎

难点在搜索这块，存入数据库不方便做搜索的，可以考虑一些其他方案，比如es和 whoosh,前者比较知名，后者是python的搜索框架，比较简单