爬蟲數據保存

 

1、文本保存：

　　一、文件保存方式：

　　　　

 2、保存爲json格式：

　　一、讀取json:

　　　　.loads() 方法 ：讀取字符串，而後返回json對象。

　　　　但需注意：json數據的字符串須要使用雙引號來包含，不能使用單引號。

　　二、json文件讀取：

　　　　

1 with open('json','r') as file:
2     str=file.read()
3 js=json.loads(str)

　　三、json文件保存：

　　　　

1 with open('test.json','w') as file:
2     file.write(json.dumps(js，indent=2,))ensure_ascii=False

 

 

3、保存爲csv文件：

　　一、寫入：

　　　　

1 with open('data.csv', 'w') as csvfile:
2     fieldnames = ['id', 'name', 'age']
3     writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
4     writer.writeheader()
5     writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
6     writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
7     writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

　　二、讀出：

　　　　

1 with open('data.csv','r',encoding='utf-8') as file:
2     reader=csv.reader(file)
3     for i in reader:
4         print(i)

4、mongodb學習：

　　一、鏈接MongoDB：

　　　　

1 import pymongo
2 #端口號能夠指定，不指定默認爲27017
3 mongo=pymongo.MongoClient(host='localhost')

 

　　二、指定數據庫和集合（至關於關係型數據庫的表）：

　　

1 #指定數據庫
2 db=mongo.test
3 collection=db.students

　　三、插入數據：

　　

 1 student = {
 2     'id': '20170101',
 3     'name': 'Jordan',
 4     'age': 20,
 5     'gender': 'male'
 6 }
 7 #插入一條數據
 8 result=collection.insert_one(student)
 9 #插入多條數據
10 result=collection.insert_many([student,student])
11 print(result.inserted_id)

　　四、數據查詢：

　　插入數據後咱們能夠利用 find_one() 或 find() 方法進行查詢，find_one() 查詢獲得是單個結果，find() 則返回一個生成器對象。

　　

1 #查詢
2 result=collection.find({'name':'Jordan'})
3 print(result.count())

　　

　　五、計數：

　　

 

 　六、排序：

　　　

　　七、偏移：

　　

　　八、更新：

　　須要指定更新的條件和更新後的數據：

　　

　　九、刪除：

　　

5、Redis存儲：

　　一、鏈接：

　　　　

1 from redis import StrictRedis
2 
3 
4 redis=StrictRedis(host='localhost',port=6379,db=0)
5 redis.set('name','bog')
6 redis.set('age',20)
7 print(redis.get('name'))

　　二、key操做：

　　

　　四、string操做：