爬蟲數據保存

 

1、文本保存:python

  一、文件保存方式:redis

    

 2、保存爲json格式:
mongodb

  一、讀取json:
數據庫

    .loads() 方法 :讀取字符串,而後返回json對象。json

    但需注意:json數據的字符串須要使用雙引號來包含,不能使用單引號。學習

  二、json文件讀取:spa

    

1 with open('json','r') as file:
2     str=file.read()
3 js=json.loads(str)

  三、json文件保存:3d

    

1 with open('test.json','w') as file:
2     file.write(json.dumps(js,indent=2,))ensure_ascii=False

 

 

3、保存爲csv文件:code

  一、寫入:對象

    

1 with open('data.csv', 'w') as csvfile:
2     fieldnames = ['id', 'name', 'age']
3     writer = csv.DictWriter(csvfile, fieldnames=fieldnames)
4     writer.writeheader()
5     writer.writerow({'id': '10001', 'name': 'Mike', 'age': 20})
6     writer.writerow({'id': '10002', 'name': 'Bob', 'age': 22})
7     writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21})

  二、讀出:

    

1 with open('data.csv','r',encoding='utf-8') as file:
2     reader=csv.reader(file)
3     for i in reader:
4         print(i)

4、mongodb學習:

  一、鏈接MongoDB:

    

1 import pymongo
2 #端口號能夠指定,不指定默認爲27017
3 mongo=pymongo.MongoClient(host='localhost')

 

  二、指定數據庫和集合(至關於關係型數據庫的表):

  

1 #指定數據庫
2 db=mongo.test
3 collection=db.students

  三、插入數據:

  

 1 student = {
 2     'id': '20170101',
 3     'name': 'Jordan',
 4     'age': 20,
 5     'gender': 'male'
 6 }
 7 #插入一條數據
 8 result=collection.insert_one(student)
 9 #插入多條數據
10 result=collection.insert_many([student,student])
11 print(result.inserted_id)

  四、數據查詢:

  插入數據後咱們能夠利用 find_one() 或 find() 方法進行查詢,find_one() 查詢獲得是單個結果,find() 則返回一個生成器對象。

  

1 #查詢
2 result=collection.find({'name':'Jordan'})
3 print(result.count())

  

  五、計數:

  

 

  六、排序:

   

  七、偏移:

  

  八、更新:

  須要指定更新的條件和更新後的數據:

  

  九、刪除:

  

5、Redis存儲:

  一、鏈接:

    

1 from redis import StrictRedis
2 
3 
4 redis=StrictRedis(host='localhost',port=6379,db=0)
5 redis.set('name','bog')
6 redis.set('age',20)
7 print(redis.get('name'))

  二、key操做:

  

  四、string操做:

    

相關文章
相關標籤/搜索