臨時處理小記：把Numpy的narray二進制文件轉換成json文件

時間 2019-11-07

標籤臨時處理 numpy narray 二進制文件轉換 json 欄目 JavaScript 简体版

原文原文鏈接

臨時處理一個Numpy的二進制文件，分析知道里面是dict類型，簡單小記一下，若是Numpy和Python基礎不熟悉能夠看我以前寫的文章html

In [1]:

%%time

import numpy as np

Wall time: 135 ms

In [2]:

%%time

import pandas as pd

Wall time: 351 ms

In [3]:

%%time

df = pd.DataFrame(np.load("data.npy")) # 經過narry建立DataFrame

Wall time: 910 ms

In [4]:

%%time

df.head(10) # 快速預覽前10行

Wall time: 1 ms

Out[4]:

	0
0	{'email': 'liurh@csdn.net', 'pwd': '9755DD0556...
1	{'email': 'fw19@sina.com', 'pwd': '6BB518D1A42...
2	{'email': 'whcheng@126.com', 'pwd': '0079ABBA6...
3	{'email': 'zh4ang@163.com', 'pwd': 'E23E561F02...
4	{'email': 'johnzhou8888@yahoo.com.cn', 'pwd': ...
5	{'email': 'zaza902@hotmail.com', 'pwd': '9B084...
6	{'email': 'yuping_zhong@163.com', 'pwd': '7D07...
7	{'email': 'annnntning@sina.com', 'pwd': '448A2...
8	{'email': 'sunnydinasun@sohu.com', 'pwd': 'DBF...
9	{'email': 'ysmrose@sohu.com', 'pwd': '22DDD26D...

In [5]:

%%time

# 提取email列
df['Email'] = df[0].map(lambda x : dict(x)["email"])
# 提取pwd列
df['MD5'] = df[0].map(lambda x : dict(x)["pwd"] )
# 刪除無用列
del df[0]

Wall time: 1.05 s

In [6]:

%%time

df.size # 查看總共多少數據

Wall time: 0 ns

Out[6]:

In [7]:

%%time

df.shape

Wall time: 0 ns

Out[7]:

(1048574, 2)

In [8]:

%%time

df.head(10)

Wall time: 0 ns

Out[8]:

In [9]:

%%time

df.T.to_json("user.json") # 從新保存爲Json（轉置只是爲了存儲成咱們常見的json格式）

Wall time: 2.85 s

關於怎麼知道是dict類型的擴展：能夠加載看看：np.load("data.npy")python

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。