51信仰卡由於爬蟲被查?緣由到底是什麼？用Python來告訴你！

10月21日上午，在香港上市的金融獨角獸 「51信用卡」遭遇杭州警方突擊清查

據現場知情人士透露，「51信用卡」位於杭州西湖區紫霞街80號西溪谷國際商務中心的辦公樓下，停滿了12輛警車，包括4輛大巴車以及1輛特警大巴車

受此消息影響，51信用卡緊急停牌，停牌前報1.78港元，跌幅高達34.32%，成交8871萬港元，最新總市值21.26億港元。該股盤中股價最低至1.58港元，一度跌幅超過40%，爲上市以來最低價。

一時間市場上議論紛紛，有傳是由於爬蟲，非法收集我的隱私信息

由於近段時間不少大數據服務公司爬蟲被查，魔蠍科技，新顏科技，公信寶等。這些大數據公司基本都是爲現金貸，p2p 等公司提供數據服務的。這些被查或者被抓的公司都涉及非法爬取我的隱私信息，暴力催收等。

在這裏也和你們提個醒，由於公衆號讀者中作爬蟲的可能居多。

1.我的隱私千萬千萬不要去爬取

今年的這些行動最主要就是打擊違法收集我的隱私信息的，之後遇到這種任務直接和領導說或者找公司法務，將這些案列丟給領導看！若是還要你去採集，你也要拒絕，同時能夠準備找下家了，由於這種公司早晚會被查。不要說什麼技術無罪，爬蟲是你開發出來的，你成年人了應該懂法吧，上一個說技術無罪的，去年才從裏面出來！

2. 不要把別人服務器爬崩了 說白了就是不要把別人網站爬的不能正常訪問，也就是你們常說的 Dos 攻擊。注意爬取速度，不要毫無限制的追求速度！固然這裏說的是爬取公開的數據，非公開的數據也不能亂爬！

3. 不要亂接外包私活 也是前段時間一篇刷屏的文章。一位老哥由於接的私活，進去了。由於你不知道對方拿你開發完的東西去作什麼的，也許你問了，可是他是否如實告知你了呢。他有可能拿你開發的去作了什麼違法的事情，開發這個工具的人也是有責任的！

暫時說這麼多，你們要作到心中有數，要懂得敬畏法律！因此作爬蟲的朋友大可沒必要人人自危，作到懂法，守法，不要去越過紅線便可

說了這麼多，難道51信用卡也是由於爬蟲被查？並非，後面杭州警方官方通告出來了

原來51信用卡涉嫌暴力催收，尋釁滋事等。像51信用卡這種大公司由於暴力催收被查，確定不是一兩件，一定是形成了很惡劣的影響，有多嚴重呢？

你的電話可能會被打爆，不少都是那種恐嚇，辱罵的電話...

不只是你本身的電話，你通信錄裏面的朋友，家人和同事都會被電話催債。並且你還屏蔽不掉，只能關機！

不只如此，你還可能被人肉追蹤，催收方能準確的知道你的位置在哪！想一想都以爲可怕吧！

這些暴力催收投訴信息都能在網上查到，都屬於公開信息

高利貸、暴力催收、高額利息、砍頭息...這些都是今年重點打擊的..

因此我寫了個爬蟲把這些公開信息都爬下來了

下面是部分的爬蟲代碼:

def crawl_news():

	data_list = []
	for page in range(1, 11):
		url = f"https://ts.21cn.com/json/merchantPostList/merchantId/3155/listType/1/pageNo/{page}/offset/28f13d759fd1e08c"

		headers = {
			"User-Agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) "
						  "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36",
		}
		data_list = []
		title_set = set()
		try:
			response = requests.get(url,headers=headers, )

			json_data = response.json()
			print(json_data)
			post_list = json_data.get('postList')
		except:
			print(traceback.format_exc())
			pass

		else:
			for item in post_list:

				title = item.get('title')
				if title in title_set:
					continue
				else:
					title_set.add(title)

				intro = item.get('shortTopic')
				t = time.localtime(item.get("ctime"))
				publish = time.strftime("%Y-%m-%d",t)

				link = 'http://ts.21cn.com/tousu/show/id/' + str(item.get('id'))

				data_list.append({
					NewsKeyEnum.TITLE: title,
					NewsKeyEnum.ABSTRACT: intro,
					NewsKeyEnum.LINK: link,
					NewsKeyEnum.PUBLISH: publish,
				})
				time.sleep(0.5)
	return data_list
複製代碼

有了數據就能作一些事情了，這裏只是簡單的作了個詞雲圖，能直觀看出被投訴最多的，高利息，砍頭息，高利貸等