Evil Python

那些年咱們寫過的爬蟲

從寫 nodejs 的第一個爬蟲開始陸陸續續寫了好幾個爬蟲,從爬拉勾網上的職位信息到爬豆瓣上的租房帖子,再到去爬知乎上的妹子照片什麼的,爬蟲爲我打開了一扇又一扇新世界的大門。除了漲了不少姿式以外,與網管鬥智鬥勇也是一個比較有意思的事情。這篇文章就簡單來分享一下那些年咱們寫過的爬蟲吧。

前端

記一次 Python 編碼的坑

此次又遇到了 Python 編碼致使的問題,與 PyTips 0x07~0x09 中解釋過的 Unicode - Bytes 不一樣,此次遇到的是另一種狀況。

node

Python 抓取微信公衆號帳號信息

搜狗微信搜索提供兩種類型的關鍵詞搜索,一種是搜索公衆號文章內容,另外一種是直接搜索微信公衆號。經過微信公衆號搜索能夠獲取公衆號的基本信息及最近發佈的10條文章,以前寫過一篇《Python 抓取微信公衆號文章》,今天來抓取一下微信公衆號的帳號信息(→ 先看結果(2998條) ←)。…

python

JSON 的正確用法:Python、MongoDB、Js 與 Ajax

本文主要總結網站編寫以來在傳遞 JSON 數據方面遇到的一些問題以及目前採用的解決方案。網站數據庫採用 MongoDB,後端是 Python,前端採用 「半分離」 形式的 Riot.js,所謂半分離,是說第一頁數據是經過服務器端的模板引擎直接渲染到 HTML 中,從而避免首頁兩次加載的問題,而其它動態內容則採用 Ajax 加載。整個流程中數據都是經過 JSON 格式傳遞的,可是在不一樣的環節中須要採用不一樣的方式並遇到一些不一樣的問題,本文主要作記錄、總結。

程序員

Python 異步網絡爬蟲 I

本文主要討論下面幾個問題: 什麼是異步(Asynchronous)編程? 爲何要使用異步編程? 在 Python 中有哪些實現異步編程的方法? Python 3.5 如何使用 async/await 實現異步網絡爬蟲? 所謂異步是相對於同步(Synchronous)的概念來講…

數據庫

用 100 行 Python 代碼寫個垃圾郵件過濾器

While doing this hands-on exercise, you'll work with natural language data, learn how to detect the words spammers use automatically, and learn how to use a Naive Bayes classifier for binary classification.

編程

I don't understand Python's Asyncio

Pocoo Team 成員對 Python 3 引入的 Asyncio 標準庫的見解。

後端

用 Python 將 GIF 倒放

此次讓咱們一個用 Python 作一個小工具:將動態 GIF 圖片倒序播放!

瀏覽器

GWPY:發現引力波的機構使用的 Python 包

美國科學家 11 日宣佈,他們去年 9 月首次探測到引力波。這一發現印證了物理學大師愛因斯坦 100 年前的預言。宣佈這一發現的,是激光干涉引力波天文臺(LIGO)的負責人。安全

這個機構誕生於上世紀 90 年代,進行引力波觀測已經有近 30 年。那麼觀測到的引力波數據的量應該很大,科學家如何對這些數據進行分析?有沒有用到 Python 編程語言?

服務器

使用Python進行併發編程-我爲何不喜歡Gevent

在Python的發展歷史中,有過一些失敗的修復CPython的缺陷和提升性能的嘗試,好比消除GIL、Stackless(一個微線程擴展,避免傳統線程所帶來的性能與複雜度問題)、psyco (被PyPy代替)、Unladen Swallow。固然也有少數成功的,好比PyPy。 協…

黑科技,Python 腳本幫你找出微信上刪除你好友的人

一個腳本幫你找出來微信裏面都有誰刪除你好友關係,簡直黑科技,建議內心素質很差的不要手賤嘗試。

itchat:微信我的號 Python 接口

itchat 是一個開源的微信我的號接口,使用 python 調用微信從未如此簡單。

程序員必知的Python陷阱與缺陷列表

python做爲今年最火的語言,在程序員中掀起了學習狂潮,咱們在學習的時候必定要防微杜漸別讓這些小的陷阱漏洞阻礙了咱們的進步

Python 抓取微信公衆號文章

根據昨天發佈的投票結果,看到你們對 Python 的爬蟲專題比較感興趣,所以把今天實踐操做的一些內容與你們分享

[[譯] 不可不知的一點 Python 陷阱](https://juejin.im/entry/57e13...

因爲易於學習以及快速開發更大更復雜的應用,Python 漸漸在計算環境中無處不在。儘管明顯的語言清晰度和友好會麻痹軟件工程師和系統管理員的警覺性 —— 誘使他們編碼可能會有嚴重安全隱患的錯誤。在這篇文章中,它主要針對 Python 新手,會看到少許安全相關的小技巧;有經驗的開發者可能會注意到後面的特殊性。

awesome-raspberry-pi-zh(樹莓派 (Raspberry Pi) 資源大全中文版)

樹莓派 (Raspberry Pi) 資源大全中文版 , 包括工具、項目、鏡像、資源等

Python 異步調用命令行工具

相關閱讀:Python 異步網絡爬蟲 I | Python 異步網絡爬蟲 II 當你在本身的 Python 程序中採用了基於事件循環的異步編程方法以後,你就會發現本身不自覺地被其緊緊吸引住,並非說這一方法多麼棒,而是由於你不得不想辦法保證程序中的任意環節都不能是阻塞的! 例如…

Python 知乎爬蟲(最新)

知乎如今改用 https 請求了,數據加密,可是問題不大,重要的是網頁數據改動了,並且在請求時後臺會對爬蟲作一些判斷,所以在每次請求是都須要加上 request header,儘量接近瀏覽器請求的樣子。

Python 異步網絡爬蟲 II

上一部分(Python 異步網絡爬蟲 I)整理了如何利用 aiohttp 和 asyncio 執行異步網絡請求,接下來咱們將在此基礎上實現一個簡潔、普適的爬蟲框架。

據說你會 Python ?

最近以爲 Python 太 「簡單了」,因而在師父川爺面前放肆了一把:「我以爲 Python 是世界上最簡單的語言!」。因而川爺嘴角閃過了一絲輕蔑的微笑(心裏 OS:Naive!,做爲一個 Python 開發者,我必需要給你一點人生經驗,否則你不知道天高地厚!)因而川爺給我了一份滿分 100 分的題,而後這篇文章就是記錄下作這套題所踩過的坑。

相關文章
相關標籤/搜索