項目包管理

做用

生成項目所使用的第三方模塊及版本號的文件

根據文件安裝第三方模塊

安裝

1	pip install pipreqs

生成依賴文件 

在項目目錄下

1	pipreqs . /

　　會生成requirements.txt文件,其中包含了項目所導入的包及版本號

經過指定參數 --encoding=utf8能夠解決中文問題

安裝依賴文件

1	pip install  - r requiements.txt

　　ps : 項目中不要有中文(包括註釋),不然會報錯

 

 

 

PhantomJS 是一個基於 WebKit 的服務器端 JavaScript API。它全面支持web而不需瀏覽器支持，其快速，原生支持各類Web標準： DOM 處理, CSS 選擇器, JSON, Canvas, 和 SVG。 PhantomJS 能夠用於 頁面自動化 ， 網絡監測 ， 網頁截屏 ，以及無界面測試等

一.安裝：

  獲取安裝包，並解壓：

　#mkdir ~/bin/

　#cd ~/bin/

　#wget https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-1.9.7-linux-x86_64.tar.bz2

　#tar -xjvf phantomjs-1.9.7-linux-x86_64.tar.bz2

將可執行文件放入系統路徑：　

　#sudo(有無權限) ln -s /項目名/phantomjs-1.9.7-linux-x86_64/bin/phantomjs /usr/local/bin/phantomjs

安裝依賴——fontconfig和freetype：　

　#yum install fontconfig freetype2

在終端下測試Phantomjs。你應該會看到以下輸出：

　#phantomjs -v

1.9.7

　#cd /root/bin/phantomjs-1.9.7-linux-x86_64/bin

新建腳本，並確認截圖是否OK：

　#vi a.js

1 var page = require('webpage').create();
2 page.open('https://www.baidu.com/', function () {
3     page.render('test/example.png');
4     phantom.exit();
5 });

保存後進行截圖測試　

　#phantomjs a.js

完成後會出現一個test文件夾，在文件夾內有個圖片

查看圖片，顯示亂碼。

解決方案，安裝字體。

　#yum install bitmap-fonts bitmap-fonts-cjk

再次執行截圖

　#phantomjs a.js

查看圖片，字體顯示正常。

二.使用：

Hello， World！

新建一個包含下面兩行腳本的文本文件：

　#vi hello.js

1 console.log('Hello, world!');
2 phantom.exit();

將文件保存後執行：

　#phantomjs hello.js

 輸出結果爲：Hello, world!

第一行將會在終端打印出字符串，第二行 phantom.exit 將退出運行。 
在該腳本中調用 phantom.exit 是很是重要的，不然 PhantomJS 將根本不會中止。

腳本參數 – Script Arguments

Phantomjs如何傳遞參數呢？以下所示 ：

1 phantomjs examples/arguments.js foo bar baz

其中的foo, bar, baz就是要傳遞的參數，如何獲取呢：

1 var system = require('system');
2 if (system.args.length === 1) {
3     console.log('Try to pass some args when invoking this script!');
4 } else {
5     system.args.forEach(function (arg, i) {
6             console.log(i + ': ' + arg);
7     });
8 }
9 phantom.exit();

它將輸出 ：

1 0: foo
2 1: bar
3 2: baz

頁面加載 – Page Loading

經過建立一個網頁對象，一個網頁能夠被加載，分析和渲染。

下面的腳本將示例頁面對象最簡單的用法，它加載 example.com 而且將它保存爲一張圖片， example.png 。

　#vi a.js

1 var page = require('webpage').create();
2 page.open('https://www.baidu.com/', function () {
3     page.render('test/example.png');
4     phantom.exit();
5 });

保存後進行截圖測試　

　#phantomjs a.js

因爲它的這個特性，PhantomJS 能夠用來 網頁截屏 ，截取一些內容的快照，好比將網頁、SVG存成圖片，PDF等，這個功能很牛X。

接下來的 loadspeed.js 腳本加載一個特殊的URL (不要忘了http協議) 而且計量加載該頁面的時間。

 1 var page = require('webpage').create(),
 2     system = require('system'),
 3     t, address;
 4 
 5 if (system.args.length === 1) {
 6     console.log('Usage: loadspeed.js <some URL>');
 7     phantom.exit();
 8 }
 9 
10 t = Date.now();
11 address = system.args[1];
12 page.open(address, function (status) {
13     if (status !== 'success') {
14         console.log('FAIL to load the address');
15     } else {
16         t = Date.now() - t;
17         console.log('Loading time ' + t + ' msec');
18     }
19     phantom.exit();
20 });

在命令行運行該腳本：　

1 phantomjs loadspeed.js http://www.google.com

它輸出像下面的東西：

1 Loading  http://www.google.com  Loading time 719 msec

 

代碼運算 – Code Evaluation

要想在網頁的上下文中對JavaScript 或 CoffeeScript 進行運算，使用 evaluate()方法。代碼是在「沙箱」中運行的，它沒有辦法讀取在其所屬頁面上下文以外的任何JavaScript對象和變量。 evaluate() 會返回一個對象，然而它僅限制於簡單的對象而且不能包含方法或閉包。

這有一個示例來顯示網頁標題：

1 var page = require('webpage').create();
2 page.open(url, function (status) {
3     var title = page.evaluate(function () {
4         return document.title;
5     });
6     console.log('Page title is ' + title);
7 });

任何來自於網頁而且包括來自 evaluate() 內部代碼的控制檯信息，默認不會顯示的。要重寫這個行爲，使用 onConsoleMessage 回調函數，前一個示例能夠被改寫成：

1 var page = require('webpage').create();
2 page.onConsoleMessage = function (msg) {
3     console.log('Page title is ' + msg);
4 };
5 page.open(url, function (status) {
6     page.evaluate(function () {
7         console.log(document.title);
8     });
9 });

DOM操做 – DOM Manipulation

因爲腳本好像是一個Web瀏覽器上運行的同樣，標準的DOM腳本和CSS選擇器能夠很好的工做。這使得PhantomJS適合支持各類 頁面自動化任務 。

下面的  useragent.js  將讀取 id  爲myagent的元素的  textContent  屬性：

 1 var page = require('webpage').create();
 2 console.log('The default user agent is ' + page.settings.userAgent);
 3 page.settings.userAgent = 'SpecialAgent';
 4 page.open('http://www.httpuseragent.org', function (status) {
 5     if (status !== 'success') {
 6         console.log('Unable to access network');
 7     } else {
 8         var ua = page.evaluate(function () {
 9             return document.getElementById('myagent').textContent;
10         });
11         console.log(ua);
12     }
13     phantom.exit();
14 });

上面示例一樣提供了一種自定義 user agent 的方法。

使用JQuery及其餘類庫：

1 var page = require('webpage').create();
2 page.open('http://www.sample.com', function() {
3     page.includeJs("http://ajax.googleapis.com/ajax/libs/jquery/1.6.1/jquery.min.js", function() {
4         page.evaluate(function() {
5             $("button").click();
6         });
7         phantom.exit()
8     });
9 });

網絡請求及響應 – Network Requests and Responses

將一個頁面從一臺遠程服務器請求一個資源的時候，請求和響應都可以經過 onResourceRequested  和  onResourceReceived  回調方法追蹤到。示例  netlog.js ：

1 var page = require('webpage').create();
2 page.onResourceRequested = function (request) {
3     console.log('Request ' + JSON.stringify(request, undefined, 4));
4 };
5 page.onResourceReceived = function (response) {
6     console.log('Receive ' + JSON.stringify(response, undefined, 4));
7 };
8 page.open(url);

獲取如何把該特性用於HAR 輸出以及基於YSlow的性能分析的更多信息，請參閱 網絡監控頁面 。

 

 

 

 

 

selenium.common.exceptions.TimeoutException: Message: Screenshot: available via screen

在使用selenium+phantomjs的時候在Windows平臺下可以正常工做，在Linux下卻不能，並獲得錯誤信息:

selenium.common.exceptions.TimeoutException: Message: 
Screenshot: available via screen

在ST上找到答案:http://stackoverflow.com/a/36159299/4447404

driver = webdriver.PhantomJS(service_args=['--ignore-ssl-errors=true', '--ssl-protocol=TLSv1'])

在初始化driver時傳入參數"service_args=['--ignore-ssl-errors=true', '--ssl-protocol=TLSv1']"便可。