PHP爬蟲 -- 007 composer瞭解一下?

時間 2019-11-17

標籤 php 爬蟲 composer 瞭解一下欄目 PHP 简体版

原文原文鏈接

什麼是composer?

是 PHP 用來管理依賴（dependency）關係的工具。
你能夠在本身的項目中聲明所依賴的外部工具庫/第三方類庫
Composer 會幫你安裝這些依賴的庫文件。
Python有pip, Nodejs有npm, php有composer
相似於軟件管家之於windows

composer

中文網: www.phpcomposer.com/

如何安裝?

參見: composer入門指南 docs.phpcomposer.com/00-intro.ht…
composer入門指南之window安裝 docs.phpcomposer.com/00-intro.ht…
把php.exe所在路徑, 加入到環境變量
在命令行中輸入php -v檢查是否安裝成功
從url下載文件, 生成composer.phar

php -r "readfile('https://getcomposer.org/installer');" | php
複製代碼

打開phpstudy 或者修改php.ini

運行以下命令

echo @php "%~dp0composer.phar" %*>composer.bat
複製代碼

檢查是否安裝成功, 能夠經過查看版本的方式

composer -V
複製代碼

什麼是中國鏡像?

當你使用composer安裝第三方庫的時候, 它是請求的外網(packaglist)
也就是www.packagist.org/
而packaglist的代碼, 是從github上下載過來的
由於衆所周知的緣由, 網速不出所料的慢...
爲了解決網速慢的問題
一羣中國的有識之士, 本身在中國搭建了服務器
先把外國的代碼下載到中國的服務器, 而後向外發佈
這樣, 咱們下載代碼時, 訪問的是中國的服務器, 速度固然快

什麼是配置中國鏡像

配置composer, 讓它在下載代碼時, 去請求中國的服務器, 而不是國外的

如何配置

參見: pkg.phpcomposer.com/
全局配置

composer config -g repo.packagist composer https://packagist.phpcomposer.com
複製代碼

瞭解php爬蟲框架querylist

官網: www.querylist.cc/

使用composer安裝querylist

composer require jaeger/querylist
複製代碼

首先新建一個項目, demo
使用vscode打開
在vscode中, 打開命令行(鼠標移到下方, 從下往上拖動)
執行命令 composer require jaeger/querylist
若是安裝安裝成功, 會多一個vendor文件夾,和composer.json文件, composer.lock鎖定版本的文件

檢測querylist是否安裝成功

運行php代碼, 看看是否能抓取到數據

<?php

use QL\QueryList;
require 'vendor/autoload.php';
//採集某頁面全部的圖片
$data = QueryList::get('http://cms.querylist.cc/bizhi/453.html')->find('img')->attrs('src');
//打印結果
print_r($data->all());

//採集某頁面全部的超連接和超連接文本內容
//能夠先手動獲取要採集的頁面源碼
$html = file_get_contents('http://cms.querylist.cc/google/list_1.html');
//而後能夠把頁面源碼或者HTML片斷傳給QueryList
$data = QueryList::html($html)->rules([ //設置採集規則
    // 採集全部a標籤的href屬性
    'link' => ['a', 'href'],
    // 採集全部a標籤的文本內容
    'text' => ['a', 'text'],
])->query()->getData();
//打印結果
print_r($data->all());

複製代碼