分析Laravel隊列實現原理解決問題記錄

問題

公司項目使用Laravel的開發的兩個項目在同一個測試服務器部署，公用同一個redis。在使用laravel中的隊列時，產生衝突干擾。

查找問題緣由

在laravel 隊列的操做類 Illuminate\Queue\RedisQueue.php 中能夠看到 pushRaw() 方法：

// 將一任務推入隊列中
public function pushRaw($payload, $queue = null, array $options = [])
    {
        $this->getConnection()->rpush($this->getQueue($queue), $payload);

        return Arr::get(json_decode($payload, true), 'id');
    }

從該方法中能夠看出Lrarvel隊列的redis實現是經過list結構實現的， rpush(key, value) 是將value推入鍵值爲key的redis隊列，key的值則是經過 $this->getQueue($queue) 獲取到的

protected function getQueue($queue)
    {
        return 'queues:'.($queue ?: $this->default);
    }

因此的redis中list中的key是 'queues:'.($queue ?: $this->default); 拼接的， $this->default 的值是 RedisQueue 實例化的時候從 config\queue.php 配置中加載的 'queue' => 'default'， $queue 是添加隊列時$this->dispatch( new jobClass()->onQueue($queue) )傳入的。

// config\queue.php 文件中的redis配置部分
'redis' => [
            'driver'     => 'redis',
            'connection' => 'default',
            'queue'      => 'default',
            'expire'     => 60,
        ],

至此，兩個項目的隊列衝突緣由就找到了。由於redis隊列配置中 'queue' => 'default' 都使用的默認的default，因此當共用redis時，默認的隊列list 都是'queue:default',因此致使了衝突。

由於隊列監聽 監聽的隊列名稱是由 --queue參數決定的，若是不傳就是咱們上面設置的默認值，若傳了就會根據傳入的隊列名從前日後優先依次處理，具體見代碼Illuminate\Queue\Worker.php中：

protected function getNextJob($connection, $queue)
    {
        if (is_null($queue)) {
            return $connection->pop();
        }

        foreach (explode(',', $queue) as $queue) {
            if (! is_null($job = $connection->pop($queue))) {
                return $job;
            }
        }
    }

$queue 就是--queue=傳入的參數，當 $queue不存在是直接調用$connection->pop()當參數存在時會將參數解析，優先處理排在前面的隊列名稱，將隊列名稱傳入pop($queue), pop()會嘗試從指定隊列或默認隊列中獲取隊列任務

// Illuminate\Queue\RedisQueue.php
public function pop($queue = null)
    {
        $original = $queue ?: $this->default;

        $queue = $this->getQueue($queue);

        if (! is_null($this->expire)) {
            $this->migrateAllExpiredJobs($queue);
        }

        $job = $this->getConnection()->lpop($queue);

        if (! is_null($job)) {
            $this->getConnection()->zadd($queue.':reserved', $this->getTime() + $this->expire, $job);

            return new RedisJob($this->container, $this, $job, $original);
        }
    }

至此搞清了隊列執行的原理。

解決方法

將queue的配置文件中默認隊列修改成不一樣的名稱，好比： 'queue' => laravel1','queue' => laravel2'。

隊列監聽 php artisan queue:listen redis --queue=laravel1,syncExpress

最後

遇到問題，莫要病急亂投醫。從代碼入手，分析理解實現原理，找對點，解決方法也許很簡單，^_^。

歡迎關注個人博客