短URL服務的設計以及實現

時間 2019-11-06

標籤 url 服務設計以及實現欄目 HTTP/TCP 简体版

原文原文鏈接

前言

想必你們也常常收到垃圾短信吧...短信中的連接通常都是短連接,相似於下圖這樣:java

爲何這裏面的url都是短的呢?有什麼好處呢?怎麼作到的呢?mysql

短url的好處有:git

短. 短信和許多平臺(微博)有字數限制,太長的連接加進去都沒有辦法寫正文了.
好看. 比起一大堆不知因此的參數,短連接更加簡潔友好.
方便作一些統計.你點了連接會有人記錄而後分析的.
安全. 不暴露訪問參數.

這就是爲何咱們如今收到的垃圾短信大多數都是短URL的緣由了.redis

那麼短URL是怎麼作到的呢?算法

短URL基礎原理

短URL從生成到使用分爲如下幾步.sql

有一個服務,將要發送給你的長URL對應到一個短URL上.例如www.baidu.com -> www.t.cn/1
把短url拼接到短信等的內容上發送.
用戶點擊短URL,瀏覽器用301/302進行重定向,訪問到對應的長URL.
展現對應的內容.

本文主要集中於第一步,即如何將一個長URL對應到短URL上.數據庫

服務設計

若是你在往長短URL真實的對應關係上想,那麼就走遠了.瀏覽器

最理想的狀況是: 咱們用一種算法,對每個長URL,惟一的轉換成短URL.還能保持反向轉換的能力.緩存

可是這是不可能的,若是有這樣的算法,世界上的全部壓縮算法均可以原地去世了.安全

正確的思路是創建一個發號器,每次有一個新的長URL進來,咱們就增長一,而且將新的數值返回.第一個來的url返回"www.x.cn/0",第二個返回"www.x.cn/1".

接下來以QA形式寫幾個小問題:

對應關係如何存儲?

這個對應數據確定是要落盤的,不能每次系統重啓就從新排號,因此能夠採用mysql等數據庫來存儲.並且若是數據量小且qps低,直接使用數據庫的自增主鍵就能夠實現.

如何保證長短連接一一對應?

按照上面的發號器策略,是不能保證長短連接的一一對應的,你連續用同一個URL請求兩次,結果值都是不同的.

爲了實現長短連接一一對應,咱們須要付出很大的空間代價,尤爲是爲了快速響應,咱們能夠須要在內存中作一層緩存,這樣子太浪費了.

可是能夠實現一些變種的,來實現部分的一一對應, 好比將最近/最熱門的對應關係存儲在K-V數據庫中,這樣子能夠節省空間的同時,加快響應速度.

短URL的存儲

咱們返回的短URL通常是將數字轉換成32進制,這樣子能夠更加有效的縮短URL長度,那麼32進制的數字對計算機來講只是字符串,怎麼存儲呢?直接存儲字符串對等值查找好找,對範圍查找等太不友好了.

其實能夠直接存儲10進制的數字,這樣不只佔用空間少,對查找的支持較好,同時還能夠更加方便的轉換到更多/更少的進制來進一步縮短URL.

高併發

若是直接存儲在MySQL中,當併發請求增大,對數據庫的壓力太大,可能會形成瓶頸,這時候是能夠有一些優化的.

緩存

上面保證長短連接一一對應中也提到過緩存,這裏咱們是爲了加快程序處理速度.能夠將熱門的長連接(須要對長連接進來的次數進行計數),最近的長連接(可使用redis保存最近一個小時的)等等進行一個緩存,保存在內存中或者相似redis的內存數據庫中,若是請求的長URL命中了緩存,那麼直接獲取對應的短URL進行返回,不須要再進行生成操做.

批量發號

每一次發號都須要訪問一次MySQL來獲取當前的最大號碼,而且在獲取以後更新最大號碼,這個壓力是比較大的.

咱們能夠每次從數據庫獲取10000個號碼,而後在內存中進行發放,當剩餘的號碼不足1000時,從新向MySQL請求下10000個號碼.在上一批號碼發放完了以後,批量進行寫入.

這樣能夠將對數據庫持續的操做移到代碼中進行,而且異步進行獲取和寫入操做,保證服務的持續高併發.

分佈式

上面設計的系統是有單點的,那就是發號器是個單點,容易掛掉.

能夠採用分佈式服務,分佈式的話,若是每個發號器進行發號以後都須要同步給其餘發號器,那未必也太麻煩了.

換一種思路,能夠有兩個發號器,一個發單號,一個發雙號,發號以後再也不是遞增1,而是遞增2.

類比可得,咱們能夠用1000個服務,分別發放0-999尾號的數字,每次發號以後遞增1000.這樣作很簡單,服務互相之間基本都不用通訊,作好本身的事情就行了.

實現

因爲我懶得寫JDBC代碼,更懶得弄Mybatis,因此代碼中使用到MySQL的地方都使用了Redis.

package util;

import redis.clients.jedis.Jedis;

/** * Created by pfliu on 2019/06/23. */
public class ShortUrlUtil {


    private static final String SHORT_URL_KEY = "SHORT_URL_KEY";
    private static final String LOCALHOST = "http://localhost:4444/";
    private static final String SHORT_LONG_PREFIX = "short_long_prefix_";
    private static final String CACHE_KEY_PREFIX = "cache_key_prefix_";
    private static final int CACHE_SECONDS = 1 * 60 * 60;

    private final String redisConfig;
    private final Jedis jedis;

    public ShortUrlUtil(String redisConfig) {
        this.redisConfig = redisConfig;
        this.jedis = new Jedis(this.redisConfig);
    }

    public String getShortUrl(String longUrl, Decimal decimal) {
        // 查詢緩存
        String cache = jedis.get(CACHE_KEY_PREFIX + longUrl);
        if (cache != null) {
            return LOCALHOST + toOtherBaseString(Long.valueOf(cache), decimal.x);
        }

        // 自增
        long num = jedis.incr(SHORT_URL_KEY);
        // 在數據庫中保存短-長URL的映射關係,能夠保存在MySQL中
        jedis.set(SHORT_LONG_PREFIX + num, longUrl);
        // 寫入緩存
        jedis.setex(CACHE_KEY_PREFIX + longUrl, CACHE_SECONDS, String.valueOf(num));
        return LOCALHOST + toOtherBaseString(num, decimal.x);
    }

    /** * 在進製表示中的字符集合 */
    final static char[] digits = {'0', '1', '2', '3', '4', '5', '6', '7', '8',
            '9', 'A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'I', 'J', 'K', 'L',
            'M', 'N', 'O', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X', 'Y',
            'Z', 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z'};

    /** * 由10進制的數字轉換到其餘進制 */
    private String toOtherBaseString(long n, int base) {
        long num = 0;
        if (n < 0) {
            num = ((long) 2 * 0x7fffffff) + n + 2;
        } else {
            num = n;
        }
        char[] buf = new char[32];
        int charPos = 32;
        while ((num / base) > 0) {
            buf[--charPos] = digits[(int) (num % base)];
            num /= base;
        }
        buf[--charPos] = digits[(int) (num % base)];
        return new String(buf, charPos, (32 - charPos));
    }

    enum Decimal {
        D32(32),
        D64(64);

        int x;

        Decimal(int x) {
            this.x = x;
        }
    }


    public static void main(String[] args) {

        for (int i = 0; i < 100; i++) {
            System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidudu.com", Decimal.D32));
            System.out.println(new ShortUrlUtil("localhost").getShortUrl("www.baidu.com", Decimal.D64));
        }
    }
}

複製代碼