URL 去重的 6 種方案!(附詳細代碼)

做者 | 王磊java

來源 | Java中文社羣(ID:javacn666)web

轉載請聯繫受權(微信ID:GG_Stone)

URL 去重在咱們平常工做中和麪試中很常遇到,好比這些:面試

能夠看出,包括阿里,網易雲、優酷、做業幫等知名互聯網公司都出現過相似的面試題,並且和 URL 去重比較相似的,如 IP 黑/白名單判斷等也常常出如今咱們的工做中,因此咱們本文就來「盤一盤」URL 去重的問題。redis

URL 去重思路

在不考慮業務場景和數據量的狀況下,咱們可使用如下方案來實現 URL 的重複判斷:算法

  1. 使用 Java 的 Set 集合,根據添加時的結果來判斷 URL 是否重複(添加成功表示 URL 不重複);
  2. 使用 Redis 中的 Set 集合,根據添加時的結果來判斷 URL 是否重複;
  3. 將 URL 都存儲在數據庫中,再經過 SQL 語句判斷是否有重複的 URL;
  4. 把數據庫中的 URL 一列設置爲惟一索引,根據添加時的結果來判斷 URL 是否重複;
  5. 使用 Guava 的布隆過濾器來實現 URL 判重;
  6. 使用 Redis 的布隆過濾器來實現 URL 判重。

以上方案的具體實現以下。spring

URL 去重實現方案

1.使用 Java 的 Set 集合判重

Set 集合天生具有不可重複性,使用它只能存儲值不相同的元素,若是值相同添加就會失敗,所以咱們能夠經過添加 Set 集合時的結果來斷定 URL 是否重複,實現代碼以下:數據庫

public class URLRepeat {
    // 待去重 URL
    public static final String[] URLS = {
            "www.apigo.cn",
            "www.baidu.com",
            "www.apigo.cn"
    };
    public static void main(String[] args) {
        Set<String> set = new HashSet();
        for (int i = 0; i < URLS.length; i++) {
            String url = URLS[i];
            boolean result = set.add(url);
            if (!result) {
                // 重複的 URL
                System.out.println("URL 已存在了:" + url);
            }
        }
    }
}

程序的執行結果爲:api

URL 已存在了:www.apigo.cn數組

從上述結果能夠看出,使用 Set 集合能夠實現 URL 的判重功能。服務器

2.Redis Set 集合去重

使用 Redis 的 Set 集合的實現思路和 Java 中的 Set 集合思想思路是一致的,都是利用 Set 的不可重複性實現的,咱們先使用 Redis 的客戶端 redis-cli 來實現一下 URL 判重的示例:

從上述結果能夠看出,當添加成功時表示 URL 沒有重複,但添加失敗時(結果爲 0)表示此 URL 已經存在了。

咱們再用代碼的方式來實現一下 Redis 的 Set 去重,實現代碼以下:

// 待去重 URL
public static final String[] URLS = {
    "www.apigo.cn",
    "www.baidu.com",
    "www.apigo.cn"
};

@Autowired
RedisTemplate redisTemplate;

@RequestMapping("/url")
public void urlRepeat() {
    for (int i = 0; i < URLS.length; i++) {
        String url = URLS[i];
        Long result = redisTemplate.opsForSet().add("urlrepeat", url);
        if (result == 0) {
            // 重複的 URL
            System.out.println("URL 已存在了:" + url);
        }
    }
}

以上程序的執行結果爲:

URL 已存在了:www.apigo.cn

以上代碼中咱們藉助了 Spring Data 中的 RedisTemplate 實現的,在 Spring Boot 項目中要使用 RedisTemplate 對象咱們須要先引入 spring-boot-starter-data-redis 框架,配置信息以下:

<!-- 添加操做 RedisTemplate 引用 -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>

而後須要再項目中配置 Redis 的鏈接信息,在 application.properties 中配置以下內容:

spring.redis.host=127.0.0.1
spring.redis.port=6379
#spring.redis.password=123456 # Redis 服務器密碼,有密碼的話須要配置此項

通過以上兩個步驟以後,咱們就能夠在 Spring Boot 的項目中正常的使用 RedisTemplate 對象來操做 Redis 了。


3.數據庫去重

咱們也能夠藉助數據庫實現 URL 的重複判斷,首先咱們先來設計一張 URL 的存儲表,以下圖所示:

此表對應的 SQL 以下:

/*==============================================================*/
/* Table: urlinfo                                               */
/*==============================================================*/
create table urlinfo
(
   id                   int not null auto_increment,
   url                  varchar(1000),
   ctime                date,
   del                  boolean,
   primary key (id)
);

/*==============================================================*/
/* Index: Index_url                                             */
/*==============================================================*/
create index Index_url on urlinfo
(
   url
);

其中 id 爲自增的主鍵,而 url  字段設置爲索引,設置索引能夠加快查詢的速度。

咱們先在數據庫中添加兩條測試數據,以下圖所示:


咱們使用 SQL 語句查詢,以下圖所示:

若是結果大於 0 則代表已經有重複的 URL 了,不然表示沒有重複的 URL。

4.惟一索引去重

咱們也可使用數據庫的惟一索引來防止 URL 重複,它的實現思路和前面 Set 集合的思想思路很是像。

首先咱們先爲字段 URL 設置了惟一索引,而後再添加 URL 數據,若是能添加成功則代表 URL 不重複,反之則表示重複。

建立惟一索引的 SQL 實現以下:

create unique index Index_url on urlinfo
(
   url
);

5.Guava 布隆過濾器去重

布隆過濾器(Bloom Filter)是1970年由布隆提出的。它其實是一個很長的二進制向量和一系列隨機映射函數。布隆過濾器能夠用於檢索一個元素是否在一個集合中。它的優勢是空間效率和查詢時間都遠遠超過通常的算法,缺點是有必定的誤識別率和刪除困難。

布隆過濾器的核心實現是一個超大的位數組和幾個哈希函數,假設位數組的長度爲 m,哈希函數的個數爲 k。


以上圖爲例,具體的操做流程:假設集合裏面有 3 個元素 {x, y, z},哈希函數的個數爲 3。首先將位數組進行初始化,將裏面每一個位都設置位 0。對於集合裏面的每個元素,將元素依次經過 3 個哈希函數進行映射,每次映射都會產生一個哈希值,這個值對應位數組上面的一個點,而後將位數組對應的位置標記爲 1,查詢 W 元素是否存在集合中的時候,一樣的方法將 W 經過哈希映射到位數組上的 3 個點。若是 3 個點的其中有一個點不爲 1,則能夠判斷該元素必定不存在集合中。反之,若是 3 個點都爲 1,則該元素可能存在集合中。注意:此處不能判斷該元素是否必定存在集合中,可能存在必定的誤判率。能夠從圖中能夠看到:假設某個元素經過映射對應下標爲 四、五、6 這 3 個點。雖然這 3 個點都爲 1,可是很明顯這 3 個點是不一樣元素通過哈希獲得的位置,所以這種狀況說明元素雖然不在集合中,也可能對應的都是 1,這是誤判率存在的緣由。

咱們能夠藉助 Google 提供的 Guava 框架來操做布隆過濾器,實現咱們先在 pom.xml 中添加 Guava 的引用,配置以下:

<!-- 添加 Guava 框架 -->
<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>28.2-jre</version>
</dependency>

URL 判重的實現代碼:

public class URLRepeat {
    // 待去重 URL
    public static final String[] URLS = {
            "www.apigo.cn",
            "www.baidu.com",
            "www.apigo.cn"
    };

    public static void main(String[] args) {
        // 建立一個布隆過濾器
        BloomFilter<String> filter = BloomFilter.create(
                Funnels.stringFunnel(Charset.defaultCharset()),
                10// 指望處理的元素數量
                0.01); // 指望的誤報機率
        for (int i = 0; i < URLS.length; i++) {
            String url = URLS[i];
            if (filter.mightContain(url)) {
                // 用重複的 URL
                System.out.println("URL 已存在了:" + url);
            } else {
                // 將 URL 存儲在布隆過濾器中
                filter.put(url);
            }
        }
    }
}

以上程序的執行結果爲:

URL 已存在了:www.apigo.cn

6.Redis 布隆過濾器去重

除了 Guava 的布隆過濾器,咱們還可使用 Redis 的布隆過濾器來實現 URL 判重。在使用以前,咱們先要確保 Redis 服務器版本大於 4.0(此版本以上才支持布隆過濾器),而且開啓了 Redis 布隆過濾器功能才能正常使用。

以 Docker 爲例,咱們來演示一下 Redis 布隆過濾器安裝和開啓,首先下載 Redis 的布隆過器,而後再在重啓 Redis 服務時開啓布隆過濾器,以下圖所示:

布隆過濾器使用布隆過濾器正常開啓以後,咱們先用 Redis 的客戶端 redis-cli 來實現一下布隆過濾器 URL 判重了,實現命令以下:

在 Redis 中,布隆過濾器的操做命令很少,主要包含如下幾個:

  • bf.add 添加元素;
  • bf.exists 判斷某個元素是否存在;
  • bf.madd 添加多個元素;
  • bf.mexists 判斷多個元素是否存在;
  • bf.reserve 設置布隆過濾器的準確率。

接下來咱們使用代碼來演示一下 Redis 布隆過濾器的使用:

import redis.clients.jedis.Jedis;
import utils.JedisUtils;

import java.util.Arrays;

public class BloomExample {
    // 布隆過濾器 key
    private static final String _KEY = "URLREPEAT_KEY";
    
    // 待去重 URL
    public static final String[] URLS = {
            "www.apigo.cn",
            "www.baidu.com",
            "www.apigo.cn"
    };

    public static void main(String[] args) {
        Jedis jedis = JedisUtils.getJedis();
         for (int i = 0; i < URLS.length; i++) {
            String url = URLS[i];
            boolean exists = bfExists(jedis, _KEY, url);
            if (exists) {
                // 重複的 URL
                System.out.println("URL 已存在了:" + url);
            } else {
                bfAdd(jedis, _KEY, url);
            }
        }
    }

    /**
     * 添加元素
     * @param jedis Redis 客戶端
     * @param key   key
     * @param value value
     * @return boolean
     */

    public static boolean bfAdd(Jedis jedis, String key, String value) {
        String luaStr = "return redis.call('bf.add', KEYS[1], KEYS[2])";
        Object result = jedis.eval(luaStr, Arrays.asList(key, value),
                Arrays.asList());
        if (result.equals(1L)) {
            return true;
        }
        return false;
    }

    /**
     * 查詢元素是否存在
     * @param jedis Redis 客戶端
     * @param key   key
     * @param value value
     * @return boolean
     */

    public static boolean bfExists(Jedis jedis, String key, String value) {
        String luaStr = "return redis.call('bf.exists', KEYS[1], KEYS[2])";
        Object result = jedis.eval(luaStr, Arrays.asList(key, value),
                Arrays.asList());
        if (result.equals(1L)) {
            return true;
        }
        return false;
    }
}

以上程序的執行結果爲:

URL 已存在了:www.apigo.cn

總結

本文介紹了 6 種 URL 去重的方案,其中 Redis Set、Redis 布隆過濾器、數據庫和惟一索引這 4 種解決方案適用於分佈式系統,若是是海量的分佈式系統,建議使用 Redis 布隆過濾器來實現 URL 去重,若是是單機海量數據推薦使用 Guava 的布隆器來實現 URL 去重


   

往期推薦

多圖證實,Java究竟是值傳遞仍是引用傳遞?


阿里爲何推薦使用LongAdder,而不是volatile?


磊哥工做十幾年了,竟沒有用過do-while!(文末送書)


關注下方二維碼,收穫更多幹貨!

本文分享自微信公衆號 - Java中文社羣(javacn666)。
若有侵權,請聯繫 support@oschina.cn 刪除。
本文參與「OSC源創計劃」,歡迎正在閱讀的你也加入,一塊兒分享。

相關文章
相關標籤/搜索