地理位置geo處理之mysql函數

目前愈來愈多的業務都會基於LBS，附近的人，外賣位置，附近商家等等，現就討論離我最近這一業務場景的解決方案。

目前已知解決方案有:

• mysql 自定義函數計算
• mysql geo索引
• mongodb geo索引
• postgresql PostGis索引
• redis geo
• ElasticSearch

本文測試下mysql 函數運算的性能

準備工做

建立數據表

CREATE TABLE `driver` (
  `id` int(11) unsigned NOT NULL AUTO_INCREMENT,
  `lng` float DEFAULT NULL,
  `lat` float DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

建立測試數據

在建立數據以前先了解下基本的地理知識:

• 全球經緯度的取值範圍爲: 緯度-90~90，經度-180~180
• 中國的經緯度範圍大約爲： 緯度3.86~53.55，經度73.66~135.05
• 北京行政中心的緯度爲39.92，經度爲116.46
• 越北面的地方緯度數值越大，越東面的地方經度數值越大
• 度分轉換： 將度分單位數據轉換爲度單位數據，公式：度=度+分/60
• 分秒轉換： 將度分秒單位數據轉換爲度單位數據，公式：度 = 度 + 分 / 60 + 秒 / 60 / 60

在緯度相等的狀況下：

• 經度每隔0.00001度，距離相差約1米

在經度相等的狀況下：

• 緯度每隔0.00001度，距離相差約1.1米

mysql函數計算

DELIMITER //
CREATE DEFINER=`root`@`localhost` FUNCTION `getDistance`(
    `lng1` float(10,7) 
    ,
    `lat1` float(10,7)
    ,
    `lng2` float(10,7) 
    ,
    `lat2` float(10,7)

) RETURNS double
    COMMENT '計算2座標點距離'
BEGIN
    declare d double;
    declare radius int;
    set radius = 6371000; #假設地球爲正球形，直徑爲6371000米
    set d = (2*ATAN2(SQRT(SIN((lat1-lat2)*PI()/180/2)   
        *SIN((lat1-lat2)*PI()/180/2)+   
        COS(lat2*PI()/180)*COS(lat1*PI()/180)   
        *SIN((lng1-lng2)*PI()/180/2)   
        *SIN((lng1-lng2)*PI()/180/2)),   
        SQRT(1-SIN((lat1-lat2)*PI()/180/2)   
        *SIN((lat1-lat2)*PI()/180/2)   
        +COS(lat2*PI()/180)*COS(lat1*PI()/180)   
        *SIN((lng1-lng2)*PI()/180/2)   
        *SIN((lng1-lng2)*PI()/180/2))))*radius;
    return d;
END//
DELIMITER ;

建立數據python腳本

# coding=utf-8
from orator import DatabaseManager, Model
import logging
import random
import threading

""" 中國的經緯度範圍 緯度3.86~53.55，經度73.66~135.05。大概0.00001度差距1米 """

# 建立 日誌 對象
logger = logging.getLogger()
handler = logging.StreamHandler()
formatter = logging.Formatter(
    '%(asctime)s %(name)-12s %(levelname)-8s %(message)s')
handler.setFormatter(formatter)
logger.addHandler(handler)
logger.setLevel(logging.DEBUG)

# Connect to the database

config = {
    'mysql': {
        'driver': 'mysql',
        'host': 'localhost',
        'database': 'dbtest',
        'user': 'root',
        'password': '',
        'prefix': ''
    }
}

db = DatabaseManager(config)
Model.set_connection_resolver(db)


class Driver(Model):
    __table__ = 'driver'
    __timestamps__ = False
    pass


def ins_driver(thread_name,nums):
    logger.info('開啓線程%s' % thread_name)
    for _ in range(nums):
        lng = '%.5f' % random.uniform(73.66, 135.05)
        lat = '%.5f' % random.uniform(3.86, 53.55)

        driver = Driver()
        driver.lng = lng
        driver.lat = lat
        driver.save()

thread_nums = 10
for i in range(thread_nums):
    t = threading.Thread(target=ins_driver, args=(i, 400000))
    t.start()

以上腳本建立10個線程，10個線程插入4萬條數據。耗費150.18s執行完,總共插入40萬條數據

測試

• 測試環境

系統：mac os

內存：16G

cpu: intel core i5

硬盤: 500g 固態硬盤

測試下查找距離(134.38753,18.56734)這個座標點最近的10個司機

select *,`getDistance`(134.38753,18.56734,`lng`,`lat`) as dis from driver ORDER BY dis limit 10

• 耗時：18.0s
• explain:全表掃描

我測試了從1萬到10萬間隔1萬和從10萬到90萬每間隔10萬測試的結果變化

結論

• 此方案在數據量達到3萬條查詢耗時就會超過1秒
• 大約每增長1萬條就會增長0.4秒的耗時