資源整理。git
1.Rstudio2019年會「機器學習應用」的幻燈片,代碼和數據github
2.R語言包sparkxgb,Spark上XGBoost的R接口。sql
sparkxgb數據庫
3.自動SQL注入和數據庫接管工具。編程
sqlmapjson
4.最新的深度學習技術應用於天然語言處理的概覽。網絡
5.來自美國GIS第一高校加州大學聖塔芭芭拉分校的地理學課程178/258(地理科學的概念建模與編程)的網頁。在Github推出能夠教學的class模式後有不少諸如此類的課程能夠關注。app
6.Python庫geetools,Google Earth Engine的工具。
7.哥倫比亞大學2019年春季機器學習應用課程材料。
8.R語言包gt,更方便地用R生成信息豐富具備出版質量的表格。
9.2019年冬季R語言空間研討會。
10.如何製做Shiny的書。
11.fasai深度學習庫、課程以及教程。
12.阿里天池大賽O2O優惠券使用預測比賽第一名代碼。
13.深度學習研究論文筆記與綜述。
14.高光譜論文(代碼)。
15.SNIPER是一種有效的多尺度目標探測算法。
16.基於U-Net架構的端到端一類實例分割,用於Kaggle的Data Science Bowl 2018。
17.從要素屬性添加功能級別tippecanoe GeoJSON擴展。
geojson tippecanoe extensions from attributes
18.Python庫responder,熟悉的http服務Python框架。
19.Rstudio2019年會關於統計教育的談話材料。
20.Rstudio的addin用於查看空間對象。
21.Rstudio的addin用於編輯地圖。
22.UCL地理學院的geog0133課程「陸地碳:建模與監測」實踐。
中國廣泛存在坡耕地,坡耕地土壤流失是河流沉積的主要來源。在控制水蝕方面,有效地考慮了最小的土壤干擾實踐,特別是在坡地農田。雖然它們的有益效果已獲得廣泛承認,但仍須要進一步研究,以量化減小徑流和沉積物產量的最小土壤擾動實踐的程度。咱們提出了一項基於全國性meta分析的定量評估,包括536次徑流和615次沉積物配對觀測,以評估最小土壤干擾實踐在控制中國水蝕方面的有效性。中國最小土壤擾動實踐分別使徑流和泥沙產量減小36.09%和51.69%。收集土壤造成免耕壟,用樹籬和微盆地耕做輪廓耕做顯示出比其餘三種作法(免耕,免耕覆蓋和輪廓耕做)顯着更大(P <0.05)徑流和沉積物產量減小。經過微地形學管理改變土壤性質的作法優於(P <0.05)改變土壤性質而不進行耕做以減小徑流和沉積物產量的作法。除了直接減小徑流外,因爲其附加效應,最小土壤擾動實踐在減小泥沙產量方面比徑流更有效。沒有觀察到徑流或沉積物減產與坡度之間的相關性,而最小土壤擾動實踐的水蝕控制效率隨着坡長的增長而增長。做爲一種水土保持措施,中國坡耕地能夠採用最小的土壤擾動措施。傅伯傑院士團隊的成果,使用meta分析分析土壤擾動和水蝕的影響,發表於農林科學top期刊LDD。
衛星遙感是一種頗有潛力的地面PM2.5估算方法。在本文中,提出了一個基於衛星的PM2.5估計的深度學習框架。利用多層學習和逐層預訓練,深度學習具備挖掘PM2.5與衛星觀測之間非線性關係的巨大潛力。首先,所提出的深度學習框架可用於利用衛星導出的氣溶膠光學厚度(AOD)估算地面PM2.5。其次,AOD產品是從衛星頂部大氣(TOA)反射率中檢索出來的。能夠進一步採用深度學習框架,直接從衛星TOA反射率估算地面PM2.5。所提出的框架分別在中國進行了基於AOD的PM2.5估算和武漢都市區的基於反射率的PM2.5估算。結果代表,深度學習框架在基於AOD和基於反射的PM2.5估計中都表現出色。該研究爲基於衛星的PM2.5估計提供了有效的方法。深度學習在PM2.5估算中的應用,張良培老師團隊成果,發表於IGARSS會議。比較有意思的是不只僅基於AOD估算,也有基於TOA的估算,這樣子應用價值會更高。
本研究使用遙感影像來描述土地利用/覆蓋模式,並推導出緬甸最大的城市羣Greater Yangon的地表溫度(LST),以提供土地利用/覆蓋與季節,白天和夜間LST變化。對1987年至2015年Landsat影像的分析顯示,城市擴張從市中心和沿着突出的河流輻射,建成用地(6.4%)和草地(10.1%)大幅增長,隨之而來的農地減小(17%)。對MODIS LST的檢查代表,在炎熱季節白天,農業用地比城市核心溫暖,而在寒冷季節,城市核心在白天和夜間都比農村環境溫暖。相關分析顯示,從2000年到2015年,建成地與夜間LST之間存在更強的聯繫,代表城市熱島效應增長。此外,本研究強調了與土地利用/覆蓋對LST影響的先前工做的兩個主要差別。首先,對LST具備重大總體影響的主要土地利用/覆蓋類型是農業用地,其標誌是全部分析時期的統計顯着相關係數。這一發現強調了農業及相關作法對大氣和睦候系統的影響。其次,LST的時間分析突出了水的更強和更復雜的做用,由於它與白天LST呈負相關,與夜間LST呈正相關。本研究的結果強調了土地利用/覆蓋對仰光LST空間和時間變化的更復雜影響,與以前在城市地區廣泛報告高LST的工做相比。這些看法提升了對土地變化後果對LST時間動態的理解,並能夠支持可持續土地利用規劃,以改善大仰光居民的福祉。長時間序列遙感分析,耦合兩種衛星(MODIS和Landsat),固然對這個結果和方法沒有以爲特別突出的點。兩種不一樣分辨率衛星如何進行分析,目前從摘要也沒有發現。查看了下原文,應該是統計了Landsat土地覆被上不一樣類型的MODIS LST作的分析。作了比較多工做。
黑河流域位於中國西北乾旱半乾旱地區;在過去的80年裏,該流域分別經歷了灌溉農業與中下游生態需求之間的水資源競爭。利用Sven Hedin博士在20世紀30年代建立的地圖,1961年拍攝的日冕衛星影像和Landsat專題製圖(TM),對黑河流域下游的額濟納三角洲的土地覆蓋進行了四個不一樣時期的解釋和分析。整體而言,結果代表:(1)20世紀30年代地圖的粗分辨率增長了研究區域的分析不肯定性;(2)額濟納三角洲的河流面積從20世紀30年代降低了91.0%此外,兩個主要的終端湖泊Gaxun Nuur Lake和Sogo Nuur Lake分別於1961年和1992年枯竭,胡楊面積從20世紀30年代到2000年減小了76.1%。大多數蘆葦被灌木覆蓋。 20世紀30年代至1961年間,蘆葦面積從3481平方千米減小到1332平方千米,灌木面積從805平方千米增長到2795平方千米。從20世紀30年代到2000年,沙漠和鹼性土地面積分別增長了42.2%和52.4%。 (3)2000年實施調水工程後,2010年蘇哥努爾湖面積恢復到40.58平方千米。胡楊,灌木叢和蘆葦等地區呈現恢復趨勢,增幅分別爲4.5%,6.5%,到2010年,沙漠和鹼性土地面積分別降低了4.2%和15.2%。耕地面積從1961年的25平方千米增長到2000年的85平方千米,迅速接近160平方千米。隨着時間的推移,這些變化代表,額齊納三角洲的生態棲息地在20世紀30年代和2000年之間惡化。可是,水轉移項目有效地改變了退化趨勢。跨度長達80年的土地覆被變化研究。
氣溶膠自動監測網絡(AERONET)使用Cimel Electronique Sun-sky輻射計提供了超過25年的氣溶膠光學厚度(AOD)的高精度,地面實況測量。在AERONET數據庫的第2版(V2)中,近實時AOD主要使用雲屏蔽方法進行半自動質量控制,而被雲污染或受儀器異常影響的額外AOD數據在得到質量保證狀態以前被手動刪除(等級2.0)。在過去25年中,AERONET站點數量的大幅增加致使以一致的方式對數百萬次測量的手動質量控制形成重大負擔。 AERONET版本3(V3)算法提供全自動雲篩選和儀器異常質量控制。全部這些新算法更新都適用於近實時數據以及現場部署後處理數據,AERONET在2018年對數據庫進行了從新處理。完整的算法從新開發提供了改進數據輸入和校訂的機會,例如獨特的過濾器 - 全部可見光和近紅外波長的特定溫度特徵,更新的氣體和水蒸氣吸取係數以及輔助數據集。 2.0級AOD質量保證數據集現已在現場校準後一個月內提供,將滯後時間從幾個月減小到幾個月。使用符合V3 Level 2.0 AOD的數據並考慮使用前場校準計算的AOD與使用前場和場後校準計算的AOD之間的差別來肯定近實時估計的不肯定性。該評估提供近實時不肯定性估計,其中AOD的平均差別代表+0.02誤差和一個sigma不肯定性爲0.02,可是對於特定儀器部署,誤差和不肯定性可能顯着更大。分析整個V3和V2數據庫的長期月平均值產生+0.002的平均差別(V3-V2)和±0.02SD(標準差),可是使用兩個數據庫中的時間匹配觀察計算的月平均值進行計算平均差別爲-0.002,±0.004SD。多年平均AOD的高統計協議驗證了先進的自動數據質量控制算法,並建議將研究遷移到V3數據庫將證明大多數V2研究結論,並可能在某些狀況下致使更準確的結果。AERONET數據質量改善的文章,推動AOD反演的關鍵要素。
咱們開發了一項方案,經過日本氣象廳最新的地球同步衛星Himawari-8上的Advanced Himawari Imager(AHI)改進氣溶膠光學厚度(AOT)的每小時估算。利用AHI的採樣特徵(10分鐘時間和亞測量空間分辨率),咱們從觀測(AOToriginal)量化AOT的時間和空間變化,並利用這些信息開發一個小時算法,產生兩組派生的AOT :AOTpure,經過對AOToriginal進行嚴格的雲掩膜和AOTmerged,從AOTpure的空間和時間插值獲得。如此從每小時算法得到的AOT根據來自氣溶膠機器人網絡的測量值進行驗證。 AOTpure和AOTmerged產品的均方根偏差(RMSEs)分別爲0.14和0.11,比AOT原劑的RMSE提升了0.20。目前向日葵8號衛星AOT產品的算法論文,每小時估算的AOT。筆者最近對這個衛星有所研究,後面也會稍微介紹下。總的來講AOT仍是比較稀疏的(受到不少不可控因素)。
高時間氣溶膠光學厚度(AOD)可用於反演排放模型和全面瞭解氣溶膠的氣候學。地球同步衛星已被用於在陸地和海洋上得到AOD。在這項研究中,開發了一種用於高級Himawari-8成像儀(SARAHI)的新型簡化氣溶膠反演算法,用於重新一代地球靜止氣象衛星-Himawari-8中反演北京每小時AOD,該衛星攜帶先進的Himawari成像儀(AHI)。該算法基於簡化的輻射傳輸模型和表面反射率,該表面反射率來自一個月的AHI表觀數據。來自AErosol RObotic NETwork(AERONET)站點和JAXA Himawari Monitor Version 2.0氣溶膠反演產品(L2ARP2.0)的測量用於評估來自SARAHI算法的AOD反演的性能。 AOD反演的73.5%,78.2%,74.7%分別落在Beijing_CAMS,Beijing_RADI和香河站點的預期偏差線上。相關係數大於0.92,小均方根偏差(RMSE)爲0.134-0.164。檢索也能夠很是好地反映AOD的時間變化。結果代表,SARAHI AOD算法可以準確地推導出區域AOD,而且優於L2ARP2.0 AOD。簡化的向日葵8號AOD反演算法。
8.Validation of Himawari-8 Aerosol Optical Depth Retrievals over China/Himawari-8氣溶膠光學厚度反演在中國的驗證
衛星傳感器不多提供高時間分辨率(每10分鐘)氣溶膠觀測。 Himawari-8上的高級Himawari成像儀(AHI)能夠在此頻率下提供中國的氣溶膠光學厚度(AOD)。該傳感器提供了很好的機會來檢索地面附近的顆粒物質,並使用氣溶膠產品改善空氣質量建模。可是,關於AHI AOD仍然缺少質量驗證。基於在中國的AErosol RObotic NETwork(AERONET)和Sun-Sky輻射計觀測網絡(SONET)中的16個太陽光度計站,進行了綜合研究以評估AHI氣溶膠產品的性能。 AHI AOD和地面AOD的整體比較顯示出高相關性(R2 = 0.67)。然而,只有55%的AHI AOD落入預期的偏差包絡(±0.05±0.2 * AOD地面)。 AHI AOD和地面AOD之間的AOD誤差隨着AOD幅度的增長而增長。 AHI AOD的準確性也高度依賴於季節和地表覆蓋類型。夏季和城市地區展現了AHI氣溶膠回收的最佳性能。晝夜變異性驗證代表,AHI AOD能夠很好地捕捉晝夜AOD變化,尤爲是夏季。顯示了AHI AOD和MODerate-resolution成像光譜儀(MODIS)氣溶膠產品之間的巨大差別,特別是在中國西北地區。分析代表,AHI氣溶膠回收的不肯定性是由氣溶膠模型的大偏差和算法中的表面反射率估計引發的。向日葵8號衛星AOD產品反演的驗證,該衛星由於高時間分辨率最近受到了不少關注。
9.Evaluation of MAIAC aerosol retrievals over China/中國MAIAC氣溶膠反演評價
大氣校訂的多角度實現(MAIAC)是一種新的氣溶膠算法,用於檢測陸地上的氣溶膠光學厚度(AOD),使用時間序列數據動態分離氣溶膠和土地的貢獻。可是,目前仍未對MAIAC AOD在中國的質量進行全面研究。在本文中,對中國1千米的MAIAC AOD進行了地面測量,以評估數據的性能。通常來講,Aqua和Terra MAIAC反演具備較高的相關係數(Aqua爲0.924,Terra爲0.933),基於地面觀察,超過72%的反演屬於預期偏差(EE =±(0.05 + 0.2 ) AOD))。咱們發現MAIAC AOD的準確性與AOD大小,氣溶膠大小,季節和表面類型有關。在春季和夏季,AOD誤差受到氣溶膠模型和表面反射率估計的影響。咱們還發現氣溶膠模型是沙漠地區AOD誤差的主要來源。這些結果代表,MAIAC AOD能夠做爲中國空氣質量和睦候研究的新氣溶膠數據來源。MAIAC的這套數據是比較新的,算法也是新的,近期有很多基於該產品的文章,能夠關注。