2017年2月9日 星期四

進行中: 資料來源單一化

g0v空汙地圖這個平台彙整了各式各樣的測站資料
而不同的測站就有不同的來源格式
主要區分為
  • LASS, LASS 4U 
  • Airbox (edimax, asus)
  • ThingSpeak (g0v independent, g0v probecube)
  • EPA


目前僅有排程抓取最新資料時會將各站資料格式轉換成相同的格式
但是單一裝置歷史紀錄 與 單一裝置最新一筆紀錄都還是在網頁端(Javascript)處理
所以還蠻常遇到歷史圖表出不來之類的問題

2016年底g0v的測站資料抓取也改由我負責
所以思考著可不可以把這些測站來源用系統化的方式轉為單一介面
網頁端只需要處理一種格式,降低錯誤的產生率

其次為地圖網頁同時肩負抓取資料(每五分鐘)與顯示資料的工作
只要空汙議題有被"廣泛"的討論時,流量就會超過額度

BTW,我用的主機是Google App engine,是有限額度的免費服務
能不花錢盡量不花錢,希望能讓服務走得長久


上面這張是地圖主機的最近7天的流量圖
看的出來已經有固定的使用量
這還是把所有圖片跟共用檔案都丟到CDN去的結果(攤手


所以放年假這段期間我開始新建了一個新的站
主要把所有的地圖資料來源抓取後彙整成單一格式(包括上面提到的歷史紀錄



上圖就是入口畫面,提供其他開發者使用

而admin是為了能夠可以自動化管理g0v抓取的測站資料
以往都是直接寫在設定檔排程執行
但是要新增刪的時候就很麻煩


就誕生了這個可以自動化管理的介面了!!


下一步計畫把每個來源抓取的數量記錄下來
原因是因為這陣子有人反映LASS跟4U的站點不見了
但是時間過了也無法知道到底是甚麼原因
希望可以弄出一個頁面顯示資料抓取的狀態能夠判讀錯誤的原因

沒有留言:

張貼留言