云南BlueSky時序數(shù)據(jù)庫價格承諾守信「多圖」

時序數(shù)據(jù)庫的秘密 —— 快速檢索

碼洞是通過 Lucene 的倒排索引技術(shù)實現(xiàn)比關(guān)系型數(shù)據(jù)庫更快的過濾。特別是它對多條件的過濾支持非常好，比如年齡在 18 和 30 之間，性別為女性這樣的組合查詢。倒排索引很多地方都有介紹，但是其比關(guān)系型數(shù)據(jù)庫的 b-tree 索引快在哪里？到底為什么快呢？

籠統(tǒng)的來說，b-tree 索引是為寫入優(yōu)化的索引結(jié)構(gòu)。當(dāng)我們不需要支持快速的更新的時候，可以用預(yù)先排序等方式換取更小的存儲空間，更快的檢索速度等好處，其代價就是更新慢。要進一步深入的化，還是要看一下 Lucene 的倒排索引是怎么構(gòu)成的

BlueSky時間序列化數(shù)據(jù)庫時序數(shù)據(jù)庫對IoT的價值

BlueSky時間序列化數(shù)據(jù)庫時序數(shù)據(jù)是指基于時間的一系列數(shù)據(jù)，隨著IoT、5G等技術(shù)的發(fā)展，工業(yè)物聯(lián)網(wǎng)、智能家居、監(jiān)控等行業(yè)對時序數(shù)據(jù)的需求呈現(xiàn)爆發(fā)式的增長，而傳統(tǒng)關(guān)系型數(shù)據(jù)庫難以對此進行有效的處理。不僅因為數(shù)據(jù)量比之前可能要多數(shù)萬倍，實時采集、高頻度、高密度的動態(tài)數(shù)據(jù)也導(dǎo)致模型隨時可變。

為了更好的支持時序數(shù)據(jù)的存儲分析，各種時序數(shù)據(jù)庫（TimeSeries Database）應(yīng)運而生，時序數(shù)據(jù)庫可以基于時間區(qū)間進行聚合分析和檢索，實現(xiàn)對時序數(shù)據(jù)的快速寫入、持久化、多緯度的查詢等功能。據(jù)DB-Engines 2019年12月的新報告顯示，近一年內(nèi)時序數(shù)據(jù)庫的受歡迎程度穩(wěn)居前列。

BlueSky時間序列化數(shù)據(jù)庫背景

BlueSky時間序列化數(shù)據(jù)庫引擎在服務(wù)于集團內(nèi)的客戶時，根據(jù)集團業(yè)務(wù)特性做了很多針對性的優(yōu)化。 然而在HiTSDB云產(chǎn)品的打磨過程中逐漸發(fā)現(xiàn)，很多針對性的優(yōu)化很難在公有云上針對特定用戶去實施。

于此同時， 在公有云客戶使用BlueSky時間序列化數(shù)據(jù)庫的過程中，發(fā)現(xiàn)了越來越多由于聚合查詢導(dǎo)致的問題，比如： 返回數(shù)據(jù)點過多會出現(xiàn)棧溢出等錯誤，聚合點過多導(dǎo)致OOM， 或者無法完成聚合，實例完全卡死等等問題。這些問題主要由于原始的聚合引擎架構(gòu)上的缺陷導(dǎo)致。

因此開發(fā)團隊評估后決定圍繞新的聚合引擎架構(gòu)對BlueSky時間序列化數(shù)據(jù)庫引擎進行升級，包含： 存儲模型的改造，索引方式的升級，實現(xiàn)全新的流式聚合，數(shù)據(jù)遷移，性能評測。 本文主要圍繞這5個方面進行梳理，重點在“全新的流式聚合部分

時間序列數(shù)據(jù)庫跨節(jié)點關(guān)聯(lián)查詢 join 問題

跨節(jié)點關(guān)聯(lián)查詢 join 問題切分之前，系統(tǒng)中很多列表和詳情頁所需的數(shù)據(jù)可以通過sql join來完成。而切分之后，數(shù)據(jù)可能分布在不同的節(jié)點上，此時join帶來的問題就比較麻煩了，考慮到性能，盡量避免使用join查詢。

解決這個問題的一些方法：1）全局表全局表，也可看做是"數(shù)據(jù)字典表"，就是系統(tǒng)中所有模塊都可能依賴的一些表，為了避免跨庫join查詢，可以將這類表在每個數(shù)據(jù)庫中都保存一份。這些數(shù)據(jù)通常很少會進行修改，所以也不擔(dān)心一致性的問題。2）字段冗余一種典型的反范式設(shè)計，利用空間換時間，為了性能而避免join查詢。例如：訂單表保存userId時候，也將userName冗余保存一份，這樣查詢訂單詳情時就不需要再去查詢"買家user表"了。

但這種方法適用場景也有限，比較適用于依賴字段比較少的情況。而冗余字段的數(shù)據(jù)一致性也較難保證，就像上面訂單表的例子，買家修改了userName后，是否需要在歷史訂單中同步更新呢？這也要結(jié)合實際業(yè)務(wù)場景進行考慮。