nginx 程序员 wordpress 编程 微软 Firefox apache Windows Android linux Python centos shell java php Ubuntu 云计算 mysql google 开源

LinkedIn開源PalDB,一個只讀的鍵值存儲數據庫

LinkedIn 開源了 PalDB,一個可嵌入的鍵值對存儲數據庫,比 LevelDB 快 8 倍,並且內存占用比 hashset 少數個量級。

PalDB 是一個由 LinkedIn 開源並使用 JAVA 編寫的一次寫入鍵值存儲數據庫。當存儲創建後所有的操作都是禁止的,它是只讀的。這樣做的目的是提升讀操作的性能並降低內存占用。LinkedIn 的建議是使用它來存儲 side data,他們對於 side data 的定義是“一個過程以完成其工作而需要的額外的只讀數據。例如,被自然語言處理算法所使用的一系列已經停止使用的詞匯就是 side data”。

PalDB 是可嵌入的,它不使用模式並將數據保存在二進制文件之中。它提供了隨機數據訪問的 API。

據 LinkedIn 所說,它優化了讀操作,性能可與類似於 HashMap 和 HashSet 這樣的常駐內存的數據結構一較高下,同時需要的內存顯著減少,這些特性是公司在設計它時苦苦追求的。例如,一個含有 100M 鍵的 hashset 需要超過 500MB 的內存而 PalDB 只需要大約 80MB。或者,35M 個用戶 ID 使用 hashset 存儲需要 1.8GB 的內存而 PalDB 只需要 290MB。在 PalDB 中使用 Snappy 來壓縮數據的話將會使用更少的內存。

在速度方面,LinkedIn 的性能測試顯示 PalDB 擁有 2M 讀/秒的性能,或者說比 HashSet 快 6 倍,比 LevelDB 或 RocksDB 快 8 倍,這個測試環境是 MacBook Pro 3.1 GHz 和一個 10M-鍵索引。

PalDB 優化了存儲訪問。將數據存儲在磁盤上將會導致相當差的表現。盡管沒有限制數據的大小,索引的大小限制為 2GB。此外,重要的是要知道 PalDB 不是線程安全的。

延伸阅读

评论