【重新发现PostgreSQL之美】- 21 探访宇航员的食物

背景

物联网, 金融, 社交, 电商, 电力, 游戏等行业. 大量传感器、业务日志、FEED等数据.

因为数据分析、或行业合规, 要求日志类流水类数据需要永久保存

最近的数据需要高效点查, 高效更新, 高速写入

历史的数据需要大范围快速分析计算, 高压缩比

挑战:

1、历史数据量大, 存储耗费巨大

2、无法同时解决高并发写入、更新、点查同时快速分析和高压缩比的问题

PG解决方案:

• WO写优化、RO读优化
• RO(读优化)存储高压缩比
• 向量化计算性能提升一个数量级
• 分区支持行、列混合存储
• 通过parser analyze hook,扩展向量类型,扩展向量算子,基于代价的自动化JIT选择,在同一个实例中支持oltp, olap两种模型.

参考

《PostgreSQL 时序数据库设计最佳实践 - 关联 citus,columnar,partition,timescaledb,压缩,高速写,parallel append 多分区并行查询,分区》 https://github.com/postgrespro/vops https://github.com/citusdata/citus https://hub.fastgit.org/citusdata/citus/blob/master/src/backend/columnar/README.md 《PostgreSQL 向量化执行插件(瓦片式实现-vops) 10x提速OLAP》 《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》 《传统数据库30年不思进取, 而PG开辟出一条新道路》

https://github.com/digoal/blog/blob/master/202106/20210612_03.md#postgresql-%E8%AE%B8%E6%84%BF%E9%93%BE%E6%8E%A5 https://github.com/digoal/blog/issues/76