天天看点

Greenplum配置参数优化:5.10.2

Greenplum参数配置优化:

work_mem(,global,物理内存的2%-4%),segment用作sort,hash操作的内存大小

当PostgreSQL对大表进行排序时,数据库会按照此参数指定大小进行分片排序,将中间结果存放在临时文件中,这些中间结果的临时文件最终会再次合并排序,所以增加此参数可以减少临时文件个数进而提升排序效率。当然如果设置过大,会导致swap的发生,所以设置此参数时仍需谨慎。

global,CREATE INDEX, VACUUM等时用到,segment用于VACUUM,CREATE INDEX等操作的内存大小,缺省是16兆字节(16MB)。因为在一个数据库会话里, 任意时刻只有一个这样的操作可以执行,并且一个数据库安装通常不会有太多这样的工作并发执行, 把这个数值设置得比work_mem更大是安全的。 更大的设置可以改进清理和恢复数据库转储的速度。

设置每个查询最大使用的内存量,该参数是防止statement_mem参数设置的内存过大导致的内存溢出.

设置每个查询在segment主机中可用的内存,该参数设置的值不能超过max_statement_mem设置的值,如果配置了资源队列,则不能超过资源队列设置的值。

设置活跃段实例的所有postgres进程可以使用的内存量(以MB为单位)。如果查询超出该限制,则不会分配内存,并且查询将失败。请注意,这是本地参数,必须为系统中的每个段(主要段和镜像段)设置。设置参数值时,仅指定数值。例如,要指定4096MB,请使用 4096。不要将单位 MB 添加到该值。

-v:修改的值

-m:指定master节点上该内容的值,若不加此选项,则master和其他segment一致,或 --masteronly,表示此操作只针对master节点。

SQL查询分配的内存不足,Greenplum数据库会创建溢出文件(也叫工作文件)。在默认情况下,一个SQL查询最多可以创建 100000 个溢出文件,这足以满足大多数查询。

该参数决定了一个查询最多可以创建多少个溢出文件。0 意味着没有限制。限制溢出文件数据可以防止失控查询破坏整个系统。

服务器配置参数 gp_statement_mem 控制段数据库上单个查询可以使用的内存总量。如果语句需要更多内存,则会溢出数据到磁盘。

(master节点,可以设为物理内存的85%)

这个参数告诉PostgreSQL的优化器有多少内存可以被用来缓存数据,以及帮助决定是否应该使用索引。这个数值越大,优化器使用索引的可能性也越大。因此这个数值应该设置成shared_buffers加上可用操作系统缓存两者的总量。通常这个数值会超过系统内存总量的50%以上。

master和每个segment的可以使用的cpu个数,每个segment的分配线程数;

最大连接数,Segment建议设置成Master的5-10倍。

max_connections = 200 #(master、standby)

max_connections = 1200 #(segment)

这个参数只有在启动数据库时,才能被设置。它决定能够同时处于prepared状态的事务的最大数目(参考PREPARE TRANSACTION命令)。如果它的值被设为0。则将数据库将关闭prepared事务的特性。它的值通常应该和max_connections的值一样大。每个事务消耗600字节(b)共享内存。

设置每个服务器进程允许同时打开的最大文件数目。缺省是1000。 如果内核强制一个合理的每进程限制,那么你不用操心这个设置。 但是在一些平台上(特别是大多数BSD系统), 内核允许独立进程打开比个系统真正可以支持的数目大得多得文件数。 如果你发现有"Too many open files"这样的失败现像,那么就尝试缩小这个设置。 这个值只能在服务器启动的时候设置。

只能配置segment节点,用作磁盘读写的内存缓冲区,开始可以设置一个较小的值,比如总内存的15%,然后逐渐增加,过程中监控性能提升和swap的情况。

设置ftsprobe线程数,此参数建议大于等于每台服务器segments的数目。

设置发送数据到客户端超时时间,默认3600秒。

https://gp-docs-cn.github.io/docs/ref_guide/config_params/guc_config.html#topic_vsn_22l_z4

https://gp-docs-cn.github.io/docs/ref_guide/config_params/guc-list.html#add_missing_from

https://blog.csdn.net/tomson8975/article/details/52064339

https://blog.csdn.net/wxc20062006/article/details/50602123

https://www.cnblogs.com/zhaowenzhong/p/5667434.html

继续阅读