dremio yarn 资源调度配置简单说明

以前简单说过一些关于yarn 运行的，对于在yarn 资源调度框架运行，dremio 需要的配置还是比较多的## 配置简单说明

配置需要三大步骤，hadoop配置，dremio runtime 配置，yarn 调度资源配置，以下主要说明关于dremio 相关的

• 协调节点

services: {      

coordinator.enabled: true,      

coordinator.master.enabled: true,      

executor.enabled: false      

}      

paths: {      

local: "/var/lib/dremio"      

...      

}      

• 分布式存储配置（所有节点，主要是关于hdfs的）

paths: {      

...      

dist: "hdfs://<NAMENODE_HOST>:8020/path"      

# If Name Node HA is enabled, 'fs.defaultFS' should be used      

# instead of the active name node IP or host when specifying      

# distributed storage path. 'fs.defaultFS' value can be found      

# in 'core-site.xml'. (e.g. <value_for_fs_defaultFS>/path)      

}      

• zk 配置使用外部的

zookeeper: "<ZOOKEEPER_HOST_1>:2181,<ZOOKEEPER_HOST_2>:2181"      

services.coordinator.master.embedded-zookeeper.enabled: false      

• yarn 执行器配置

  通过ui，配置还需要配置spill 目录（推荐使用yarn 节点的本地资源）

说明

参考资料