【机器学习】TensorFlow共享GPU资源

一般在TF serving 在推理测进行控制，可以限制模型大小，可以限制请求数量，同时可以控制排队数量，也可以限制整个的访问数量 。

下面是没有对GPU进行限制的，程序会将GPU占满。

$ nohub tensorflow_model_server \ 
--rest_api_port=8501 \ 
--model_name=mobilenet \ 
--model_base_path="/tmp/mobilenet" >server.log 2>&1
           

下面加入per_process_gpu_memory_fraction，对资源进行控制

$ nohub tensorflow_model_server \ 
--per_process_gpu_memory_fraction=0.3 \ 
--rest_api_port=8501 \ 
--model_name=mobilenet \ 
--model_base_path="/tmp/mobilenet" >server.log 2>&1
           

在k8s容器里面跑,也可以使用这个参数来控制gpu内存使用。

$ nvidia-docker run -t --rm -p 8501:8501 \ 
-v "$TESTDATA/mobilenet:/models/mobilenet" \ 
-e MODEL_NAME=mobilenet \ 
tensorflow/serving:latest-gpu \ 
--per_process_gpu_memory_fraction=0.5
           

在一个容器多个GPU来控制gpu内存使用

1.如果本身有AI平台的调度功能，可以通过一些配置来达到目的

2.如果没有k8s，就一个裸的机器，那么可以使用

$ NV_GPU=${GPU_id} nvidia-docker run -t --rm -p8501:8501 \ 
-v "$TESTDATA/mobilenet:/models/mobilenet" \ 
-e MODEL_NAME=mobilenet \ 
tensorflow/serving:latest-gpu \ 
--per_process_gpu_memory_fraction=0.5
           

计算运算资源，涉及有很多参数，这里列出常用参数，进行估算。

1.max_batch_size:一个批次处理的最大请求数量。设定后会将多个请求合并为一个batch进行处理。

2.batch_timeout_micros:在请求未累积到max_batch_size时，等待服务的最大时长。如超时，则直接处理该批次请求。

3.num_batch_threads:服务可并发处理的batch数量，通常不大于分配的CPU核数；

4.max_enqueued_batches: 调度器队列中最大batch数量。如果当前队列已满，那么之后的请求会返回错误。