在使用了微服务后,一个项目往往由多个模块组成,而容器化发布的建议是单个容器尽量只运行单个进程。所以我们会把每个模块单独打包成镜像运行。如果每个模块都单独配置Dockerfile会让我们维护起来很麻烦。这时我们就需要通过maven的maven-remote-resources-plugin插件来通过一个Dockerfile模版文件为每个项目生成单独的Dockerfile
配置maven-remote-resources-plugin
- 创建配置文件模版项目
# platform-config
<groupId>com.tinem</groupId>
<artifactId>platform-config</artifactId>
<version>0.0.1-SNAPSHOT</version>
- Dockerfile模版
# 定义变量$signStart ,因为直接写${}会被转义,所以有些情况下我们想在生产的文件中输出${}就需要通过变量转义
#set($signStart="${")
#set($signStartTwo="{")
#set($signEnd="}")
# 采用alibaba的JDK 版本是:17.0.3.0.3
FROM registry.cn-shanghai.aliyuncs.com/fengzhihao/jdk:alibaba.17.0.3.0.3
# 创建工作文件夹
RUN mkdir /app
# project.build.finalName是maven插件的变量,用于获取编译后输出jar的名字
# 将maven编译后的jar添加到容器中
ADD ${project.build.finalName}.jar /app/${project.build.finalName}.jar
# 默认jvm大小512M
ENV JAVA_OPTS=" -server \
-Xmx512m \
-Xms512m \
-Xmn64m "
# 默认东八区
ENV TZ=Asia/Shanghai
# 创建jvm日志目录
RUN mkdir -p /tmp/com.tinem/jvm_error/dumps/${project.build.finalName}/${signStart}INSTANCE_NAME${signEnd}/
RUN mkdir -p /tmp/com.tinem/jvm_error/log/${project.build.finalName}
# 切换工作文件夹
WORKDIR /app
# 容器运行时的命令
# mkdir -p /tmp/com.tinem/jvm_error/dumps/${project.build.finalName}/${signStart}INSTANCE_NAME${signEnd}/
# mkdir -p /tmp/com.tinem/jvm_error/log/${project.build.finalName}
# 这两句是因为生产环境下会将/tmp目录挂载到单独的磁盘。导致容器创建的目录不存在,所以在容器启动时在创建一次
# -XX:+HeapDumpOnOutOfMemoryError 是 Java 虚拟机(JVM)的一个参数,用于在发生内存溢出错误时自动生成堆转储文件。
# -XX:HeapDumpPath JVM 在发生内存溢出错误时将堆转储文件保存在 /tmp/com.tinem/jvm_error/dumps/${project.build.finalName}/${signStart}INSTANCE_NAME${signEnd}/ 路径下
# -XX:ErrorFile JVM 在发生致命错误时将错误文件保存在 /tmp/com.tinem/jvm_error/log/${project.build.finalName}/${signStart}INSTANCE_NAME${signEnd}.log 路径下
# --add-opens java.base/java.lang=ALL-UNNAMED
# --add-opens java.base/sun.net.util=ALL-UNNAMED
# --add-opens java.base/java.lang.reflect=ALL-UNNAMED
# 因为我们的开发环境是jdk8,在jdk9以后有分模块的限制,通过这三个参数开放允许开发人员在不使用 exports 语句的情况下在 Java 标准库中访问公共类和接口。
# -Djava.security.egd是一个 Java 虚拟机(JVM)参数,用于指定用于生成随机数的设备。使用这个参数可以确保 Java 应用程序能够生成高质量的随机数,这对于加密和安全应用程序非常重要。
CMD mkdir -p /tmp/com.tinem/jvm_error/dumps/${project.build.finalName}/${signStart}INSTANCE_NAME${signEnd}/ & \
mkdir -p /tmp/com.tinem/jvm_error/log/${project.build.finalName} & \
java ${signStart}JAVA_OPTS${signEnd} \
-XX:+HeapDumpOnOutOfMemoryError \
-XX:HeapDumpPath=/tmp/com.tinem/jvm_error/dumps/${project.build.finalName}/${signStart}INSTANCE_NAME${signEnd}/ \
-XX:ErrorFile=/tmp/com.tinem/jvm_error/log/${project.build.finalName}/${signStart}INSTANCE_NAME${signEnd}.log \
--add-opens java.base/java.lang=ALL-UNNAMED \
--add-opens java.base/sun.net.util=ALL-UNNAMED \
--add-opens java.base/java.lang.reflect=ALL-UNNAMED \
-Djava.security.egd=file:/dev/./urandom \
-jar \
/app/${project.build.finalName}.jar
# docker build -f classes/Dockerfile -t platform/${project.build.finalName}:test_oom .
# docker run -v $(pwd)/tmp:/tmp --rm -it platform/${project.build.finalName}:test_oom
- 在微服务模块中引用配置
#platform-cloud/pom.xml
<plugin> <!-- 共享配置文件 -->
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-remote-resources-plugin</artifactId>
<version>1.7.0</version>
<executions>
<execution>
<id>process-remote-resources</id>
<goals>
<goal>process</goal>
</goals>
<configuration>
<encoding>UTF-8</encoding>
<resourceBundles>
<resourceBundle>com.tinem:platform-config:${project.version}</resourceBundle>
</resourceBundles>
</configuration>
</execution>
</executions>
</plugin>
- 执行maven编译
maven install
编译后会在当前项目的class下生成Dockerfile文件
# 定义变量${ ,因为直接写${}会被转义,所以有些情况下我们想在生产的文件中输出${}就需要通过变量转义
# 采用alibaba的JDK 版本是:17.0.3.0.3
FROM registry.cn-shanghai.aliyuncs.com/fengzhihao/jdk:alibaba.17.0.3.0.3
# 创建工作文件夹
RUN mkdir /app
# project.build.finalName是maven插件的变量,用于获取编译后输出jar的名字
# 将maven编译后的jar添加到容器中
ADD platform-cloud-service-pay.jar /app/platform-cloud-service-pay.jar
# 默认jvm大小512M
ENV JAVA_OPTS=" -server \
-Xmx512m \
-Xms512m \
-Xmn64m "
# 默认东八区
ENV TZ=Asia/Shanghai
# 创建jvm日志目录
RUN mkdir -p /tmp/com.tinem/jvm_error/dumps/platform-cloud-service-pay/${INSTANCE_NAME}/
RUN mkdir -p /tmp/com.tinem/jvm_error/log/platform-cloud-service-pay
# 切换工作文件夹
WORKDIR /app
# 容器运行时的命令
# mkdir -p /tmp/com.tinem/jvm_error/dumps/platform-cloud-service-pay/${INSTANCE_NAME}/
# mkdir -p /tmp/com.tinem/jvm_error/log/platform-cloud-service-pay
# 这两句是因为生产环境下会将/tmp目录挂载到单独的磁盘。导致容器创建的目录不存在,所以在容器启动时在创建一次
# -XX:+HeapDumpOnOutOfMemoryError 是 Java 虚拟机(JVM)的一个参数,用于在发生内存溢出错误时自动生成堆转储文件。
# -XX:HeapDumpPath JVM 在发生内存溢出错误时将堆转储文件保存在 /tmp/com.tinem/jvm_error/dumps/platform-cloud-service-pay/${INSTANCE_NAME}/ 路径下
# -XX:ErrorFile JVM 在发生致命错误时将错误文件保存在 /tmp/com.tinem/jvm_error/log/platform-cloud-service-pay/${INSTANCE_NAME}.log 路径下
# --add-opens java.base/java.lang=ALL-UNNAMED
# --add-opens java.base/sun.net.util=ALL-UNNAMED
# --add-opens java.base/java.lang.reflect=ALL-UNNAMED
# 因为我们的开发环境是jdk8,在jdk9以后有分模块的限制,通过这三个参数开放允许开发人员在不使用 exports 语句的情况下在 Java 标准库中访问公共类和接口。
# -Djava.security.egd是一个 Java 虚拟机(JVM)参数,用于指定用于生成随机数的设备。使用这个参数可以确保 Java 应用程序能够生成高质量的随机数,这对于加密和安全应用程序非常重要。
CMD mkdir -p /tmp/com.tinem/jvm_error/dumps/platform-cloud-service-pay/${INSTANCE_NAME}/ & \
mkdir -p /tmp/com.tinem/jvm_error/log/platform-cloud-service-pay & \
java ${JAVA_OPTS} \
-XX:+HeapDumpOnOutOfMemoryError \
-XX:HeapDumpPath=/tmp/com.tinem/jvm_error/dumps/platform-cloud-service-pay/${INSTANCE_NAME}/ \
-XX:ErrorFile=/tmp/com.tinem/jvm_error/log/platform-cloud-service-pay/${INSTANCE_NAME}.log \
--add-opens java.base/java.lang=ALL-UNNAMED \
--add-opens java.base/sun.net.util=ALL-UNNAMED \
--add-opens java.base/java.lang.reflect=ALL-UNNAMED \
-Djava.security.egd=file:/dev/./urandom \
-jar \
/app/platform-cloud-service-pay.jar
# docker build -f classes/Dockerfile -t core.harbor.fuletec.club/platform/platform-cloud-service-pay:test_oom .
# docker run -v $(pwd)/tmp:/tmp --rm -it core.harbor.fuletec.club/platform/platform-cloud-service-pay:test_oom
INSTANCE_NAME是容器启动时的环境变量。因为一个项目可能会启动多个实例这是就需要通过INSTANCE_NAME来区分
单个项目编译成docker容器
<plugin>
<groupId>com.spotify</groupId>
<artifactId>dockerfile-maven-plugin</artifactId>
<version>1.4.13</version>
<configuration>
<repository>platform/${project.artifactId}</repository>
<tag>${build.number}</tag>
<dockerfile>${project.build.directory}/classes/Dockerfile</dockerfile>
<contextDirectory>${project.build.directory}</contextDirectory>
</configuration>
</plugin>
这种方式是通过maven的一个插件将项目打包成docker镜像.
通过shell脚本打包docker容器并做git tag
每次打包添加git tag有助于我们快速定位问题。因为java报错一般会告诉你哪个文件的第几行报错。但如果我们的本地代码已经被修改会导致我们很难定位问题。这时如果我们容器的tag与git tag保持一致我们只需要查看容器的tag后从git拉取对于tag代码就可以很方便的定位问题
# bash.sh
#!/bin/bash
set -x
# params 1 repository core.harbor.xxx.com/harbor
# params 2 build_id
# nohup ./build.sh core.harbor.xxx.com/platform $(date +%Y%m%d_%H%M%S) > output.log 2>&1 &
# -Dmaven.compile.fork=true 参数,用以指明使用多线程进行编译;
# -Dmaven.test.skip=true 跳过测试代码的编译命令
# -T 1C 参数,表示使用每个 CPU 核心跑一个工程;
# docker 仓库地址
repositories="core.harbor.xxx.com/platform"
# 生成tag
tag=$(date +%Y%m%d_%H%M%S)
# 如果第一个参数不为空则将第一个参数是设置成仓库地址
if [ ! -n "$1" ]; then
echo "repositories IS NULL"
else
repositories=$1
echo "repositories IS $repositories"
fi
# 如果第而个参数不为空则将第二个参数是设置成tag
if [ ! -n "$2" ]; then
echo "tag IS NULL"
else
tag=$2
echo "tag IS $tag"
fi
# maven 编译
mvn clean install -T 1C -Dmaven.test.skip=true -Dmaven.compile.fork=true
# git tag
git tag "b_"$tag
# 推送git tag
git push origin "b_"$tag
project_root=$(pwd)
# 单个模块处理
buildProject(){
echo "dsName $1"
echo "dsNamespace $2"
echo "project name $3"
echo "project path $4"
dsName=$1
dsNamespace=$2
projectName=$3
projectPath=$4
kind=$5
cd ${project_root}/platform-cloud/${projectPath}/${projectName}/target
# 编译docker镜像
docker build -f classes/Dockerfile -t $repositories/${projectName}:$tag .
# 推送镜像到docker镜像仓库
docker push $repositories/${projectName}:$tag
# 更新k8s
kubectl -n ${dsNamespace} set image ${kind} ${dsName} ${dsName}=$repositories/${projectName}:$tag
}
# platform-cloud-commons-admin 模块
buildProject platform-cloud-commons-admin platform-common platform-cloud-commons-admin platform-cloud-commons statefulset
# platform-cloud-service-channel 模块
buildProject p-c-s-channel platform-cloud-service platform-cloud-service-channel platform-cloud-service statefulset
buildProject p-c-s-link platform-cloud-service platform-cloud-service-link platform-cloud-service statefulset
buildProject p-c-s-message platform-cloud-service platform-cloud-service-message platform-cloud-service statefulset
buildProject p-c-s-network platform-cloud-service platform-cloud-service-network platform-cloud-service statefulset
buildProject p-c-s-security platform-cloud-service platform-cloud-service-security platform-cloud-service statefulset
buildProject p-c-s-pay platform-cloud-service platform-cloud-service-pay platform-cloud-service statefulset
buildProject p-c-s-user platform-cloud-service platform-cloud-service-user platform-cloud-service statefulset
buildProject p-c-s-data platform-cloud-service platform-cloud-service-data platform-cloud-service statefulset
buildProject p-c-s-task platform-cloud-service platform-cloud-service-task platform-cloud-service statefulset
buildProject p-c-w-auth platform-cloud-web platform-cloud-web-auth platform-cloud-web statefulset
buildProject p-c-w-notice platform-cloud-web platform-cloud-web-notice platform-cloud-web statefulset
buildProject p-c-w-gateway platform-cloud-web platform-cloud-web-gateway platform-cloud-web statefulset
buildProject p-c-w-link platform-cloud-web platform-cloud-web-link platform-cloud-web statefulset
buildProject p-c-w-netty platform-cloud-web platform-cloud-web-netty platform-cloud-web statefulset
buildProject p-c-w-file platform-cloud-web platform-cloud-web-file platform-cloud-web statefulset
buildProject p-c-w-tool platform-cloud-web platform-cloud-web-tool platform-cloud-web statefulset