基于k8s 动态配置及扩容maven nexus私服

配置nexus

从官网下载了nexus之后还需要进行一些配置。
编辑bin/nexus.vmoptions 调整后的如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
-Xms600M
-Xmx600M
-XX:MaxDirectMemorySize=1G
-XX:+UnlockDiagnosticVMOptions
-XX:+UnsyncloadClass
-XX:+LogVMOutput
-XX:LogFile=/data/docker/soft/nexus/log/jvm.log
-XX:-OmitStackTraceInFastThrow
-Djava.net.preferIPv4Stack=true
-Dkaraf.home=.
-Dkaraf.base=.
-Dkaraf.etc=etc/karaf
-Djava.util.logging.config.file=etc/karaf/java.util.logging.properties
-Dkaraf.data=/data/docker/soft/nexus/data
-Djava.io.tmpdir=/data/docker/soft/nexus/tmp
-Dkaraf.startLocalConsole=false

其中除了1,2行的jvm内存配置之外,最关键的就是,以下几个属性配置:

  • -XX:LogFile=/data/docker/soft/nexus/log/jvm.log # 日志文件生成位置
  • -Dkaraf.data=/data/docker/soft/nexus/data # 仓库数据存放位置(上传的jar包)
  • -Djava.io.tmpdir=/data/docker/soft/nexus/tmp # 临时文件存放位置

制作Docker镜像

配置好nexus之后,需要再制作自己的docker镜像,因为k8s就是调度镜像容器的。

1
2
3
4
5
6
7
8
9
[root@master nexus]# pwd
/data/docker/dockerfile/nexus
[root@master nexus]# ls -lth
total 223M
-rw-r--r-- 1 root root 146 Jun 21 16:06 Dockerfile
-rw-r--r-- 1 root root 108M Jun 21 16:02 nexus3.tar.gz
drwxr-xr-x 3 root root 4.0K Jun 21 15:53 sonatype-work
drwxr-xr-x 9 root root 4.0K Jun 21 15:53 nexus-3.12.1-01
-rw-r--r-- 1 root root 115M Jun 21 15:36 nexus-3.12.1-01-unix.tar.gz.org

docker镜像的制作很简单,新建一个Dockerfile文件:

1
2
3
4
5
6
[root@master nexus]# cat Dockerfile 
FROM registry.cn-hangzhou.aliyuncs.com/luhaoyuan/oracle-jdk8:latest

ADD nexus3.tar.gz /opt

ENTRYPOINT ["/opt/nexus-3.12.1-01/bin/nexus", "run"]
  • 第一行:nexus的运行是依赖JDK环境的,所以我们这里就使用jdk作为基础镜像;(镜像是基于centos7,比较大,后续可以考虑修改为alpine_3.6)
  • 第二行:将我们配置过后的nexus(nexus-3.12.1-01)再重新打包一下,添加到容器中;
  • 第三行:启动容器时,执行的命令,nexus的启动命令有start和run,由于start默认是启动在后台进程的,这样容器一启动就退出了。所以这里必须要使用run命令启动了。

最后构建Docker镜像:
docker build -t registry.martin.com:5000/tools/nexus:3.12.1 .
registry.martin.com:5000为我registry地址,构建之后将改image push到私库,当然也可以用harbor
如果有做ca校验,需要将证书拷贝到指定的:/etc/docker/certs.d/xxx/ca.crt,然后docker login校验
再docker push registry.martin.com:5000/tools/nexus:3.12.1,不然会提示x509认证失败

配置k8s PV-PVC

为了避免容器重启数据丢失,需要挂载主机的卷空间。
在k8s中,pod挂载主机的存储卷,就需要使用到了PV(PersistentVolume)和PVC(PersistentVolumeClaim)。
新建nexus3-pv-pvc.yaml文件:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
[root@master nexus]# pwd
/data/k8s/nexus
[root@master nexus]# ls -lth
total 12K
-rw-r--r-- 1 root root 777 Jun 21 18:49 nexus3-deployment.yaml
-rw-r--r-- 1 root root 370 Jun 21 17:12 nexus3-service.yaml
-rw-r--r-- 1 root root 525 Jun 21 16:49 nexus3-pv-pvc.yaml
[root@master nexus]# cat nexus3-pv-pvc.yaml
apiVersion: v1
kind: PersistentVolume
metadata:
name: nexus3-data-pv
labels:
app: nexus3-data-pv
spec:
capacity:
storage: 500Gi
accessModes:
- ReadWriteOnce
persistentVolumeReclaimPolicy: Recycle
hostPath:
path: /data/docker/soft/nexus

---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: nexus3-data-pvc
labels:
app: nexus3-data-pvc
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 500Gi
selector:
matchLabels:
app: nexus3-data-pv
[root@master nexus]#

==注意:PV中的hostPath,指定了宿主主机上的挂载路径(node节点最好全部先创建好)==

配置k8s Deployment

在k8s早期更多的是使用ReplicationController (RC)来控制保障pod,不过后来又出现了Deployment。
Deployment不仅包含了RC的所有功能,还具有:版本记录、回滚、暂停和启动等多种额外的强大功能。
所以可以尽量都使用Deployment,新建nexus3-deployment.yaml文件:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[root@master nexus]# cat nexus3-deployment.yaml 
kind: Deployment
apiVersion: extensions/v1beta1
metadata:
labels:
app: nexus3
name: nexus3
spec:
replicas: 1
selector:
matchLabels:
app: nexus3
template:
metadata:
labels:
app: nexus3
spec:
containers:
- name: nexus3
image: registry.martin.com:5000/tools/nexus:3.12.1
imagePullPolicy: IfNotPresent
ports:
- containerPort: 9193
protocol: TCP
volumeMounts:
- name: nexus-data
mountPath: /data/docker/soft/nexus
volumes:
- name: nexus-data
persistentVolumeClaim:
claimName: nexus3-data-pvc
nodeSelector:
kubernetes.io/hostname: 192.168.0.15

需要在volumes结点上引用之前创建的PVC:

1
2
3
4
volumes:
- name: nexus-data
persistentVolumeClaim:
claimName: nexus3-data-pvc

在volumeMounts结点上,配置了挂载到容器中的路径:/data/docker/soft/nexus(node节点最好全部先创建好)

1
2
3
volumeMounts:
- name: nexus-data
mountPath: /data/docker/soft/nexus

最后的nodeSelector表示pod只在某个主机上运行,可以通过在k8s的master上使用:kubectl get nodes查看

配置k8s Service

k8s中的pod的访问是不可靠的,随时可能发生pod停止-漂移-创建的过程。
所以要想能够稳定的访问,就必须要创建Service进行服务发现了,在Service中是根据selector来寻找pod的。
最后k8s上的Service只能在集群节点上访问,如果我们想要在集群外部进行访问的话,只有三种方式:

  • NodePort、
  • LoadBalancer、
  • Ingress。

这里使用NodePort,绑定宿主机的端口来进行暴露服务。跟docker run -p 看上去效果相似。
新建nexus3-service.yaml文件:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[root@master nexus]# cat nexus3-service.yaml 
apiVersion: v1
kind: Service
metadata:
labels:
app: nexus3
name: nexus3
spec:
type: NodePort
ports:
- port: 8081
targetPort: 8081
nodePort: 30031
name: web-ui
selector:
app: nexus3
[root@master nexus]#

其中关键的地方就是spec.type节点配置NodePort类型了。
说明下的ports 端口的配置:

  • port 属性定义了Service的虚端口;
  • targetPort 属性指定了后面pod上提供的端口,如果没有指定则默认与port相同(这里我们显视的指定了);
  • nodePort 属性指定了绑定在宿主机(物理机)上的端口号,我们可以通过宿主机IP + 端口的形式访问到后方pod中的服。
  • name 如果有多个port配置的话,必须要为每个port指定一个名称。

k8s部署访问

创建 PV-PVC

根据配置文件,创建PV-PVC:

kubectl create -f nexus3-pv-pvc.yaml

创建完成后,查看一下状态,是否正常:

kubectl get pv

1
2
NAME             CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS    CLAIM                     STORAGECLASS   REASON    AGE
nexus3-data-pv 500Gi RWO Recycle Bound default/nexus3-data-pvc 17h

创建Deployment

继续创建Deployment,创建完后会自动创建pod的,并维护pod数量始终为1。

kubectl create -f nexus3-deployment.yaml

稍等几秒钟,查看pod状态:

kubectl get pod -o wide

1
2
NAME                      READY     STATUS    RESTARTS   AGE       IP           NODE
nexus3-68f55d9746-vfnf8 1/1 Running 0 12h 10.20.7.12 192.168.0.15

==注意:默认不用-n指定namespace的都是用的default,-o wide可以看到详细的IP及node信息==

创建Service

创建Service,暴露服务:

1
kubectl create -f nexus3-service.yaml

查看状态:

1
2
3
4
5
 kubectl get svc
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE
kubernetes ClusterIP 10.10.0.1 <none> 443/TCP 13d
nexus3 NodePort 10.10.165.3 <none> 8081:30031/TCP,5000:30032/TCP,8889:30033/TCP 12h
nginx-service ClusterIP 10.10.147.216 <none> 80/TCP 10d

==注意这里的访问,是访问宿主机的IP+端口,至于CLUSTER-IP这些都是虚拟的IP,无法在外部进行访问的==。

访问Nexus

http://192.168.1.2:30031 (pod内container端口为:8081)

升级

借用k8s Deployment的升级方式:

  1. 从官网下载最新的nexus安装包;
  2. 修改nexus配置文件,将上面旧版本的配置覆盖过来就行了;
  3. 修改Dockerfile文件,构建新的Docker镜像,将新打包的nexus放入镜像中。
    如:docker build -t registry.martin.com:5000/tools/nexus:3.12.2 .
    Ps: 不要忘记启动命令路径也要调整!
  4. 使用k8s命令升级Deployment:
    如:kubectl set image deployment/nexus3 nexus3=registry.martin.com:5000/tools/nexus:3.12.2
  5. 回滚升级,如果发现升级了的不好用,或者出现问题,也可以回滚:
    如:kubectl rollout undo deployment/nexus3

总结

其实这个过程中里复杂了一部分,也简化了一部分。
复杂了pv-pvc过程,pv-pvc不用创建直接在Deployment中挂载hostPath也是可以的。
简化了Deployment,其实应该还需要加上cpu、内存等资源限制的。
这里只是在nexus配置文件中做了限制,如果出现内存泄漏问题,还是没办法解决!


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!