Hi!
So after upgrading half of my worker nodes to new kubernetes (v1.24.9) I noticed that some of the pods got stuck in failed mount.
Warning FailedMount 15s (x6 over 31s) kubelet
MountVolume.MountDevice failed for volume "pvc-5bc91a74" : rpc error: code =
Internal desc = stat /var/lib/kubelet/plugins/kubernetes.io/csi/beegfs.csi.netapp.com/874cf8f302b0da66de76a4edb4ca3f7e0c5f7a6f25ad368e8ce8fda969225eb5/globalmount: no such file or directory
To get them up and running again I forced them to use nodes with the old kubernetes version (v1.23.15) and that works.
Versions:
- BeeGFS: v7.3.2
- CSI Driver: v1.3.0
Regarding the csi driver deployment I am using the k8s one from the repo.
Config:
config:
beegfsClientConf:
connClientPortUDP: "8028"
connDisableAuthentication: "true"
logType: "helperd"
And the only modification I had to make was in csi-beegfs-node.yaml where I set the plugins-mount-dir to /var/lib/kubelet/plugins/kubernetes.io/csi/pv instead of /var/lib/kubelet/plugins/kubernetes.io/csi
The kubernetes 1.23.15 worker node directory structure of /var/lib/kubelet/plugins/kubernetes.io/csi
tree -L 4
.
โโโ pv
โโโ pvc-01ba9661
โย ย โโโ globalmount
โย ย โย ย โโโ beegfs-client.conf
โย ย โย ย โโโ mount
โย ย โโโ vol_data.json
โโโ pvc-03357f3e
โย ย โโโ globalmount
โย ย โย ย โโโ beegfs-client.conf
โย ย โย ย โโโ mount
โย ย โโโ vol_data.json
...
The kubernetes 1.24.9 worker node directory structure of /var/lib/kubelet/plugins/kubernetes.io/csi
tree -L 4
.
โโโ beegfs.csi.netapp.com
โโโ pv
โโโ pvc-090f23e1
โย ย โโโ globalmount
โย ย โย ย โโโ beegfs-client.conf
โย ย โย ย โโโ mount
โย ย โโโ vol_data.json
โโโ pvc-14ba4b44
โย ย โโโ globalmount
โย ย โย ย โโโ beegfs-client.conf
โย ย โย ย โโโ mount
โย ย โโโ vol_data.json
...
So for some reason the node with the newer kubernetes version has an empty beegfs.csi.netapp.com directory.
Why are the pods on the "new" nodes trying to mount this other location? Is the v1.3.0 version of the driver incompatible with kubernetes 1.24.9? Should I upgrade the driver to v1.4.0?
Please say if you need any more info.
Thanks in advance!