「15 Stepで習得 Dockerから入るKubernates」を読んでEC2で演ってみた：（１）概要と環境構築

Kubernetesクラスタ環境

• EC2
  • タイプと数：t3.small*3
    • Master兼コンテナレジストリ兼NFSサーバー(k8s-master)、Worker*2（k8s-worker1、k8s-worker2 ）
  • 2vCPU、2GBメモリないと、構築時に使うkubeadmが動かない、とのことだったので。
• EBS：gp2 8GB（デフォルト）
• OS：AmazonLinux2

kubeadmでAmazon Linux2にKubernetes1.18 - Qiita
を参考にしつつ、DockerやKubenetesのインストール時にバージョン指定せず最新を取得。
記事の後半にあるRedisは入れません。

sudo  hostnamectl set-hostname k8s-master   # 各ノードに対応した名前を設定
sudo vi /etc/hosts
（master,worker1,worker2,heketi,glusterfs1,glusterfs2,glusterfs3のローカルIPを列挙）
sudo yum install -y docker
sudo systemctl start docker && sudo systemctl enable docker
sudo usermod -a -G docker $USER
exit  # ログアウトして、すぐに再ログイン
sudo tee /etc/docker/daemon.json <<EOF
{
  "exec-opts": ["native.cgroupdriver=systemd"],
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "100m"
  },
  "storage-driver": "overlay2",
  "storage-opts": [
    "overlay2.override_kernel_check=true"
  ],
  "insecure-registries": [
    "k8s-master:5000"
  ]
}
EOF
sudo mkdir -p /etc/systemd/system/docker.service.d
sudo systemctl daemon-reload
sudo systemctl restart docker
sudo tee /etc/sysctl.d/k8s.conf <<EOF
net.bridge.bridge-nf-call-iptables  = 1
net.ipv4.ip_forward                 = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF
sudo sh -c "cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=0
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
EOF
"
sudo yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
sudo systemctl enable kubelet && sudo systemctl start kubelet
sudo yum install -y tc

マスターノードのみ

sudo kubeadm init --pod-network-cidr 192.168.0.0/16 
sudo mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
sudo kubectl apply -f https://docs.projectcalico.org/v3.13/manifests/calico.yaml

kubeadm token create --print-join-command

この最後にkubeadm token createした出力結果「sudo kubeadm join」を、ワーカーノードそれぞれにコピペ実行。

sudo kubeadm join マスターノードのIPアドレス:6443 --token ・・

マスターノードに戻って

kubectl label node k8s-worker1 node-role.kubernetes.io/worker=
kubectl label node k8s-worker2 node-role.kubernetes.io/worker=

これで
master
worker1
worker2
の環境構築が一旦完了。

インストールバージョンを細かく指定しなかった結果

• Docker　19.03.6-ce
• Kubernetes　v1.18.3

という組み合わせになっています。

プライベートリポジトリは、
Docker プライベートレジストリを構築する手順 - hirosanote’s blog
を参考に、masterノード上で

# docker pull registry
# docker run -dit -p 5000:5000 --name registry registry

でプレーンドッカーレジストリを起動しただけです。

なお、プライベートなプレーンドッカーレジストリを使う場合、「セキュリティの低い環境」ということで、
/etc/docker/daemon.json
に

{
  "insecure-registries": [
    "プレーンドッカーレジストリが動いているノードのホスト名:ポート番号"
  ]
}

を加える必要があります。（上記セットアップ「sudo tee /etc/docker/daemon.json<

sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
sudo yum-config-manager --enable epel
sudo yum -y install glusterfs glusterfs-fuse

を実行します。

実際には、依存性解決で
glusterfs-client-xlators
glusterfs-libs
もインストールされます。

NFSとしての設定は以下の通り
EC2上にNFSサーバ/クライアント構築する - Qiita
を参考に構築します。

sudo mkdir /export
sudo vi /etc/exports
/export 10.10.0.0/255.255.0.0(rw,no_root_squash)

sudo systemctl status nfs
sudo systemctl start nfs
sudo systemctl enable nfs

GlusterFS環境

• EC2
  • タイプと数：t2.micro*4
    • GlusterFSクラスター用*3（gluster1,gluster2,gluster3）
    • Heketiサーバー用*1

• EBS：gp2 8GB（デフォルト）
  • GlusterFS用のインスタンスだけ、セカンダリとして20GBのEBS-gp2 20GBを/dev/sdfとしてアタッチ。フォーマットはしない。（GlusterFS+Heketiのときはフォーマット＆マウントしなくていいらしい）
• OS：Ubuntu 18.04.4 LTS

全部、AWSVPC上のパブリックな同一サブネット上に立ち上げ、セキュリティグループは、同一グループ内はフルアクセスな状態にしました。

なんで、OSバラバラな環境にしたかって？
たまたまEC2上にkubeadmで構築するのに参考にしたサイトが、AmazonLinux2だったからです。
そして、GlusterFSを使う演習に入るタイミングでGlusterFSのことを調べ始めたら、ubuntuベースの記事が一番わかりやすかったからです。

結局、それが原因の１つとなって、後でドハマリするのですが。

GlusterFSの環境構築は
Install - Gluster Docs
を参考に進めました。

始める前に、20GBのEBS-gp2をgluster1、gluster2、gluster3、に/dev/sdfとしてアタッチしておきます。

なお、EC2でAmazonLinuxばかり使っているとハマるのですが、ubuntuで立てたインスタンスのデフォルトユーザは「ec2-user」ではなく「ubuntu」です。

sudo hostnamectl set-hostname gluster1  # 各ノードに対応した名前を設定
sudo vi /etc/hosts
（master,worker1,worker2,heketi,glusterfs1,glusterfs2,glusterfs3のローカルIPを列挙）
sudo apt-get update
sudo apt-get install software-properties-common
sudo add-apt-repository ppa:gluster/glusterfs-7
sudo apt-get install glusterfs-server
sudo apt-get update
sudo apt-get install thin-provisioning-tools glusterfs-client
sudo systemctl enable glusterd
sudo systemctl start glusterd

3台全部実施したあと、gluster1上で以下を実行する。

sudo gluster peer probe gluster2
sudo gluster peer probe gluster3

GlusterFSクラスターの構築が終わったあとで、Heketiサーバーを構築します。
GlusterFS + Heketi [Ub... | Wiki as a Service
の後半を参考にしました。

/etc/heketi/heketi.json
の「KEY_HERE」のところに、任意のパスワードを指定します。

wget https://github.com/heketi/heketi/releases/download/v9.0.0/heketi-v9.0.0.linux.amd64.tar.gz
tar -zxvf heketi-v9.0.0.linux.amd64.tar.gz
chmod +x heketi/{heketi,heketi-cli}
sudo cp heketi/{heketi,heketi-cli} /usr/local/bin
sudo groupadd --system heketi
sudo useradd -s /sbin/nologin --system -g heketi heketi
sudo mkdir -p /var/lib/heketi /etc/heketi /var/log/heketi
sudo vi /etc/heketi/heketi.json
（以下を記述）
{
  "_port_comment": "Heketi Server Port Number",
  "port": "8080",

	"_enable_tls_comment": "Enable TLS in Heketi Server",
	"enable_tls": false,

	"_cert_file_comment": "Path to a valid certificate file",
	"cert_file": "",

	"_key_file_comment": "Path to a valid private key file",
	"key_file": "",


  "_use_auth": "Enable JWT authorization. Please enable for deployment",
  "use_auth": false,

  "_jwt": "Private keys for access",
  "jwt": {
    "_admin": "Admin has access to all APIs",
    "admin": {
      "key": "KEY_HERE"
    },
    "_user": "User only has access to /volumes endpoint",
    "user": {
      "key": "KEY_HERE"
    }
  },

  "_backup_db_to_kube_secret": "Backup the heketi database to a Kubernetes secret when running in Kubernetes. Default is off.",
  "backup_db_to_kube_secret": false,

  "_profiling": "Enable go/pprof profiling on the /debug/pprof endpoints.",
  "profiling": false,

  "_glusterfs_comment": "GlusterFS Configuration",
  "glusterfs": {
    "_executor_comment": [
      "Execute plugin. Possible choices: mock, ssh",
      "mock: This setting is used for testing and development.",
      "      It will not send commands to any node.",
      "ssh:  This setting will notify Heketi to ssh to the nodes.",
      "      It will need the values in sshexec to be configured.",
      "kubernetes: Communicate with GlusterFS containers over",
      "            Kubernetes exec api."
    ],
    "executor": "ssh",

    "_sshexec_comment": "SSH username and private key file information",
    "sshexec": {
      "keyfile": "/etc/heketi/heketi_key",
      "user": "root",
      "port": "22",
      "fstab": "/etc/fstab"
    },

    "_db_comment": "Database file name",
    "db": "/var/lib/heketi/heketi.db",

     "_refresh_time_monitor_gluster_nodes": "Refresh time in seconds to monitor Gluster nodes",
    "refresh_time_monitor_gluster_nodes": 120,

    "_start_time_monitor_gluster_nodes": "Start time in seconds to monitor Gluster nodes when the heketi comes up",
    "start_time_monitor_gluster_nodes": 10,

    "_loglevel_comment": [
      "Set log level. Choices are:",
      "  none, critical, error, warning, info, debug",
      "Default is warning"
    ],
    "loglevel" : "debug",

    "_auto_create_block_hosting_volume": "Creates Block Hosting volumes automatically if not found or exsisting volume exhausted",
    "auto_create_block_hosting_volume": true,

    "_block_hosting_volume_size": "New block hosting volume will be created in size mentioned, This is considered only if auto-create is enabled.",
    "block_hosting_volume_size": 500,

    "_block_hosting_volume_options": "New block hosting volume will be created with the following set of options. Removing the group gluster-block option is NOT recommended. Additional options can be added next to it separated by a comma.",
    "block_hosting_volume_options": "group gluster-block",

    "_pre_request_volume_options": "Volume options that will be applied for all volumes created. Can be overridden by volume options in volume create request.",
    "pre_request_volume_options": "",

    "_post_request_volume_options": "Volume options that will be applied for all volumes created. To be used to override volume options in volume create request.",
    "post_request_volume_options": ""
  }
}
（ここまでを記述）

for i in dm_snapshot dm_mirror dm_thin_pool; do
  sudo modprobe $i
done
sudo ssh-keygen -f /etc/heketi/heketi_key -t rsa -N ''
sudo chown heketi:heketi /etc/heketi/heketi_key*

この後

for i in gluster1 gluster2 gluster3; do
  sudo ssh-copy-id -i /etc/heketi/heketi_key.pub root@$i
done

したいのですが、これがエラーになるので、
・/etc/heketi/heketi_key.pubをローカルPCにダウンロード
・GlusterFSの各ノードにアップロード(/home/ubuntu/に置いたことにする）
・GlusgerFSの各ノード上で以下を実行

sudo su -
cp /root/.ssh/authorized_keys /root/.ssh/authorized_keys.org
cat /home/ubuntu/heketi_key.pub >> /root/.ssh/authorized_keys

とします。

heketiサーバーに戻って

sudo vim /etc/systemd/system/heketi.service
（以下を記述）
[Unit]
Description=Heketi Server

[Service]
Type=simple
WorkingDirectory=/var/lib/heketi
EnvironmentFile=-/etc/heketi/heketi.env
User=heketi
ExecStart=/usr/local/bin/heketi --config=/etc/heketi/heketi.json
Restart=on-failure
StandardOutput=syslog
StandardError=syslog

[Install]
WantedBy=multi-user.target
（ここまでを記述）

sudo systemctl daemon-reload
sudo systemctl enable --now heketi
sudo chown -R heketi:heketi /var/lib/heketi /var/log/heketi /etc/heketi
sudo vim /etc/heketi/topology.json
（以下を記述。storage：の後に、各glusterノードのIPアドレス）
{
  "clusters": [
    {
      "nodes": [
                    {
          "node": {
            "hostnames": {
              "manage": [
                "gluster1"
              ],
              "storage": [
                "gluster1のIPアドレス"
              ]
            },
            "zone": 1
          },
          "devices": [
            "/dev/xvdf"
          ]
        },            {
          "node": {
            "hostnames": {
              "manage": [
                "gluster2"
              ],
              "storage": [
                "gluster2のIPアドレス"
              ]
            },
            "zone": 1
          },
          "devices": [
            "/dev/xvdf"
          ]
        },            {
          "node": {
            "hostnames": {
              "manage": [
                "gluster3"
              ],
              "storage": [
                "gluster3のIPアドレス"
              ]
            },
            "zone": 1
          },
          "devices": [
            "/dev/xvdf"
          ]
        }              
      ]
    }
  ]
}
（ここまでを記述）
sudo systemctl start heketi

これで構築完了です。

環境を確認するために、以下を実行します。

sudo heketi-cli topology load --json=/etc/heketi/topology.json

ここで

Adding device /dev/svdb ... Unable to add device: Setup of device /dev/svdb failed (already initialized or contains data?): Device /dev/svdb not found.

が出た場合、ブロックデバイスをフォーマット＆マウントしてしまっている可能性があります（ていうか一度やらかした）。EBSならアタッチするだけで良いです。

Found node gluster1 on cluster 46cbd1c8cc061fc7eaa2be2a3656292d
Adding device /dev/xvdf ... OK

といった表示になれば成功。
同じコマンドを繰り返すと、一度成功しているノード/デバイスについては

Found node gluster1 on cluster 46cbd1c8cc061fc7eaa2be2a3656292d
Found device /dev/xvdf

のような表示になります。

また、

sudo heketi-cli topology info

で、各ノード上、どれだけの領域を確保し、どれだけ使用しているかがわかります。
時々、k8sからのプロビジョニング後、pod、pv、pvcを止めたときに解放されてないことがあり、再度領域確保しようとして足りない、なんてケースがあるので、このコマンドは結構使います。

EC2上の環境構築はここまで。