开工福利|免费学 2200+ 精品线上课,企业成员人人可得! 了解详情
写点什么

Ansible+Vagrant 本地部署 Kubernetes 1.4

  • 2020-03-13
  • 本文字数:8072 字

    阅读完需:约 26 分钟

Ansible+Vagrant 本地部署 Kubernetes 1.4

Kubernetes 作为领先的容器集群管理工具,很多初学者都希望能第一时间学习使用它,但由于国内访问国外镜像站点很慢,部署一直是广大初学者的痛点。之前我们基于官方的安装文档分享过 Kubernetes 1.4 在阿里云美西节点的部署过程,本篇在上次分享的基础上更进一步,通过把相关镜像和软件安装源部署到内网,演示 Ansible 在 vagrant 上部署 K8S 的过程。

上篇(点击查看)我们介绍了 Kubernetes 1.4 在阿里云美西节点的部署过程,由于国内网络问题,很多留言表示并不通用,因此才有此下篇介绍本地部署 K8S 1.4 的具体方法。


Ansible 是一个简单的自动化运维工具,主要用于配置管理和应用部署,功能类似于目前业界的配置管理工具 Chef,Puppet,Saltstack。Ansible 是通过 Python 语言开发。Ansible 平台由 Michael DeHaan 创建,他同时也是知名软件 Cobbler 与 Func 的作者。


Ansible 的第一个版本发布于 2012 年 2 月。Ansible 默认通过 SSH 协议管理机器,所以 Ansible 不需要安装客户端程序在服务器上。您只需要将 Ansible 安装在一台服务器,在 Ansible 安装完后,您就可以去管理控制其它服务器。不需要为它配置数据库,Ansible 不会以 daemons 方式来启动或保持运行状态,因此使用非常方便,所以这里用它来部署 K8S 1.4 测试环境,具体来讲 Ansible 可以实现以下目标:


  • 自动化部署应用

  • 自动化管理配置

  • 自动化的持续交付

  • 自动化的(AWS)云服务管理。

  • 从 1.3 开始支持新的资源类型 DaemonSet,kube-scheduler,kube-apiserver,kube-controller-manager,kube-proxy,kube-discovery 都已经放入 POD 中,使用更加方便了,上文提到 Kubernetes 1.4 的新功能是引入了 kubeadm 部署机制(暂时还是 alpha 版本),简化了 Kubernetes 集群的构建,我们部署一个 K8S 集群只要如下四个步骤,通过 Ansible 部署会更加简单,只要二步就 OK。


安装 docker、kubelet、kubectl、kubeadm


  • docker 容器运行环境

  • kubelet 集群最核心组件,它运行在所有集群中的机器,并实际操作 POD 和容器

  • kubectl 交互命令行控制集群

  • kubeadm Kubernetes 1.4 新增,替换之前的 kube-up.sh 脚本,用于集群的创建和节点的增加

  • kubeadm init 初始化 master

  • kubeadm join --token

  • 部署 POD 网络


之前和网友交流过,有些网友已经本地部署成功了,具体部署代码可以从我的 github 下载,下面开始我们的本地部署过程。

准备

准备三台虚拟机


  • 硬件配置: 三台 CPU1 核 内存 1.5 G 机器-需要可以访问国内网络(Ansible 安装和国内镜像下载需要)

  • 操作系统:Centos 7.2

  • 代码库-https://github.com/MarkThink/kubernetes1.4

  • Vagrant 配置文件 Vagrantfile:


# -*- mode: ruby -*-# # vi: set ft=ruby :
boxes = { ubuntu: "ubuntu/xenial64", centos: "centos7.2",}
distro = :centos # :ubuntu
Vagrant.configure(2) do |config|
(1..3).each do |i| config.vm.define "k8s#{i}" do |s| s.ssh.forward_agent = true s.vm.box = boxes[distro] s.vm.hostname = "k8s#{i}" s.vm.provision :shell, path: "scripts/bootstrap_ansible_#{distro.to_s}.sh" n = 10 + i s.vm.network "private_network", ip: "172.42.42.#{n}", netmask: "255.255.255.0", auto_config: true, virtualbox__intnet: "k8s-net" s.vm.provider "virtualbox" do |v| v.name = "k8s#{i}" v.memory = 1536 v.gui = false end end end
if Vagrant.has_plugin?("vagrant-cachier") config.cache.scope = :box endend
复制代码


启动虚拟机


vagrant up//进入虚拟机环境vagrant ssh k8s1vagrant ssh k8s2vagrant ssh k8s3#切换超级用户su#关闭 SEsetenforce 0#关闭 firewalldsystemctl stop firewalld && systemctl disable firewalld#进入三台虚拟机,更改 IP 地址为静态方式vi /etc/sysconfig/network-scripts/ifcfg-enp0s8BOOTPROTO=static#重启网络服务,使三台机器可以两两互通systemctl restart network
复制代码


将此文件 yum.repo 复制到 /etc/yum.repo.d/ 目录,准备 Kubernetes 安装的软件包。


cp yum.repo /etc/yum.repo.d/ #yum.repo[base]name=base-repobaseurl=http://yum.caicloud.com/base/enabled=1gpgcheck=0gpgkey=http://yum.caicloud.com/Centos7Base/RPM-GPG-KEY-CentOS-7[epel]name=epel-repobaseurl=http://yum.caicloud.com/epel/enabled=1gpgcheck=0gpgkey=http://yum.caicloud.com/Centos7Base/RPM-GPG-KEY-CentOS-7[extras]name=extras-repobaseurl=http://yum.caicloud.com/extras/enabled=1gpgcheck=0gpgkey=http://yum.caicloud.com/Centos7Base/RPM-GPG-KEY-CentOS-7[kubernetes]name=kubernetes-repobaseurl=http://yum.caicloud.com/kubernetes/enabled=1gpgcheck=0gpgkey=http://yum.caicloud.com/Centos7Base/RPM-GPG-KEY-CentOS-7[updates]name=updates-repobaseurl=http://yum.caicloud.com/updates/enabled=1gpgcheck=0gpgkey=http://yum.caicloud.com/Centos7Base/RPM-GPG-KEY-CentOS-7
复制代码

开始 Ansible 部署

vagrant ssh k8s1vagrant ssh k8s2vagrant ssh k8s3#切换超级用户su#使用 Ansible 安装 K8S 基础环境ansible-playbook /vagrant/ansible/k8s-base.yml -c local
复制代码


这会完成 docker、kubelet、kubectl、kubeadm 的安装,日志如下:


[WARNING]: provided hosts list is empty, only localhost is availablePLAY [localhost] ***************************************************************TASK [setup] *******************************************************************ok: [localhost]TASK [k8s-base : Ensure SSH Directories] ***************************************skipping: [localhost]TASK [k8s-base : Copy SSH Key Files] *******************************************skipping: [localhost] => (item=id_rsa)skipping: [localhost] => (item=id_rsa.pub)skipping: [localhost] => (item=config)TASK [k8s-base : Ensure Authorized SSH Key] ************************************skipping: [localhost]TASK [k8s-base : Remove Default Host Entry] ************************************changed: [localhost]TASK [k8s-base : Ensure Hosts File] ********************************************changed: [localhost] => (item={u'ip': u'172.42.42.11', u'name': u'k8s1'})changed: [localhost] => (item={u'ip': u'172.42.42.12', u'name': u'k8s2'})changed: [localhost] => (item={u'ip': u'172.42.42.13', u'name': u'k8s3'})TASK [k8s-base : Ensure Kubernetes APT Key] ************************************skipping: [localhost]TASK [k8s-base : Ensure Kubernetes APT Repository] *****************************skipping: [localhost]TASK [k8s-base : Ensure Base Kubernetes] ***************************************skipping: [localhost] => (item=[])TASK [k8s-base : file] *********************************************************changed: [localhost]TASK [k8s-base : Ensure Base Kubernetes] ***************************************changed: [localhost] => (item=[u'docker', u'kubelet', u'kubeadm', u'kubectl', u'kubernetes-cni'])TASK [k8s-base : Ensure docker.service] ****************************************changed: [localhost]TASK [k8s-base : Ensure kubelet.service] ***************************************changed: [localhost]TASK [k8s-base : Ensure firewalld.service] *************************************changed: [localhost]TASK [k8s-base : firewalld] ****************************************************changed: [localhost]TASK [k8s-base : firewalld] ****************************************************changed: [localhost]TASK [k8s-base : firewalld] ****************************************************changed: [localhost]TASK [k8s-base : firewalld] ****************************************************changed: [localhost]TASK [k8s-base : firewalld] ****************************************************changed: [localhost]TASK [k8s-base : command] ******************************************************changed: [localhost]PLAY RECAP *********************************************************************localhost                  : ok=14   changed=13   unreachable=0    failed=0
复制代码


由于网络问题,这里已经准备了相应的镜像:


docker pull registry.51yixiao.com/google_containers/kube-controller-manager-amd64:v1.4.0docker pull registry.51yixiao.com/google_containers/kube-proxy-amd64:v1.4.0docker pull registry.51yixiao.com/google_containers/kube-apiserver-amd64:v1.4.0docker pull registry.51yixiao.com/google_containers/kube-scheduler-amd64:v1.4.0docker pull registry.51yixiao.com/google_containers/kube-discovery-amd64:1.0docker pull registry.51yixiao.com/google_containers/kubedns-amd64:1.7docker pull registry.51yixiao.com/google_containers/exechealthz-amd64:1.1docker pull registry.51yixiao.com/google_containers/kube-dnsmasq-amd64:1.3docker pull registry.51yixiao.com/google_containers/pause-amd64:3.0docker pull registry.51yixiao.com/google_containers/etcd-amd64:2.2.5
复制代码


镜像前缀修改:


docker tag registry.51yixiao.com/google_containers/kube-controller-manager-amd64:v1.4.0 gcr.io/google_containers/kube-controller-manager-amd64:v1.4.0docker tag registry.51yixiao.com/google_containers/kube-proxy-amd64:v1.4.0 gcr.io/google_containers/kube-proxy-amd64:v1.4.0docker tag registry.51yixiao.com/google_containers/kube-apiserver-amd64:v1.4.0 gcr.io/google_containers/kube-apiserver-amd64:v1.4.0docker tag registry.51yixiao.com/google_containers/kube-scheduler-amd64:v1.4.0 gcr.io/google_containers/kube-scheduler-amd64:v1.4.0docker tag registry.51yixiao.com/google_containers/kube-discovery-amd64:1.0 gcr.io/google_containers/kube-discovery-amd64:1.0docker tag registry.51yixiao.com/google_containers/kubedns-amd64:1.7 gcr.io/google_containers/kubedns-amd64:1.7docker tag registry.51yixiao.com/google_containers/exechealthz-amd64:1.1 gcr.io/google_containers/exechealthz-amd64:1.1docker tag registry.51yixiao.com/google_containers/kube-dnsmasq-amd64:1.3 gcr.io/google_containers/kube-dnsmasq-amd64:1.3docker tag registry.51yixiao.com/google_containers/pause-amd64:3.0 gcr.io/google_containers/pause-amd64:3.0docker tag registry.51yixiao.com/google_containers/etcd-amd64:2.2.5 gcr.io/google_containers/etcd-amd64:2.2.5
复制代码


准备 POD 网络镜像:


docker pull registry.51yixiao.com/weaveworks/weave-kube:1.7.2docker pull registry.51yixiao.com/weaveworks/weave-npc:1.7.2
复制代码


镜像前缀修改:


docker tag registry.51yixiao.com/weaveworks/weave-kube:1.7.2 weaveworks/weave-kube:1.7.2docker tag registry.51yixiao.com/weaveworks/weave-npc:1.7.2 weaveworks/weave-npc:1.7.2Master 节点:
gcr.io/google_containers/kube-controller-manager-amd64:v1.4.0gcr.io/google_containers/kube-proxy-amd64:v1.4.0gcr.io/google_containers/kube-apiserver-amd64:v1.4.0gcr.io/google_containers/kube-scheduler-amd64:v1.4.0gcr.io/google_containers/kube-discovery-amd64:1.0gcr.io/google_containers/kubedns-amd64:1.7gcr.io/google_containers/exechealthz-amd64:1.1gcr.io/google_containers/kube-dnsmasq-amd64:1.3gcr.io/google_containers/pause-amd64:3.0gcr.io/google_containers/etcd-amd64:2.2.5
weaveworks/weave-kube:1.7.2weaveworks/weave-npc:1.7.2
复制代码


Node 节点:


gcr.io/google_containers/kube-proxy-amd64:v1.4.0gcr.io/google_containers/pause-amd64:3.0weaveworks/weave-kube:1.7.2weaveworks/weave-npc:1.7.2
复制代码


查看镜像数量(Master 节点 10 个镜像 Node 节点 2 个镜像):


docker images|grep gcr.io|wc -l
复制代码

Setup1. 开始部署 Master 节点

这里以 K8S1 节点作为 Master 节点,执行下面的命令,完成 Master 部署:


ansible-playbook /vagrant/ansible/k8s-master.yml -c local
复制代码


日志信息:


[WARNING]: provided hosts list is empty, only localhost is availablePLAY [localhost] ***************************************************************TASK [setup] *******************************************************************ok: [localhost]TASK [k8s-master : Ensure kubeadm initialization] ******************************changed: [localhost]TASK [k8s-master : Ensure Network Start Script] ********************************ok: [localhost] => (item=start-weave)ok: [localhost] => (item=start-calico)ok: [localhost] => (item=start-canal)TASK [k8s-master : Ensure jq package is installed] *****************************skipping: [localhost] => (item=[])TASK [k8s-master : Ensure jq package is installed] *****************************changed: [localhost] => (item=[u'jq'])TASK [k8s-master : Set --advertise-address flag in kube-apiserver static pod manifest (workaround for https://github.com/kubernetes/kubernetes/issues/34101)] ***changed: [localhost]TASK [k8s-master : Set --cluster-cidr flag in kube-proxy daemonset (workaround for https://github.com/kubernetes/kubernetes/issues/34101)] ***changed: [localhost]TASK [k8s-master : firewalld] **************************************************changed: [localhost]TASK [k8s-master : firewalld] **************************************************changed: [localhost]TASK [k8s-master : command] ****************************************************changed: [localhost]PLAY RECAP *********************************************************************localhost                  : ok=9    changed=7    unreachable=0    failed=0
复制代码


生成的配置文件列表:


# 证书/etc/kubernetes/pki/apiserver-key.pem/etc/kubernetes/pki/apiserver.pem/etc/kubernetes/pki/apiserver-pub.pem/etc/kubernetes/pki/ca-key.pem/etc/kubernetes/pki/ca.pem/etc/kubernetes/pki/ca-pub.pem/etc/kubernetes/pki/sa-key.pem/etc/kubernetes/pki/sa-pub.pem/etc/kubernetes/pki/tokens.csv# Master 配置/etc/kubernetes/manifests/kube-scheduler.json/etc/kubernetes/manifests/kube-controller-manager.json/etc/kubernetes/manifests/kube-apiserver.json/etc/kubernetes/manifests/etcd.json# kubelet 配置/etc/kubernetes/admin.conf/etc/kubernetes/kubelet.conf#查看启动配置ps aux|grep kubelet #输出日志/usr/bin/kubelet --kubeconfig=/etc/kubernetes/kubelet.conf --require-kubeconfig=true --pod-manifest-path=/etc/kubernetes/manifests --allow-privileged=true --network-plugin=cni --cni-conf-dir=/etc/cni/net.d --cni-bin-dir=/opt/cni/bin --cluster-dns=100.64.0.10 --cluster-domain=cluster.local --v=4
复制代码


由于 POD 网络未配置,kube-dns 未启动:


[root@k8s1 files]# kubectl get po --namespace=kube-systemNAME                             READY     STATUS              RESTARTS   AGEetcd-k8s1                        1/1       Running             0          5mkube-apiserver-k8s1              1/1       Running             3          5mkube-controller-manager-k8s1     1/1       Running             1          6mkube-discovery-982812725-uz406   1/1       Running             0          6mkube-dns-2247936740-s412w        0/3       ContainerCreating   0          6mkube-proxy-amd64-2228u           1/1       Running             0          2mkube-proxy-amd64-3um33           1/1       Running             0          6mkube-proxy-amd64-945s5           1/1       Running             0          2mkube-scheduler-k8s1              1/1       Running             1          5mweave-net-i4qk7                  2/2       Running             0          28sweave-net-k12m3                  2/2       Running             0          28sweave-net-vh456                  2/2       Running             0          28s
复制代码

Setup2. 添加 work 节点

k8s2/k8s3 设置为工作节点,执行下面的命令:
ansible-playbook /vagrant/ansible/k8s-worker.yml -c local [root@k8s2 ~]# ansible-playbook /vagrant/ansible/k8s-worker.yml -c local [WARNING]: provided hosts list is empty, only localhost is availablePLAY [localhost] ***************************************************************TASK [setup] *******************************************************************ok: [localhost]TASK [k8s-worker : Join Kubernetes Cluster] ************************************changed: [localhost]PLAY RECAP *********************************************************************localhost : ok=2 changed=1 unreachable=0 failed=0
复制代码


查看节点状态:


[root@k8s1 files]# kubectl get nodeNAME      STATUS    AGEk8s1      Ready     49mk8s2      Ready     45mk8s3      Ready     45m
复制代码

Setup3. 部署 Pod 网络

**Kubernetes 1.2 版本默认使用的是 flannel 网络,用于解决 POD 跨主机之间的通信。新版本未提供默认的网络插件,在部署应用集群之前,必须要配置 POD 网络。


未配置 POD 网络,默认的 KUBE-DNS 是无法启动的。这里使用 weave 网络方案,当然也可以使用 Calico 或 Canal。


在 Master 节点执行下面的命令安装 POD 网络:**


[root@k8s1 files]# pwd/vagrant/ansible/roles/k8s-master/files[root@k8s1 files]# ./start-weave
复制代码


查看部署 POD:


[root@k8s1 files]# kubectl get po --namespace=kube-systemNAME                             READY     STATUS    RESTARTS   AGEetcd-k8s1                        1/1       Running   0          54mkube-apiserver-k8s1              1/1       Running   3          55mkube-controller-manager-k8s1     1/1       Running   1          55mkube-discovery-982812725-uz406   1/1       Running   0          55mkube-dns-2247936740-s412w        3/3       Running   1          55mkube-proxy-amd64-2228u           1/1       Running   0          51mkube-proxy-amd64-3um33           1/1       Running   0          55mkube-proxy-amd64-945s5           1/1       Running   0          51mkube-scheduler-k8s1              1/1       Running   1          54mweave-net-i4qk7                  2/2       Running   0          49mweave-net-k12m3                  2/2       Running   0          49mweave-net-vh456                  2/2       Running   0          49m
复制代码


本文转载自才云 Caicloud 公众号。


原文链接:https://mp.weixin.qq.com/s/jLVF4hQ0J8DFMF1L5xXAdw


2020-03-13 19:00882

评论 1 条评论

发布
用户头像
作者的 Github 仓库是 3 年前的,这里有一篇更全面:https://github.com/kubernetes/kubernetes-anywhere

我最近也在尝试利用 Ansible 本地安装,但是方法不一样,碰到了 kubelet 在容器运行中的问题,我的仓库是:
https://github.com/caryyu/kubernetes-study/

2020-03-14 11:07
回复
没有更多了
发现更多内容

选择适合舞台的LED租赁显示屏指南

Dylan

融资租赁 婚礼策划PPT LED显示屏 led显示屏厂家 舞台表演

HashData的湖仓一体思考:Iceberg、Hudi特性讲解与支持方案

酷克数据HashData

境外社交数据采集遇到的问题及云手机解决方案

Ogcloud

数据采集 云手机 海外云手机 云手机海外版 国外云手机

你所不知道的端口耗尽(三)

快乐非自愿限量之名

Python 后端 端口 开发语言

直播预告|从一张 CD 说起,关于播放器的前世今生

声网

体育赛事直播平台,全方位引流策略分享

软件开发-梦幻运营部

文心一言 VS 讯飞星火 VS chatgpt (208)-- 算法导论15.4 5题

福大大架构师每日一题

福大大架构师每日一题

Pygame游戏开发:一次编写,多平台运行

技术冰糖葫芦

API 接口

【教程】移动应用安全加固技术解析

低代码与AIGC技术:重塑软件开发的新篇章

EquatorCoco

低代码 AIGC 低代码人工智能

解密Spring中的Bean实例化:推断构造方法(上)

不在线第一只蜗牛

Java spring 源码 bean

为什么要用云手机进行国外社媒监控?

Ogcloud

云手机 海外云手机 云手机海外版 国外云手机

iPaas数据传输的方式

RestCloud

API ETL ipaas 数据传输方式

淘宝商品详情数据接口用于ERP选品

tbapi

淘宝商品详情数据接口 淘宝API接口 淘宝商品数据采集 淘宝数据ERP

赢在起跑线:商品企划系统为鞋服品牌带来的竞争优势解析

第七在线

什么是云游戏?云游戏平台可以运行3A游戏吗?

Ogcloud

游戏 云游戏 3A游戏 3A云游戏

Python 服务实现可观测性最佳实践

观测云

Python 可观测性

谈谈鸿蒙 Harmony 的跨端技术方案

Onegun

鸿蒙 HarmonyOS

儋州市营商环境建设局:二维码一扫,办事更便捷!

草料二维码

二维码 草料二维码

BSC链DAPP质押合约代币系统开发

l8l259l3365

真香定律!我用这种模式重构了第三方登录

EquatorCoco

Python 重构 第三方登录 项目开发

结构化思维助力Prompt创作:专业化技术讲解和实践案例

快乐非自愿限量之名

技巧 项目开发 结构化 技巧分享

已解决org.springframework.beans.factory.support.BeanDefinitionValidationException Bean验证异常的正确解决方法,亲测有效!

小明Java问道之路

打通易快报与金蝶K3Wise,实现采购流程高效协同!

聚道云软件连接器

案例分享

低代码与数字经济:推动软件开发创新的新引擎

不在线第一只蜗牛

软件开发 低代码 数字经济

一次性搞定多任务!Python自动化复用浏览器技巧大揭秘

测吧(北京)科技有限公司

测试

阿里巴巴淘口令API推动电商行业社交化营销创新

技术冰糖葫芦

API 接口

Ansible+Vagrant 本地部署 Kubernetes 1.4_行业深度_才云科技_InfoQ精选文章