写点什么

手把手教你使用 RKE 快速部署 K8S 集群并部署 Rancher HA

  • 2020-05-18
  • 本文字数:5521 字

    阅读完需:约 18 分钟

手把手教你使用RKE快速部署K8S集群并部署Rancher HA

作者:杨紫熹

原文链接:

https://fs.tn/post/PmaL-uIiQ/


RKE 全称为 Rancher Kubernetes Engine,是一款经过 CNCF 认证的开源 Kubernetes 发行版,可以在 Docker 容器内部运行。它解决了 Kubernetes 社区中最常见的问题——安装十分复杂。借助 RKE,可以简化 Kubernetes 的安装和操作,并且用户可以在任何操作系统和平台上运行它。

安装 RKE

首先需要下载 RKE 这个工具,下载地址为:


https://github.com/rancher/rke/releases


根据自己的平台,下载对应的可执行文件,下面我以 ubuntu 来做演示说明。


  1. 下载 rke_linux_amd64

  2. chmod +x rke_linux_amd64 赋予可执行权限

  3. 改名为 rke,mv rke_linux_amd64 rke

  4. 放入 bin 目录(可选)


以上三步就安装好了 RKE,mac 可以直接用 brew 安装,命令为 brew install rke

部署 Kubernetes 集群

生成集群配置文件

安装好了 RKE 之后,首先生成 RKE 的配置文件。


使用自带命令 rke config,生成 cluster.yml 配置文件


生成之后默认会有一个示例的配置文件。文件中的 controlplane 就是 k8s 中所说的 master。下面来看下这个配置文件(已经经过修改的版本)。


我们以 3 主 3etcd,3work 这种经典 k8s 集群模式来讲解下配置文件改如何写。请仔细阅读,对于部署 k8s 有以下几点需要注意的。


  • 账户不能用 root 账户

  • 所有节点的时间必须同步

  • 使用的非 root 账户要能正常使用 docker

  • 配置建议再 2C4G 以上,推荐是 4C8G 比较合适,磁盘 40G


nodes:  - address: 192.168.1.1    port: "22" # ssh 端口    internal_address: "" # 内网IP,如果是公有云的这种有公私网两个IP的,则address配置为公网IP    role:      - controlplane  # 控制节点校色,等于k8s的master      - etcd    user: ubuntu  # 服务器登陆账户    hostname_override: master-etcd-01    docker_socket: /var/run/docker.sock  # docker sock所在路径,如果是用snap安装的dockers需要自行修改    ssh_key_path: "~/.ssh/id_rsa"  # ssh key的路径,必须是免密登录,不能使用账户密码    labels: {} # 标签说明  - address: 192.168.1.2    port: "22"    internal_address: ""    role:      - controlplane      - etcd    user: ubuntu    hostname_override: master-etcd-02    docker_socket: /var/run/docker.sock    ssh_key_path: ~/.ssh/id_rsa  - address: 192.168.1.3    port: "22"    internal_address: ""    role:      - controlplane      - etcd    user: ubuntu    hostname_override: master-etcd-03    docker_socket: /var/run/docker.sock    ssh_key_path: ~/.ssh/id_rsa  - address: 192.168.1.4    port: "22"    internal_address: ""    role:      - worker    user: ubuntu    hostname_override: worker-1    docker_socket: /var/run/docker.sock    ssh_key_path: ~/.ssh/id_rsa    labels:      app: ingress  # 标记后只有该标记节点会部署ingress  - address: 192.168.1.6    port: "22"    internal_address: ""    role:      - worker    user: ubuntu    hostname_override: worker-2    docker_socket: /var/run/docker.sock    ssh_key_path: ~/.ssh/id_rsa    labels:      app: ingress  - address: 192.168.1.7    port: "22"    internal_address: ""    role:      - worker    user: ubuntu    hostname_override: worker-3    docker_socket: /var/run/docker.sock    ssh_key_path: ~/.ssh/id_rsa    labels:      app: ingressservices:# ETCD相关配置,另外备份是可以备份到s3的,这个配置见官方文档  etcd:    extra_args:      auto-compaction-retention: 240 #(单位小时)      # 修改空间配额为$((6*1024*1024*1024)),默认2G,最大8G      quota-backend-bytes: "6442450944"    backup_config:      enabled: true      interval_hours: 12      retention: 6  kube-api:    service_cluster_ip_range: 10.43.0.0/16    service_node_port_range: "20000-40000"    pod_security_policy: false    always_pull_images: false# 控制器的一些配置,比如节点判断失联后多久开始迁移等  kube-controller:    extra_args:      ## 当节点通信失败后,再等一段时间kubernetes判定节点为notready状态。      ## 这个时间段必须是kubelet的nodeStatusUpdateFrequency(默认10s)的整数倍,      ## 其中N表示允许kubelet同步节点状态的重试次数,默认40s。      node-monitor-grace-period: "20s"      ## 再持续通信失败一段时间后,kubernetes判定节点为unhealthy状态,默认1m0s。      node-startup-grace-period: "30s"      ## 再持续失联一段时间,kubernetes开始迁移失联节点的Pod,默认5m0s。      pod-eviction-timeout: "1m"    cluster_cidr: 10.42.0.0/16    service_cluster_ip_range: 10.43.0.0/16# 集群的一些配置,包括资源预留,集群名字,dns等配置  kubelet:    extra_args:      serialize-image-pulls: "false"      registry-burst: "10"      registry-qps: "0"      # # 节点资源预留      # enforce-node-allocatable: 'pods'      # system-reserved: 'cpu=0.5,memory=500Mi'      # kube-reserved: 'cpu=0.5,memory=1500Mi'      # # POD驱逐,这个参数只支持内存和磁盘。      # ## 硬驱逐伐值      # ### 当节点上的可用资源降至保留值以下时,就会触发强制驱逐。强制驱逐会强制kill掉POD,不会等POD自动退出。      # eviction-hard: 'memory.available<300Mi,nodefs.available<10%,imagefs.available<15%,nodefs.inodesFree<5%'      # ## 软驱逐伐值      # ### 以下四个参数配套使用,当节点上的可用资源少于这个值时但大于硬驱逐伐值时候,会等待eviction-soft-grace-period设置的时长;      # ### 等待中每10s检查一次,当最后一次检查还触发了软驱逐伐值就会开始驱逐,驱逐不会直接Kill POD,先发送停止信号给POD,然后等待eviction-max-pod-grace-period设置的时长;      # ### 在eviction-max-pod-grace-period时长之后,如果POD还未退出则发送强制kill POD"      # eviction-soft: 'memory.available<500Mi,nodefs.available<50%,imagefs.available<50%,nodefs.inodesFree<10%'      # eviction-soft-grace-period: 'memory.available=1m30s'      # eviction-max-pod-grace-period: '30'      # eviction-pressure-transition-period: '30s'    cluster_domain: cluster.local    infra_container_image: ""    cluster_dns_server: 10.43.0.10    fail_swap_on: false  kubeproxy:    extra_args:      # 默认使用iptables进行数据转发,如果要启用ipvs,则此处设置为`ipvs`      proxy-mode: "ipvs"# 配置集群的CNI网络模型network:  plugin: canal  options:    flannel_backend_type: "vxlan"ssh_key_path: ~/.ssh/id_rsassh_agent_auth: falseauthorization:  mode: rbacignore_docker_version: false# k8s的版本,可以通过rke config --system-images --all 命令列出所有rke支持的版本kubernetes_version: v1.15.4-rancher1-2# 国内使用阿里云的镜像private_registries:  - url: registry.cn-shanghai.aliyuncs.com    user:    password:    is_default: true# 配置ingress,目前RKE支持nginx。ingress:  provider: "nginx"  # 节点选择,和上面node配置结合的  node_selector:    app: ingress  options:    use-forwarded-headers: "true"cluster_name: rancheraddon_job_timeout: 0restore:  restore: false  snapshot_name: ""
复制代码


大部分的配置都注释说明了,基本上需要用到的配置就这些了,更详细的配置需要查阅官方文档。文档链接:


https://docs.rancher.cn/rke/example-yamls.html

开始部署

配置完毕之后,就是开始部署了,rke 的启动非常简单,在配置文件目录使用./rke up 就可以了。


启动完毕之后,等待大约 10 分钟左右,会提示 Finished building Kubernetes cluster successfully


部署的过程中,日志可能会显示 WARN 的提示,这个是没有关系的。只要不出现 ERR 即可。


  • 可能会出现的错误:


  1. etcd 健康检查不通过,出现证书错误的情况,这个报错一般是因为时间不同步导致的。

  2. 无法访问到 node,这个报错一般是因为地址配置出错

  3. Failed to set up SSH tunneling for host,这个报错一般是使用了 root 用户或者 docker sock 配置错误

  4. Failed to dial ssh using address,ssh-key 配置错误


部署成功之后,有三个文件需要特别保存。


  • cluster.yml:RKE 集群配置文件。

  • kube_config_cluster.yml:集群的 Kubeconfig 文件,此文件包含完全访问集群的凭据。

  • cluster.rkestate:Kubernetes 集群状态文件,此文件包含访问集群的重要凭据。


有了以上三个文件,就可以对集群做新增、删除节点、升级集群版本的操作,所以必须要保存好。

部署 Helm

创建 helm 权限


运行下面命令创建好 helm 的权限


kubectl --kubeconfig=kube_config_cluster.yml -n kube-system create serviceaccount tiller
kubectl --kubeconfig=kube_config_cluster.yml create clusterrolebinding tiller \--clusterrole cluster-admin --serviceaccount=kube-system:tiller
复制代码


初始化 helm


这里首先在自己的机子上装好 helm,怎么装这里不再多说了,可以自行百度或者 Google。


安装好了之后,可以直接运行 helm init --kubeconfig=kube_config_cluster.yml 来初始化。但是这里有有一个问题,可能会有镜像拉不下来的情况。所以推荐使用下面的命令来初始化。


helm init --kubeconfig=kube_config_cluster.yml \--service-account tiller --skip-refresh \--tiller-image registry.cn-shanghai.aliyuncs.com/rancher/tiller:v2.14.1
复制代码


里面的镜像是 Rancher 给的镜像地址。当然也可以换成自己的。


运行完命令之后,可以通过 kubectl 看一看 tiller 是否正常启动了。


更新 helm


更新就直接使用 kubectl 的命令,升级镜像版本即可。命令如下(版本号可能和最新的不一样,请不要直接使用)


kubectl --kubeconfig=kube_config_cluster.yml --namespace=kube-system \  set image deployments/tiller-deploy \  tiller=registry.cn-shanghai.aliyuncs.com/rancher/tiller:v3.0.1
复制代码


添加 Rancher 的 charts


添加 Rancher 的 stable 版本 charts


helm repo add rancher-stable \https://releases.rancher.com/server-charts/stable --kubeconfig=kube_config_cluster.yml
复制代码


安装 Rancher


我这里使用的是外部负载均衡的模式,就是在 k8s 之外,还有一个 nginx 作为入口负载均衡,同时 ssl 也截至到这个 nginx。所以下面的配置中,加上了–set tls=external。如果你是直接使用集群作为入口的,则不需要这个参数,需要自己配置 ssl 证书。具体参考官网。


helm --kubeconfig=kube_config_cluster.yml install rancher-stable/rancher \    --name rancher --namespace cattle-system \    --set hostname=rancher.asoco.com.cn \    --set tls=external

复制代码


到此实际上整个集群和 Rancher 都已经部署好了。接下来需要配置外部的 nginx 负载均衡器。


外部负载均衡器 nginx 的配置


nginx 的配置我直接贴出来:


# zip压缩相关的配置gzip on;gzip_disable "msie6";gzip_disable "MSIE [1-6]\.(?!.*SV1)";gzip_vary on;gzip_static on;gzip_proxied any;gzip_min_length 0;gzip_comp_level 8;gzip_buffers 16 8k;gzip_http_version 1.1;gzip_types  text/xml application/xml application/atom+xml application/rss+xml application/xhtml+xml image/svg+xml application/font-woff  text/javascript application/javascript application/x-javascript  text/x-json application/json application/x-web-app-manifest+json  text/css text/plain text/x-component  font/opentype application/x-font-ttf application/vnd.ms-fontobject font/woff2  image/x-icon image/png image/jpeg;
# 这里配置为配置了ingress的work节点 upstream rancher { server 192.168.1.5:80; server 192.168.1.6:80; server 192.168.1.7:80;}
map $http_upgrade $connection_upgrade { default Upgrade; '' close;}
server { listen 443 ssl ; #配置域名 server_name rancher..com.cn; #配置证书 ssl_certificate /etc/nginx/rancher.com.cn.sslkey/fullchain.pem; ssl_certificate_key /etc/nginx/rancher.com.cn.sslkey/privkey.pem;
location / { proxy_set_header Host $host; proxy_set_header X-Forwarded-Proto https; proxy_set_header X-Forwarded-Port $server_port; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_pass http://rancher; proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection $connection_upgrade; # This allows the ability for the execute shell window to remain open for up to 15 minutes. ## Without this parameter, the default is 1 minute and will automatically close. proxy_read_timeout 900s; proxy_buffering off; }}# 配置301重定向server { listen 80; server_name rancher.com.cn; return 301 https://$server_name$request_uri;}
复制代码


将以上配置,新增一个 rancher.conf 配置文件,然后放到/etc/nginx/conf.d/文件夹中,然后 nginx 重载配置即可。

总结

在上面步骤都做完之后,访问域名即可打开 Rancher,并且 Rancher 已经默认接管集群了,开始享有 Rancher 的便捷吧。


2020-05-18 18:075232

评论

发布
暂无评论
发现更多内容

五千字长文,深度解密:那些BAT大厂的Android面试官到底在想些什么

android 程序员 移动开发

今年40岁了,忽然接到公司裁员通知,接下来的路我该怎么办

android 程序员 移动开发

ClickHouse用户资源隔离在 GrowingIO 的实践

GrowingIO技术专栏

Clickhouse 多租户 rbac 用户资源隔离 限流熔断

从月薪8k到年薪60w,闭关3个月靠“刷题,移动端开发技术

android 程序员 移动开发

互联网寒冬即将过去,Jetpack将是燃起来的第一把火,我先收藏为敬

android 程序员 移动开发

为了这一次字节跳动Android面试机会,我准备了158天,一个疏忽让我前功尽弃

android 程序员 移动开发

为您的应用配置 Play Feature Delivery,flutter视频教程仿京东

android 程序员 移动开发

人工智能的下一站:精细化生活场景的智能时代,靠着这份900多页的PDF面试整理

android 程序员 移动开发

【得物技术】主子订单模型

得物技术

互联网 模型 电商 订单系统 订单

从 0 到 1,带你解剖 MVP 的神秘之处,并自己动手实现 MVP !

android 程序员 移动开发

从简历被拒,到拿下头条面试,我花了一年的时间(经验分享+面试题)

android 程序员 移动开发

毕业设计

Geek_35a345

互联网大厂“围城”,android界面开发

android 程序员 移动开发

产品级Flutter开源项目FunAndroid,Provider MVVM的最佳实践

android 程序员 移动开发

浮感

feitian

为什么不能使用 Application Context 显示 Dialog?(1)

android 程序员 移动开发

二本学历,五年抄代码经验,疫情期被裁,真牛皮

android 程序员 移动开发

从事这么久的Android 开发工作,知道自己处于什么段位嘛?

android 程序员 移动开发

为了弄懂Flutter的状态管理, 我用10种方法改造了counter app

android 程序员 移动开发

为什么不能使用 Application Context 显示 Dialog?,安卓kotlin

android 程序员 移动开发

毕业总结

Geek_35a345

携程商旅订单系统架构优化实践

GavinYe

架构 中台 后端 OTA 订单系统

今日头条屏幕适配方案终极版正式发布!,移动应用开发平台

android 程序员 移动开发

从Android开发者的角度看一看IOS和Flutter中的列表实现

android 程序员 移动开发

为了KPI,对APK进行极限优化!,2021年Android春招面试经历

android 程序员 移动开发

为什么经常看到35岁程序员,转行之后工资呈断崖式下跌?

android 程序员 移动开发

今日头条APK瘦身之路,android组件化开发框架对比

android 程序员 移动开发

从0开始写一个基于Flutter的开源中国客户端(4),android应届毕业生面试题

android 程序员 移动开发

从另一个角度解读handler原理,android开发书籍pdf下载

android 程序员 移动开发

从简历被拒,到头条Android面试。二本渣渣如何在359天成功拿下offer

android 程序员 移动开发

从面试无人问津到手拿百度offer,还原一段野生程序员的成长经历

android 移动开发

手把手教你使用RKE快速部署K8S集群并部署Rancher HA_文化 & 方法_Rancher_InfoQ精选文章