Menu

  • Home
  • Work
    • Cloud
      • Virtualization
      • IaaS
      • PaaS
    • Java
    • Go
    • C
    • C++
    • JavaScript
    • PHP
    • Python
    • Architecture
    • Others
      • Assembly
      • Ruby
      • Perl
      • Lua
      • Rust
      • XML
      • Network
      • IoT
      • GIS
      • Algorithm
      • AI
      • Math
      • RE
      • Graphic
    • OS
      • Linux
      • Windows
      • Mac OS X
    • BigData
    • Database
      • MySQL
      • Oracle
    • Mobile
      • Android
      • IOS
    • Web
      • HTML
      • CSS
  • Life
    • Cooking
    • Travel
    • Gardening
  • Gallery
  • Video
  • Music
  • Essay
  • Home
  • Work
    • Cloud
      • Virtualization
      • IaaS
      • PaaS
    • Java
    • Go
    • C
    • C++
    • JavaScript
    • PHP
    • Python
    • Architecture
    • Others
      • Assembly
      • Ruby
      • Perl
      • Lua
      • Rust
      • XML
      • Network
      • IoT
      • GIS
      • Algorithm
      • AI
      • Math
      • RE
      • Graphic
    • OS
      • Linux
      • Windows
      • Mac OS X
    • BigData
    • Database
      • MySQL
      • Oracle
    • Mobile
      • Android
      • IOS
    • Web
      • HTML
      • CSS
  • Life
    • Cooking
    • Travel
    • Gardening
  • Gallery
  • Video
  • Music
  • Essay

利用kind搭建本地K8S集群

12
Nov
2019

利用kind搭建本地K8S集群

By Alex
/ in PaaS
/ tags K8S
0 Comments
简介

Kind是用于在本机运行K8S集群的工具,和Minikube不同,Kind创建的集群是多“节点”的,每个节点对应一个Containerd容器。

Kind的优势包括:

  1. 多节点、HA支持
  2. 支持从源码构建出K8S
  3. 支持Windows/macOS/Linux

Kind包含以下组件:

  1. 实现集群创建、镜像构建功能的Go包
  2. 命令行工具kind
  3. 用于运行Systemd、Kubernetes的Docker镜像
安装

依赖于Docker、Go 1.11+: 

Shell
1
GO111MODULE="on" GOPROXY=https://goproxy.io go get sigs.k8s.io/kind@v0.5.1
管理集群
创建集群

使用最新节点镜像:

Shell
1
kind create cluster

节点镜像很大,请耐心等待下载完成。

从源码构建,需要先将K8S源码下载到 $(go env GOPATH)/src/k8s.io/kubernetes 目录中,然后执行:

Shell
1
2
kind build node-image --image docker.gmem.cc/kindest/node:latest
kind create cluster --image docker.gmem.cc/kindest/node:latest
删除集群
Shell
1
kind delete cluster --name kind
和集群交互

通过下面的命令设置KUBECONFIG环境变量:

Shell
1
export KUBECONFIG="$(kind get kubeconfig-path)"

然后执行任意kubectl命令即可。 

定制镜像

Kind集群牵涉到两个镜像:

  1. Base镜像:提供crictl、containerd、CNI插件、Systemd
  2. Node镜像:提供控制平面的全部镜像、kubelet、kubeadm等
Base镜像

默认使用的Base镜像的Dockerfile位于 kind/images/base/Dockerfile,基础镜像是Ubuntu 19.10,我们可以在基础镜像中定制Containerd的缺省配置、Systemd服务配置、Circtl配置。

Shell
1
2
cd $GOPATH/src/sigs.k8s.io/kind/images/base
docker build -t docker.gmem.cc/kindest/base:latest .
Node镜像

你可以从Kubernetes源码构建出自己的Node镜像,包含控制平面的全部组件:

Shell
1
2
3
4
5
6
7
8
9
# 签出K8S源码
cd $GOPATH/src/k8s.io
git clone https://github.com/kubernetes/kubernetes.git
 
 
# 如果你想验证某个PR,可以
git remote add gmem https://github.com/gmemcc/kubernetes.git
git fetch --all
git checkout ...

构建Kubernetes项目时,需要下载很多来自k8s.gcr.io的镜像,你可以:

  1. 为Dockerd配置代理
  2. 修改Kubernets源码,替换k8s.gcr.io
  3. 配置L7代理,配合Host文件,重写URL并转发给gcr.azk8s.cn,这种方式速度很快。下面是Nginx的例子: 
    Shell
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    server {
        listen       443 ssl;
        server_name  k8s.gcr.io;
        # 自签名证书
        ssl_certificate /etc/nginx/ssl/gcr/fullchain.pem;
        ssl_certificate_key  /etc/nginx/ssl/gcr/privkey.pem;
        ssl_session_cache    shared:SSL:1m;
        ssl_session_timeout  5m;
        ssl_ciphers  HIGH:!aNULL:!MD5;
        ssl_prefer_server_ciphers  on;
     
        proxy_set_header X-Real-IP  $remote_addr;
        client_max_body_size 0;
        chunked_transfer_encoding on;
     
        # URL重写和转发规则
        location /v2/ {
            rewrite /v2/(.*) /v2/google_containers/$1 break;
            proxy_pass https://gcr.azk8s.cn;
            proxy_set_header Host gcr.azk8s.cn;
        }
     
    }

执行下面的命令构建Node镜像:

Shell
1
2
kind build node-image --base-image=docker.gmem.cc/kindest/base:latest \
                      --image=docker.gmem.cc/kindest/node:latest
定制集群

创建集群时,你可以指定一个配置文件: kind create cluster --config kind-example-config.yaml ,本节介绍几个用例。

多节点集群
YAML
1
2
3
4
5
6
kind: Cluster
apiVersion: kind.sigs.k8s.io/v1alpha3
nodes:
- role: control-plane
- role: worker
- role: worker
控制平面HA
YAML
1
2
3
4
5
6
7
8
9
kind: Cluster
apiVersion: kind.sigs.k8s.io/v1alpha3
nodes:
- role: control-plane
- role: control-plane
- role: control-plane
- role: worker
- role: worker
- role: worker
端口映射

可以将容器端口映射到宿主机端口,以支持NodePort类型的服务:

YAML
1
2
3
4
5
6
7
8
9
10
11
12
kind: Cluster
apiVersion: kind.sigs.k8s.io/v1alpha3
nodes:
- role: control-plane
- role: worker
  extraPortMappings:
  - containerPort: 80
    hostPort: 80
    # 默认0.0.0.0
    listenAddress: "0.0.0.0"
    # 默认tcp
    protocol: udp
定制API Server

可以直接嵌入Kubeadm配置:

YAML
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
kind: Cluster
apiVersion: kind.sigs.k8s.io/v1alpha3
nodes:
- role: control-plane
- role: worker
- role: worker
kubeadmConfigPatches:
- |
  apiVersion: kubeadm.k8s.io/v1beta2
  kind: ClusterConfiguration
  metadata:
    name: config
  networking:
    # 定制域名后缀
    dnsDomain: kind.gmem.cc
  apiServer:
    extraArgs:
      # 启用免校验端口
      insecure-bind-address: 0.0.0.0
      insecure-port: "6444"
    # 额外的SAN
    certSANs:
    - kind.gmem.cc
    - 172.17.0.2
    - 172.17.0.3
    - 172.17.0.4
    - 127.0.0.1
    - localhost
    - kubernetes
    - kubernetes.default
    - kubernetes.default.svc
    - kubernetes.default.svc.kind.gmem.cc
    - 10.96.0.1
特性开关

可以直接嵌入Kubeadm配置:

YAML
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
kind: Cluster
apiVersion: kind.sigs.k8s.io/v1alpha3
# Patch一部分Kubeadm配置字段
kubeadmConfigPatches:
- |
  apiVersion: kubeadm.k8s.io/v1beta2
  kind: ClusterConfiguration
  metadata:
    name: config
  apiServer:
    extraArgs:
      "feature-gates": "FeatureGateName=true"
  scheduler:
    extraArgs:
      "feature-gates": "FeatureGateName=true"
  controllerManager:
    extraArgs:
      "feature-gates": "FeatureGateName=true"
- |
  apiVersion: kubeadm.k8s.io/v1beta2
  kind: InitConfiguration
  metadata:
    name: config
  nodeRegistration:
    kubeletExtraArgs:
      "feature-gates": "FeatureGateName=true"
nodes:
- role: control-plane
- role: worker
- role: worker
- role: worker
命令行
kind
子命令 说明
build base-image

构建节点Base镜像

--image string 制作出的镜像name:tag,默认kindest/base:latest
--source string  镜像源码路径,默认自动检测

build node-image

构建节点镜像

--base-image 使用什么作为Base镜像
--image string 制作出的镜像name:tag,默认kindest/node:latest
--kube-root string Kubernetes项目的源码目录路径,默认自动检测
--type string 构建方式,docker或bazel,默认docker

completion bash Bash自动完成
create cluster

创建一个基于Docker容器“节点”的K8S集群

--image string 用于启动集群的节点镜像
--name string 集群上下文名称,默认kind
--retain 如果集群创建失败,保留节点用于诊断
--wait duration 等待控制平面节点可用,默认0s
--config path 指定配置文件

delete cluster

删除一个集群

--name string 集群名称,默认kind

export logs

导出日志到指定目录,默认导出到临时目录: kind export logs ~/Downloads

--name string 集群名称,默认kind

get clusters  列出已经创建的kind集群列表
get kubeconfig

打印某个集群的Kubeconfig

--name string 集群名称,默认kind

get kubeconfig-path 打印某个集群的Kubeconfig的默认路径
load docker-image

从宿主机加载镜像到节点: kind load docker-image name:tag

--name string 集群上下文名称,默认kind
--nodes strings 目标节点列表,逗号分隔

load image-archive

从归档文件加载镜像到节点:

--name string 集群上下文名称,默认kind
--nodes strings 目标节点列表,逗号分隔

常见问题
Ubuntu 14.04支持
现象

在3.13.0内核的Ubuntu上创建Kind集群,控制平面无法就绪。

Kind会在节点中运行Containerd,查看其日志可以发现: 

Shell
1
modprobe: FATAL: Module overlay not found in directory /lib/modules/3.13.0-83-generic

查看Kubelet的日志则可以发现:

Shell
1
2
3
4
createPodSandbox for pod "kube-scheduler-kind-control-plane_kube-system(7d5d3c
0a6786e517a8973fa06754cb75)" failed: rpc error: code = Unknown desc = failed to start sandbox container: failed to create containerd task: failed to mount rootfs component &{overlay ove
rlay [workdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/8/work upperdir=/var/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/8/fs lowerdir=/va
r/lib/containerd/io.containerd.snapshotter.v1.overlayfs/snapshots/1/fs]}: no such device: unknown 
原因

这是因为3.13内核不支持overlayfs,而Kind配置Containerd使用基于overlay的snapshotter:

/etc/containerd/config.toml
TOML
1
2
3
4
5
6
7
disabled_plugins = ["aufs", "btrfs", "zfs"]
 
 
[plugins]
  [plugins.cri]
    [plugins.cri.containerd]
      snapshotter = "overlayfs"
解决

我们需要启用snapshotter插件aufs: 

TOML
1
2
3
4
5
6
7
disabled_plugins = ["btrfs", "zfs"]
 
 
[plugins]
  [plugins.cri]
    [plugins.cri.containerd]
      snapshotter = "aufs" 

应用上述配置最便捷的方式:

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
docker inspect kindest/node:v1.15.3  | grep Entrypoint -A 5
# 记住Entrypoint
# "Entrypoint": [
#     "/usr/local/bin/entrypoint",
#     "/sbin/init"
# ],
 
 
docker run -it  --name kindmod --entrypoint bash kindest/node:v1.15.3
# 修改配置文件...
 
# 提交为新镜像
docker commit --change 'ENTRYPOINT [ "/usr/local/bin/entrypoint", "/sbin/init"]' \
    kindmod docker.gmem.cc/kindest/node:v1.15.3
 
# 创建集群
kind create cluster --image=docker.gmem.cc/kindest/node:v1.15.3
如何定制根证书

使用定制的Base镜像即可,将证书放入/etc/kubernetes/pki目录下。 

← Python单元测试
Kubernetes端到端测试 →

Leave a Reply Cancel reply

Your email address will not be published. Required fields are marked *

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

Related Posts

  • 如何在Pod中执行宿主机上的命令
  • Flexvolume学习笔记
  • Kata Containers学习笔记
  • Cilium学习笔记
  • 基于Helm的Kubernetes资源管理

Recent Posts

  • Investigating and Solving the Issue of Failed Certificate Request with ZeroSSL and Cert-Manager
  • A Comprehensive Study of Kotlin for Java Developers
  • 背诵营笔记
  • 利用LangChain和语言模型交互
  • 享学营笔记
ABOUT ME

汪震 | Alex Wong

江苏淮安人,现居北京。目前供职于腾讯云,专注容器方向。

GitHub:gmemcc

Git:git.gmem.cc

Email:gmemjunk@gmem.cc@me.com

ABOUT GMEM

绿色记忆是我的个人网站,域名gmem.cc中G是Green的简写,MEM是Memory的简写,CC则是我的小天使彩彩名字的简写。

我在这里记录自己的工作与生活,同时和大家分享一些编程方面的知识。

GMEM HISTORY
v2.00:微风
v1.03:单车旅行
v1.02:夏日版
v1.01:未完成
v0.10:彩虹天堂
v0.01:阳光海岸
MIRROR INFO
Meta
  • Log in
  • Entries RSS
  • Comments RSS
  • WordPress.org
Recent Posts
  • Investigating and Solving the Issue of Failed Certificate Request with ZeroSSL and Cert-Manager
    In this blog post, I will walk ...
  • A Comprehensive Study of Kotlin for Java Developers
    Introduction Purpose of the Study Understanding the Mo ...
  • 背诵营笔记
    Day 1 Find Your Greatness 原文 Greatness. It’s just ...
  • 利用LangChain和语言模型交互
    LangChain是什么 从名字上可以看出来,LangChain可以用来构建自然语言处理能力的链条。它是一个库 ...
  • 享学营笔记
    Unit 1 At home Lesson 1 In the ...
  • K8S集群跨云迁移
    要将K8S集群从一个云服务商迁移到另外一个,需要解决以下问题: 各种K8S资源的迁移 工作负载所挂载的数 ...
  • Terraform快速参考
    简介 Terraform用于实现基础设施即代码(infrastructure as code)—— 通过代码( ...
  • 草缸2021
    经过四个多月的努力,我的小小荷兰景到达极致了状态。

  • 编写Kubernetes风格的APIServer
    背景 前段时间接到一个需求做一个工具,工具将在K8S中运行。需求很适合用控制器模式实现,很自然的就基于kube ...
  • 记录一次KeyDB缓慢的定位过程
    环境说明 运行环境 这个问题出现在一套搭建在虚拟机上的Kubernetes 1.18集群上。集群有三个节点: ...
  • eBPF学习笔记
    简介 BPF,即Berkeley Packet Filter,是一个古老的网络封包过滤机制。它允许从用户空间注 ...
  • IPVS模式下ClusterIP泄露宿主机端口的问题
    问题 在一个启用了IPVS模式kube-proxy的K8S集群中,运行着一个Docker Registry服务 ...
  • 念爷爷
      今天是爷爷的头七,十二月七日、阴历十月廿三中午,老人家与世长辞。   九月初,回家看望刚动完手术的爸爸,发

  • 6 杨梅坑

  • liuhuashan
    深圳人才公园的网红景点 —— 流花山

  • 1 2020年10月拈花湾

  • 内核缺陷触发的NodePort服务63秒延迟问题
    现象 我们有一个新创建的TKE 1.3.0集群,使用基于Galaxy + Flannel(VXLAN模式)的容 ...
  • Galaxy学习笔记
    简介 Galaxy是TKEStack的一个网络组件,支持为TKE集群提供Overlay/Underlay容器网 ...
TOPLINKS
  • Zitahli's blue 91 people like this
  • 梦中的婚礼 64 people like this
  • 汪静好 61 people like this
  • 那年我一岁 36 people like this
  • 为了爱 28 people like this
  • 小绿彩 26 people like this
  • 彩虹姐姐的笑脸 24 people like this
  • 杨梅坑 6 people like this
  • 亚龙湾之旅 1 people like this
  • 汪昌博 people like this
  • 2013年11月香山 10 people like this
  • 2013年7月秦皇岛 6 people like this
  • 2013年6月蓟县盘山 5 people like this
  • 2013年2月梅花山 2 people like this
  • 2013年淮阴自贡迎春灯会 3 people like this
  • 2012年镇江金山游 1 people like this
  • 2012年徽杭古道 9 people like this
  • 2011年清明节后扬州行 1 people like this
  • 2008年十一云龙公园 5 people like this
  • 2008年之秋忆 7 people like this
  • 老照片 13 people like this
  • 火一样的六月 16 people like this
  • 发黄的相片 3 people like this
  • Cesium学习笔记 90 people like this
  • IntelliJ IDEA知识集锦 59 people like this
  • 基于Kurento搭建WebRTC服务器 38 people like this
  • Bazel学习笔记 37 people like this
  • PhoneGap学习笔记 32 people like this
  • NaCl学习笔记 32 people like this
  • 使用Oracle Java Mission Control监控JVM运行状态 29 people like this
  • Ceph学习笔记 27 people like this
  • 基于Calico的CNI 27 people like this
Tag Cloud
ActiveMQ AspectJ CDT Ceph Chrome CNI Command Cordova Coroutine CXF Cygwin DNS Docker eBPF Eclipse ExtJS F7 FAQ Groovy Hibernate HTTP IntelliJ IO编程 IPVS JacksonJSON JMS JSON JVM K8S kernel LB libvirt Linux知识 Linux编程 LOG Maven MinGW Mock Monitoring Multimedia MVC MySQL netfs Netty Nginx NIO Node.js NoSQL Oracle PDT PHP Redis RPC Scheduler ServiceMesh SNMP Spring SSL svn Tomcat TSDB Ubuntu WebGL WebRTC WebService WebSocket wxWidgets XDebug XML XPath XRM ZooKeeper 亚龙湾 单元测试 学习笔记 实时处理 并发编程 彩姐 性能剖析 性能调优 文本处理 新特性 架构模式 系统编程 网络编程 视频监控 设计模式 远程调试 配置文件 齐塔莉
Recent Comments
  • qg on Istio中的透明代理问题
  • heao on 基于本地gRPC的Go插件系统
  • 黄豆豆 on Ginkgo学习笔记
  • cloud on OpenStack学习笔记
  • 5dragoncon on Cilium学习笔记
  • Archeb on 重温iptables
  • C/C++编程:WebSocketpp(Linux + Clion + boostAsio) – 源码巴士 on 基于C/C++的WebSocket库
  • jerbin on eBPF学习笔记
  • point on Istio中的透明代理问题
  • G on Istio中的透明代理问题
  • 绿色记忆:Go语言单元测试和仿冒 on Ginkgo学习笔记
  • point on Istio中的透明代理问题
  • 【Maven】maven插件开发实战 – IT汇 on Maven插件开发
  • chenlx on eBPF学习笔记
  • Alex on eBPF学习笔记
  • CFC4N on eBPF学习笔记
  • 李运田 on 念爷爷
  • yongman on 记录一次KeyDB缓慢的定位过程
  • Alex on Istio中的透明代理问题
  • will on Istio中的透明代理问题
  • will on Istio中的透明代理问题
  • haolipeng on 基于本地gRPC的Go插件系统
  • 吴杰 on 基于C/C++的WebSocket库
©2005-2025 Gmem.cc | Powered by WordPress | 京ICP备18007345号-2