Menu

  • Home
  • Work
    • Cloud
      • Virtualization
      • IaaS
      • PaaS
    • Java
    • Go
    • C
    • C++
    • JavaScript
    • PHP
    • Python
    • Architecture
    • Others
      • Assembly
      • Ruby
      • Perl
      • Lua
      • Rust
      • XML
      • Network
      • IoT
      • GIS
      • AI
      • Math
      • RE
      • Graphic
    • OS
      • Linux
      • Windows
      • Mac OS X
    • BigData
    • Database
      • MySQL
      • Oracle
    • Mobile
      • Android
      • IOS
    • Web
      • HTML
      • CSS
  • Life
    • Cooking
    • Travel
    • Gardening
  • Gallery
  • Video
  • Music
  • Essay
  • Home
  • Work
    • Cloud
      • Virtualization
      • IaaS
      • PaaS
    • Java
    • Go
    • C
    • C++
    • JavaScript
    • PHP
    • Python
    • Architecture
    • Others
      • Assembly
      • Ruby
      • Perl
      • Lua
      • Rust
      • XML
      • Network
      • IoT
      • GIS
      • AI
      • Math
      • RE
      • Graphic
    • OS
      • Linux
      • Windows
      • Mac OS X
    • BigData
    • Database
      • MySQL
      • Oracle
    • Mobile
      • Android
      • IOS
    • Web
      • HTML
      • CSS
  • Life
    • Cooking
    • Travel
    • Gardening
  • Gallery
  • Video
  • Music
  • Essay

Category PaaS

C++, PaaS

记录一次KeyDB缓慢的定位过程

环境说明
运行环境

这个问题出现在一套搭建在虚拟机上的Kubernetes 1.18集群上。集群有三个节点:

Shell
1
2
3
4
5
# kubectl get node -o wide
NAME              STATUS   VERSION   INTERNAL-IP      OS-IMAGE                KERNEL-VERSION              CONTAINER-RUNTIME
192.168.104.51    Ready    v1.18.3   192.168.104.51   CentOS Linux 7 (Core)   3.10.0-862.3.2.el7.x86_64   docker://19.3.9
192.168.104.72    Ready    v1.18.3   192.168.104.72   CentOS Linux 7 (Core)   3.10.0-862.3.2.el7.x86_64   docker://19.3.9
192.168.104.108   Ready    v1.18.3   192.168.104.108  CentOS Linux 7 (Core)   3.10.0-862.3.2.el7.x86_64   docker://19.3.9
KeyDB配置

KeyDB通过StatefulSet管理,一共有三个实例: 

Shell
1
2
3
4
5
# kubectl -n default get pod -o wide -l app.kubernetes.io/name=keydb
NAME             READY   STATUS    RESTARTS     IP             NODE            
keydb-0   1/1     Running   0            172.29.2.63     192.168.104.108
keydb-1   1/1     Running   0            172.29.1.69     192.168.104.72  
keydb-2   1/1     Running   0            172.29.1.121    192.168.104.51  

这三个实例:

  1. 由于反亲和设置,会在每个节点上各运行一个实例
  2. 启用Active - Active(--active-replica)模式的多主(--multi-master)复制 :每个实例都是另外两个的Slave,每个实…
阅读全文
4 weeks ago
0
C, Linux, Network, PaaS

IPVS模式下ClusterIP泄露宿主机端口的问题

问题

在一个启用了IPVS模式kube-proxy的K8S集群中,运行着一个Docker Registry服务。我们尝试通过docker manifest命令(带上--insecure参数)来推送manifest时,出现TLS timeout错误。

这个Registry通过ClusterIP类型的Service暴露访问端点,且仅仅配置了HTTP/80端口。docker manifest命令的--insecure参数的含义是,在Registry不支持HTTPS的情况下,允许使用不安全的HTTP协议通信。…

阅读全文
1 month ago
0
PaaS

内核缺陷触发的NodePort服务63秒延迟问题

现象

我们有一个新创建的TKE 1.3.0集群,使用基于Galaxy + Flannel(VXLAN模式)的容器网络,集群由三个二层互通的Master节点 10.0.0.11、 10.0.0.12、 10.0.0.13组成。在访问宿主机端口为 30153的NodePort类型的Service时,出现了很有趣的现象:

  1. 在节点 10.0.0.11、 10.0.0.13节点上 curl http://localhost:30153,有50%几率卡住
  2. 在节点,100%几率卡住
  3. 从集群内部,访问非本节点的30153端口,畅通
  4. 从集群外部,访问任意节点的30153端口,畅通

三个节点本身并无差异,卡住几率不同,可能和服务的端点(Endpoint,即Pod)的分布情况有关。

NodePort服务的定义如下:

该服务的端点有两个:

可以看到,端点在10.0.0.11、10.0.0.13上分别有一个。假设容器网络存在问题,只能访问本机的Pod,则能解释前面的卡住现象 —— 10.0.0.12上没有端点,因此一直卡住。10.0.0.11、10.0.0.13分别占有50%端点,因此50%几…

阅读全文
6 months ago
3
PaaS

Istio中的透明代理问题

为何需要透明代理

Istio的Sidecar作为一个网络代理,它拦截入站、出站的网络流量。拦截入站流量后,会使用127.0.0.1作为源地址,将流量转发给本地服务进程。本地服务进程看不到真实源IP地址。

很多应用场景下,真实源IP地址是必须的,可能原因包括:

  1. I…
阅读全文
10 months ago
3
2
PaaS

从镜像中抽取文件

动机

在某个应用场景中,我们需要在每个K8S节点上运行一个Agent,此Agent能够执行运维人员动态配置的Python脚本,来检查节点是否出现故障。

Python脚本能够调用的库,需要按需不断更新,受限于运行环境,我们不便搭建和维护PyPI私服。因此,我们考…

阅读全文
10 months ago
0
PaaS

服务网格的现状和未来

引言

服务网格(Service Mesh)是一种微服务治理基础设施,用于控制、监测微服务之间的东西向流量。它通常由控制平面、数据平面两部分组成。其中数据平面就是伴随着业务应用部署的网络代理,控制平面则是一组独立的组件,和数据平面交互,发送控制网络流量的规则,接收…

阅读全文
10 months ago
0
PaaS

如何在Pod中执行宿主机上的命令

基础知识回顾

要回答标题中的疑问,我们首先要清楚,Pod是什么?

Pod的翻译叫容器组,顾名思义,是一组容器。叫做“组”是因为这些容器:

  1. 总是被同时调度,调度到同一节点
  2. 共享网络,具有相同的IP地址和端口空间,可以通过localhost相互访问
  3. 可以基于System…
阅读全文
11 months ago
0
4
PaaS

通过ExternalDNS集成外部DNS服务

简介

ExternalDNS项目的目的是,将Kubernetes的Service/Ingress暴露的服务(的DNS记录)同步给外部的DNS Provider。

ExternalDNS的设计思想类似于KubeDNS,都是从多种K8S API资源中推断需要生成的DNS记录。不同之处是…

阅读全文
12 months ago
0
PaaS

Kubefed学习笔记

简介
联邦简介

集群联邦(Federation)的目的是实现单一集群统一管理多个Kubernetes集群的机制,这些集群可能是跨地区(Region),也可能是在不同公有云供应商上,亦或者是公司内部自行建立的集群。一但集群进行联邦后,就可以利用Federation API资…

阅读全文
1 year ago
0
PaaS

限制Pod磁盘空间用量

Pod如何使用磁盘

容器在运行期间会产生临时文件、日志。如果没有任何配额机制,则某些容器可能很快将磁盘写满,影响宿主机内核和所有应用。

容器的临时存储,例如emptyDir,位于目录/var/lib/kubelet/pods下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
/var/lib/kubelet/pods/
└── ac0810f5-a1ce-11ea-9caf-00e04c687e45  # POD_ID
    ├── containers
    │   ├── istio-init
    │   │   └── 32390fd7
    │   ├── istio-proxy
    │   │   └── 70ed81da
    │   └── zookeeper
    │       └── e9e21e59
    ├── etc-hosts          # 命名空间的Host文件
    └── volumes            # Pod的卷
        ├── kubernetes.io~configmap  # ConfigMap类型的卷
        │   └── istiod-ca-cert
        │       └── root-cert.pem -> ..data/root-cert.pem
        ├── kubernetes.io~downward-api
        │   └── istio-podinfo
        │       ├── annotations -> ..data/annotations
        │       └── labels -> ..data/labels
        ├── kubernetes.io~empty-dir # Empty类型的卷
        │   ├── istio-data
        │   └── istio-envoy
        │       ├── envoy-rev0.json
        │       └── SDS
        ├── kubernetes.io~rbd       # RBD卷
        │   └── pvc-644a7e30-845e-11ea-a4e1-70e24c686d29 # /dev/rbd0挂载到这个挂载点
        ├── kubernetes.io~csi       # CSI卷
        └── kubernetes.io~secret    # Secret类型的卷
            └── default-token-jp4n8
                ├── ca.crt -> ..data/ca.crt
                ├── namespace -> ..data/namespace
                └── token -> ..data/token

持久卷的挂载点也位于/var/lib/kubelet/pods下,但是不会导致存储空间的消耗。

容…

阅读全文
1 year ago
0
更多文章

Recent Posts

  • 记录一次KeyDB缓慢的定位过程
  • IPVS模式下ClusterIP泄露宿主机端口的问题
  • 念爷爷
  • 杨梅坑
  • 34759
ABOUT ME

汪震 | Alex Wong

江苏淮安人,现居北京,热爱软件技术,努力成为一名优秀的全栈工程师。

GitHub:gmemcc

Git:git.gmem.cc

Email:gmemjunk@gmem.cc@me.com

ABOUT GMEM

绿色记忆是我的个人网站,域名gmem.cc中G是Green的简写,MEM是Memory的简写,CC则是我的小天使彩彩名字的简写。

我在这里记录自己的工作与生活,同时和大家分享一些编程方面的知识。

GMEM HISTORY
v2.00:微风
v1.03:单车旅行
v1.02:夏日版
v1.01:未完成
v0.10:彩虹天堂
v0.01:阳光海岸
MIRROR INFO
Meta
  • Log in
  • Entries RSS
  • Comments RSS
  • WordPress.org
Recent Posts
  • 记录一次KeyDB缓慢的定位过程
    环境说明 运行环境 这个问题出现在一套搭建在虚拟机上的Kubernetes 1.18集群上。集群有三个节点: ...
  • IPVS模式下ClusterIP泄露宿主机端口的问题
    问题 在一个启用了IPVS模式kube-proxy的K8S集群中,运行着一个Docker Registry服务 ...
  • 念爷爷
      今天是爷爷的头七,十二月七日、阴历十月廿三中午,老人家与世长辞。   九月初,回家看望刚动完手术的爸爸,发

  • 6 杨梅坑

  • liuhuashan
    深圳人才公园的网红景点 —— 流花山

  • 1 2020年10月拈花湾

  • 内核缺陷触发的NodePort服务63秒延迟问题
    现象 我们有一个新创建的TKE 1.3.0集群,使用基于Galaxy + Flannel(VXLAN模式)的容 ...
  • 彩彩 2020年6月黄崖关

  • 总部远眺 2020年5月深圳

  • 绚丽之花 寻味顺德

  • tuanbolake 团泊湖野餐

  • Istio中的透明代理问题
    为何需要透明代理 Istio的Sidecar作为一个网络代理,它拦截入站、出站的网络流量。拦截入站流量后,会使 ...
  • 重温iptables
    工作流图 下面这张图描述了一个L3的IP封包如何通过iptables:  对于此图的说明: Ipt ...
  • 从镜像中抽取文件
    动机 在某个应用场景中,我们需要在每个K8S节点上运行一个Agent,此Agent能够执行运维人员动态配置的P ...
  • 服务网格的现状和未来
    引言 服务网格(Service Mesh)是一种微服务治理基础设施,用于控制、监测微服务之间的东西向流量。它通 ...
  • 如何在Pod中执行宿主机上的命令
    基础知识回顾 要回答标题中的疑问,我们首先要清楚,Pod是什么? Pod的翻译叫容器组,顾名思义,是一组容器 ...
  • 通过ExternalDNS集成外部DNS服务
    简介 ExternalDNS项目的目的是,将Kubernetes的Service/Ingress暴露的服务(的 ...
  • Kubefed学习笔记
    简介 联邦简介 集群联邦(Federation)的目的是实现单一集群统一管理多个Kubernetes集群的机 ...
TOPLINKS
  • Zitahli's blue 91 people like this
  • 梦中的婚礼 63 people like this
  • 汪静好 61 people like this
  • 那年我一岁 36 people like this
  • 为了爱 28 people like this
  • 小绿彩 26 people like this
  • 彩虹姐姐的笑脸 24 people like this
  • 杨梅坑 4 people like this
  • 亚龙湾之旅 1 people like this
  • 汪昌博 people like this
  • 2013年11月香山 10 people like this
  • 2013年7月秦皇岛 6 people like this
  • 2013年6月蓟县盘山 5 people like this
  • 2013年2月梅花山 2 people like this
  • 2013年淮阴自贡迎春灯会 3 people like this
  • 2012年镇江金山游 1 people like this
  • 2012年徽杭古道 9 people like this
  • 2011年清明节后扬州行 1 people like this
  • 2008年十一云龙公园 5 people like this
  • 2008年之秋忆 7 people like this
  • 老照片 13 people like this
  • 火一样的六月 16 people like this
  • 发黄的相片 3 people like this
  • Cesium学习笔记 63 people like this
  • IntelliJ IDEA知识集锦 59 people like this
  • 基于Kurento搭建WebRTC服务器 37 people like this
  • PhoneGap学习笔记 32 people like this
  • NaCl学习笔记 32 people like this
  • 使用Oracle Java Mission Control监控JVM运行状态 29 people like this
  • 基于Calico的CNI 27 people like this
  • Ceph学习笔记 25 people like this
  • Three.js学习笔记 22 people like this
Tag Cloud
ActiveMQ Apache AspectJ CDT Ceph Chrome Command Cordova Coroutine CXF Cygwin DNS Docker Eclipse ExtJS F7 FAQ Groovy Hibernate HTTP IntelliJ IO编程 IPVS JacksonJSON JMS JSON JVM K8S kernel LB libvirt Linux知识 Linux编程 LOG Maven MinGW Mock Monitoring Multimedia MVC MySQL netfs Netty Nginx NIO Node.js NoSQL Oracle PDT PHP Porting Redis RPC Scheduler ServiceMesh SNMP Spring SSL svn Tomcat TSDB Ubuntu WebGL WebRTC WebService WebSocket wxWidgets XDebug XML XPath XRM ZooKeeper 亚龙湾 单元测试 学习笔记 实时处理 并发编程 彩姐 性能剖析 性能调优 文本处理 新特性 架构模式 系统编程 网络编程 视频监控 设计模式 远程调试 配置文件 齐塔莉
Recent Comments
  • fx_carrot on Bazel学习笔记
  • bytebuddy简单入门 – FIXBBS on Byte Buddy学习笔记
  • 4.深入Istio源码:Pilot的Discovery Server如何执行xDS异步分发-站长之家 on Istio Pilot与Envoy的交互机制解读
  • 4.深入Istio源码:Pilot的Discovery Server如何执行xDS异步分发? - luozhiyun`s Blog on Istio Pilot与Envoy的交互机制解读
  • Shan Shuog on Socket.io学习笔记
  • Alex on Socket.io学习笔记
  • Shan Shuog on Socket.io学习笔记
  • Alex on 内核缺陷触发的NodePort服务63秒延迟问题
  • 林哲緯 on 内核缺陷触发的NodePort服务63秒延迟问题
  • smileyihui on Bazel学习笔记
  • Android分享:代码混淆那些事 – FIXBBS on ProGuard学习笔记
  • core on Bazel学习笔记
  • atuter on Bazel学习笔记
  • Alex on Istio中的透明代理问题
  • Yann on Istio中的透明代理问题
  • haige on H.264学习笔记
  • dandelion on Bazel学习笔记
  • 别放不下 on Gradle学习笔记
  • yanick on 内核缺陷触发的NodePort服务63秒延迟问题
  • 许铭毅 on 基于Kurento搭建WebRTC服务器
  • 许铭毅 on 基于Kurento搭建WebRTC服务器
  • Alex on 基于C/C++的WebSocket库
  • chengjiaxi on 基于C/C++的WebSocket库
©2005-2021 Gmem.cc | Powered by WordPress