longhorn分布式存储
原创
longhorn分布式存储
原创
1 简介
Longhorn是用于Kubernetes的开源分布式块存储系统;
如今，基于云和容器的部署规模日益扩大，分布式块存储系统也正变得越来越复杂，单个存储控制器上的volume数量在不断增加。2000年代初，存储控制器上的volume数量只有几十个，但现代云环境却需要数万到数百万的分布式块存储卷。存储控制器变成了高度复杂的分布式系统。
分布式块存储本身比其他形式的分布式存储（如文件系统）更简单。无论系统中有多少volume，每个volume只能由单个主机进行装载。正因如此，我们设想，是否可以将大型块存储控制器分割成多个较小的存储控制器？若想要如此分割，我们需要保证这些volume仍然是从公共磁盘池构建的，并且我们需要有办法来编排这些存储控制器，让它们可以协同工作。
为了将这一想法发挥到极限，我们创建了Longhorn项目。这是一个我们认为值得探索的方向，每个控制器上只有一个volume，这将大大简化存储控制器的设计。因为控制器软件的故障域仅限于单个volume，所以控制器若崩溃，也只会影响一个volume。
Longhorn充分利用了近年来关于如何编排大量的容器和虚拟机的核心技术。例如，Longhorn并没有构建一个可以扩展到100,000个volume的高度复杂的控制器，而是出于让存储控制器简单轻便的考虑，创建了100,000个单独的控制器。然后，我们可以利用像Swarm、Mesos和Kubernetes这样的最先进的编排系统来调度这些独立的控制器，共享一组磁盘中的资源，协同工作，形成一个弹性的分布式块存储系统。
Longhorn基于微服务的设计还有很多其他优势。因为每个volume都有自己的控制器，在升级每个volume的控制器和replica容器时，是不会导致IO操作明显的中断的。 Longhorn可以创建一个长期运行的工作来编排所有live volume的升级，同时确保不会中断系统正在进行的操作。为确保升级不会导致意外的问题，Longhorn可以选择升级一小部分volume，并在升级过程中出现问题时回滚到旧版本。这些做法在现代微服务应用中已得到广泛应用，但在存储系统中并不常见。我们希望Longhorn可以助力于微服务在存储领域的更多应用。
2 Longhorn功能概述
- 共享资源池：将本地磁盘或安装在计算或专用存储主机中的网络存储形成共享资源池。
- 为容器和虚拟机创建块存储卷：你可以指定volume的大小，IOPS的需求，以及你想要的跨主机的同步replica的数量（这里的主机是指那些为volume提供存储资源的主机）。replica是在底层磁盘或网络存储上精简配置的。
- 为每个volume创建一个专用的存储控制器：这可能是与大多数现有的分布式存储系统相比，Longhorn最具特色的功能。大多数现有的分布式存储系统通常采用复杂的控制器软件来服务于从数百到数百万不等的volume。但Longhorn不同，每个控制器上只有一个volume，Longhorn将每个volume都转变成了微服务。
- 跨计算或存储主机调度多个replica：Longhorn会监测每一个replica的健康状况，对问题进行维修，并在必要时重新生成replica。
- 以Docker容器的形式操作存储控制器和replica：例如，一个volume有三个replica，就意味着有四个容器。
- 为每个volume分配多个存储“前端”：常见的前端包括Linux内核设备（映射到/ dev / longhorn）和iSCSI目标。Linux内核设备适用于支持Docker volume，而iSCSI目标更适合支持QEMU / KVM和VMware volume。
- 创建volume快照和AWS EBS风格的备份：您可以为每个volume创建多达254个快照，这些快照可以逐个备份到NFS或S3兼容的辅助存储中。只有更改的字节会在备份操作期间被复制和存储。
- 指定定期快照和备份操作的计划：您可以指定这些操作的频率（每小时，每天，每周，每月和每年）、执行这些操作的确切时间（例如，每个星期日凌晨3:00），以及保留多少个循环快照和备份集。
2 部署
2.1 安装依赖
yum -y install iscsi-initiator-utils 2.2 部署longhorn
https://raw.githubusercontent.com/longhorn/longhorn/master/deploy/longhorn.yaml
3 kind: Service
4 apiVersion: v1
5 metadata:
6 labels:
7 app: longhorn-ui
8 name: longhorn-frontend
9 namespace: longhorn-system
10 spec:
11 type: NodePort #修改为nodeport
12 selector:
13 app: longhorn-ui
14 ports:
15 - port: 80
16 targetPort: 8000
17 nodePort: 30002
kubectl apply -f longhorn.yaml
kubectl -n longhorn-system get pods -o wide3 创建sc
3.1 动态sc创建
# longhorn默认已经创建好了一个sc
[root@op-node-201 longhorn]# kubectl get sc
NAME PROVISIONER AGE
longhorn driver.longhorn.io 22h
# 创建一个新的sc
[root@op-node-201 longhorn]# kubectl apply -f longhorn-sc.yaml
[root@op-node-201 longhorn]# cat longhorn-sc.yaml
kind: StorageClass
apiVersion: storage.k8s.io/v1
metadata:
name: longhornsc
provisioner: rancher.io/longhorn
parameters:
numberOfReplicas: "3"
staleReplicaTimeout: "30"
fromBackup: ""3.2 测试pv,pvc
vi longhornpod.yaml
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: longhorn-pvc
spec:
accessModes:
- ReadWriteOnce
storageClassName: longhorn
resources:
requests:
storage: 2Gi
---
apiVersion: v1
kind: Pod
metadata:
name: longhorn-pod
namespace: default
spec:
containers:
- name: volume-test
image: nginx:stable-alpine
imagePullPolicy: IfNotPresent
volumeMounts:
- name: volv
mountPath: /data
ports:
- containerPort: 80
volumes:
- name: volv
persistentVolumeClaim:
claimName: longhorn-pvc
kubectl apply -f longhornpod.yaml
kubectl get pods -o wide
kubectl get pvc,pv4 ingress暴露longhorn
yum -y install httpd-tools
htpasswd -c auth wunai #创建用户名和密码
kubectl -n longhorn-system create secret generic longhorn-basic-auth --from-file=auth
vi longhorn-ingress.yaml #创建ingress规则
apiVersion: networking.k8s.io/v1beta1
kind: Ingress
metadata:
name: longhorn-ingress
namespace: longhorn-system
annotations:
kubernetes.io/ingress.class: "nginx"
nginx.ingress.kubernetes.io/auth-type: basic
nginx.ingress.kubernetes.io/auth-secret: longhorn-basic-auth
nginx.ingress.kubernetes.io/auth-realm: 'Authentication Required '
spec:
rules:
- host: longhorn.odocker.com
http:
paths:
- path: /
backend:
serviceName: longhorn-frontend
servicePort: 80
kubectl apply -f longhorn-ingress.yaml
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
腾讯云开发者
