Loading [MathJax]/jax/input/TeX/config.js
前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >专栏 >搭建Lotus测试网集群挖矿集群

搭建Lotus测试网集群挖矿集群

作者头像
莲花海
发布于 2020-02-14 07:05:58
发布于 2020-02-14 07:05:58
4.8K0
举报

硬件要求[1]

配置示例

以下设置是在Lotus上密封32个GiB扇区的最小示例: 2 TB硬盘空间。 8核CPU 128 GiB的RAM

请注意,1GB扇区并不需要那么高的规格,但是随着我们提高32GB扇区密封性能,有可能将其删除。

基准GPU

GPU是获得块状奖励的必备条件。这些已被证实可以足够快地生成SNARK以便成功地在Lotus Testnet上挖掘块的方法如下。

GeForce RTX 2080 Ti GeForce RTX 2080超级 GeForce RTX 2080 GeForce GTX 1080 Ti GeForce GTX 1080 GeForce GTX 1060

编译安装[2]

准备

1 2 3 4

``` sudo apt update sudo apt install mesa-opencl-icd ocl-icd-opencl-dev ```

安装支持软件包

1 2 3 4 5

``` sudo add-apt-repository ppa:longsleep/golang-backports sudo apt update sudo apt install golang-go gcc git bzr jq pkg-config mesa-opencl-icd ocl-icd-opencl-dev ```

克隆

1 2 3

``` git clone https://github.com/filecoin-project/lotus.git cd lotus/

```

编译和安装

1 2 3 4

``` make clean && make all sudo make install ```

配置

1 2 3

Lotus 的测试网的源代码编译只有三个文件 lotus, lotus-storage-miner, lotus-seal-worker。 其中 lotus 和 lotus-storage-miner 分别是区块链节点和矿工节点的启动程序, lotus-seal-worker 是数据密封节点的启动程序。在没有高配机器的情况下,我们可以使用 一台 Miner 节点 + N 台 Worker 节点来实现自己 上排行榜 的需求。 下面我们就看看具体怎么搭建这个集群。

配置方案

1 2 3 4

配置方案:Master Miner 节点 x 1 + seal-worker 节点 x N Master Miner 节点:使用一台带 GPU 的大容量机器作为 miner 主节点,这机器主要做的工作是 add pieces 和提交 PoSt proving Seal Worker 节点: 多核 CPU 配上高速企业硬盘,以便可以增加 sealing 速度, 如果 CPU 的能力不强,可以使用 GPU 代替,效果更好。

配置步骤

1 2 3 4 5 6 7 8 9 10

一般来说linux根分区不会很大,这里会用到40G左右的临时文件,如果默认TMPDIR空间不够,需要修改$TMPDIR路径 在lotus节点起来和完成同步后需要获取代币和创建矿工 具体参考:https://docs.lotu.sh/en+join-testnet 中国区节点需要这是代理路径: ``` export IPFS_GATEWAY="https://proof-parameters.s3.cn-south-1.jdcloud-oss.com/ipfs/" ``` 在 master 矿工初始化之后,也就是在下面的脚本运行之后 lotus-storage-miner init --actor=t01849 --owner=t3v3gwdujm35f6vwrv6x7utimbhu7s64hvto6m327xscsoyraj5dyzxom2bthormfd7e3imqnpabp7hp55tlfq

  1. 修改矿工配置文档 vim .lotusstorage/config.toml [API] ListenAddress = "/ip4/{IP}/tcp/2345/http" Timeout = "30s" 这里的 {IP} 是当前 master 节点的 ip 地址,默认是 127.0.0.1 这里你需要把它改成局域网或者公网 IP(如果你有静态 ip 的话), 如果你搞不清你是否需要外网访问,你就配置成 0.0.0.0 如果所有 worker 节点都在一个网络的话,建议使用内网 IP,如果需要大量外网机器同时挖,则需要填写公网 IP
  2. 启动 master 矿工 BELLMAN_CUSTOM_GPU="GeForce RTX 2070 SUPER:2560" lotus-storage-miner run 前面的变量是你 GPU 的配置信息,具体配置详情, 请参考: https://docs.lotu.sh/en+hardware-mining
  3. 复制必须文件到其它节点

拷贝 master 节点的 /var/tmp/filecoin-proof-parameters, .lotusstorage/api 和 .lotusstorage/token 到 worker 节点, 同时拷贝 lotus-seal-worker 到 worker 节点

  1. 运行 worker 节点 nohup ./lotus-seal-worker run > miner.log & 如果你的 worker 有 GPU 的话,则你可以启用 GPU 做复制证明 BELLMAN_CUSTOM_GPU="GeForce RTX 2070 SUPER:2560" nohup ./lotus-seal-worker run > miner.log & 启动成功会看到类似的信息 INFO main lotus-seal-worker/sub.go:69 Waiting for new task 这时你在 master 节点运行 lotus-storage-miner info 应该可以看到 remote worker
  1. 接下来按照步骤(4)的方法启动 N 个 Worker 节点 到此,整个集群就开始运行了,等你的 Miner 节点准备好密封数据(PreCommit),Worker 就会开始拉取数据计算了,计算完之后会 Push 回 Miner 节点。

这里需要注意的是,Worker 计算完之后会 Push 11GB 数据回去,也就是说复制证明会计算 10 次,Master Miner 节点需要准备的磁盘空间与实际存储数据的 比值是 1:11,所以你得准备足够多的磁盘空间,以免磁盘空间不足导致矿工程序退出。不过这些 cache 数据再你完成 Proving 之后会删除大部分,只保留 2.1GB。


  1. 硬件配置参考:https://docs.lotu.sh/en+hardware-mining
  2. 官方Ubuntu安装教程:https://docs.lotu.sh/en+install-lotus-ubuntu
本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
暂无评论
推荐阅读
编辑精选文章
换一批
Filecoin 二阶段测试(3) - 异构集群测试
本文是关于 Filecoin 二阶段测试的最后一篇博文。今天给大家分享一下我们近期在测试网验证过的异构集群挖矿方案。
Tiny熊
2020/07/14
1.7K0
Filecoin 二阶段测试(3) - 异构集群测试
教你做 Filecoin Lotus 测试网的大矿工
Filecoin 的 Lotus 测试网于12月11日启动了,瞬间唤起了中国社区的热情。然而让很多朋友略失望的是,大型矿工牢牢占据了有效存储排行榜的前几位,小白用户发现利用家庭 PC 或笔记本,基本上不可能短时间内成为真正意义上的出块矿工。
莲花海
2020/01/21
2.8K2
Filecoin文件的分片和加密分析
问题1:存储矿工接收用户订单,接收用户的文件,存放到本地扇区,第一个问题本地文件是否有文件加密?如果有文件加密,检索矿工如何查找到文件?
rectinajh
2019/11/27
1.7K1
【玩转腾讯云】腾讯云部署K8s集群
如果想要了解 K8s 的一些特性,并且将其应运的很好,那就需要动手部署一个 K8s 集群。下面讲解下在腾讯云上 K8s 集群部署流程。
程序猿Damon
2021/05/06
9.8K1
【玩转腾讯云】腾讯云部署K8s集群
使用 kubeadm 部署 Kubernetes 1.21.10 [2022 更新版]
有两种方法可以部署 Master 相关的组件,一种是使用init 配置文件,另外一种是使用命令行参数,建议使用 init 配置文件进行部署。
懒人的小脑
2022/03/15
1.4K0
公网环境搭建 k8s 集群
笔者利用手头几台云服务器搭建 k8s 集群,由于这几台云服务属于不同的云服务厂商,无法搭建局域网环境的 k8s 集群,故笔者搭建的是公网环境的 k8s 集群,在此做个记录, 以下均在 ubuntu 20.04 环境下进行
菜菜cc
2022/11/15
3.6K0
公网环境搭建 k8s 集群
【Jetson开发项目展示】使用 Jetson Nano构建一个支持gpu的Kubernets集群
你可能知道,Jetson Nano是一款低成本(99美元)的单板电脑,用于物联网类型的用例。在众多类似设备中,它的关键卖点是全功能GPU,与NVidia CUDA库兼容。
GPUS Lady
2019/12/05
4.7K0
【Jetson开发项目展示】使用 Jetson Nano构建一个支持gpu的Kubernets集群
简单了解一下K8S,并搭建自己的集群
距离上次更新已经有一个月了,主要是最近工作上的变动有点频繁,现在才暂时稳定下来。这篇博客的本意是带大家从零开始搭建K8S集群的。但是我后面一想,如果是我看了这篇文章,会收获什么?就是跟着步骤一步一走吗?是我的话我会选择拒绝,所以我加了关于K8S的简单介绍,每一步的步骤都添加了解释。由于篇幅和时间原因,我只介绍了K8S中较为核心的Pod和Service。
SH的全栈笔记
2019/12/20
1.1K0
简单了解一下K8S,并搭建自己的集群
Hadoop2.2.0版本多节点集群安装及测试
摘要:本文记录了Hadoop2.2.0版本多节点集群安装过程,并做了基本配置,启动运行和测试了一个单词统计例子。
星哥玩云
2022/06/13
7200
Ubuntu系统下部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
之前在window下安装过 Ollama和OpenWebUI搭建本地的人工智能web项目(可以看我之前写的文章),无奈电脑硬件配置太低,用qwen32b就很卡,卡出PPT了,于是又找了一台机器安装linux系统,在linux系统下测试一下速度能否可以快一些。
星哥玩云
2024/05/18
7.1K0
Ubuntu系统下部署大语言模型:Ollama和OpenWebUI实现各大模型的人工智能自由
Nvidia 3060显卡 CUDA环境搭建(Ubuntu22.04+Nvidia 510+Cuda11.6+cudnn8.8)
对每个人而言,真正的职责只有一个:找到自我。然后在心中坚守其一生,全心全意,永不停息。所有其它的路都是不完整的,是人的逃避方式,是对大众理想的懦弱回归,是随波逐流,是对内心的恐惧 ——赫尔曼·黑塞《德米安》
山河已无恙
2023/08/21
1.9K1
Nvidia 3060显卡 CUDA环境搭建(Ubuntu22.04+Nvidia 510+Cuda11.6+cudnn8.8)
教程 | 如何使用Kubernetes GPU集群自动训练和加速深度学习?
选自GitHub 机器之心编译 参与:蒋思源、Smith、吴攀 像 Docker 这样的容器格式和 Kubernetes 之类的容器管理平台正越来越受到人们的欢迎,这不仅仅是因为人们喜欢微服务,出于很多原因,公司的首席信息官和工程高管都乐于接受微服务,他们也会把容器视为他们的混合云战略的关键组成部分。这是因为容器空间(Docker、Kubernetes 和 DC / OS 等)的核心技术、生态系统是全面开源的,这为用户提供了抽象的虚拟化工具。近日,卡尔斯鲁厄理工学院(KIT)的计算机科学学生 Frederi
机器之心
2018/05/08
3.3K0
教程 | 如何使用Kubernetes GPU集群自动训练和加速深度学习?
kubernetesv1.17集群生态搭建笔记
上一次接触到kubernetes集群的时候已经是一年以前了,那个时候官方的版本还只是v1.10,而现在过去一年的时间了,官方版本已经快速的迭代到了v1.17了,社区也越来越成熟、相关的生态组件也越来越丰富,可见在过去的K8S元年,它发展是多么迅猛。最近想把自己写的一些小东西封装成开放API暴露出来,于是想把自己的几台机器搞成个kubernetes集群,所以这里想重温下集群构建的流程。以下的所有文件都可以在Githubhttps://github.com/lateautumn4lin/KubernetesResearch的ClusterEcology目录中寻找到
云爬虫技术研究笔记
2020/02/19
4440
Kubernetes集群搭建
上述命令执行完成以后,kubeadm、kubelet、kubectl、kubernetes-cni这些二进制文件都会被自动安装好。
shysh95
2022/05/24
6700
Kubernetes集群搭建
GPU编程(一): Ubuntu下的CUDA8.0环境搭建
目录 前言 老黄和他的核弹们 开发环境一览 显卡驱动安装 下载驱动 禁用nouveau 安装驱动 安装CUDA8.0 参考 最后 ---- 前言 在Linux下安装驱动真的不是一件简单的事情,
sean_yang
2018/11/07
1.9K0
Ubuntu18.04搭建kubernetes集群(一个master一个node)
最近在学习kubernetes(之后都称为k8s),在跟着kubernetes交互式文档学习玩基本概念等知识后,想着自己也搭建一个集群,加深一下对其的理解。
yaxin
2019/07/20
4.8K0
Ubuntu18.04搭建kubernetes集群(一个master一个node)
KubeSphere 高可用集群搭建并启用所有插件
大多数情况下,单主节点集群大致足以供开发和测试环境使用。但是,对于生产环境,您需要考虑集群的高可用性。如果关键组件(例如 kube-apiserver、kube-scheduler 和 kube-controller-manager)都在同一个主节点上运行,一旦主节点宕机,Kubernetes 和 KubeSphere 都将不可用。因此,您需要为多个主节点配置负载均衡器,以创建高可用集群。您可以使用任意云负载均衡器或者任意硬件负载均衡器(例如 F5)。此外,也可以使用 Keepalived 和 HAproxy,或者 Nginx 来创建高可用集群。
小陈运维
2021/11/16
1.1K0
云原生|实战:快速搭一个Kubernetes集群(一)
Kubernetes从2014年正是发布到现在已经快10个年头了,已经成为容器编排的领导者,而基于Kubernetes的开源项目,各个ICT公司都开启了自己的发行版本,这些版本通常针对不同的使用场景和需求进行了特定的优化,旨在简化Kubernetes的安装、配置和管理过程,以下是一些主要的Kubernetes发行版本:
琉璃康康
2023/12/06
4570
云原生|实战:快速搭一个Kubernetes集群(一)
使用 GPU-Operator 与 KubeSphere 简化深度学习训练与监控 GPU
本文将从 GPU-Operator 概念介绍、安装部署、深度训练测试应用部署,以及在 KubeSphere 使用自定义监控面板对接 GPU 监控,从原理到实践,逐步浅析介绍与实践 GPU-Operator。
CNCF
2021/03/15
2.7K0
使用 GPU-Operator 与 KubeSphere 简化深度学习训练与监控 GPU
值得收臧 | 从零开始搭建带GPU加速的深度学习环境(操作系统、驱动和各种机器学习库)
关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第一 【Python】:排名第三 【算法】:排名第四 原文:https://medium.com/@dyth/deep-learning-software-installation-guide-d0a263714b2 后台回复关键词:20171019 下载PDF整理版教程 为了研究强化学习,最近购置了一台基于 Ubuntu 和英伟达 GPU 的深度学习机器。尽管目前在网络中能找到一些环境部署指南,但目前仍然没有全面的安装说明。另外,我也不
昱良
2018/04/08
1.4K0
值得收臧 | 从零开始搭建带GPU加速的深度学习环境(操作系统、驱动和各种机器学习库)
推荐阅读
相关推荐
Filecoin 二阶段测试(3) - 异构集群测试
更多 >
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档