在当今时代,科技正以前所未有的力量助力农业研发,创新科技为我们带来更丰富的农产品,也推动农业迈向智能化、高效化、可持续发展的新征程。
在日前举行的CCF高性能计算学术年会上上,华中农业大学高性能计算平台正式上线试运行。该平台基于鲲鹏昇腾硬件基础设施架构,采用自主创新技术,包含了鲲鹏计算、昇腾计算、分布式高性能存储、分布式大容量存储、RoCE网络及调度平台等组件,也成为了科技引领农业发展的新一代增长引擎。
生物育种研究遇到大数据计算压力
传统架构急需升级
华中农业大学前身为1898创办的湖北农务学堂,是中国高等农业教育的重要起点之一,距今已有120多年的办学历史,深厚的历史底蕴使其在农业教育领域具有深远的影响力和较高的知名度。智慧农业、农业数字化等新业务场景需要先进算力平台的技术支撑。
硬件方面,传统以 CPU 为主的架构存在并行度较差、分布式性能弱等弊端,导致计算效率低下;软件方面,华中农业大学科研用户使用的软件以数量繁杂的开源软件为主,总计约有上万款,寻找适合特定任务的工具如同大海捞针,也会带来适配性等多方面的问题。不仅如此,测序技术的飞速发展带来了多组学数据的爆炸,如过去10年间华中农业大学作物遗传改良全国重点实验室的多组学数据从0.1PB猛增到10PB,如此大规模数据的存储和计算处理对存储系统的稳定性、可扩展性及性能提出了极高要求。
由此看来,随着科技发展、科研应用的深入,无论是数据量激增带来的存储压力、软件工具集庞杂带来的选型压力、算力不足带来的处理压力还是科研手段迭代带来的升级压力,都让科研工作者们身心俱疲,而对于他们来说也急需一款高效、稳定、灵活、安全的科研平台,让大家能够全身心的投入基因研究当中。
“天权”新平台诞生
让基因研究效率大大提升
在综合评估多家行业解决方案之后,结合自身应用需求和科研特点,华中农业大学携手华为创新性的打造出一款高效处理百万级群体、千万级分子标记的育种大数据分析工具“天权(HIBLUP)一体机”,让育种效率大大提升。
相比传统方式,“天权”在软硬件架构层面与传统方式完全不同。在硬件基础设施层面,“天权”采用了鲲鹏算力、麒麟操作系统,软件采用自研算法,更适合基因组时代育种大数据的计算场景,与现有工具相比,大幅降低了达到相同的计算准确度的计算资源消耗,而且基因分型个体在群体中占比越大,优势愈明显。
基因组育种就好比是用大数据为优秀“种子选手”排队,育种公司会用基因分型技术检测几万到几十万个位点,这样的基因芯片,大型育种企业每年会用上十几万张,随着世代增加,育种数据会不断的积累,计算量变得越来越大,当然信息越多、利用的越好,种子选手的排序就越准确。
就这样,“天权+鲲鹏”的组合实现了强强联手,一方面鲲鹏平台可以从代码层面对应用需求实现支撑,保证“天权”平台安全性、可靠性的同时,实现高效稳定运行;另一方面, “天权”平台还在鲲鹏算力底座的基础上链接了鲲鹏数学库KML,结合OpenMP等多种并行技术提升计算效率,同时运用内存映射、单双精度混合运算等技术,大大降低计算过程中的内存消耗,这样可以进一步发挥鲲鹏架构软硬结合的技术优势,加速科研育种效率。
相比传统的“x86+GCC+ MKL”模式,“天权+毕昇编译器+鲲鹏数学库”的组合可以将效率提升31%,耗时降低。“天权”软件平台在功能模块、计算性能、用户体验等方面不断升级完善,成为了目前唯一兼具基因组选种及基因组精准选配功能的育种计算工具,并被全球84个国家/地区用户使用,开创了基因组育种的“中国范式”。
俗话说:“民以食为天”。从田间到餐桌,每一粒粮食、每一道菜肴都凝聚着无数人的辛勤付出。如今,在众多科研人员的努力下、在包括华为鲲鹏在内众多平台的加持下,我们的食物也在变得越来越精致、越来越营养、越来越健康。
这也正是科技发展的价值所在,悄然改变我们的生活,让每个人都感到富足与安康。
领取专属 10元无门槛券
私享最新 技术干货