Posted in

新存储,更轻量:HBlock 的设计理念与场景实践_AI阅读总结 — 包阅AI

包阅导读总结

1.

关键词:HBlock、轻量存储、存储资源盘活、数字化转型、技术场景

2.

总结:天翼云自研的轻量级存储集群控制器 HBlock 能应对企业存储挑战,将闲置资源转化为高可用虚拟盘,提供分布式块存储服务,支持多种硬件和场景,具备多种优势,已在多场景应用,其“三降一提高”理念助力企业数字化转型。

3.

主要内容:

– 背景

– IDC 预测数据增长给企业存储带来挑战,企业普遍存储资源利用率低。

– HBlock 介绍

– 是轻量级存储集群控制器,全用户态软件定义存储。

– 能将闲置存储资源转化为虚拟盘,提供分布式块存储服务。

– 对下兼容多种硬件,对上支持多种场景。

– HBlock 优势

– 高可用存储池,故障域隔离,副本折叠,多存储池,混合部署,灵活数据冗余,轻量交付,管理多样化,全面监控。

– 应用场景

– 云计算业务调度系统,媒体客户文件存储,证券公司云电脑升级,智算项目等。

– 成功原因

– “三降一提高”理念。

– 后续活动

– 天翼云存储产品线总监将分享,举办有奖众测活动。

思维导图:

文章地址:https://mp.weixin.qq.com/s/9E8jW4lCm0zLsA7dZsreLw

文章来源:mp.weixin.qq.com

作者:InfoQ 中文

发布时间:2024/8/13 10:07

语言:中文

总字数:3282字

预计阅读时间:14分钟

评分:86分

标签:存储技术,软件定义存储,HBlock,天翼云,资源利用率


以下为原文内容

本内容来源于用户推荐转载,旨在分享知识与观点,如有侵权请联系删除 联系邮箱 media@ilingban.com

近日,天翼云联合InfoQ举办了以“新存储,更轻量”为主题的线上技术分享会。天翼云存储产品线总监潘亚莲以“轻量级存储集群控制器HBlock的设计理念与场景实践”为主题,讲解了HBlock在产品理念、价值主张、应用场景等方面的内容,本文将对其观点进行详细阐述。

IDC预测,全球2024年将生成159.2ZB数据,2028年将增加一倍以上,达到384.6ZB,这给企业存储系统的容量、性能、运维、成本、灵活性带来挑战。此外,由于过度配置、数据孤岛、冗余备份以及中断性的传输和迁移等操作,企业普遍面临存储资源利用率低的问题。为了帮助用户应对以上挑战,天翼云自研了业界首款存储资源盘活系统——HBlock。

HBlock是轻量级存储集群控制器,可实现全用户态软件定义存储,能将闲置存储资源转换成高可用虚拟盘,通过标准iSCSI协议提供分布式块存储服务,挂载给本地或远程服务器使用。

HBlock对下兼容多种硬件,对上支持多种场景。对下:一个集群中可存在不同配置的服务器,如不同CPU架构(x86、ARM、龙芯等)、内存和硬盘大小、磁盘类型等,帮助用户充分利用硬件资源;对上:支持iSCSI协议,适配文件协议,提供CSI和Cinder插件,适用于并行文件存储、虚拟化平台、数据库、容器平台等技术场景,能满足备份、监控、医疗影像、大数据分析及大模型训练等应用场景的需求。

存储资源盘活系统HBlock架构图

2024年,HBlock进入国家工业和信息化领域节能降碳技术装备推荐目录,体现了其轻量、绿色的优势。HBlock已加入国产化自主可控图谱,在天翼云官网上线,是业内唯一支持官网下载使用的软件定义存储产品。

HBlock为企业存储注入全新活力,提高系统稳定性,确保业务运行不间断;提升资源利用率,让每一寸存储空间发挥最大效能;提高运维便捷性,让管理变得轻松愉快。

  • 高可用存储池:HBlock将低可用的物理盘整合成高可用的虚拟盘,将应用部署在虚拟盘上,低成本实现了应用的高可用,支持自动秒级故障切换,一主多备,无单点故障。

  • 故障域隔离:通过集群拓扑,HBlock可映射物理环境中服务器的分布情况,包括服务器所在的机房和机柜位置。基于此拓扑结构,用户可以创建机房、机柜、服务器、数据目录等不同故障域级别的存储池,精细管理存储资源。

  • 副本折叠:HBlock允许在同一故障域内存放多个(而非一个)副本,在有限的硬件资源条件下,能够显著提高数据冗余度和系统的容错能力。

  • 多存储池:HBlock将分散的空闲存储空间盘活为统一的分布式集群,一个集群中可创建多个存储池,更灵活地管理不同类型的存储资源。如:将SSD组成高性能池,将HDD组成大容量池;或将SSD用作高速缓存池,数据写入时,先存储在高速缓存池中提高性能表现,随后自动迁移到普通池,实现冷热分层,既能发挥SSD的性能优势,又能利用HDD的大容量优势,降低整体存储成本。

  • 混合部署:HBlock支持应用和存储系统混合部署,用最少的节点实现高可用,降低购置服务器的整体成本。

  • 灵活数据冗余:HBlock提供卷级别的多副本和纠删码(EC)的冗余配置,EC N+M最高可达128,实现98%超高得盘率。EC副本和分片大小均支持设置,可以减少写放大、减少空间浪费。

  • 轻量交付:HBlock安装包仅170MB,1核4GB内存即可部署,3分钟即可搭建集群,物理机、虚拟机、容器都可使用。

  • 管理多样化:HBlock支持RESTful API、命令行、Web控制台三种管理接入方式;提供统一监控告警视图,易操作易维护。在用户主动开放权限后,售后团队可快速接入环境,协助解决问题,消除物理距离的限制,提高工作效率。

  • 全面监控:HBlock可监控系统中所有的资源,提供一页式概览及详情查看功能,当系统中的组件或资源出现异常时,自动触发告警通知用户。HBlock引入了硬件环境监控功能。通过与业内常用的运维平台Prometheus和Grafana结合,HBlock可以采集并监控部署在服务器上的硬件数据(如CPU、内存、负载、端口等)以及HBlock软件本身的运行指标。

随着数字化转型的深入推进,如何高效利用现有IT设备、实现不同架构的兼容与融合成为了关键挑战。HBlock不仅能有效盘活存量资源,还能够实现异构设备的混合部署,为以上挑战提供轻量灵活的解决方案。同时HBlock也能最大化发挥硬件性能和服务器空间,提供高可用高性能存储能力。

随着业务的发展,硬件设备也需要更新换代,HBlock可以将这些闲置资源有效利用起来,提高存储资源利用率。

以某公司云网运营部的云计算业务调度系统为例,该公司通过部署HBlock,将7台旧服务器的存储资源盘活,用于数据库日志存储。无需对业务进行改造,HBlock可确保数据的高可用性,旧服务器也能让业务平稳运行。

HBlock的盘活能力还表现在某媒体客户的文件存储方案中。该客户通过HBlock将16台x86设备整合,通过NFS和CIFS协议的支持,满足了客户对海量小文件的存储的需求。

在信息化建设中,企业往往会面临IT设备异构的挑战,HBlock可以将不同型号的硬盘设备统一管理。

以某证券公司云电脑升级项目为例,客户需要将原有的系统迁移到国产化自主可控的系统中,要兼顾旧设备的继续利用和国产化设备的滚动更新需求。HBlock通过其强大的兼容性,成功将x86、ARM等不同架构的服务器整合管理,为云电脑提供了稳定的日志和备份存储支持。HBlock灵活的故障域设置,确保了数据的冗余和可靠性,即便在异构环境中,业务也能平稳运行。

HBlock可与应用混合部署在同一台服务器上,HBlock提供高可用块存储给应用,上层应用无需修改即可解耦底层硬件,适用于高性能存储场景,如与并行文件系统混合部署构建高性能文件存储用于AI大模型。可为用户解耦硬件、平滑扩容节奏、降低应用改造费用与周期。

以某智算项目为例,客户需要为AI计算模型的训练和推理提供高性能、高带宽的存储支持。HBlock通过与并行文件服务的混合部署,在同一台服务器上实现了计算和存储的深度融合。通过对高性能磁盘调优,HBlock成功为该项目提供了高性能存储支持,充分验证了其在高性能计算场景下的强大能力。

此外,HBlock在轻量级边缘私有云、混合云备份等场景也有优秀的表现。究其背后原因,是HBlock“三降一提高”理念

  • 降低使用门槛:HBlock安装与部署非常简便,无需进行复杂的业务改造便可快速上手。

  • 降低硬件要求:HBlock支持多种网络和设备架构的混合部署,减少对特定硬件的依赖。

  • 降低数据异常:通过高性能、高可靠的存储架构,HBlock可减少数据异常的风险。

  • 提高扩容效益:HBlock能够灵活应对存储需求的增长,通过滚动更新和线性扩容,进一步提升设备的利用效率。

HBlock不仅是一款创新性的软件定义存储产品,更是企业在数字化转型过程中可靠的伙伴,随着其功能的拓展与升级,HBlock将在更多企业应用场景中展现出独特的价值。

8月14日19:00,天翼云存储产品线总监武志民将为大家深入分享轻量存储背后的黑科技,欢迎扫码报名,期待与您相约!

为了让“轻量存储”走进更多企业,InfoQ和天翼云联合举办“HBlock有奖众测活动”,欢迎广大存储Geek踊跃报名,深度体验HBlock并将使用心得发布在InfoQ写作社区,即可参与InfoQ技术评选并有机会获得丰厚礼品!