当前位置:首页  >  行业动态  > 正文

世界观察:从三个案例看数字化转型需求下存储架构的选择和应用

世界观察:从三个案例看数字化转型需求下存储架构的选择和应用
2023-05-06 20:14:09 来源:清一色财经

在大数据时代的背景下,结构化和非结构化数据激增,各个企业数字化转型步伐的加速,存储技术架构的不断更迭,会有更新的存储解决方案或者架构应运而生。新技术并不是为了代替老的技术,而是能够在现有存储架构的优势上,发掘新的突破点。在数据存储方面,混合架构的配合使用是未来存储发展的新趋势。

引言

针对数据存储架构的需求是当下企业关注的焦点之一,在数字化转型背景下,对存储的需求量直线上升,无论是基础的数据存储还是容灾备份的需求。传统集中式的存储架构,已经不适应大数据时代业务的全部需求,存储在此类场景下的“软实力”变得尤为重要。

存储需要“软实力”,也就是我们常说的软件定义能力,如分布式架构的存储,但是并不意味着集中式存储没有用武之地。分布式存储架构在对象存储方面的优势不可否认,但是任何技术架构都要看其两面性,很多企业依然会在某些核心领域沿用集中式存储,尤其是在块存储泛滥的传统制造业。


【资料图】

在制造业传统工厂向智能工厂转换的过程中,诸多分散的生产系统将进行合并,关系型数据库中的核心数据通道将被贯通,对存储的性能和高可用性要求非常的高。本文将分享制造业案例数字化转型背景下集中式存储与分布式存储架构的应用。

分布式存储在制造业的应用案例分享

由于集中式存储价格昂贵,扩展灵活性等原因,无法满足数据海量存储的容量要求和实时存储的性能要求,分布式存储架构得到了飞速的发展,其主要特点包括但不限于:大容量、高性能、高可靠、易扩展、低成本。

某传统制造企业已开始围绕客户为中心的理念进行多年的数字化转型,为了更好的了解用户的画像,获悉用户最真实的意见和想法,将其快速的反馈给后端研发,生产出更适应当代市场的产品。公司在业务系统上进行了软件架构的重构,采用微服务架构建设端到端的应用系统,用于第一时间听到用户的心声。

随着架构的开放及业务形态的变化,终端侧数据呈现出种类多、体量大、碎片化的特点。同时在服务上也对及时性有更加苛刻的要求,现有的集中式数据存储方案无法达到业务的需求。时常出现:

数据增长快速,撑爆存储,紧急扩盘,周期长;数据过于碎片化,传统存储分区过大,导致检索速度慢,无法及时响应前端业务需求;前端存储数据不仅局限在传统的结构化数据,目前80%的数据都是非结构化数据,如图片、声音、短视频等等。导致传统存储性能无法满足业务需求。

总之,无论在扩展能力上、存储容量上还是性能上都不能匹配业务需求。为此集团通过大量的市场调研和实践应用,最终决定引入分布式存储解决方案助力业务转型。

集团采购了数套分布式存储设备,利用周末两天替换了C端业务的后端集中式存储,完成系统对接。通过近一周的试运行:

性能上大幅度提升,对于碎片化数据的处理能力明显上升,基本满足C端应用的响应要求;由于主要是X86架构的存储节点,所以管理员可以根据需求高效扩展,而且成本极低;更适合C端软件架构的环境,提升非结构化数据存取效率。

集中式存储在制造业的应用案例分享

在大数据时代,集中式存储虽然已经无法完全适应各种新兴业务的数据要求,如大数据分析平台、物联网平台、零散型数据的存储业务等。但是集中式存储架构独特的技术特点仍然是企业核心业务中数据存储不可缺少的部分,尤其是在传统企业中。如ERP、CRM、交易型系统的核心数据库平台。从字面的意思不难看出,集中式存储就是说将数据集中存储在一个地方,架构特点:部署简单、横向扩展、性能稳定、管理简单。

对于集中式存储是否还有使用场景或者说是存在的价值,一直都有争论,虽然传统存储的架构不够灵活,扩展能力也相对较差,应用场景也逐渐在萎缩,但是由于它天生IO路径短,单体性能较好的特点,非常适用于对延时要求非常高的核心数据库场景。

某制造企业作为国内知名的汽车制造公司,在工业互联网的大背景下,着手进行数字化改革。工厂也开始逐渐从传统工厂向智能工厂转变,旨在通过现代化的、自动化的生产能力,提升生产效率,降低运营成本。

工厂由于历史原因,深度采用SAP、微软、Oralce、西门子等大厂的解决方案用于核心应用。各个业务单体相对独立,均通过标准的接口进行服务对接。这就意味着数据存储也相对独立,各自为政。但是随着智能工厂的提出,各大应用系统的数据呈现指数型增长。数据种类也复杂多样,有的用于工厂生产,有的用于质量控制、有的用于工厂可视化,重要程度可想而知。但当前所有的数据均存储在一个使用超过5年的集中式存储上。现有存储采用机械盘与闪盘混搭的形式使用,所以在IOPS上可以有效支撑这些传统应用的使用需求。但是毕竟是单点工作,若控制器或者其他核心部件发生风险,将直接造成不可估量的损失。为此IT部门决定通过寻找一种高可靠的方式实现数据的备份,确保当出现“黑天鹅”事件时,可以第一时间保住生产不断。

为此IT部门通过与友商的学习及与成熟存储解决方案厂商的沟通,最终决定继续使用集中式存储解决方案从物理上实现数据级的核心数据备份。简单来说就是另外采购一套相同配置的集中式存储,通过内置的物理级存储复制功能,定期对制定的数据卷进行复制。从而实现数据的异地备份。此方法既简单又可靠,充分发挥了集中式存储的优势,满足了业务的需求。

为什么不用分布式存储,而继续采购新的集中式存储与现有集中式存储形成互为备份的架构,主要有以下几点考虑:

数据结构单一

现有应用系统产生的数据均为结构化形式存储,集中式存储架构非常适合此类业务场景。

对接成本高

若使用新的存储架构,如分布式存储架构。有可能需要业务侧的联调与系统对接(重新对接)。由于各个业务系统的供应商不同,对接方案错综复杂,成本直线上升,而且对实际的性能和应用与集中式存储相比增加效果甚小。

运维成本高

集团现有存储工程师对集中式存储非常熟悉,需要对分布式存储进行学习,培训成本高。同时若采用X86架构的分布式存储,对网络延时要求高,对运维人员的技能要求也相对提升。

集中式与分布式存储在制造业混合应用案例分享

其实集中式存储和分布式存储就像两个孪生兄弟,在某些场景下可以单打独斗,独领风骚。但是在一些特殊场景上必须相互扶持,强强联合,才能发挥最大的能量,满足业务的最终需求。

某集团的车联网业务的数据存储需求就非常适合混合存储架构,利用集中式存储和分布式存储的合理结合,有效的承担不同类型数据的存储任务,并提供低延时、高可用、海量的存储环境。

车联网业务作为某公司未来5-10重要的发力点,得到高层的支持,并以惊人的速度发展。目前接入车辆达到百万级,每天产生数十亿条数据,每天3-4T左右的存储量。车联网平台存储了接入车辆的位置信息、状态信息、速度信息及其他传感器等信息,主要以非结构化的数据为主,而且琐碎而海量。导致传统的数据存储架构无法满足当前规模的车联网数据存储的需求、响应的需求和弹性扩容的需求。对于车联网的后端报表平台,与大数据分析平台形成数据驾驶舱,为各个业务层面的领导进行决策提供数据支持。

为更好的支持整个车联网平台的数据存储和不同层面的业务需求,IT部门急需一种性价比较高的存储解决方案。经过调研和POC,最终决定采用分布式存储对采集的数据进行存储,利用集中式存储对驾驶舱数据及各种报表进行存储,主要有以下方面的考虑:

数据类型

前端主要负责数据的采集和存储,由于采集的数据大多数是非结构化数据,具有海量、琐碎、多样性的特点,所以采用分布式存储架构对非结构化数据进行存储,既可以实现海量存储,也可以实现弹性扩容。后端主要是固定的报表服务,数据大多数是结构化的,所以使用集中式存储即可满足业务需求。

弹性扩容

考虑到前端每日的数据增长量,传统的集中式存储无法实现按需的快速增长需求,所以利用分布式存储的弹性扩容特点,满足快速扩容的需求。后端报表服务主要是按照领导的需求进行页面的展示的增加,对存储需求小,传统的集中式存储即可满足。

性能至上

前端负责数据的采集和存储,要求对前端应用快速响应,尤其是琐碎的小文件,集中式存储是不可能快速检索和响应。采用分布式存储架构可以从根本上解决性能滞后的问题。

性价比高

前后端按需采用不同的存储架构,在提升使用效率的同时,更能降低总体使用成本,符合集团降本增效的指导方针。

总结

在大数据时代的背景下,结构化和非结构化数据激增,各个企业数字化转型步伐的加速,存储技术架构的不断更迭,会有更新的存储解决方案或者架构应运而生。新技术并不是为了代替老的技术,而是能够在现有存储架构的优势上,发掘新的突破点。在数据存储方面,混合架构的配合使用是未来存储发展的新趋势。

标签:

(责任编辑:news01)
世界观察:从三个案例看数字化转型需求下存储架构的选择和应用

世界观察:从三个案例看数字化转型需求下存储架构的选择和应用

在大数据时代的背景下,结构化和非结构化数据激增,各个企业数字化转型步伐的加速,存储技术架构的不断更迭
05-06 20:14:09
冒雨义诊|山东省第二人民医院专家团义诊走进印象济南

冒雨义诊|山东省第二人民医院专家团义诊走进印象济南

5月5日上午,由山东省第二人民医院主办,济南市槐荫区红十字会、兴福街道党工委、济南泉世界商业管理有限公
05-06 19:38:50
甲酸前十排名(2022年第三季度相关企业毛利润排名前十名)

甲酸前十排名(2022年第三季度相关企业毛利润排名前十名)

甲酸前十排名(2022年第三季度相关企业毛利润排名前十名),《南方财富网趋势选股系统》财报工具数据整理,截
05-06 18:56:15
世界动态:凤凰图腾by淮上广播剧(凤凰图腾by淮上)

世界动态:凤凰图腾by淮上广播剧(凤凰图腾by淮上)

1、凤凰图腾by淮上 txt567k,完结[左上角普通下载】>>卓玉默然不言,半晌道:“……大军可以后退一百里...
05-06 18:27:43
世界手卫生日 | 南华附一医院组织开展手卫生宣传活动_焦点精选

世界手卫生日 | 南华附一医院组织开展手卫生宣传活动_焦点精选

南华大学附属第一医院开展“共同加快行动,拯救生命-清洁您的双手”主题手卫生宣传活动。活动现场。大...
05-06 17:44:30
产假工资和生育津贴是一回事吗?_时讯

产假工资和生育津贴是一回事吗?_时讯

产假工资和生育津贴实际上并不是一回事,产假工资指的是用人单位在职工生育期间,依旧按照正常出勤进行工资
05-06 17:02:23
环球实时:中小学学生评价悄然生变

环球实时:中小学学生评价悄然生变

不拘泥“分数”,不只看“试卷”中小学学生评价悄然生变■深圳特区报首席记者李丽教育评价事关教育发展...
05-06 16:08:13
朗朗的原名_朗朗的简介 middot middot 热推荐

朗朗的原名_朗朗的简介 middot middot 热推荐

1、郎朗郎朗,满族人。2、国际著名钢琴家,1982年生于辽宁沈阳。3、被数家美国权威媒体称作“当今这个时代
05-06 16:02:43
世界观速讯丨京东建4千套员工房花60亿

世界观速讯丨京东建4千套员工房花60亿

近日,京东启动了“京东青年城”项目,用地面积为京东之前花费30亿元购买的土地。该项目将建成近4000套...
05-06 15:20:11
区规划资源局参加个税综合所得汇算清缴政策辅导培训会

区规划资源局参加个税综合所得汇算清缴政策辅导培训会

培训会上,税务局就个人所得税相关政策、专项附加扣除填报、个税手机APP操作等进行了深入细致的讲解,特别
05-06 14:42:09
农发行云南省丽江市分行“合规+”深度融合护航高质量发展 每日关注

农发行云南省丽江市分行“合规+”深度融合护航高质量发展 每日关注

2023年是开展“合规农发行”三年行动的第二年,农发行云南省丽江市分行始终深植“合规为先、风控为要、...
05-06 14:07:43
中国联通在开通首个面向海域的超远覆盖 5G 基站_每日信息

中国联通在开通首个面向海域的超远覆盖 5G 基站_每日信息

据21ic近日获悉,中国联通浙江分公司在宁波象山县石浦东门岛开通浙江省首个面向东海海域的超远覆盖5G基站,
05-06 13:09:47
今年以来全国快递业务量突破400亿件 今日关注

今年以来全国快递业务量突破400亿件 今日关注

央视网消息(新闻联播):今天(5月5日),国家邮政局发布数据,截至5月4日,我国快递业务量超400亿件,比2
05-06 12:17:44
大格局催生大市场 从“消费季”看大湾区“促消费观” 世界新消息

大格局催生大市场 从“消费季”看大湾区“促消费观” 世界新消息

从“一位难求”的淄博烧烤,到买不上票的北京颐和园……刚刚过去的“五一”假期,哪些消费场景让人印象...
05-06 11:52:42
哈尔滨火车站到机场大巴时刻表2023_哈尔滨火车站到机场大巴时刻表 世界消息

哈尔滨火车站到机场大巴时刻表2023_哈尔滨火车站到机场大巴时刻表 世界消息

1、乘坐机场大巴3号线,全程约37,到达霁虹桥站。2、坐车需要1个小时左右,每30分钟一班,经过3站;3、从哈尔
05-06 11:05:39
四川:以“一级两翼三带”塑造制造业空间新格局-全球消息

四川:以“一级两翼三带”塑造制造业空间新格局-全球消息

5月5日,在成都举行的四川省政府新闻办“推动‘五区共兴’,促进高水平区域协调发展”(“五区”指成都平...
05-06 10:52:21
前世纪互联副总裁吴婷创业,入局ChatGPT硬件研发

前世纪互联副总裁吴婷创业,入局ChatGPT硬件研发

近日,前世纪互联副总裁吴婷组建了一支新的硬件产品研发团队,致力于为支撑ChatGPT的服务器集群提供高可用
05-06 10:20:36
民生证券给予盟升电子推荐评级

民生证券给予盟升电子推荐评级

民生证券05月05日发布研报称,给予盟升电子(688311 SH,最新价:66 39元)推荐评级。评级理由主要包括:1
05-06 09:51:22
全球新消息丨张跃斌、蔡富强到零道高速公路(双牌段)项目现场办公

全球新消息丨张跃斌、蔡富强到零道高速公路(双牌段)项目现场办公

红网时刻新闻5月6日讯(通讯员李林云)5月5日上午,双牌县委书记张跃斌,县委副书记、县长蔡富强一行到零道
05-06 09:15:27
开源、免版权费,下一代编码格式 AV2 实验性支持落地
                 焦点精选

开源、免版权费,下一代编码格式 AV2 实验性支持落地 焦点精选

IT之家5月6日消息,开放媒体联盟(AOMedia)于2015年成立,在2018年制定了一个开源、免版权费的视频编码格
05-06 08:14:31
世界新资讯:adidas衣服尺码对照表(adidas男女衣服的尺码差距比较大)

世界新资讯:adidas衣服尺码对照表(adidas男女衣服的尺码差距比较大)

adidas男女衣服的尺码差距比较大,其中女性的尺码比男性多了一个XS号,男性的尺码则比女性多了一个XXL号;ad
05-06 07:23:27
海盗船单条 48GB DDR5 非二进制内存降价:96GB 套装 2599 元

海盗船单条 48GB DDR5 非二进制内存降价:96GB 套装 2599 元

IT之家5月5日消息,海盗船在今年2月份率先推出首款单条48GBDDR5非二进制内存,当时的首发标价为48G*23799元
05-06 06:46:32
2021三月第一天朋友圈文案句子_牛年表达三月第一天的发圈文案精选|环球今亮点

2021三月第一天朋友圈文案句子_牛年表达三月第一天的发圈文案精选|环球今亮点

解答:1、在平淡的一天,从小事中寻找快乐。你好马奇,祝我们好运,谢谢。2、心有多远,就能走多远。做一个
05-06 05:48:01
每日快看:苑东生物(688513):5月5日北向资金减持4.77万股

每日快看:苑东生物(688513):5月5日北向资金减持4.77万股

5月5日北向资金减持4 77万股苑东生物。近5个交易日中,获北向资金减持的有4天,累计净减持6 58万股。近20个
05-06 04:51:24
曾都区编钟中学:师者如光,微以致远——致敬平凡人心中的好老师 当前快报

曾都区编钟中学:师者如光,微以致远——致敬平凡人心中的好老师 当前快报

每个人的人生旅途中都会遇到老师,平凡的老师,遇到平凡的孩子,一句话语,一缕笑容,一个举动,所体现的爱
05-06 01:52:05
天天看点:雷军怒赞!小米13 Ultra全新限量定制色成了

天天看点:雷军怒赞!小米13 Ultra全新限量定制色成了

日前,小米13Ultra推出星空蓝、赤霞橙、银杏黄限量定制配色版本,16GB+512GB售价6499元,与普通版价格一致
05-06 00:08:25
世卫组织:新冠疫情不再构成“国际关注的突发公共卫生事件”

世卫组织:新冠疫情不再构成“国际关注的突发公共卫生事件”

世界卫生组织5日宣布,新冠疫情不再构成“国际关注的突发公共卫生事件”。来源新华社客户端编辑吴一凡
05-05 22:50:49
天天观察:屈原投江的故事简介300字左右_屈原投江的故事简介

天天观察:屈原投江的故事简介300字左右_屈原投江的故事简介

1、屈原(约公元前340—前278年),名平,字原。2、他出身楚国贵族,年轻时就表现出杰出的才能,做了楚怀王的
05-05 21:45:00
当前看点!北银消费金融2022年营收7.61亿元:全年消费投诉879起降14%

当前看点!北银消费金融2022年营收7.61亿元:全年消费投诉879起降14%

北银消费金融的经营详情进一步披露。金融虎网注意到,近日,北银消费金融发布2022年度信息披露报告显示,20
05-05 21:13:38
真兄弟!今年俄罗斯的胜利日大阅兵,只有一个外国元首欣然参加-焦点滚动

真兄弟!今年俄罗斯的胜利日大阅兵,只有一个外国元首欣然参加-焦点滚动

真兄弟!今年俄罗斯的胜利日大阅兵,只有一个外国元首欣然参加,胜利日,俄罗斯,大阅兵,阅兵式,外国元首,吉尔
05-05 20:14:57

精彩推送