首页
学习
活动
专区
圈层
工具
发布
首页标签大数据存储

#大数据存储

在海量大数据分析中,实现计算与存储分离,对存储冷热分层

如果未来数据化为自有模型的能力,数据关系内化为本体,那么还需要数据库吗?

先说结论:还是需要数据库,而且大概率会一直需要。会变的是数据库的形态和分工,不是数据库本身消失。“数据不用存储了”这个前提就不成立:模型记住的只是规律,不是原始数据本身。 一、模型存不住“事实本身” 模型参数里保存的是训练数据里统计出来的规律和关联,是一种有损压缩。它擅长归纳和生成,但不擅长逐字、精确地召回某一条记录,也保证不了每次问同一个问题都给出同一个答案。模型还会遗忘、会把相似内容混在一起、会在不确定的地方编造出看似合理的内容。 所以,凡是要求精确、可验证、可追溯的事实,都不能只交给模型“记住”。举个最直接的例子:某个用户的账户余额是多少、某笔订单现在是什么状态、某条医疗记录是哪天由谁写入的——这些问题需要的不是“大概是这样”,而是“就是这个数、就是这条记录”。答错一次的代价,远远超过省掉一个数据库的收益。 二、数据库做的事,模型替代不了 数据库不只是“存数据的地方”,它同时承担了几件模型做不到、也不该做的事: 第一,精确的增删改查。单条记录要能随时写入、修改、删除,改完立即生效,而且改哪条就是哪条。模型一旦训练完成就固化了,没法只改一条记录,要改就得重新训练或微调,成本高、还滞后。 第二,事务和一致性。多条记录要么一起成功、要么一起失败,例如转账、扣库存、下单,这些是数据库用事务保证的,模型没有这个能力。 第三,权限、审计和合规。谁能看、谁能改、谁在什么时候改过、能不能彻底删除,都要靠数据库的权限控制、日志和备份来落实。这些是业务合规的基本要求,不能靠模型的“记忆”来证明。 第四,版本和恢复。数据错了要能回滚、丢了要能恢复、要能回答“上个月底的数据是什么样”。模型训练完就只有一个版本,丢了原始数据就再也找不回来了。 三、“关系内化为本体”改变的是分工,不是存废 把数据关系内化为本体,理解成“模型理解了数据之间的语义和结构”,这个方向是对的。但本体是建立在数据之上的语义层,它本身就需要底层数据来训练、更新和验证。数据变了,本体也要跟着变;没有持续更新的原始数据,本体很快就会过时。 更可能出现的分工是这样的: - 模型负责理解、归纳、生成和推理,例如理解用户用自然语言问的是什么、把分散的信息总结成一段话、按语义找到相关内容。 - 数据库负责存事实、保准确、管权限,例如订单、账目、库存、权限、合规记录。 - 中间再由向量库、图数据库、特征库、知识库这类形态去衔接两者,例如先从数据库里检索出准确的记录,再交给模型去理解和表达,也就是现在常见的检索增强做法。 也就是说,数据库不会被模型吃掉,而是会和模型配合:模型越强,越需要准确、可信的数据源给它“打底”,否则它只能在自己的记忆里打转,越用越不可靠。 四、一个可操作的判断方法 以后遇到“这部分要不要放进模型”时,可以按这两条来判断: - 需要精确答案、需要立即更新、需要审计追溯、答错了有实际损失的,放数据库。 - 需要理解意图、需要归纳总结、需要按语义找东西、答案允许有多种表达方式的,交给模型。 按这个分法,数据库的量不会消失,反而会因为模型需要更多高质量、可检索、可验证的数据而变得更重要。... 展开详请
先说结论:还是需要数据库,而且大概率会一直需要。会变的是数据库的形态和分工,不是数据库本身消失。“数据不用存储了”这个前提就不成立:模型记住的只是规律,不是原始数据本身。 一、模型存不住“事实本身” 模型参数里保存的是训练数据里统计出来的规律和关联,是一种有损压缩。它擅长归纳和生成,但不擅长逐字、精确地召回某一条记录,也保证不了每次问同一个问题都给出同一个答案。模型还会遗忘、会把相似内容混在一起、会在不确定的地方编造出看似合理的内容。 所以,凡是要求精确、可验证、可追溯的事实,都不能只交给模型“记住”。举个最直接的例子:某个用户的账户余额是多少、某笔订单现在是什么状态、某条医疗记录是哪天由谁写入的——这些问题需要的不是“大概是这样”,而是“就是这个数、就是这条记录”。答错一次的代价,远远超过省掉一个数据库的收益。 二、数据库做的事,模型替代不了 数据库不只是“存数据的地方”,它同时承担了几件模型做不到、也不该做的事: 第一,精确的增删改查。单条记录要能随时写入、修改、删除,改完立即生效,而且改哪条就是哪条。模型一旦训练完成就固化了,没法只改一条记录,要改就得重新训练或微调,成本高、还滞后。 第二,事务和一致性。多条记录要么一起成功、要么一起失败,例如转账、扣库存、下单,这些是数据库用事务保证的,模型没有这个能力。 第三,权限、审计和合规。谁能看、谁能改、谁在什么时候改过、能不能彻底删除,都要靠数据库的权限控制、日志和备份来落实。这些是业务合规的基本要求,不能靠模型的“记忆”来证明。 第四,版本和恢复。数据错了要能回滚、丢了要能恢复、要能回答“上个月底的数据是什么样”。模型训练完就只有一个版本,丢了原始数据就再也找不回来了。 三、“关系内化为本体”改变的是分工,不是存废 把数据关系内化为本体,理解成“模型理解了数据之间的语义和结构”,这个方向是对的。但本体是建立在数据之上的语义层,它本身就需要底层数据来训练、更新和验证。数据变了,本体也要跟着变;没有持续更新的原始数据,本体很快就会过时。 更可能出现的分工是这样的: - 模型负责理解、归纳、生成和推理,例如理解用户用自然语言问的是什么、把分散的信息总结成一段话、按语义找到相关内容。 - 数据库负责存事实、保准确、管权限,例如订单、账目、库存、权限、合规记录。 - 中间再由向量库、图数据库、特征库、知识库这类形态去衔接两者,例如先从数据库里检索出准确的记录,再交给模型去理解和表达,也就是现在常见的检索增强做法。 也就是说,数据库不会被模型吃掉,而是会和模型配合:模型越强,越需要准确、可信的数据源给它“打底”,否则它只能在自己的记忆里打转,越用越不可靠。 四、一个可操作的判断方法 以后遇到“这部分要不要放进模型”时,可以按这两条来判断: - 需要精确答案、需要立即更新、需要审计追溯、答错了有实际损失的,放数据库。 - 需要理解意图、需要归纳总结、需要按语义找东西、答案允许有多种表达方式的,交给模型。 按这个分法,数据库的量不会消失,反而会因为模型需要更多高质量、可检索、可验证的数据而变得更重要。

大数据&AI有哪些应用?

白德鑫yunadx.com 帮助国内开发者进行流量变现,easencia.com 帮助开发者出海获得免费流量。
我猜你想问的是大数据和当前比较流行的大模型相关的结合。 大数据和AI结合的应用场景基本上从2000年初就开始有研究和应用了,只不过当时还没有提出大数据的概念,直到2010年左右深度学习和大数据的爆发,标志如Google BigTable和 PageRank,后来就是大家比较熟知的ImageNet识别大赛。再然后就是电商平台应用智能推荐,医疗的大数据+AI检索辅助诊断,然后就是通过传感器收集数据的自动驾驶。 当前大模型阶段,大模型依然来自于大数据的训练结果,大家都在PB级别的数据来训练模型,标注、人工反馈都是基于数据而来。大模型和大数据直接结合的应用就是BI场景了,降低了分析人员写SQL的能力,可以通过自然语言和数据进行交互,同时其他需要应用数据分析的场景都可以和大模型结合完成自然语言交互的数据分析,而不再需要有强大的SQL能力。 未来大数据和大模型融合的场景可能会应用在农业领域收集足够多的传感数据,比如土壤、气象、作物生长通过大模型来分析实现方案预测和定制;在娱乐层面比如目前汽车中各种语音交互实际上还是处在比较弱的阶段,未来联网+大模型可以自然的交流,娱乐等应用场景等等 我想任何行业都值得使用AI进行重构,减低人机交互能力,再畅想一下未来的AI拟人层面会从五感而来(视觉、听觉、触觉、嗅觉、味觉)依赖于各种传感器的发展。... 展开详请
我猜你想问的是大数据和当前比较流行的大模型相关的结合。 大数据和AI结合的应用场景基本上从2000年初就开始有研究和应用了,只不过当时还没有提出大数据的概念,直到2010年左右深度学习和大数据的爆发,标志如Google BigTable和 PageRank,后来就是大家比较熟知的ImageNet识别大赛。再然后就是电商平台应用智能推荐,医疗的大数据+AI检索辅助诊断,然后就是通过传感器收集数据的自动驾驶。 当前大模型阶段,大模型依然来自于大数据的训练结果,大家都在PB级别的数据来训练模型,标注、人工反馈都是基于数据而来。大模型和大数据直接结合的应用就是BI场景了,降低了分析人员写SQL的能力,可以通过自然语言和数据进行交互,同时其他需要应用数据分析的场景都可以和大模型结合完成自然语言交互的数据分析,而不再需要有强大的SQL能力。 未来大数据和大模型融合的场景可能会应用在农业领域收集足够多的传感数据,比如土壤、气象、作物生长通过大模型来分析实现方案预测和定制;在娱乐层面比如目前汽车中各种语音交互实际上还是处在比较弱的阶段,未来联网+大模型可以自然的交流,娱乐等应用场景等等 我想任何行业都值得使用AI进行重构,减低人机交互能力,再畅想一下未来的AI拟人层面会从五感而来(视觉、听觉、触觉、嗅觉、味觉)依赖于各种传感器的发展。

关于大数据数据隐私安全问题?

相关产品

  • 大数据存储

    在海量大数据分析中,实现计算与存储分离,对存储冷热分层

领券