我切换到大查询，因为高性能。但是不知道如何将数据从上传到大型查询数据库。还有一些问题..。我可以直接访问我的数据库从谷歌云存储，同时使用大查询。我要先把它转换成某种格式吗？如何继续更新大查询数据库到我的谷歌云存储数据库。
提前谢谢。
浏览 9提问于2016-02-25得票数 1
回答已采纳
在Advantage中进行备份时，我们希望只备份包含一些结构化数据的一些表。这些表可能会在数据库更新中更改，但大多数表不会更改。其他表包含大量的blob数据:可能有10 of的数据。
如果在数据库更新过程中出现问题，并且我们希望恢复备份的表，那么我们有什么选择来保留原始的大表，但恢复选定的表呢？将它们恢复到现有数据库，并保留旧的大表吗？是否释放大表并将其添加到新恢复的数据库中？
(注意:备份表和大表之间没有RI规则，但大表引用了备份表中的autoincs。)
浏览 3提问于2012-07-26得票数 2
回答已采纳
向量数据库通常被认为是大模型的“海马体”或者“记忆海绵”。目前的大模型都是预训练模型，对于训练截止日之后发生的事情一无所知。第一是没有实时的数据，第二是缺乏私域数据或者企业数据，向量数据库可以通过存储最新信息或者企业数据有效弥补了这些不足，让大模型突破在时间和空间上的限制，加速大模型落地行业场景。同时，通过向量数据的本地存储，还能够协助解决目前企业界最担忧的大模型泄露隐私的问题。
浏览 531提问于2023-08-14
如何通过一个小的内存数据库更新一个大的永久数据库？我有一个应用程序，它有一个大的永久数据库(在硬盘上)和一个小的内存数据库(在RAM中)。在我的应用程序运行时，内存中的数据库被填满，并在运行结束时更新永久数据库。
有人知道我是怎么做到的吗？
浏览 1提问于2011-12-05得票数 0
回答已采纳
2回答
目前，我正在RDS上运行一个r3大型数据库。这花了我很多钱，我现在不需要这么大的数据库。
有没有办法在不丢失所有内容的情况下减少这个数据库？
例如，是否有方法复制其内容，启动一个较小的数据库，然后将内容加载到新数据库？
如有任何建议，敬请见谅。谢谢!
浏览 1提问于2015-12-12得票数 0
回答已采纳
我有几个数据库，其中事务日志(.LDF)比数据库文件(.MDF)大很多倍。
我可以做什么来自动缩小它们或防止它们变得如此大？
浏览 24提问于2008-10-02得票数 5
回答已采纳
我们的oracle应用程序数据库中有某些列，它们被定义为CLOB和NCLOB。如何将CLOB数据类型列从Oracle移动到大查询？我们使用数据流从oracle数据库中提取数据并写入大查询。
浏览 4提问于2020-02-23得票数 0
2回答
我是个数据库新手，需要帮助。我有n个(大)文件，每个文件包含m个(非常大的)文本文件(数字数据)。将这些文件导入mysql数据库的最佳方式是什么？
浏览 0提问于2011-10-30得票数 1
1回答
哪个数据库？
、、
我们必须在我的公司推出一项新的服务，有一个大数据库。
我目前还没有那么多的知识。
我们对服务做了一个小预览，我们最大的表有超过210万行。我们的第二大桌子有30万行。
目前我们的数据库如果只有15 be，但是最终的数据库至少要大75倍。
不需要说我们需要非常快地访问我们的数据库，也不需要快速地运行查询。
您对我们的基础设施(一个大服务器或多个服务器)有什么建议，我们应该使用什么数据库系统？
浏览 0提问于2012-06-24得票数 3
0回答
向量数据库可以用于存储和管理大规模的文本向量数据，原始的长文本内容可以通过文本分割转换成文本段，再由Embedding模型生成对应的向量并存储在向量数据库中，从而构建起外部知识库。
在使用LLM进行训练或预测时，可以从向量数据库中快速地加载和查询需要的文本向量数，这些数据可以作为大模型的外部知识输入，帮助大模型生成更加准确、包含更多私域知识的答案。同时，向量数据库还可以使用一些特殊的算法和数据结构，例如向量索引和相似度计算等，来提高LLM的查询精度和效率。目前，向量数据库已经在很多知名的大模型中应用。
浏览 327提问于2023-08-14
2回答
实体框架和分片数据库
、、、
我有一个运行在实体框架代码优先4.1提供程序之上的WCF数据服务。数据库非常大(一个键表有77+百万条记录，并且以每月约10%的速度增长)，并且呈现出相当大的性能问题。虽然对这么大的数据库进行分片是一件痛苦的事情，但这似乎是不可避免的。我的问题是，有没有人成功地用分片数据库实现了EF，如果是的话，你有什么指导吗？
浏览 12提问于2012-03-03得票数 5
1回答
我目前有一个使用AWS数据库的大型应用程序。我所有的桌子都很小，但是有一张有超过1200万行的大桌子将不断增长，我想把它分成其他的东西。本表用于报告和分析。
我考虑了以下几种选择：
ElasticSearch 为大表创建另一个RDS，将数据库切换到Amazon集群，并使用仅用于大表的读取副本，将大表移动到DynamoDB表将大表移动到Redshift将大表移动到
你们有什么建议？
谢谢!
浏览 2提问于2020-10-28得票数 2
2回答
mySQL-大型数据库
、、、
我需要建立DBMS的指导方针(MYSQL或Server 2008)。预计未来几个月的数据库大小将达到80-100 is。一个主表将包含文本内容，如论文。MySQL能处理这么大的数据库吗?全文搜索能为我提供这样大的数据库吗？我应该考虑MySQL还是其他的？
谢谢
浏览 0提问于2013-04-07得票数 0
3回答
我曾期望使用SQLite会减少使用的数据的总大小，但实际上我看到的CSV表示比SQLite数据库小4mb。
该数据库包含一个包含400,000行的表。该表有四列。
CSV文件大小为19MB，SQLite数据库大小为23MB。如果这个表大10倍，我最好解析CSV文件，而不是SQLite。
为什么SQLite数据库比CSV文件大？
浏览 227提问于2015-02-04得票数 9
回答已采纳
1回答
我有二进制大对象数据的PDF文件在我的数据库中，我想检查数据库中的可用二进制大对象文件是一个有效的PDF文件或没有.can有人为此帮助我。
浏览 0提问于2017-10-25得票数 2
1回答
我希望在我的应用程序中使用NoSql数据库。我搜索过互联网，找到了伯克利数据库，蒙古数据库，红皮书，东京内阁等。有一些建议，使用什么数据库时使用。我发现一些有用的链接是
但是，当值(在键值对中)非常大时，我没有发现哪个数据库表现得很好，比如1MB之类的。
MongoDB对我来说很好，因为它的查询功能。当您存储非常大的文档时，它是如何执行的。
浏览 0提问于2011-06-07得票数 0
2回答
我在数据库中有一个非常大的表，这个表有一个名为"unique_code_string“的列，这个表有将近1亿条记录。
每2分钟，我将收到100,000个代码字符串，它们在一个数组中，它们是彼此独有的。如果它们都是“好”的话，我需要把它们插到大桌子上。"good“的意思是:数组中的所有100,000个代码永远不会发生在数据库大表中。
如果数据库大表中出现一个或多个代码，则整个数组将根本不使用，这意味着数组中的任何代码都不会插入到大表中。
目前，我使用这样的方法:首先执行一个循环，检查数组中的每个代码，看看数据库大表中是否已经有相同的代码。第二，如果所有的代码都是“新的”，那么，我
浏览 1提问于2019-04-10得票数 1
回答已采纳
6回答
我正在使用SQL Express 2005，每天晚上备份所有的数据库。我注意到一个数据库变得越来越大。我看了看数据库，不明白为什么它变得这么大！我想知道这是不是和日志文件有关？
寻找关于如何找出为什么它在没有那么多数据的情况下变得如此大的提示-还有如何优化/减小大小？
浏览 2提问于2009-08-20得票数 13
回答已采纳
我们有一个SQL服务器数据库。要以非编程方式操作数据，我可以使用SQL Server Management Studio，方法是右键单击表并选择“打开表”。但是，对于非常大的表来说，这是很慢的，排序和过滤也很麻烦。
通常，到目前为止，我们所做的是创建一个Access数据库，其中包含指向SQL Server表和视图的链接表。以这种方式打开一个大表要快得多，Access具有易于使用的右键单击筛选和排序功能。
但是，自Access 2007以来，在处理大表时，排序特别慢。Access数据库还可能无意中锁定数据库表，从而阻塞可能需要访问数据的其他进程。首先创建Access数据库，然后在将新表添加到SQ
浏览 5提问于2008-09-02得票数 5
回答已采纳
大容量复制(bcp)和大容量插入有什么区别？
是否有为bcp导出数据库中所有表中的所有数据的开关？
浏览 0提问于2010-01-03得票数 2
回答已采纳
1回答
我要建一个网站。这是一种允许全球用户访问的杂志。数据可能会变得非常大。我使用mySQL数据库作为核心数据库来执行读/写操作，例如添加新用户、添加新文章等等。由于核心数据库中的数据可能非常大，我正在考虑使用Apache作为只读数据库(反正我使用Solr作为搜索引擎)，以便每次用户查看文章、用户配置文件等时读取数据。
这在实践中是一个好方法吗？利与弊是什么？
浏览 3提问于2013-08-31得票数 0
回答已采纳
我使用SSIS将SQL Server 2008 prod数据库中的数据转储到平面文件，然后使用大容量插入将这些平面文件加载到Server 2008 dev数据库中。SSIS包在大容量插入之前运行截断表语句，但当我运行它时仍然会收到以下错误：“该语句已终止。违反主键约束。无法插入重复键。”为什么在截断后会有一个重复的键？在大容量插入之前，我还需要做些什么来清除主键吗？
浏览 0提问于2012-08-03得票数 3
回答已采纳
2回答
我即将开始一个新的项目，它基本上是一个报告工具，应该有一个相当大的数据库。
表的数量不会很大(<200)，大多数数据(80%)将包含在20个表中，所有数据几乎都是只插入/只读(无更新)。
据估计，该表中的数据量将以每分钟240,000条记录的速度增长，我们应该保留其中至少1到3年的记录，以便能够生成各种报告，管理员可以在线查看这些报告。
我没有这么大的数据库的第一手经验，所以我问那些有数据库的人在这种情况下哪种数据库是最好的选择。我知道甲骨文是最安全的选择，但如果有人有数据库方面的经验，比如hadoopdb或Google的大表，我会更感兴趣。请给我引路。提前感谢
浏览 3提问于2012-04-02得票数 4
我试着读到关于把数据导入Aurora的文章。导入带有mysqlimport的sql或csv文件似乎是可用的选项。是否有办法将原始数据库文件以某种方式复制到RDS中，或者为非常大的数据库提供另一种更快的方法？如果不是，对于非常大的数据集，最好的方法是什么？
浏览 0提问于2018-08-23得票数 1
我在同一个服务器上有两个SQL2005数据库(Win2003 64位)。
其中之一是很少使用，但有一个大的数据集。每次我从数据库中查询时，SQL都决定将几组RAM用于数据库，从那时起，它似乎一直保持这种状态，直到重新启动，从另一个更重要的数据库中蚕食RAM。
是否有办法设置每个数据库的RAM限制？
当我从大的、很少使用的数据库中查询时，我不介意是否有一些交换到磁盘。重要的是RAM是为更重要的内存预留的。
浏览 0提问于2010-11-21得票数 1
回答已采纳
1回答
我的数据库MDF文件在600 My左右。LDF文件为147 is。
我很怀疑它是否应该在这附近。
我怀疑这是因为我的主机已经备份了“附加到现有备份集”选项。
如何将数据库缩小到更小的大小？我的主机已经给我发送了.bak文件，我已经恢复了它。
此外，是否有一种方法来检查数据库是否真的这么大，即数据中是否存在导致大容量的数据？
浏览 0提问于2012-08-20得票数 1
我有一个运行在2008下的数据库。现在，我已经看到数据库的日志( .ldf文件)越来越大。数据库文件(.mdf)的大小为630 of，日志文件的大小为12 of。我不知道这是什么原因。有没有一个工具能让我看到我能看到的日志，为什么会有这么大的尺寸？
我能做些什么来防止原木长到这么大的尺寸？
浏览 0提问于2012-03-18得票数 1
回答已采纳
我正在尝试使用Kafka Connect JDBC连接器在我的Postgres数据库中流式传输更改。我在启动时遇到了问题，因为数据库非常大，每次查询都会随着行之间的变化而终止。
在非常大的表上启动JDBC连接器的最佳实践是什么？
浏览 9提问于2018-03-01得票数 0
1回答
快速图像扫描
、、、、
我有一个非常大的图像，我想用一个小模板(T)扫描它，并将其存储在数据库中，然后使用该数据库进行图像重建。但是，如果我想扫描所有的图像，我的模式数据库的大小将非常大。有没有什么解决方案可以减小模式库的大小？或者，有没有办法扫描图像来创建一个更小但更丰富的图案库？
浏览 1提问于2012-09-04得票数 0
3回答
我们有一个ETL进程，它将大量数据插入到表中。该数据库被设置为简单恢复模型，事务日志正在大量增长。我在想，将这个数据库设置为大容量日志恢复模型会有帮助吗？我们每天都要进行全面备份。那么，与简单恢复模型相比，是否存在一些未登录大容量日志恢复模型的操作？
浏览 0提问于2012-02-17得票数 5
回答已采纳
2回答
我们有一个ETL进程，它将大量数据插入到表中。该数据库被设置为简单恢复模型，事务日志正在大量增长。我在想，将这个数据库设置为大容量日志恢复模型会有帮助吗？我们每天都要进行全面备份。那么，与简单恢复模型相比，是否存在一些未登录大容量日志恢复模型的操作？
浏览 0提问于2014-11-06得票数 1
据我所知系统数据库用于保存临时表、中间结果和其他临时信息。
在我的一个数据库实例中，我有一个看起来非常大的tempdb (30 my )。此数据库已超过一周未被修改(如mdf文件上的“上次修改日期”)。在这么长的一段时间内，让临时数据库保持那么大是正常的吗？在我看来，它应该经常更新并返回它正在使用的空间.
我是不是离这里很远，还是Server在做一些奇怪的事情？
FYI:这是一个SharePoint 2010数据库，不确定这是否有区别。
浏览 0提问于2011-02-28得票数 4
回答已采纳
1回答
我希望能够从一个大的json文件中更新用d3生成的图表上的数据和可视化。这些数据来自美国农业部的营养数据库。json文件来源于这里：，它非常大(特别是30 is )。只是装货是个麻烦。Notepad++将其全部加载到(1)行(大约一分钟后)，记事本(约20秒)以糟糕的格式加载它(跨越多行)。能否有效地使用这么大的Json数据库？它会使浏览器崩溃或导致某种装载滞后吗？
浏览 3提问于2013-10-15得票数 0
回答已采纳
3回答
我想听听关于最好的方法的意见。
如您所见，int不能为空。作为Integer的目标。
问题:包含数字的数据库值可以为null，也可以包含数字。当数据库传递null值时，我们将收到和异常声明“原语值不能为空”的异常。
但是当我们使用Integer类时，我们要创建这个对象(当然，这个对象比原始类型int大/大)
所以这给我带来了几个选择。
使用Integer类型.Set数据库列将“默认”Set int设置为默认值，如果数据库中有不同之处，则接受
还有其他建议吗？
浏览 6提问于2011-12-07得票数 1
回答已采纳
4回答
我最近继承了一个环境，它的4000+数据库分布在3个大型物理服务器上的21个实例之间。数据库是根据名称在不同实例之间分布的，因此有些实例比其他实例大几倍。对于所有数据库，架构是相同的，但数据不是。有些数据库只有很少的MB，还有一些是400+GB。
管理层正在考虑是否应该尽可能多地保存每个实例的数据库，是否应该减少大型实例的数量。另一个想法是继续向现有环境中添加小实例，甚至减少每个现有实例中的数据库数量，并增加实例数量。
从管理的角度来看，大实例的数量可能比许多小实例要少得多。另一方面，如果大实例发生了一些事情，那么它上的所有数据库都会受到影响，因此拥有许多小实例可能更安全。
从性能的角度来看，
浏览 0提问于2016-06-21得票数 5
回答已采纳
3回答
我想将一个大的csv/txt/tsv文件导入mysql服务器数据库。该文件位于大学的一台远程机器上，我可以通过ssh访问该机器。mysql数据库(和服务器)位于同一台远程机器上。我一直在尝试使用Navicat将此文本文件导入到远程数据库中，但没有成功。
有没有一种简单的方法，不用先下载(非常大的)文件，然后上传到mysql？
浏览 2提问于2011-07-29得票数 1
2回答
从有标记的数据库中获取行
、、、
我在数据库中有标签列，用逗号分隔：“绿色，大，强”。我知道这不是在数据库中存储标记的最佳方法，稍后我会更改它，但现在我真的需要了解如何获得具有特殊标记的行。例如，在第一行中，列标签是“绿色、大、强”。第二行是“白色、大、强的y”。当我用
"SELECT * FROM tablename WHERE tags LIKE '%strong%'"
它返回第一列和第二列(由于强y)，但我只需要第一列。
浏览 0提问于2018-10-13得票数 0
回答已采纳
我有一个来自数据库的对象列表，我想使用filter()类的Stream方法过滤这个列表。新对象将不断添加到数据库中，因此对象列表可能会变得非常大，可能会有数千个对象。我想使用parallelStream来加速过滤过程，但是我想知道对象列表大约应该有多大才能利用parallelStream的优点。我读过关于它的这篇文章：，在这个线程中，他们一致认为，如果您想从使用并行流中获益，数据集应该是非常大的。但是大的有多大呢？假设我有200条记录存储在我的数据库中，我检索它们全部用于过滤，在这种情况下使用并行流是否合理？如果没有，数据集应该有多大？1000? 2000？我很想知道。谢谢。
浏览 0提问于2018-07-23得票数 3
回答已采纳
2回答
我在Windows 2008上使用Server 2008。我发现临时数据库mdf和temp非常大(大约13G)，它几乎与所有其他实际应用程序数据库文件(mdf+ldf)的大小相同。
我的问题
，temp是用来做什么的？是正常情况下，temp这么大吗？如果没有，有什么方法可以在不影响系统性能和可靠性的情况下清理临时数据库？
谢谢你，乔治
浏览 0提问于2010-06-26得票数 1
回答已采纳
我在本地服务器中有一个MySQL实例。为了提高性能，我只为MySQL添加了一个SSD。
现在，我需要用我的数据库(数据有25 my )迁移MySQL实例。
最好的办法是什么？我考虑过导出数据，然后在SSD中重新安装MySQL并再次导入数据。但是如何是一个大的数据库，我将有一个大的停机时间。
还有别的办法吗？
浏览 0提问于2020-01-29得票数 0
将大查询表中的数据加载到其他数据库的方法有哪些？将数据从big-query加载到其他数据库所需的步骤
浏览 13提问于2019-01-23得票数 0
2回答
我有一个相当大的数据库项目，其中包含九个数据库和一个具有相当大模式的数据库。
这个项目需要花费大量的时间来构建，我正准备把我的头发拉出来。我们希望保持对数据库源代码的控制，但在签入之前很难让其他开发人员使用该项目并构建数据库项目，因为它需要很长时间才能构建。
它严重影响了我们的工作，所以我正在寻找替代方案。也许Redgate的SQL Compare可以做些什么呢？我认为这里唯一的缺点可能是它没有验证语法？任何人的想法/建议都将不胜感激。
浏览 1提问于2010-05-27得票数 5
回答已采纳
我在SQLServer2008R2中有一个非常大的生产数据库和一个非常大的测试环境数据库。这两个数据库都有相似的表结构，但用户/登录/权限/角色不同。
我只需要定期刷新测试数据库中的几个表，大约每月一次。
目前我计划这样做的方式是
使用BCP实用程序从生产中导出我需要的表。
将bcp导出文件复制到测试服务器上。
禁用测试中正在刷新的所有表的索引和约束
截断测试数据库表
使用BCP将数据加载回测试数据库表。
在测试中重建索引和重新启用约束
对于这么小的任务来说，这一切似乎有点太复杂了。它似乎也会产生大量的重做(在t-日志中)，有更好的方法来做到这一点吗？
另一种我认为这样做的方法是将一个备份从生
浏览 0提问于2015-10-09得票数 12
我正在尝试从PostgreSQL数据库中删除所有大对象。
我们使用大型的图像数据集。最初，这些对象与它们的元数据一起作为大型对象存储在postgres中。我正在将这些数据库转换为仅存储对映像的文件系统引用，以便更好地管理数据库与映像数据之间有时会发生冲突的磁盘需求。
在导出所有大对象、创建对它们的引用并进行测试之后，我准备删除这些大对象。
我试着写了一个函数，允许我删除所有它们，但无济于事。这似乎是有效的，但因为并不是范围内的每个数字都对应于一个大对象，所以它倒了。
CREATE OR REPLACE FUNCTION "DeleteLOs"() RETURNS INTEGER
浏览 3提问于2015-10-15得票数 7
回答已采纳
向量数据库因为AI大模型最近很火。向量数据库是一种专门用于存储、 管理、查询、检索向量的数据库，主要应用于人工智能、机器学习、数据挖掘等领域。向量是一组数值，可以表示一个点在多维空间中的位置。
简单理解就是在AI的世界中，处理的所有数据都是向量的形式，比如“我爱吃荔枝”，在大模型处理的过程中，计算机会转化为向量的形式：
我:[0.1, 0.3, -0.2, ..., -0.1]
喜欢:[-0.3, 0.5, 0.2, ..., 0.4]
吃:[0.4, -0.1, 0.2, ..., -0.3]
荔枝:[-0.4, 0.3, 0.2, ..., 0.3]。
相对传统数据库，向量数据库不
浏览 452提问于2023-08-14
我正在建立一个数据库，遇到了一个问题，我需要帮助来解决。该数据库客户希望能够将图片链接到特定的记录。我有它，所以图片不是OLE对象，而是链接到他们的网络drive...So上的图片文件夹，基本上图片将是文件路径的超链接...
我的问题是，有谁知道我可以让数据库自动将图片重新格式化为600 x 800大小，以帮助节省空间？我们都知道，如果我不强迫数据库为他们做这件事，它就不会发生，而且可能会占用宝贵的空间，因为这个数据库预计会变得相当大。所以我想让图片文件夹尽可能的小，给数据库更多的空间。
浏览 0提问于2018-11-09得票数 1
大型Mysql数据库是否会影响其他小型Mysql数据库的性能？
假设我有10个mysql数据库；其中一个数据库非常大，比其他数据库受到的攻击更多。大型数据库会影响小型数据库的性能吗？应该将Mysql性能看作是一个基于数据库的性能吗？
谢谢
浏览 0提问于2021-12-20得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
