作为后台任务，我需要按索引顺序遍历实体的一个相当大的数据集。(实体数量约为200,000+)
我知道使用GAE以及可能的后台实例是可行的，但我有时会遇到DataStoreUnavailable和超时异常，我正在寻找一种使用TaskQueue API在后台迭代和更新的可靠方法。
了解迭代的进度对我来说也非常有用。
我也知道实验性的Java Map Reduce API，但乍一看，这似乎更像是一个并行处理API，而不是有序的。)如果我说错了，请纠正我。Java Map Reduce示例目前似乎很少)
有没有具体的例子或好的模式来做这类工作？
浏览 3提问于2013-04-26得票数 1
1回答
让我们想象一下，我们有一个大的数据结构(让我们称之为Configuration)和各种客户端类(让我们称之为Services)。每个服务只需要一个或两个来自Configuration的字段。
如果我们将整个Configuration对象注入到各种Service，这是否违反了ISP？Configuration在技术上是一种数据结构而不是字面的Java接口，这一事实是否改变了ISP背后的基本点？
我所面临的实际困境是如何将配置提供给系统的各个部分。我可以选择使用Spring的@Value注释，通过这个注释，每个组件都精确地得到了它所需要的东西，而没有别的东西了。我的第二个选择是使Configura
浏览 6提问于2021-09-18得票数 2
回答已采纳
鲍勃叔叔的面向对象原则()描述了：
班级设计的五大原则
封装设计的六大原则(释放重用等效原则、通用闭包原则等)
该条规定：
在这种情况下，包是一个可以交付的二进制文件，比如.jar文件，或者是一个dll，而不是像Java或C++名称空间这样的名称空间。
这是否意味着6“包原则”根本不适用于包(这些包是用关键字包定义的)？这是否意味着以这种方式应用这些规则是错误的？如果是的话，你能指出在哪里可以找到这样的命名空间包原则吗？
浏览 6提问于2014-09-19得票数 2
我试图对一个非常大的数据集做一些汇总统计，在这里我需要生成包含2列的数据的每一行的中间值，然后将其存储为dataframe。我反复地这样做，但它花费的时间太长，破坏了我的系统。
为了避免缓慢的for循环，我尝试使用mapply，如下所示：
Center_Point<-mapply(median, c(File$V2, File$V3))
但是它只返回单个值的中值，而不是这两列共享的行的中值。对于任何应用函数，是否有一种方法可以做到这一点，或者我应该切换到像Java这样更快的地方呢？
浏览 0提问于2016-02-20得票数 1
回答已采纳
我很难在java.util.Date和clj-time之间实现互操作。
我有第一个原始数据，这是java.util.Date的一个实例，让我们来看看：
(def date (new java.util.util.Date))
我想把它转换成clj时间对象，所以我做到了：
(def st-date (.toString date))
产出：
"Mon Mar 21 16:39:23 CET 2016"
我定义格式化程序
(def date-formatter (tif/formatter "EEE MMM dd HH:mm:ss zzz yyyy"))
我想一切都
浏览 6提问于2016-03-21得票数 0
回答已采纳
我有一个已有的smt2文件，并用z3 java api解析了这个，解决了这个问题。但我有一个关于如何将FuncDecl转换为Expr的问题，因为我想使用z3 java apis构建一些简单的公式。因为我的原始公式完全是用smt2文本文件编写的，所有内容都被解析到一个BoolExpr中。现在，我成功地提取了const，并且需要用新的公式来处理它们。我该怎么做呢？基本上，我正在寻找的是如何从FuncDecl构建Expr，或者是否有一种方法可以将其转换为Expr？有什么官方的java api文档吗？我知道有一个使用z3 java api的例子，但在这么大的例子中寻找特定的api描述是相当痛苦的。
浏览 0提问于2013-12-13得票数 1
1回答
jqGrid将大列显示为行
、、、、
我们使用的是使用jqGrid 4.6.0的struts 2 jquery grid 3.7.0插件
网格有一列，其中包含非常大的数据，是否可以将这一大列显示为一行。
如下所示
虽然它看起来像是分组，但事实并非如此。
我想知道这是否可能？！
我尝试使用formatter，但从formatter返回的所有数据都保存在一个单元格中。
浏览 2提问于2017-07-04得票数 0
1回答
大查询-转置数组为列
、、、
我们在大查询中有一个表，如下所示。
输入表：
Name | Interests
-----+----------
Bob | ["a"]
Sue | ["a","b"]
Joe | ["b","c"]
我们希望将上面的表格转换成下面的格式，使它更加友好。
目标/所需表格：
+------------------+
| Name | a | b | c |
+------------------+
| Bob | 1 | 0 | 0 |
| Sue | 1 | 1 | 0 |
| Jo
浏览 4提问于2020-10-14得票数 1
回答已采纳
1回答
这与非常相似。
我正在Dataflow 2.x中创建一个管道，它接收来自Pubsub队列的流输入。输入的每一条消息都需要通过来自Google BigQuery的非常大的数据集流，并在写入数据库之前将所有相关值(基于键)附加到该数据集中。
问题在于，来自BigQuery的映射数据集非常大--任何将其用作侧输入的尝试都会失败，因为数据流运行程序会抛出错误"java.lang.IllegalArgumentException: ByteString太长“。我尝试了以下策略：
1)侧输入
如前所述，映射数据(显然)太大，无法做到这一点。如果我错了，或者有一个解决办法，请告诉我，因为这将是最
浏览 4提问于2017-11-27得票数 12
数据与大查询一样
输出需要
要求每个人设计一个查询，以便在大查询中获得所需的输出
浏览 3提问于2022-10-27得票数 -1
我正在尝试使用weka对文本进行分类。我要做的是：
我在大ARFF文件上创建了所有数据：all_of_it.arff。
我将数据分成训练和测试：train.arff和test.arff
我在培训集上进行了特性选择，并输出了一个新的培训文件：train_fs.arff
我构建了一个分类器，其中只包含了所选的特征。
问题是..。
我不太知道如何标准化测试集，只使用我从培训集中选择的特性。根据test.arff train_fs.arff的说法，从创建新的测试文件。
*我试着用
java -cp weka.jar weka.filters.unsupervised.attri
浏览 3提问于2013-02-18得票数 1
我想在Azure Dataset中使用REST数据集的一些更高级的特性(主要是分页)，但是我看不到在哪里使用证书身份验证。我有一个HTTP数据集可以很好地处理证书身份验证，但唯一的选项似乎是：
匿名
基础知识
AAD服务校长
托管身份
有什么方法可以通过证书使用AAD服务主体或托管标识吗？也许我可以用高级设置来做这个？
文档称，与REST连接器相比，HTTP连接器的功能要差一些，但这似乎是REST版本中的一个相当大的遗漏。
浏览 0提问于2020-03-22得票数 0
回答已采纳
下面是我的场景:我有一个通过连接4个表返回数据的存储过程。一天中有两次，上面的4个表中有一个大容量上传到，一个。负荷持续10-15分钟.我不希望调用这个存储过程的UI在这个10-15分钟的窗口中冻结/阻止/减速。我不关心从上表中显示脏/未提交的数据。以下是我的问题：
我是否只需要在白天加载的表上使用NOLOCK，或者NOLOCK需要添加到连接的所有4个表中。例如：
选择*从Table1 T1 WITH (NOLOCK)
还是这就足够了
从Table1 T1 WITH (NOLOCK)中选择*-这是在一天内连接Table2 T2内部连接Table3 T3内部连接Table4 T4期间大容量加
浏览 1提问于2013-08-05得票数 3
回答已采纳
1回答
我有一个Amazont2.运行RHEL7的微实例。我想将实例类型从t2.micro升级到一个m3大实例。我想对m3大型实例使用相同的驱动器，因为我在那里安装了所有的软件。
从本页的中，我发现m3大型使用SSD存储，t2微使用EBS存储。有没有办法克隆连接到t2.mirco的EBS中的驱动器，以便在m3大型实例上使用完全相同的数据。
浏览 3提问于2015-03-25得票数 0
回答已采纳
在我的公司中，我们使用内部wiki，我需要添加一个表，但是该表非常大，超过100列，因此当您想查看所有数据时，您可以水平滚动，但所有的页面都是滚动的。在wikitext中是否有一种使表仅可滚动的方法？
浏览 6提问于2016-04-15得票数 0
回答已采纳
5回答
我正在从一个java应用程序中写出一大堆数据，这些数据可以被最终用户使用，可以是文件、控制台或任意监听程序。如果允许用户指定他们希望如何使用这些数据，那就太好了。人们对这类问题采取了什么方法，有没有一个很好的开源解决方案？我可以看到一些简单的东西，比如使用带有不同附加器的log4j等等。
浏览 0提问于2009-11-03得票数 0
回答已采纳
3回答
我试图清理我的数据，有一列名为“房间类型”( room Type)，它有大约160-170个不同的值，应该只有10或15。例如，大多数数据都有这样的数据；一个房间以不同的方式输入：
"Single room level 1"
"Single room level 2"
"Single room Street Side"
“1层大床房”“2楼大床房”“套间街侧”“套房(包括迷你酒吧)”
我想清除所有的子数据，如层或街道侧，我希望我的数据集显示如下行：“单人房”“大床房”“大床房”“套房”“套房”
我想这样做，这样就更容易使用groupby函数，并根
浏览 2提问于2020-10-14得票数 0
回答已采纳
1回答
我正在使用OpenRefine做一些数据准备。我有几十个列需要使用相同的GREL表达式value.replace("text to be replaced","new text")进行清理。
如何一次将GREL表达式大容量应用于所有列？
浏览 1提问于2015-09-20得票数 2
回答已采纳
1回答
我有一个数据帧列表(6个子数据帧)和一个自定义函数列表(func1~func5)。有没有什么简洁的方法可以编写一个双循环，这样每个数据帧就可以传递给每个函数，并输出一个大的列表？
我在下面试过了，但不能工作
df_list <- (mget(paste0('df',1:6)))
func_list <- list(func1, func2, func3, func4, func5)
df_func <- lapply(df_list, func_list)
浏览 11提问于2021-03-02得票数 0
回答已采纳
2回答
我正在用非常大的数据测试数据结构的性能。
作为临时解决方法()，我想将内存写入磁盘。
我想用非常大的数据集进行测试--如何才能在java虚拟机耗尽内存时将其中的一些数据写入磁盘？
浏览 0提问于2013-04-04得票数 3
我有一个相当大的数据框，其中既有数值，也有分类值。我正在尝试对分类值进行编码，但得到了上面的错误。
下面是代码的一个简单版本：
from collections import defaultdict
d = defaultdict(LabelEncoder)
# Encoding the variable
fit = df[catgoricalValues].apply(lambda x: d[x.name].fit_transform(df[catgoricalValues]))
我使用的是描述的方法，只是我指定了要编码的列，而不是将其应用于整个数据帧。
我得到了这个错误：
ValueErr
浏览 0提问于2020-08-28得票数 0
我的文字到语音软件会在客户端产生声音。
如何允许用户下载存储在ArrayBuffer中的生成的声音？
另外，如果生成的数据总量比我大，那么不能将其流到硬盘，而不是存储在RAM中。有可能吗？
浏览 0提问于2018-05-01得票数 1
回答已采纳
我正在与MediumTopAppBar合作，我试图改变大标题的textStyle，而不破坏小标题。
所以我要做的是：
MediumTopAppBar(
title = { HeadlineLargeBlackText(text = "pageTitle") },
navigationIcon = {
IconButton(onClick = { onBackPressed.invoke() }) {
Icon(
浏览 16提问于2022-11-07得票数 2
回答已采纳
1回答
我已经使用定义的、计算的和正常的R表达式手动计算了两个数据集的方差。
set.seed(12345)
n <- 1e7
df <- tibble(
small = rnorm(n, mean=100, sd=1),
large = rnorm(n, mean=1e8, sd=1)
)
#Definitional
varFuncd <- function(x) {
x <- as.numeric(as.character(x))[!is.na
浏览 2提问于2020-04-13得票数 0
1回答
我正在为我的android应用程序添加一种降噪机制，以保存野生动物的声音。
然后，我考虑直接在我的java代码中添加C++奥迪噪声降噪算法，并且只考虑到奥迪的这一部分。该文件可在这里公开使用：。在我看来，这个算法似乎很好，但也有一些可以接受的缺点。
当然，我可以将它移植到java，但是它有许多递归的includes，而且它将是(相当大的？)慢点。不值得这么做。
这有道理吗？修改代码会太难吗？
浏览 8提问于2022-06-16得票数 0
我没有一个非常大的数据集。我想使用多项式回归，在不到数百个集合上使用数千(6到25)个数据点。当我将其与原始数据进行比较时，35次的多项式回归给了我一个相当好的结果。将学位提高到35度有什么问题吗？(使用Matlab polyfit，我正在尝试一个较小的向量，大约9k个数据点。)
浏览 0提问于2018-04-06得票数 0
1回答
我使用()将我们的数据存储日志加载到大查询( big )，并将数据存储实体导出到大查询中，但是我仍然坚持将数据流到大查询。错误在BigQueryIngester.java中指向的相关行：
response = bigquery.tabledata().insertAll(projectId, datasetId, tableId, content).execute();
这是一个NullPointerException，我不知道是怎么回事。有人能给我个提示吗？
Uncaught exception from servlet java.lang.NullPointerException at
浏览 2提问于2013-12-16得票数 0
回答已采纳
我想使用MongoDB的MapReduce功能并访问大量数据。我使用的是
INLINE OutputType
MapReduceCommand cmd = new MapReduceCommand(dbCollection,
MapReduceTest.map,
MapReduceTest.reduce,
null,
MapReduceCommand.OutputType.INLINE,
query);
这在处理
浏览 0提问于2014-05-07得票数 2
我有一个数据流作业，它从bigquery表(在大表之上创建)读取。数据流作业是使用java中的自定义模板创建的。我需要处理bigquery的大约5亿条记录。我面临的问题甚至是读取100万条记录，大查询读取需要26分钟，数据流工作需要36分钟。在大查询中读取太慢。
任何关于如何提高阅读性能的建议。
浏览 10提问于2022-12-02得票数 1
1回答
我正在尝试创建一个事务和产品组矩阵，但是我有一个非常大的事务数据(超过10,000,000行)和大约100个产品组。当我尝试使用以下代码创建枢轴表时
df.pivot(index='transaction_id', columns='product_group', values='ratings')
它返回的值错误“未堆叠的DataFrame太大，导致int32溢出”
除了缩小数据的大小之外，还有其他方法来处理这个问题吗？
谢谢!
浏览 1提问于2021-06-11得票数 1
我有一个非常大的数据帧，它的列值都是集合set()。例如： index val1 val2
1 {reg, sgs} {dsggs, sgsg}
2 {34, gsg} {sdg, 23} 我只想获取它们的元素或值。做这件事最简单的方法是什么？ index val1 val2
1 reg, sgs dsggs, sgsg
2 34, gsg sdg, 23 谢谢
浏览 11提问于2020-12-05得票数 1
1回答
我希望对时间序列使用模板匹配，并且我希望能够将其移植到非常大的数据集。目标是在相对较长的时间序列中寻找许多相对较短的一维模式。关于如何在Dask中做到这一点，有什么建议吗？我的意思是像这样的东西有很多other和split_every等于或小于other的长度……
谢谢!
浏览 2提问于2019-10-18得票数 0
1回答
我们的数据中有一个类似2021-05-03T14:25:30.195737792Z的时间戳，大查询(```CAST('2021-54-03T14:25:30.195737792Z' AS timestamp)```)失败时会出现以下错误：
无效时间戳：'2021-05-03T14:25:30.195737792Z‘
如何将以纳秒为单位的时间戳转换为UTC格式的微秒？
浏览 2提问于2022-04-05得票数 1
回答已采纳
df.write.option("header",True) \
.option("maxRecordsPerFile", 100000) \
.partitionBy("customer") \
.mode("overwrite") \
.csv("/mnt/Output/")
根据customer列，我正在使用上面的pyspark脚本将我的大CSV文件分割成小块。我正在使用Azure数据砖。
maxRecordsPerFile选项不起作用，它在每个
浏览 18提问于2022-10-12得票数 0
1回答
我一直试图使用大于2gb的MediaHttpDownloader下载一个文件。下载了一段时间后，我的内存出现了错误。我认为这是由于mediaHttpDownloader试图将其写入Outputstream，因为输出流无法处理这么大的数据。
代码：
MediaHttpDownloader mediaHttpDownloader = new MediaHttpDownloader(HTTP_TRANSPORT, new HttpCredentialsAdapter(credentials));
mediaHttpDownloader.download(requestUrl, outputStrea
浏览 16提问于2022-09-22得票数 -2
我是GCP新手，需要一些帮助来解决我的问题。
我正在创建CSV文件，json文件和java脚本文件，并上传到GCP存储桶中。创建“云存储上的文本文件到大查询”数据流模板以将数据填充到bigquery中。
我需要一些帮助转换的日期格式从DD-MM-YYYY到YYYY-MM-DD在大查询中使用‘文本文件在云存储到大查询’数据流模板在GCP中。
浏览 12提问于2021-06-12得票数 0
我使用Java构建了一个JFreeChart直方图，但是我对大型数据集有一个问题。例如，这是大数据集和小数据集之间的区别：
这是一个小数据集的直方图：
但是，当我有一个非常大的数据集时，结果是：
当我有一个大的数据集时，有没有办法将直方图分割成较小的部分？
浏览 2提问于2016-03-07得票数 1
回答已采纳
1回答
我希望将上一行与dataframe中列的当前行进行比较，并在低值之后单独对较高的值进行子集。数据是这样的
> head(counts[,c(2,10:12)],n = 10)
event_time CLD_Line1 CLD_Line2 CLD_Line3
1 2015-05-01 05:34:00 756 325 735
2 2015-05-01 05:39:00 764 330 742
3 2015-05-01 05:44:00 773 333
浏览 2提问于2017-11-20得票数 0
回答已采纳
我使用非常大的位图，并且我将数据存储在一个大的int[]中。图像可能真的很大，我不能对它们进行下采样(我要通过网络获取位图并渲染它们)。
我遇到的问题是在非常大的位图(位图大小= 64MB)上，我尝试分配大小为16384000的int数组。我正在三星Galaxy SII上测试它，它应该有足够的内存来处理这个问题，但似乎有一个堆大小的“上限”。Runtime.getRuntime().maxMemory()方法返回64MB，因此这是此特定设备的最大堆大小。
API级别设置为10，所以我不能使用在其他地方建议的android:largeHeap属性(我甚至不知道这是否有用)。
有没有办法分配超过6
浏览 0提问于2011-11-07得票数 2
回答已采纳
1回答
我无法让我的代码正常工作，我尝试了所有的方法，但似乎都不起作用；
我的代码: 1. SpelerOpstelling.java
package model;
import org.hibernate.annotations.Cascade;
import javax.persistence.*;
@Entity
@Table(name = "SpelerOpstelling")
public class SpelerOpstelling {
private int SpelerOpstellingID;
private char positie;
private St
浏览 0提问于2011-10-27得票数 0
回答已采纳
当处理减速器时出现以下错误时，大容量负载发生故障。我们正在M5集群上运行mapreduce，试图更新一个m7表。
java.io.IOException: bulkLoaderClose() on '/home/test/account122' failed
with error: Function not implemented (38).
at com.mapr.fs.Inode.checkError(Inode.java:1611)
at com.mapr.fs.Inode.checkError(Inode.java:1583)
at com.mapr.fs.Ino
浏览 8提问于2015-12-29得票数 0
回答已采纳
是否可以开发一个数据库应用程序来演示使用前端: Java，后端: Oracle存储和检索BLOB (二进制大对象)和CLOB (字符大对象)对象
我已安装Netbeans7.3.1和Oracle 11g
浏览 0提问于2013-10-15得票数 0
我们将Java文件转换成Kotlin文件，然后编译成类文件。生成的类比原始的Java类文件大。在Kotlin类文件中，我们在每个类中都找到了元数据。为什么Kotlin要存储这些元数据？
浏览 11提问于2017-07-13得票数 3
回答已采纳
我正在使用RN 50。我有一个height为40的TextInput。但是文本没有我的textInput那么大。我尝试过allowFontScaling={true}，但不起作用。所以我希望这些字母和我的TextInput高度一样高/大。
浏览 6提问于2017-12-30得票数 0
我正在做一个概念验证项目，使用graphql-java来实现GraphQL接口的后端。在我的项目中，我从其中检索数据的持久层是一个专有的API，它具有类似于映射的操作，我想根据这个专有的API编写自定义的数据获取逻辑。
我的根级查询的运行时连接如下所示：
RuntimeWiring wiring = newRuntimeWiring()
.type("query", builder -> builder
.dataFetcher("myQuery", new MyQueryFetcher()))
.build();
get(
浏览 2提问于2018-09-12得票数 3
我希望构建基于Oracle Coherence网格中两列检索不同值的查询。例如，网格包含列InvoiceID、ProductName、Description、BookedAtTime，由(等)更新。
检索不同值的列组合为ProductName- BookedAtTime，因此应该提取具有不同产品和BookedAtTime的任何记录。这是一个包含数百万记录的大容量网格，我需要在一定的时间间隔内继续查看新的值。
我试图探索一致性文档以找到构建此查询的方法，我可以找到DistinctValues filter 。
但是，构造函数只允许字符串。我需要知道哪个过滤器可以用来构建
可用于提取值的查询。
浏览 2提问于2014-08-16得票数 0
2回答
我正在使用Java中的一些算术操作，它们需要处理非常大的数字。
请参阅下面这个简单的代码片段：
// A = a^k mod p
double k = 96 , a = 13 , p = 353 ;
double A = (Math.pow(a,k))%p;
System.out.println(A);
这个印的是29.0。
当我使用windows计算器时，它为(13^96) % 353返回58.0。我知道计算器是正确的。
为什么这个Java代码会打印一个不正确的结果？
浏览 1提问于2018-04-27得票数 0
回答已采纳
最近，我想处理一些TCGA数据，并绘制一些KM生存图。但我意外地发现了一些奇怪的东西：
>dat3
TUMOR_STAGE OS_MONTHS OS_STATUS ADORA2B ENTPD1
TCGA.HQ.A2OE.01 38.57 0:LIVING 45.6397 643.4637
TCGA.FJ.A3Z9.01 12.65 1:DECEASED 25.3327 982.4690
病例列表中患者肿瘤分期数据中有2个空字符串，它们确实是空引号("")。
>
浏览 0提问于2021-06-08得票数 0
我很难在NEST 2.0上找到好的细节，NEST 2.0是我使用的Elasticsearch 2.2的包装器。我的问题是:我是否可以对一个对象(具有公共数据成员的类)执行大容量插入，然后将其映射到Elasticsearch，其中只有我的C#类和ES服务器映射之间的映射字段才能保存？它不会在我的课堂上添加我不想要的额外字段？
现在，我有一个带有字符串和双行的类，以及其中的其他类的列表。我想保存字符串和双变量，但不包括批量插入到Elasticsearch中的列表。它想要保存我班上每一个字段中的每一块数据。是否有类成员属性或其他方式来表示“如果没有映射就不要添加此字段”？要是那样就好了。
浏览 7提问于2016-03-25得票数 3
回答已采纳
我的DynamoDB表如下所示：
ID -> String
status -> (READY, DONE, IN_PROGRESS, FAILED)
other attributes..
我将数据保存到DDB中如下所示：
DDBClass class = new DDBClass();
class.setId("ID");
class.setStatus("READY");
DynamoDBSaveExpression saveExpression = new DynamoDBSaveExpression();
Map expectedExpres
浏览 33提问于2018-07-27得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
