我们有一个相当大的表，我们正在用SSAS数据挖掘对其进行预测。
我们正在努力获得得分的测试&以有效的方式培训验证的案例。是否有一种不调用(预测联接)算法的方法()？
例如，如果输入数据集有以下列：
(顾客，国家，年龄，性别，BuyAmount)我想要.
(顾客、国家、年龄、性别、BuyAmount、BuyAmountPredicted、概率)
这必须是可能的，因为这是在模型处理期间完成的，而且ir可能用于生成验证图表，例如SystemGetClassificationMatrix。
如果我们谈论的是数十亿行，这将是一个很大的性能改进。
避免重复计算(预测联接将对每一行执行模型)
浏览 3提问于2016-05-24得票数 1
我喜欢Weka的视觉数据探测功能(它能快速给您提供一英里高的空中视图来查看所有变量的分布)。
我有一个0.5gb的数据集，而Weka无法加载它(在64位Windows PC上有16 on的RAM)。
对于Weka的粉丝们来说，对于非常大的数据集，最接近的“视觉数据探索”选择是什么？
(FWIW -当Weka在加载一个非常大的数据集时失败时，我做了所有建议的事情，例如增加Java堆大小等。)
更新:我尝试了RapidMiner Basic (它是开放源码的，免费的)，这起作用了。
浏览 0提问于2016-04-13得票数 1
1回答
我在https://ethermine.org上使用我的几个GPU进行了挖掘，在研究如何提高挖掘效率的同时，我在GitHub (https://github.com/Atrides/eth-proxy)上发现了一个民族代理项目，该项目的哈希率增加了20%。请有人解释一下民族代理是什么/做什么，如果它仍然是一件事情，因为项目自2016年以来就被放弃了。它的功能是否被Stratum V2所取代？据我所知，在池中挖掘时，我的GPU彼此独立地挖掘，而代理允许它们在一大块计算中协同工作？不好意思，我还在学习诀窍，显然对采矿有基本的了解。
浏览 0提问于2021-03-31得票数 0
1回答
这不是一个代码问题，而更多的是一个“我需要考虑这个”的问题。
据我所知，Apriori挖掘算法属于关联挖掘的范畴，这意味着它使用基于数据中的关系的规则来提取信息。
当我对它们进行研究时，它们看起来都惊人地相似，那么有什么区别呢？它们是不同的东西吗？如果是这样，是什么让Apriori独一无二的？
浏览 1提问于2015-11-30得票数 0
这是否一个合理的问题呢？我知道大多数NoSQL数据库都有不同的本体，这使得它们更适合您的设计堆栈的某些部分。
我知道有四大类型的NoSQL：
Graph-oriented 键值列Document
目前，我很难理解用例和它们之间的比较优势。
浏览 8提问于2011-07-13得票数 3
回答已采纳
1回答
我有一个MySQL格式的表，其中包含以下列：
id int(11)
contract_id int(11)
datetime datetime
open decimal(18, 10)
high decimal(18, 10)
low decimal(18, 10)
close decimal(18, 10)
该表相当大(> 3亿行)，但是在数据库中进行的查询即使返回300,000行，也会在半秒内执行。然而，当我从Python中检索数据时，速度非常慢(同样的请求从MySQL工作台的0.5秒到Python的34秒)：
import pandas as pd
import mysql.con
浏览 1提问于2015-10-17得票数 5
1回答
我的任务是映射一个相当大的数据库模式(大约250个表)。我可以让Visio反向工程数据库，但是有太多的表让它映射整个数据库。我知道Server有映射的能力，但是它能映射整个东西吗？还有其他软件可以处理更大的数据库吗？
浏览 0提问于2017-01-13得票数 -1
1回答
我在BSC上看到了一些关于比特币的动作(类似于灵巧工具，但对于bsc，它显示买卖)。只要这枚硬币有大买卖，就会有(套利)？？)bot在这一大交易之后将其交易准确地定位于一个位置(例如，一个正常人在该区块的索引43处卖出了大量，这个bot的索引将位于同一区块的44个，总是在大卖出之后的一个位置，并从中获利)。
我想知道的是，这个bot (使用最低限度的气体)是如何在一次大的卖出之后始终准确地定位他们的交易的？我知道这不是一个更高的情况，因为机器人使用的是正常的汽油费。我也曾在ethereum上看到过这样的机器人，它们的事务总是直接发生在uniswap上的大交易之前/之后(例如)。
谢谢。
浏览 0提问于2021-07-22得票数 1
1回答
查找具有名称和内存的特定客户端获取客户端pIdKill pId
我能在终点站内杀死那个过程吗。
我试过的
ps aux | grep leagueClientUxHelper | awk '{print $2}'
但我无法得到大的记忆过程。
处于激活状态的相同进程名称：
浏览 1提问于2020-04-20得票数 0
以太如何处理网络分裂？或者说，海底电缆被切断的一次大停电使1/3或更多的节点离线。
发送的事务是否继续由现有的完整节点/矿工处理，还是网络工作会停止？
浏览 0提问于2018-07-31得票数 0
1回答
我听说Ethereum挖掘是抗ASIC的，因为它需要内存硬散列算法。然而，为什么矿工不能购买大的DRAM，并将内存专用于ASIC挖掘？是什么阻止矿工制造一个与大DRAM配套的专用集成电路？
提前谢谢。
浏览 0提问于2017-05-29得票数 21
回答已采纳
2回答
扩展算法所需的概念和工具
、、、、
我想开始思考如何扩展我为数据分析编写的算法，以便它们可以应用于任意大的数据集。我想知道实现这一点的相关概念(线程、并发、不可变数据结构、递归)和工具(Hadoop/MapReduce、Terracota和Eucalyptus)是什么，以及这些概念和工具是如何相互关联的。我对R、Python和bash脚本以及C和Fortran编程有基本的了解，尽管我也熟悉一些基本的函数式编程概念。我是否需要改变我的编程方式，使用不同的语言(Clojure、Haskell等)，或者只是(或者不是那么简单！)采用像R/Hadoop (HRIPE)这样的东西...或者为Python编写包装器以启用多线程或Hadoop
浏览 2提问于2010-03-10得票数 5
回答已采纳
每次我尝试部署truffle migrate --reset我的Organization.sol合约时，我都会得到以下错误
Error encountered, bailing. Network state unknown. Review successful transactions manually.
我在谷歌上搜索了这个错误，很明显这是由于合同大小的原因。我的Organization.sol甚至没有那么大；我以前见过更大的合同。
这是我的合同：
有什么线索吗？
浏览 1提问于2017-11-01得票数 6
到目前为止，我的印象是机器学习算法(gbm，随机森林，xgboost等)可以处理数据中存在的不良特征(变量)。
在我的一个问题中，大约有150个特征，如果我使用所有的特征，使用xgboost我会得到大约1的对数损失。但是如果我删除大约10个不好的特性(使用一些技术发现)，我观察到.45的对数损失。这是一个巨大的进步。
我的问题是，糟糕的特性真的能造成如此大的差异吗？
浏览 2提问于2016-02-27得票数 2
5回答
数据挖掘书籍
、、
我对数据挖掘很有热情，我读过一些像编程集体智能这样的书，我想知道更多的好书，特别是实用的，关于数据挖掘和人工智能的。任何提示都将不胜感激。谢谢。
浏览 0提问于2011-08-23得票数 5
回答已采纳
TL;DR:有没有人见过模式迁移和数据迁移失败过，Southv.0.8.4提高了一个ValueError:日子已经超出了一个月的范围？
我正在开发一个相当大的应用程序，它让很多开发人员同时工作--所以这很可能是一件更复杂的事情，而且我在源代码方面所能分享的东西有限，所以对于这个粗制滥造的问题，我向大家道歉。我需要更新一个CharField以增加它的最大长度，就像昨天我运行的那样：
python manage.py schemamigration <appname> update_char_field_ length --auto
虽然昨天创建了相关的表格，但今天我得到了：
Valu
浏览 3提问于2015-07-01得票数 1
回答已采纳
4回答
我在看JDM。这仅仅是一个与其他执行实际数据挖掘的工具进行交互的API吗？或者这是一组包含实际数据挖掘算法的包？
浏览 2提问于2009-07-21得票数 11
回答已采纳
1回答
大-小的价值呢？
、、
因此，当n(输入大小)足够大时，大O将告诉您一些关于最坏情况下的性能的信息，如
。但是，n不是那么大的部分呢？难道我们不关心这个吗？
浏览 0提问于2018-04-10得票数 2
1回答
当我们在交易选项中放置一个较低的现值时，我们得到了“现在太低”，但是当一个放置大的值(大于事务数)时，我们得到了什么原因？
浏览 0提问于2019-10-14得票数 0
1回答
这是DBMS课程的一个小项目。我的任务是开发一个旅客列车管理数据库。
我正在为客户设计桌子，火车，订票(通过电话和互联网)，起源和目的地。
他说，我们可以在我们的数据库模型中加入其他特性。我们可以包括的一些特性如下所示：
Ad查询数据挖掘人口图
我不知道这些特征意味着什么。我知道数据挖掘，但无法在这种情况下应用它。有人能善意地扩展这些特性或提出新的想法吗？
编辑：什么是特别查询？在此背景下给出一个例子。
浏览 1提问于2010-11-06得票数 2
4回答
我正在寻找一种学习适应大型数据集的方法。我是一名大学生，所以我做的每一件事都是“不错”的规模和复杂性。本学期我和一位教授一起做了一个研究项目，我不得不可视化一个有点大(根据我的经验)的数据集之间的关系。这是一个15 MB的CSV文件。
我的大部分数据处理都是用Python语言编写的，使用GNUPlot进行可视化。
有没有任何关于这个主题的可访问的书籍或网站？使用Python的加分，比依赖gnuplot的更“基本”的可视化系统更多的加分。我想是开罗之类的地方吧。
从数据挖掘，到处理，再到可视化，我正在寻找一些东西。
编辑:我更多的是在寻找一些能教会我“大创意”的东西。我可以自己写代码，但是寻找人
浏览 2提问于2011-05-05得票数 11
回答已采纳
2回答
我有一个非常大的文档数据集(5亿)，并希望根据其内容对所有文档进行聚类。
什么是最好的方法来解决这个问题？我尝试使用k-方法，但它似乎不合适，因为它需要所有的文档同时进行计算。
是否有适合较大数据集的聚类算法？
参考:我正在使用Elasticsearch来存储我的数据。
浏览 1提问于2015-05-12得票数 2
回答已采纳
2回答
加载大型表时Select2崩溃
、、、、
我目前正在尝试加载一个大的表(8800行/ 2.5 MiB)，但是它崩溃了。在Chrome F12中，我得到一个错误：
POST http://localhost/web/app_dev.php/_entity_find 500 (Internal Server Error) main.js:3
k.cors.a.crossDomain.send main.js:3
n.extend.ajax main.js:3
(anonymous function)
(main.js是包含select2的已编译JS )
我有其他的'select2自动补全‘字段在同一页上搜索较小的表，它们工作得很好
浏览 0提问于2014-07-15得票数 0
我想从事数据仓库和数据分析师的工作。我正在阅读有关数据挖掘和仓储的书籍。但我对概率、傅里叶变换和小波函数等技术数学知识着迷了。
我不太擅长这些统计数学细节。
我想知道，如果我在DW工作行业工作，那么我是否需要学习那些东西或东西已经建立在这些东西上，而我不需要那些数学东西
浏览 3提问于2012-04-26得票数 0
1回答
我不太明白“退出”，磁盘卷上有什么要求来运行完整的volume节点，以及它的预期增长是什么。
例如，目前，我在一个ubuntu机器上的不同ethereum文件夹上有以下卷分布(只列出了最大的块)：
16G ./.ethash
12G ./.ethereum
12G ./.ethereum/chaindata
具体是什么(.ethereum和.. there /..chaindata似乎有相同的大小)？
挖掘活动需要多少磁盘空间(这就是文件夹中空间的原因./..ethash？)
编辑:运行ls -l命令的./ethash的其他信息内容
drwxrwxr-x 2 ubuntu ubuntu
浏览 0提问于2016-07-24得票数 4
回答已采纳
我试图将Firebase实时数据库的备份从导入到BigQuery中，并获得以下错误：
字段名“名称”无效。字段必须只包含字母、数字和下划线，以字母或下划线开头，最长为128个字符。表:表
我尝试了一个第二个数据集，它返回以下错误
字段名"-Kq4_0dsRwKfOGGxGoQv“无效。字段必须只包含字母、数字和下划线，以字母或下划线开头，最长为128个字符。表:表
这是第二个数据集
{"users":{"someUserID_abc":{"tests":{"-Kq4_0dsRwKfOGGxGoQv":
浏览 0提问于2019-07-04得票数 2
假设我有一个非常强大的服务器，具有非常快的互联网连接(32 for内存，4GBit/s上传和下载)，运行MiningCore和Parity进行私有挖掘。
减少Share Difficulty能让我找到更多的块吗？如果我减少了它，我知道会有更多的共享被提交，我的服务器可以处理它们。
在SSD中存储DagFile会有什么不同，还是会影响处理共享？
在SSD中存储Blockchain数据会有什么不同，还是会影响处理共享？
浏览 0提问于2018-11-23得票数 0
2回答
今年我要开始攻读计算机科学博士学位，为此我需要一个研究课题。我对大数据背景下的预测分析感兴趣。我对教育领域(MOOC，在线课程.)感兴趣。在这一领域，哪些未探索的领域可以帮助我选择一个强有力的主题？谢谢。
浏览 0提问于2014-09-25得票数 6
回答已采纳
我们有一个大小约为4 4GB的数据库和一个过于复杂的视图(使用GROUP_BY、GROUP_CONCAT等)，目前无法更改。
有时，当我们查询该视图时，MariaDB 10会在磁盘上创建临时文件(在/tmp中)。文件大小超过40 it这似乎是无穷无尽的。我理解为什么创建这些文件，但我不能理解为什么这些文件比我们拥有的所有数据都大。
有没有可能是递归连接导致的呢？为什么它不是每次都会发生，而只是偶尔发生？(缓存大小、缓冲区?)
有没有办法通过配置来防止这种情况？这种表可以增长到多大？
浏览 12提问于2017-01-19得票数 0
3回答
有人刚刚告诉我的老板，数据挖掘可以对一个公司做什么，比如推荐，预测模型。基本上我们是一家网站公司。我要休假6个月。所以我的老板说我可以学习一些DM技术，等我回来的时候，我们可以访问小商店或小公司，用数据挖掘算法向他们提供预测数据。
商店将只为客户或更多人提供sql文件或csv文件。
现在我只知道MYSQL，不知道数据挖掘是什么，也不知道它是否像我上面想的那样工作，我的意思是，如果有人拥有客户数据库，购物和我可以应用数据挖掘技术。我是说
(raw mysql or sql data) or (csv files) ----data mining--> (some useful result
浏览 10提问于2010-09-13得票数 3
回答已采纳
1回答
我读到了区块链Merkle树和level DB。我的问题与区块链中使用的树相关。与大多数区块链一样，level-DB用于以键-值对结构存储数据，甚至level DB也使用合并日志树。所以为什么需要使用Merkle树甚至级别DB也是使用树结构来存储数据。
浏览 32提问于2020-07-29得票数 0
回答已采纳
2回答
我想在Weka中执行属性选择，但我的数据集相当大，并且程序运行了相当长的时间。这就是为什么我想看到当前找到的最佳属性集的原因。我该怎么做呢？例如，基因搜索有“报告频率”参数，但所有结果都是在整个搜索完成后显示的，这不是我所需要的。
没有进度条，所以我甚至不知道我要等多久……
浏览 2提问于2013-07-25得票数 0
10回答
我正在评估数据收集包。
到目前为止，我发现了这两种情况：
你有什么经验可以分享这两种产品，或任何其他产品推荐我？
谢谢
浏览 11提问于2008-10-28得票数 16
回答已采纳
4回答
我确信，在这个论坛上将讨论的数据科学有几个同义词，或者至少是分析大量数据的相关领域。
我的特别问题是关于数据挖掘。几年前我上过数据挖掘研究生班。数据科学和数据挖掘之间有什么区别，尤其是我还需要看什么才能精通数据挖掘？
浏览 0提问于2014-05-14得票数 26
回答已采纳
1回答
在这里，我试图创建一个squashfs文件系统，但是生成的映像比原始版本要大，而不是因为我添加了一个文件或任何东西，因为我只修改了一些配置文件。
我想要做的是修改一个活动usb上现有的squashfs文件系统，并删除一些信息，以便在登录shell中启动操作系统。由于我将一定数量的空间固定到EXT4分区，所以需要修改的squashf具有与原始分区相同的大小。我可以在实时系统运行时进行更改，但是由于我正在创建一个脚本来自动化这个过程，所以我需要在创建活动usb之前完成它。这个问题出现在重新创建图像时，因为生成的文件比原始文件大约400 -b，当我使用-b 4096/1M字节选项时，当原始文件大约为
浏览 0提问于2013-11-12得票数 2
回答已采纳
2回答
编辑:我的单词列表的大小比我写的大10-20倍。我只是忘了一个零。
EDIT2:我将查看SVDLIBC，并了解如何将矩阵缩减到其密集版本，这样也会有所帮助。
我已经生成了一个巨大的csv文件，作为我的pos标记和词干的输出。看起来是这样的：
word1, word2, word3, ..., word 150.000
person1 1 2 0 1
person2 0 0 1 0
...
person650
它包含每个人的单词计数。就这样，我得到了每个人的特征向量。
我想在这头野兽上运行
浏览 3提问于2010-05-12得票数 2
2回答
我有作为BI解决方案(用于预测分析和数据挖掘)在我当前的工作场所。这是一个非常笨重的工具，很难配置，使用速度也很慢。我们正在寻找替代方案。我能从哪里开始呢？
是我可以查看的选项吗？、SAS、或其他任何选项？
浏览 3提问于2011-11-17得票数 2
1回答
我有一个数据库和我正在修改的android应用程序(Open )，它跟踪一组.xml文档的状态和其他相关信息，这些文档以表单的形式表示。
为了方便ListView向用户显示有关这些表单的信息，我使用游标保存从查询到数据库的信息(是的，我知道不再推荐managedquery )：
String selection = InstanceColumns.RANDOM_ID + " = ? AND "
+ InstanceColumns.STATUS + " = ? AND " + InstanceColumns.JR_FORM_ID + "
浏览 6提问于2017-03-17得票数 1
回答已采纳
2回答
我有一个包含事件的数据库。每个事件都有一个时间戳。这些事件在白天均匀分布，但每晚都有一个没有数据的时间跨度。我的问题是夜晚的定义不是很好。可以是晚上23点到第二天早上7点，也可以是当天凌晨2点到10点，甚至可以是当天晚上8点到23点。
现在我想要计算所有事件的间隔，但没有没有事件的大时间跨度。但我不知道如何找到这个时间跨度。我的问题是，可能有几天没有时间跨度，或者两天有相同的时间跨度(例如，第一天晚上8点到午夜，第二天午夜到早上7点)。
我现在的问题是:如何找到这个时间跨度？
我更喜欢只使用MySql的解决方案，但如果不可能的话，也可以使用PHP。
浏览 2提问于2012-09-16得票数 4
回答已采纳
1回答
我开始在testnet上进行挖掘，我的主要帐户(Etherbase)正在迅速获得乙醚。它开始于20分钟前，已经有了将近300个以太和计数，我认为这是一大笔钱。
就因为我上了测试网就假的吗？不是真的乙醚，而是一些不值钱的东西吗？
浏览 0提问于2017-09-06得票数 0
我目前正在处理R中的点的sf数据集，我想将该数据集转换为SpatialPointsDataFrame，以便进行一些下游分析。这看起来很简单，所以我使用了as_Spatial()函数，但它抛出了一个我以前从未见过的错误： Error in sp::CRS(SRS_string = from$wkt) : unused argument (SRS_string = from$wkt) 我尝试转换的对象对于我添加到问题中来说有点大，但基本对象信息如下： Simple feature collection with 1357 features and 10 fields
geometry type:
浏览 24提问于2020-10-06得票数 1
回答已采纳
2回答
我正在尝试将一个大的选项卡分隔文件读取到R中。
首先我尝试了这个：
data <- read.table("data.csv", sep="\t")
但是它正在将一些数字变量作为因子来读取。
因此，我试图根据每个变量的类型来读取数据，如下所示：
data <- read.table("data.csv", sep="\t", colClasses=c("character","numeric","numeric","character","bool
浏览 1提问于2012-07-26得票数 17
回答已采纳
1回答
确保网络稳定
、、
最近，我成为了一所远程学校的IT人员，并配备了现场员工。现在的网络设置有点混乱。我对使用的最佳标准很好奇。下面是提供互联网的当前网络的地图。
📷
正如您所看到的，网络是一些混合的方法。沿着这条线路有一条以太网电缆在地下运行。从屋顶上的卫星到服务器旁边的调制解调器，有一个同轴电缆在运行。
我经常在更远的地方遇到一些薄弱的联系，特别是在19岁和23岁的时候，它们会在沙尘暴、雨或雪中停下来好几天。
我听说运行双线会有帮助。我还在考虑做一些事情，比如把19循环回服务器，形成一个大的圆圈。这需要做大量的工作，但挖掘现有的线路也是如此。
所有线路分支的中央网络位置也可能是一种选择。我有很多电线。
有什么标
浏览 0提问于2016-03-23得票数 4
回答已采纳
2回答
假设我有4个按钮，我想让每个按钮做不同的事情。我不想要一个大的switch语句，让我根据按下的按钮做不同的事情，也不想为每个按钮单击使用一个单独的方法。命令模式是解决这个问题的好方法吗？
浏览 1提问于2009-06-13得票数 2
回答已采纳
我最近开始探索机器学习(ML)领域。我想我理解了ML和AI在高层次上的区别，但我想更准确地理解这些常用概念之间的区别。
经过一些研究，我得出了这些领域的以下界限。我是正确的还是不准确的？
AI :人工智能是给机器的智能，用来模拟人类的智能，比如在环境中的反应和行为。它可以包括机器学习，自然语言处理，机器人，一般智能或强人工智能，其他。它是ML的超集
ML是AI的特定领域，它帮助开发基于样本数据(训练数据)的程序，而不是硬编码规则/编程(如求和/乘法)。机器学习基本上是从过去的数据中学习，然后预测/分类给定的输入。例如，它可以在推荐引擎/欺诈检测/图像处理等方面提供帮助。
深度学习:- DL是M
浏览 0提问于2018-03-04得票数 3
回答已采纳
我是数据挖掘的新手。我正在做我的B.Tech最后一年，我最后一年的项目标题是“使用文本挖掘从学生反馈中提取和分析管理学科的教师表现”。在这里，我们将有许多包含学生反馈的文件，每个学生将有一个单独的文件。从所有这些文件中，我们必须检索有用的信息。
有没有人能建议我怎么开始，要用什么工具？要使用的技术有哪些？我熟悉JAVA(jse)，我可以用java编程语言来实现吗，如何实现？
致敬..。Upendra.S
浏览 1提问于2011-12-21得票数 1
回答已采纳
我有一个非常大的CSV文件，需要加载到sqlite3中的表中。我不能将整个CSV内容作为一个变量加载到RAM中，因为数据太大了，为每个列定义类型的事件不能容纳64 GB的RAM。
我试着用numpy和熊猫来加载和转换数据，但仍然超出了RAM的限制。
我想以某种方式一次读CSV 1行(或小批)，并将它们逐步保存到数据库中，以保持较低的RAM使用率。如果它可以使用多个CPU核来完成，那将是完美的。
浏览 1提问于2017-12-05得票数 3
回答已采纳
1回答
我试图从应付款函数中得到一个返回值，这个想法是用户必须支付费用，作为回报，他将得到他的特殊代码。我的JS测试代码如下
it('get special code which was stored by the admin',async()=> {
const user = accounts[4];
// get the deployed contract instance
contractInstance = await MyContract.deployed()
const expectedCode =
浏览 0提问于2019-10-15得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
即时通信 IM
实时音视频活动推荐
腾讯云开发者
