数字货币交易所系统开发，顾名思义就是进行某种信息及物品交易等等的场所或平台，数字货币现货期权合约交易所，所需要用的一个固定的地点或平台叫交易所。...交易所撮合引擎需要满足以下三个要求： 1.强大到变态的性能：交易所规模越大，并发的交易也就越多，撮合引擎性能的好坏，直接制约了交易所业务的发展。 ...huobipro=ccxt.huobipro({ 'apiKey':'', 'secret':'', 先使用ccxt获取交易所的实例，然后获取历史k线，得到的数据使用dataframe格式接收 ...['pos'].fillna(value=0,inplace=True) 到这里持仓信号就有了，就可以根据持仓和历史k线的价格计算累计利润了， df['change']=df['close'].pct_change...']=df['open'].shift(-1)/df['close']-1#这根收盘到下根开盘的涨跌幅 df.at[len(df)-1,'sell_next_open_change']=0#补全空值df.at
feather 或者 parquet 格式重要的参数 要仅下载 10 天的历史蜡烛 (OHLCV) 数据，请使用 --days 10 （默认为 30 天）要从固定起点下载历史蜡烛图 (OHLCV) 数据...如果触发异常值保护，则不会根据训练数据集进行任何预测。reverse_train_test_order拆分要素数据集（见下文）并使用最新的数据拆分对数据的历史拆分进行训练和测试。...比如将原先的数据（1min）按照5min 重新采样，重新计算 ohlcv，并在这些指标的基础上重新计算 sma, rsi 等指标。...好处是可以将不同时间分辨率的数据统一起来，使得数据更加规范化和易于处理。此外，重采样可以消除原始数据中的噪声和波动，使得数据更加平滑，有利于分析市场趋势和价格走势。...因此，在制定交易策略时，可以根据 ATR 值来调整止损和止盈的距离，以适应当前市场波动性的变化。其他
数字货币交易所系统开发，顾名思义就是进行某种信息及物品交易等等的场所或平台，数字货币现货期权合约交易所，所需要用的一个固定的地点或平台叫交易所。...huobipro=ccxt.huobipro({ 'apiKey':'', 'secret':'', }) 先使用ccxt获取交易所的实例，然后获取历史k线，得到的数据使用dataframe格式接受 huobipro.fetch_ohlcv...'].fillna(value=0,inplace=True) 到这里持仓信号就有了，就可以根据持仓和历史k线的价格计算累计利润了， df['change']=df['close'].pct_change...(1)#根据收盘价计算涨跌幅 df['by_at_open_change']=df['close']/df['open']-1#开盘买入到收盘的涨跌幅 df['sell_next_open_change...']=df['open'].shift(-1)/df['close']-1#这根收盘到下根开盘的涨跌幅 df.at[len(df)-1,'sell_next_open_change']=0#补全空值df.at
先使用ccxt获取交易所的实例，然后获取历史k线，得到的数据使用dataframe格式接受 huobipro.fetch_ohlcv(symbol=symbol,limit=limit_num,timeframe.../sell_order（）了） 第五步：其实第四步就可以交易了，第五步是回测，一般来说先回测再根据回测结果选用策略，最后才进行实盘 回测分析的相关有很多种，在这方面我也不是很懂，目前我还是习惯用累计利润来进行分析...df['pos'].fillna(value=0,inplace=True) 到这里持仓信号就有了，就可以根据持仓和历史k线的价格计算累计利润了， df['change']=df['close']....pct_change(1)#根据收盘价计算涨跌幅 df['by_at_open_change']=df['close']/df['open']-1#开盘买入到收盘的涨跌幅 df['sell_next_open_change...']=df['open'].shift(-1)/df['close']-1#这根收盘到下根开盘的涨跌幅 df.at[len(df)-1,'sell_next_open_change']=0#补全空值df.at
程式化交易是一个充满挑战性且具有潜力的领域，通过使用计算机程序和算法来执行交易操作。Python作为一种简单易学、功能强大的编程语言，成为了许多交易员和开发者的首选。...以下是一个使用ccxt库获取Coinbase Pro交易所的BTC/USD交易对历史数据的示例代码：import ccxt# 创建Coinbase Pro交易所对象exchange = ccxt.coinbasepro...()# 设置API密钥exchange.apiKey = 'YOUR_API_KEY'exchange.secret = 'YOUR_SECRET_KEY'# 获取BTC/USD交易对的历史数据ohlcvs...= exchange.fetch_ohlcv('BTC/USD', timeframe='1d')# 打印历史数据for ohlcv in ohlcvs: print(ohlcv)三、实现交易策略交易策略是程式化交易的核心...连接交易平台、获取市场数据、实现交易策略和执行交易是实现程式化交易的核心步骤。Python提供了丰富的工具和库来简化这些过程，使程序员能够更轻松地开发和运行交易策略。
在本文中，我们将深入研究Pandas中重新采样的关键问题。 为什么重采样很重要? 时间序列数据到达时通常带有可能与所需的分析间隔不匹配的时间戳。...在创建时间序列可视化时，通常需要以不同的频率显示数据。重新采样够调整绘图中的细节水平。 许多机器学习模型都需要具有一致时间间隔的数据。在为模型训练准备时间序列数据时，重采样是必不可少的。...这可以是增加粒度(上采样)或减少粒度(下采样)。 选择重新采样方法。常用的方法包括平均、求和或使用插值技术来填补数据中的空白。 在上采样时，可能会遇到原始时间戳之间缺少数据点的情况。...所以需要对间隙的数据进行填充，填充一般使用以下几个方法： 向前填充-前一个可用的值填充缺失的值。可以使用limit参数限制正向填充的数量。...重采样是时间序列数据处理中的一个关键操作，通过进行重采样可以更好地理解数据的趋势和模式。 在Python中，可以使用Pandas库的resample()方法来执行时间序列的重采样。 作者：JI
在本文中，我将使用Kaggle的信用卡欺诈交易数据集，该数据集可从此处下载 。 首先，让我们绘制类分布以查看不平衡。 ? 如您所见，非欺诈交易远远超过欺诈交易。...您可以在此处找到带有完整代码的笔记本 1-重采样（过采样和欠采样）： ? 这听起来很直观。欠采样是您从多数类中随机删除一些观测值以使数字与少数类相匹配的过程。...平衡数据集（欠采样） 第二种重采样技术称为过采样。这个过程比欠采样要复杂一些。生成合成数据的过程试图从少数类的观察中随机生成属性样本。对于典型的分类问题，有多种方法可以对数据集进行过采样。...它允许在训练集合的每个估计量之前对数据集的每个子集进行重采样。...总之，每个人都应该知道，建立在不平衡数据集上的ML模型的整体性能将受到其预测稀有点和少数点的能力的限制。识别和解决这些问题的不平衡性对于所生成模型的质量和性能至关重要。
例如，在信用卡欺诈检测数据集中，大多数信用卡交易都不是欺诈，只有很少的类是欺诈交易。这使得我们在欺诈类和非欺诈类之间的比例约为50:1。...在本文中，我将使用Kaggle中的信用卡欺诈交易数据集，可以从这里下载。 首先，让我们绘制类分布以查看不平衡。 ? 如您所见，非欺诈交易远远超过欺诈交易。...第二种重采样技术称为过采样。这个过程比欠采样要复杂一些。它是生成综合数据的过程，试图从少数类的观察中随机生成属性的样本。对于典型的分类问题，有许多方法用于对数据集进行过采样。...让我给你们展示一下处理不平衡类前后的相关关系。 重采样之前 下面的代码绘制了所有特征之间的相关矩阵。...总之，每个人都应该知道，建立在不平衡数据集上的ML模型的总体性能将受到其预测罕见点和少数点的能力的限制。识别和解决这些点之间的不平衡对生成模型的质量和性能至关重要。
翻译：张玲 校对：吴金迪 本文作者用python代码示例解释了3种处理不平衡数据集的可选方法，包括数据层面上的2种重采样数据集方法和算法层面上的1个集成分类器方法。 ?...数据不平衡通常反映了数据集中类别的不均匀分布。例如，在信用卡欺诈检测数据集中，大多数信用卡交易类型都不是欺诈，仅有很少一部分类型是欺诈交易，如此以来，非欺诈交易和欺诈交易之间的比率达到50:1。...平衡数据集（欠采样） 第二种重采样技术叫过采样，这个过程比欠采样复杂一点。它是一个生成合成数据的过程，试图学习少数类样本特征随机地生成新的少数类样本数据。...简单地说，就是在少数类数据点的特征空间里，根据随机选择的一个K最近邻样本随机地合成新样本。 ?...，还需要2个参数sampling_strategy和replacement来控制随机采样器的执行。
数据不平衡通常反映了数据集中类别的不均匀分布。例如，在信用卡欺诈检测数据集中，大多数信用卡交易类型都不是欺诈，仅有很少一部分类型是欺诈交易，如此以来，非欺诈交易和欺诈交易之间的比率达到50:1。...平衡数据集（欠采样） 第二种重采样技术叫过采样，这个过程比欠采样复杂一点。它是一个生成合成数据的过程，试图学习少数类样本特征随机地生成新的少数类样本数据。...简单地说，就是在少数类数据点的特征空间里，根据随机选择的一个K最近邻样本随机地合成新样本。...它允许在训练集成分类器中每个子分类器之前对每个子数据集进行重采样。...，还需要2个参数sampling_strategy和replacement来控制随机采样器的执行。
这种行为确保交易保持一致，无论交易者的实际位置如何，因为计算机很可能具有实际位置的时区，而不是交易场所的时区。 请阅读手册的时间管理部分。...如果没有适当的措施，一个时间为23:05:30.000000的重采样条可能会被延迟约29 秒。 这就是为什么实时数据源每隔x秒（float值）唤醒一次重采样器/重播器并让它知道没有新数据输入。...这是在创建实时数据源时通过参数qcheck（默认值：0.5秒）来控制的。 这意味着重采样器每隔qcheck秒就有机会交付一个条，如果本地时钟显示，重采样周期已经结束。...latethrough（默认：False） 如果数据源被重采样/重播，一些 ticks 可能来得太晚，已经交付的重采样/重播 bar 了。如果设置为 True，那些 ticks 将无论如何通过。...检查重采样文档以了解如何考虑这些 ticks。
在进行金融数据的分析以及量化研究时，总是避免不了和时间序列的数据打交道，常见的时间序列的数据有比方说一天内随着时间变化的温度序列，又或者是交易时间内不断波动的股票价格序列，今天小编就为大家来介绍一下如何用...“Pandas”模块来处理时间序列的数据 01 创建一个时间戳 首先我们需要导入我们所需要用到的模块，并且随机创建一个时间戳，有两种方式来创建，如下所示 import pandas as pd import...08 关于重采样resample 我们也可以对时间序列的数据集进行重采样，重采样就是将时间序列从一个频率转换到另一个频率的处理过程，主要分为降采样和升采样，将高频率、间隔短的数据聚合到低频率、间隔长的过程称为是降采样...09 关于滑动窗口“rolling”和“expanding” 因此便就有了滑动窗口这一个概念，简而言之就是将某个时点的数据衍生到包含这个时点的一段时间内做一个数据统计。...我们发现数据集中有一些缺失值，我们这里就可以使用“pandas”中特有的方法来进行填充，例如 data['mean'].fillna(method = 'backfill')
然后,将一个函数应用(apply)到各个分组并产生一个新值。最后,所有这些函数的执行结果会被合并(combine)到最终的结果对象中。结果对象的形式一般取决于数据上所执行的操作。...它实际上还没有进行任何计算,只是含有一些有关分组键df[‘key1’]的中间数据而已。换句话说，该对象已经有了接下来对各分组执行运算所需的一切信息。...它可以改变时间序列数据的频率，将数据从高频率转换为低频率（如从天到月），或者将数据从低频率转换为高频率（如从月到天）。重采样可以帮助我们对数据进行更好的分析和可视化。...label：指定重采样结果的标签的位置，默认为None，表示重采样结果是标签区间的左边界。...on：指定重采样的列，默认为None，表示对整个DataFrame进行重采样。 level：指定重采样的行索引级别或列级别，默认为None。
前言 之前的文章已经介绍了几种预测时间序列的方法：如何规范化数据，以实值或二进制变量的形式进行预测，以及如何处理高噪声中的过拟合。...在上一篇文章中，我们只用了经过一些转换的收盘价，如果我们考虑历史数据中的最高价、最低价、开盘价、成交量，将会发生什么？这引出我们处理多元时间序列，每个时间点不止一个变量。...在例子中，我们将使用整个OHLCV元组。 这篇文章中，我们会看看如何处理多元时间序列，特别是怎么处理每一个维度，如何对这种数据定义并训练一个神经网络，与上一篇文章比较结果。...，和之前一样，是30天时间窗口，但是现在我们用每天整个OHLCV数据归一化来预测收盘价的变动方向。...最重要的是，相对于第一篇文章中的单变量时间序列，我们把准确度性能从58%提高到近65%。
在进行投资和交易研究时，对于时间序列数据及其操作要有专业的理解。本文将重点介绍如何使用Python和Pandas帮助客户进行时间序列分析来分析股票数据。...我们经常需要降低（下采样）或增加（上采样）时间序列数据的频率。如果我们有每日或每月的销售数据，将其降采样为季度数据可能是有用的。或者，我们可能希望上采样我们的数据以匹配另一个用于进行预测的系列的频率。...上采样较少见，并且需要插值。...在交易中的一个典型例子是使用50天和200天的移动平均线来买入和卖出资产。 让我们计算苹果公司的这些指标。请注意，在计算滚动均值之前，我们需要有50天的数据。...让我们分析苹果公司的收入历史数据，看看能否进行分解。
1.情景导入 1.1.数据展示 在金融交易越来越频繁的今天，我们需要大规模的交易数据集来避免和预防金融诈骗、盗刷等案例的发生。然而棘手的是，出于对隐私的保护，很少有这样公开的数据集供人们研究。...此数据集一共有601750条记录，其中600000条是正常记录，1750条是诈骗记录。 1.2.前期准备 首先导入所需的包。...但是，我们观察到交易类型这一栏的变量是虚拟变量，因而我们不可以直接把它放进模型里的需要将它们从 str 型数据转换成 int 型数据。...因为对于机器学习模型来说，它们一定不会忽视这样明显的特征——在一行数据里两个特征是0而对应总有另一个特征不为0。因为模型也学习了大量正常交易的数据，而这是正常交易所不具有的特点。...所以，特征的重要性则是根据每个特征分裂点改进性能度量的量来计算的，由节点负责加权和记录次数。也就说一个特征对分裂点改进性能度量的量越大（越靠近根节点），权值越大；被越多提升树所选择，特征越重要。
引言随着全球气候变化的加剧，天气数据的分析变得越来越重要。通过分析历史天气数据，我们可以预测未来的气候趋势，帮助各行各业做出更明智的决策。...Pandas 是一个强大的 Python 数据处理库，广泛应用于数据科学领域。本文将从基础到深入，介绍如何使用 Pandas 进行天气数据分析，并探讨常见问题、报错及解决方案。1....)2.1.2 填充或删除缺失值根据具体情况，我们可以选择填充缺失值或删除含有缺失值的行。...我们可以使用 Pandas 提供的时间序列功能来进行滚动平均、重采样等操作。2.3.1 滚动平均滚动平均可以帮助我们平滑数据，减少噪声的影响。...例如，计算每月的平均温度：# 按月重采样并计算平均温度monthly_avg_temp = df['temperature'].resample('M').mean()# 绘制月度平均温度图plt.figure
然后,将一个函数应用(apply)到各个分组并产生一个新值。最后,所有这些函数的执行结果会被合并(combine)到最终的结果对象中。结果对象的形式一般取决于数据上所执行的操作。...它实际上还没有进行任何计算,只是含有一些有关分组键df[‘key1’]的中间数据而已。换句话说，该对象已经有了接下来对各分组执行运算所需的一切信息。...我们可以用分组平均值去填充NA值: 也可以在代码中预定义各组的填充值。由于分组具有一个name属性，所以我们可以拿来用一下： 四、数据透视表与交叉表 4.1....how：用于产生聚合值的函数名或函数数组，默认为None。 fill_method：表示升采样时如何插值，可以取值为fill、bfill或None，默认为None。...label：表示降采样时设置聚合值的标签。 convention：重采样日期时，低频转高频采用的约定，可以取值为start或end，默认为start。
正文 我们经常采用非常简单的方法来预测金融时间序列：利用整个数据集，使用移动窗口生成X和Y，把它分为历史和样本外数据，训练一些机器学习模型映射X到Y并用多空策略进行回测。...如果我们基于恒定的时间间隔对历史数据进行抽样——当交易非常活跃时，我们会少抽样；反之。...从上面提到的所有内容，由时间采样的bars遵循“糟糕的”统计特性：它们具有较低的序列相关性，具有异常值和正态分布测试失效。...如何正确标注数据集? 在之前，我们预测过价格经过N个bar后会如何变化。例如，想预测下一个30分钟后的价格会如何变化，然后根据预测来做多或做空。但这真的是从业者和交易员的行为方式吗？...让我们现在来试试三重界线，在滚动T值下对应的获利和止损基于波动率，就像之前一样： ? ?
此外，本文还将结合代码和数据探讨非参数化的自助重采样方法在逻辑回归中的应用及模型差异分析。...非参数化的自助重采样方法在Logistic回归应用及模型差异分析|附数据代码 本文探讨了计算逻辑回归参数抽样分布的不同方法，包括非参数化的自助重采样方法、参数化的自助方法以及一种混合模式。...（二）数据处理 导入所需的库，设置随机种子，下载数据文件并读取数据。 选取特定问题的数据，并对因变量进行重新编码。...四、非参数化自助重采样方法 （一）方法描述 基于自助重采样，对data的行进行有放回抽样，并对重新采样的数据运行回归模型。...不能认为分析方法的结果是唯一正确的，它们也基于建模假设和近似值。 综上所述，在实际应用中应根据具体情况选择合适的方法来计算逻辑回归参数的抽样分布。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
对象存储
腾讯会议
云直播
