1回答
我在我的JS中遇到了下面的错误。而不是返回1001，而是返回1000.99999999。我正试图根除这个bug，并且一直在考虑使用这个库。我不知道该怎么办才能解决这个问题。var x = new Big(10);这会产生与没有库的错误相同的错误。
浏览 2提问于2017-09-26得票数 1
回答已采纳
1回答
Python有限域矩阵求幂
、、、、
有没有一种简单的方法来计算(特别是幂/幂)元素是有限域的整数的矩阵，或者至少有%运算符支持的任意整数精度矩阵？我试过numpy，但问题是它使用固定精度的数据类型，所以它很快就溢出了……然后我尝试了渐近，因为它支持任意整数精度，但它似乎不支持有限域运算(除了逆运算)……
浏览 2提问于2017-04-17得票数 1
我听说现代的Intel和AMD CPU可以用双精度运算比用浮点数计算快。
那么标准的数学函数(sqrt、pow、log、sin、cos等)呢？在单精度下计算它们应该会快得多，因为它需要的浮点运算应该更少。例如，与双精度sqrt相比，单精度sqrt可以使用更简单的数学公式。这个问题的最终答案是什么？
浏览 10提问于2011-04-21得票数 15
回答已采纳
我想在Windows软件的gcc/Linux移植版本中实现完全相同的浮点运算结果。出于这个原因，我希望所有的双精度运算都是64位精度的。文档说他们内部期望(我想也是使用)长的双精度，不管我做什么，他们产生的结果都不同于Windows对应的结果。
这些函数如何使用64位浮点精度计算结果？更新:我错了，是printf("%.17f")错误地舍入了正确的双精度结果，gdb中的"print x“显示数字本身是正确的。我想在这个问题
浏览 0提问于2013-02-25得票数 0
在这些算法中，必须执行算术运算(如加法和乘法)。这些“内部”操作也必须在固定时间内执行，对吗？那么我猜所有中间变量的精度都是一样的。但是这里需要什么精度(例如，如果我把两个256位数相乘，我想结果需要512位)。
在恒定时间内执行这些“内部”算术运算的好算法是什么？
浏览 0提问于2016-08-30得票数 3
回答已采纳
2回答
双倍Pow实现
、、、、
我正在开发一个将用于运动控制的代码，并且我对pow函数有一个问题。我正在使用VS2010作为IDE。我的问题是:我有： double d = 1000.0000;
毕竟，我在FPU配置位上遇到了问题，这是由Direct3D造成的，OGR3D框架正在使用它。原始员额：
浏览 4提问于2012-07-17得票数 4
回答已采纳
所以Lua最酷的一件事就是你可以让它使用浮点数而不是双精度数。luaconf.h中的LUA_NUMBER。它对我来说非常好用！
但我一直想知道lua是如何处理整数的。在js和as3中，我知道整数仍然只是“数字”。如果数字始终是53位尾数的双精度数，那么这种方法非常有效，因为整数中人们期望的32位数字已经被很好地覆盖了。现在，如果要使用23个尾数数字进行浮点运算，这将不再像预期的那样工作。代码通常将整数视为32位，用于按位运算或打包32位颜色之类的东西。所以我的问题是，如果我使用"
浏览 3提问于2013-06-18得票数 4
回答已采纳
是否有一些算术或按位运算可以在不损失精度的情况下检查双精度数是否适合浮点数。附言:这解决了C#的一半问题：，但我需要一个适用于Java的解决方案。
浏览 0提问于2014-09-29得票数 9
1回答
我以前和CUDA玩过，我对GPGPU的工作原理有基本的了解，但是我对浮标的精度感到困扰。
32位浮动精度的1/24不是太小了吗？特别
浏览 2提问于2013-04-16得票数 3
回答已采纳
1回答
我一直在使用Decimal.js来提高我的函数的精度，该函数通过反复尝试计算a = tan(a)的正根。它工作，但它返回一个“精度限制超过”错误的nTan(504) (将返回4.4934.达到505位数)或更高。return (new Decimal(n + test.slice(0, -1).join(""))).plus(Math.PI * (parseInt(m) || 0)).toString();我的问题是：
为什么Decimal.js不计算超过504位数时，它广告
浏览 7提问于2017-10-14得票数 1
回答已采纳
3回答
我在理解这些双精度数的精度如何影响Matlab中算术运算的结果时遇到了一些麻烦。我认为，由于a和b都是双精度的，它们将能够执行达到该精度的操作。我知道可能会有舍入误差，但由于这些数字在64位数字表示范围内，我认为这不是问题。a = 1.22e-45a == 0(a + b) == 1为什么它能够携带足够的精度来识别
浏览 1提问于2010-09-13得票数 5
1回答
CUDA上的高精度浮点数
、、、
希望还没人问过这个问题，但是...有没有什么简单的方法可以让高精度的浮点数( 1024位精度)在CUDA上工作，而不需要从头开始编码？我需要一些非常简单的东西，我只需要运算符+和*...这个是可能的吗？
浏览 2提问于2011-11-03得票数 1
4回答
我们可以在C/C++中做左移运算符，以便更快地将整数乘以2的幂。我的问题是，
有什么办法吗？就像整数的左移运算符可以更快地乘以浮点数？即使是2的幂？？
浏览 2提问于2009-10-13得票数 2
我有一些JS计算在进行。由于浮点算术通常使用数字的近似值，而不是精确值，如果将这些浮点数字舍入到固定的精度，则通常会得到一些细微的差别。当你与美元打交道时，人们不喜欢这些细微的差别。我的问题在这个jsfiddle：中得到了概述。我发现另一篇文章带来了同样的问题，并确认JS没有内置的十进制数据类型：。你可以看到你的JS终端62
浏览 4提问于2012-06-11得票数 3
3回答
在创建简单序列时，某些值不能与==运算符正确匹配。我通过使用which(round(my.seq, 2) == 0.3)解决了这个问题，但我想知道是什么导致了这个问题。
提前感谢您的评论。
浏览 0提问于2012-07-31得票数 4
回答已采纳
我有非常奇怪的问题。我有一个应用程序，其中客户将输入质量和价格，然后程序将自动计算。问题是，有时它给出的数字是错误的，我举了一个例子。
浏览 4提问于2013-06-09得票数 0
2回答
我绞尽脑汁想找出问题的原因，幸运的是我找到了，但现在我不明白为什么？？是和编译器(GCC)有关还是我在这里漏掉了什么重要的东西？
浏览 3提问于2013-09-24得票数 17
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM活动推荐
腾讯云开发者
