1回答
我有以下片段着色器：
precision highp float;
varying highp vec2 vTexCoord;
uniform sampler2D uColorTexture;
void main () {
highp vec4 tmp;
tmp = ((texture2D (uColorTexture, vTexCoord) + texture2D (uColorTexture, vTexCoord)) / 2.0);
gl_FragColor = tmp;
}
我知道这个着色器没有多大意义，但它仍然应该运行正确，我试着重现它的一个问题。当我
浏览 10提问于2013-07-25得票数 7
回答已采纳
我想知道你是否可以解释一下浮点类型中的溢出。
float.MaxValue == float.MaxValue + 1 // returns true
浏览 3提问于2010-11-23得票数 28
回答已采纳
2回答
我收到的错误是：
已发生算术溢出或零除。算术异常、数字溢出或字符串截断。数值超出范围。
这可以通过以下方式复制：
create table testing (avalue numeric(3,2));
并插入以下文字：
insert into testing values (328);
但是，使用以下功能很好：
insert into testing values (327);
328似乎是这个错误发生的神奇数字。对我来说，numeric(3,2)声明应该允许我使用小数点2位的000-999，但基于以上情况，这是错误的。
有人能解释一下为什么是这样吗?我应该宣布我的域名，好像我想允许0
浏览 1提问于2015-08-25得票数 2
回答已采纳
1回答
我正在使用THREE.js构建一个游戏。
目前，我在这个位置上有一个目标：
(-83645, 476450, 412912)
我正在尝试对这个对象进行点击检测。
但是，当我使用THREE.js示例站点上显示的射线传送器时，我的光线总是倾斜的。如果我把所有的坐标向下倾斜100，光线投射就能很好地工作。
我认为这可能与标准化期间的除法问题有关，也可能与某个地方发生的溢出错误有关。
现在，我正在缩小坐标，但是，从长远来看，我们希望坐标保持不变。
有人知道为什么大坐标使我们的射线倾斜吗？提前感谢！
编辑：，这里有一个快速的小提琴：
浏览 2提问于2015-05-29得票数 2
回答已采纳
1回答
C程序设计-无符号int溢出问题
、、、、
我想打印一个整数型变量，其值为3000000000；
所以我编写了下面的代码，然后运行它，但是打印的值是不正确的。我认为变量已经溢出了。但我不知道为什么。
#include<stdio.h>
int main(void) {
unsigned int num1 = 3000000000;
printf("%d", num1);
}
据我所知，当代码符合 API时，无符号整数类型变量的最大值为(2^32-1 = 4,294,967,296 - 1)。，但打印值为-1294967296.。
我不知道为什么我的代码中会出现溢出。
如果有人知道原因，请告
浏览 0提问于2019-03-11得票数 0
回答已采纳
1回答
红移乘法
、
我是Redshift的新手，我尝试在我的SQL中做乘法，如下所述
Case When COALESCE(height * width * length * weight, 0) = 0 then ...
在错误信息下面，
无效操作:结果缩放溢出最大精度详细信息：
有人能指点我吗。
浏览 1提问于2018-08-17得票数 0
回答已采纳
我正在尝试监控正常运行时间，并在node.js服务器上频繁发送数据。服务器将每隔几毫秒广播一次网络数据。
但是使用Date.now()是不够准确的。所以我正在考虑使用高分辨率的定时器process.hrtime()。我不知道process.hrtime的最大值是多少。我需要运行服务器至少6个月。它很快就会溢出吗？
浏览 1提问于2017-04-21得票数 0
在SQL Server2008中转换为bigint时，我遇到了算术溢出问题。下面的内容让我感到困惑。
这是可行的：
select 58356453 * 228204732751
答案: 13317218761161292203
但是，所有其他涉及显式转换的尝试都会失败。
select convert(bigint, 58356453 * 228204732751)
结果:算术溢出
begin
declare @key bigint = 58356453,
@workingVal bigint,
@primeMultiplier1 bigint = 22
浏览 0提问于2010-12-15得票数 6
1回答
char或float溢出
、、、
不确定如何判断是否可能发生溢出。我得到了以下示例代码：
char x;
float f, g;
// some values get assigned to x and f here...
g = f + x;
有人能解释一下吗？
浏览 0提问于2011-05-09得票数 1
回答已采纳
2回答
快，跨平台计时器？
、、、
我希望通过添加一些启发式方法来改进D垃圾收集器，以避免不太可能导致大量释放的垃圾收集运行。我想补充的一个启发是，GC不应该在每X个时间运行一次以上(可能每秒运行一次)。为此，我需要一个具有以下属性的计时器：
它必须能够以最小的开销获取正确的时间。调用core.stdc.time所需的时间大致相当于一个小内存分配，因此这不是一个好的选择。
理想情况下，应该是跨平台的(操作系统和CPU)，为了维护简单.
超高分辨率并不是很重要。如果时间精确到1/4秒，那就足够了。
必须在多线程/多CPU上下文中工作。x86 rdtsc指令无法工作。
编辑:普通的老C函数clock()似乎足
浏览 3提问于2011-02-21得票数 6
回答已采纳
我使用golang的bigint作为长期运行服务的计数器，其中统计计数器可能会在长期运行时溢出常规的uint64；但有时我需要计算自程序开始以来的平均速率？需要像float(bigint) / time.Since(beginning).Seconds()这样的除法；换算的精度损失在速率计算中是可以接受的
但这种float64(bigint)实际上并不起作用，我看到这个库有'bigint.Uint64()‘转换，但如果溢出了一个常规的uint64，它就没有定义；我想知道为什么标准库不提供一个到.Float64()的方法？有没有什么变通方法来获得一个浮点数
浏览 19提问于2017-02-28得票数 6
2回答
现在我尝试将一些js代码转换为java，有一个问题：
在js中
46022*65535 = 3016051770
和
(46022*65535)x-7867= -1278910789
在爪哇
46022*65535 = -1278915526这是溢出
46022L*65535L = 3016051770L这与js的结果相同
(46022*65535){##*$$}7867= -1278910789这个和下面这个是问题所在
(46022 L*65535 L)x 7867 L= 3016056507L
那么，为什么| 操作符会将两个正数设为nagtive数呢？在处理int和long
浏览 4提问于2015-03-12得票数 2
回答已采纳
3回答
SQL server整数与小数和
、、、、
这可能是一个新的问题，但是……我在SQSH中处理数据库时，它的整数类型值很大(人口属性)。当我想对这些求和时，我得到了一个算术溢出异常。然后我将值转换为Decimal，一切都正常(没有溢出)。然而，我读到的任何地方都说Integer和Decimal是一回事。那么为什么会发生这种情况呢？
提前感谢
浏览 0提问于2011-11-16得票数 3
回答已采纳
2回答
我有一个decimal(26,16)类型的变量，我想保存一个小数点前12位，小数点后14位的值，但是它会引发“将数字转换为数据类型数值的算术溢出错误”。当我定义这种类型的变量时，它的真正含义是什么？这意味着它只能存储小数点前10位和小数点后16位的值，还是其他的？
浏览 2提问于2014-02-03得票数 0
回答已采纳
3回答
是否指定JSON整数可以有多大？我猜它们只限于普通的(32位)整数，但我找不到任何地方写下来的。我需要对Java中长的标识符进行编码，所以我假设我需要将它们作为字符串存储在JSON中，以避免溢出风险。
浏览 1提问于2012-11-22得票数 90
回答已采纳
1回答
我想知道如何用二进制表示的数据溢出。在浮点数的情况下，我们有32位，它们都有自己的意义，在哪里存储尾数不再规范化的信息？
浏览 3提问于2015-07-07得票数 1
回答已采纳
在这个程序中，我试图将添加字符变量的结果分配给一个整数变量，我已经确保了加法的大小大于255，所以我预计右边会有一个表达式溢出，即使结果是362，但由于溢出，我预计在将结果转换为之后，106将被分配给int，而不是362.But奇怪地分配362。
结果是相同的，无论是字符被签名还是unsigned.Why没有溢出，362是否被分配?因为在加法期间右侧没有整数，而且所有操作数都是字符，所以我不期望它们被提升为int。
#include<stdio.h>
int main(void)
{
unsigned char ch1='z',ch2='x';
浏览 4提问于2013-05-16得票数 0
回答已采纳
1回答
我有代码： (i as f64).powf(2.0 / 5.0).floor() as u64 有没有一种方法可以在不使用浮点数的情况下将整数提升到小数幂？ (我可以执行两个单独的整数幂运算。它要么会溢出，要么会失去很多精度，具体取决于顺序。)
浏览 19提问于2021-06-27得票数 3
回答已采纳
1回答
因子的精度算法与溢出
、、、
回想一下IEEE双精度算法。现在，在IEEE双精度中，可以计算哪个n > 1 binom(n,k)？此外，在同一时间间隔内，中间阶乘值何时会溢出？
对于我的第一个问题，我找到了区间n < 2^53.但不确定这是否正确。
浏览 2提问于2016-01-26得票数 3
在查看登录页面时，我发现了以下JS代码
hexMD5('\232' + document.login.password.value + '\305\334\122\134\352');
那么，我问的是\352会不会占用一个字节，从而导致溢出，并产生96或java脚本解释器将其提升为short以保留其值？
浏览 0提问于2013-04-20得票数 0
回答已采纳
1回答
在我支持的一个应用程序中，我正在调试一个问题，当从数据库返回的值出现在报告中时，偶尔会发生“算术操作导致溢出”异常。我确信所呈现的值是来自数据库的C#小数。
但是，在我们的报告中，display字段的类型为Number。我在中读到，当强制转换为无法处理返回值大小的较小类型时，可能会出现溢出异常，例如浮点型或双精度型。
谷歌在这个问题上让我失望了，遗憾的是，搜索“Crystal Reports Number数据类型大小”得到的结果模糊不清，并没有告诉我任何关于Crystal Reports number数据类型的信息。
因此，我在这里提出了一个问题-- Crystal Reports数字与C#数
浏览 0提问于2012-10-05得票数 0
回答已采纳
4回答
我正在写一段代码，在其中我必须将双精度值转换为浮点值。我正在使用boost::numeric_cast进行此转换，它会在出现任何溢出/下溢时发出警报。然而，我也想知道转换是否会导致一些精度损失。
例如
double source = 1988.1012;
float dest = numeric_cast<float>(source);
生成值为1988.1的dest
有什么方法可以检测这种精度损失/舍入吗？
浏览 2提问于2010-07-14得票数 10
回答已采纳
1回答
我试图将3列相乘，但我一直收到一个算术溢出错误。2列相乘是很好的，但当我试图相乘时，我会收到错误。
select
account AS ACCOUNT,
amount * fee AS "TOTAL AMOUNT",
(amount * fee) * rate AS "FINAL AMOUNT"
在此代码中，最终金额不计算。我认为它可能是转换或转换，或者我的语法，但我不确定。第一个字段(金额)存储为十进制(24,6)，费用和费率字段存储为十进制(15,9)。
请帮帮我！
浏览 7提问于2017-11-16得票数 0
在Python中，您可以拥有任意大的整数(尽管它可能占用您所有的内存来存储它们)。另一方面，随着浮点数的增加，它们最终会溢出，如果你试图用小数点太多的话，你就会失去精度。
哪一个是类？
小数点之前能给我任意数量的数字吗？小数点之后呢？限制是什么？
浏览 1提问于2019-08-08得票数 3
回答已采纳
根据Server 2008联机丛书中小数和数字数据类型的条目，精度为：
p(精度)小数点左边和右边可以存储的十进制数字的最大总数。精度必须是从1到最大精度38之间的值。默认精度为18。
然而，下面的第二个选择由于“算术溢出错误将int转换为数据类型数值”而失败。
SELECT CAST(123456789 as decimal(9,0))
SELECT CAST(123456789 as decimal(9,1))
浏览 1提问于2010-05-21得票数 2
回答已采纳
2回答
许多现代语言都支持任意精确数字。Java有BigInteger，Haskell有Integer，Python实际上是任意的.但是对于很多这些语言来说，任意的精确并不是事实上的，而是以'Big‘作为前缀。
为什么对所有现代语言来说，任意精确并不是事实？对于任意精度，是否有特别的理由使用固定精度的数字？
如果我不得不猜测这将是因为固定精度在某种程度上与组装指令相对应，所以它更优化，运行更快，如果您不必担心溢出，因为您事先知道数值范围，那么这将是一个值得进行的权衡。是否有固定精度优于任意精度的特殊用例？
浏览 1提问于2014-05-02得票数 3
回答已采纳
1回答
如何修复以下方法中的溢出错误？
public static double median(long[] numbers) {
Arrays.sort(numbers);
int middle = numbers.length / 2;
if (numbers.length % 2 == 1) {
return numbers[middle];
} else {
return (numbers[middle - 1] + numbers[middle]) / 2.0;
}
}
如果这两个数字太大，这一行可能会溢出：
retur
浏览 2提问于2016-12-15得票数 2
回答已采纳
换句话说，如何确保1 << n不溢出n < 256？
目前，我正在使用uint256(1) << n。
是否有更好的方法，或者是否保证在编译期间(而不是在运行时计算)将表达式uint256(1)替换为常量值？
谢谢。
浏览 0提问于2018-01-04得票数 0
1回答
我在我们的一个表中声明了一个类型为“时间没有时区”的字段。问题是，时间(通过JDBC)存储的毫秒，我不想。
09:55:10.137
我们只需要几秒钟(为了使应用程序兼容，并在基于DB2的环境中运行，其中的时间只存储在秒)。
09:55:10
我能改变那个领域吗?怎么做？
谢谢堆栈溢出
浏览 1提问于2014-06-05得票数 2
回答已采纳
3回答
如果我执行以下操作：
int c0 = CHAR_MAX; //8 bit
int c1 = CHAR_MAX; //8-bit
int i = c0*c1; //store in 32-bit variable
printf("%d\n", i); //prints 16129
我们可以看到，将8位数字相乘并产生32位输出是没有问题的。
但是，如果我这样做了
int i0 = INT_MAX; //32-bit
int i1 = INT_MAX; //32 bit variable
long long int ll = i0*i1; //store in 64-bit var
浏览 1提问于2010-04-19得票数 0
回答已采纳
我知道这可能是一个愚蠢的问题；但是如何在SQL Server中乘大数而不出现此错误：
算术溢出错误将表达式转换为数据类型int
我需要一个列，其中包含6位客户端号码的列表。
例如123456,123457和1234560000000,1234570000000等等。
这就是我试过的。
update account set sClientIdNo = sClientIdNo * 100000000
但我的结果是溢出错误。任何帮助都将不胜感激。
编辑：--我忘了提到，包含客户端编号的列具有varchar数据类型。
浏览 3提问于2016-01-16得票数 1
回答已采纳
我在Server 2008中有一个表：
Create table ExTable1
(
Fcur varchar(50),
Tcur varchar(50),
Rt numeric(10,10)
)
我正在尝试插入数据
Insert into [DB].[dbo].[ExTable1 ](Fcur, Tcur, Rt)
values ('INR', 'EUR', 1)
我所犯的错误是
将varchar转换为数字数据类型时发生算术溢出错误。
当我将列Rt的数据类型更改为numeric(10,2)时，上面提到的查询非常好。
浏览 1提问于2016-02-03得票数 0
回答已采纳
celsius = (5.0/9.0) * (fahr-32.0);
这只是C开发人员决定的开发选择，还是有原因的？我认为浮点数比双精度数小，所以它可能是为了防止由于不知道使用哪种小数格式而导致的溢出。这就是原因，还是我忽略了什么？
浏览 1提问于2008-09-01得票数 5
回答已采纳
通过ODBC从MS Access连接到SQL Server (不一定)。我想将我的Access表单绑定到SQL Server数据。能够动态地过滤服务器上的记录集(就像直通查询一样)是很棒的，但我希望避免表单是只读的。我非常感谢您的任何建议。提前谢谢。我在这里找到了类似的问题，但没有找到我正在寻找的答案。
我写了以下文章：
使用SQL Server后端访问数据库-堆栈溢出
导入或链接到SQL Server数据- Access - Office
Microsoft正在与ODBC保持一致，以便进行本机关系数据访问-常见问题解答
微软正在与ODBC保持一致，以便进行本机关系数据访问-微软SQLNCli
浏览 1提问于2014-02-07得票数 7
我一直在测试Go中的一些东西，注意到整数会溢出，但是float64和float32显然不能。
f64 := math.MaxFloat64
fmt.Printf("%f\n", f64)
fmt.Printf("%f\n", f64+1)
f32 := math.MaxFloat32
fmt.Printf("%f\n", f32)
fmt.Printf("%f\n", f32+1)
i := math.MaxInt64
fmt.Printf("%d\n", i)
fmt.Printf("%d\n"
浏览 4提问于2020-08-11得票数 0
回答已采纳
1回答
在GMP库中...
如何在内部执行对整数的操作？就像6=0110,4=0100..and 6+4= 0110+0100..在乘法、除法和其他运算的情况下会发生什么！？？它如何控制溢出位和其他东西..。
浏览 1提问于2010-01-28得票数 1
回答已采纳
declare @val1 numeric(22,6)
declare @val2 numeric(38,15)= 12345678912345678912345.12
set @val1=convert(numeric(22,6),@val2))
select @val1
它抛出了一个错误：
将数字转换为数据类型数值的算术溢出错误。
我试过转换和转换，但相同的错误是相同的。
浏览 1提问于2015-03-10得票数 2
堆栈溢出和c++新手
std::cout << std::fixed << "Starting Balance: $" << std::setprecision(2) << startbal << endl;
std::cout<< "Annual Interest Rate: " << intrestrate << endl;
std::cout << std::fixed << "Monthly Payment: $
浏览 2提问于2015-09-14得票数 1
6回答
下面的代码似乎总是生成错误的结果。我已经在gcc和windows visual studio上测试过了。是因为浮点溢出还是其他原因？提前感谢：)
#include <stdio.h>
#define N 51200000
int main()
{
float f = 0.0f;
for(int i = 0; i < N; i++)
f += 1.0f;
fprintf(stdout, "%f\n", f);
return 0;
}
浏览 0提问于2010-07-13得票数 3
回答已采纳
2回答
我正在尝试将一个双变量转换为一个Int64，并得到一些奇怪的行为。为了测试我的问题，我尝试了以下代码：
double temporary = Int64.MaxValue;
Int64 tem = Convert.ToInt64(temporary);
在将double转换为Int64时，仍然会出现溢出异常。这是个虫子吗？还是有什么我不明白的？
浏览 5提问于2014-07-01得票数 2
回答已采纳
在我的数据库中，我有一个用decimal (30,12)定义的列。我尝试用小数点最多12位来更新列值。但是当我从实体框架执行dbcontext.save时，它给了我错误“转换溢出”。基本上，我希望支持左侧为14个didit，右侧为12位的分贝。(12345678998734.898989898989)
浏览 15提问于2019-03-14得票数 0
2回答
Teradata:除法和大小数
、、、、
我尝试将两个小数( 15，2)相除，并返回15位的高精度小数，但我在超过10位的任何小数位上不断得到2616数值溢出错误，有没有其他方法可以实现15位的小数结果？ select (cast(19983.74 as decimal(15,2))*1.0000000000000)/(cast(15897.40 as decimal(15,2))*1.0000000000000)
浏览 47提问于2020-04-18得票数 0
回答已采纳
可能重复：
这是代码
#include<stdio.h>
int main()
{
float a=0.3;
if(a==0.3)
printf("Hello World!");
else
printf("Stack Overflow");
return 0;
}
我预期输出是“你好世界”。但我有“堆叠溢出”。为什么我没有得到“你好世界”？
如果情况有什么问题吗？
浏览 4提问于2011-11-25得票数 1
1回答
这是一个使用尾递归的lisp代码。
(defun factorial (f n)
(if (= n 1)
f
(factorial (* f n) (- n 1))))
我将其转换为clojure代码，期望进行相同的尾递归优化。
(defn fact [f n]
(if (= n 1)
f
(fact (* f n) (dec n))))
然而，我得到了这个整数溢出(而不是堆栈溢出)，即使是像(fact 1 30)这样的小数字。
ArithmeticException integer overflow cloju
浏览 0提问于2013-05-21得票数 9
回答已采纳
指出hypot比sqrt慢，因为当两个输入很大或很小时，sqrt会错误地返回inf或0。
然而，根据的说法，hypot甚至比首先转换为更高的精度，然后进行琐碎的计算并转换回来的速度更慢。
那么，在什么情况下应该使用hypot呢？只有当没有更大的浮点类型，并且溢出是一个问题时？
编辑：sqrtl和hypot在输入a=1,b=1.8e-8上有所不同，但sqrtl返回的结果更准确：
hypot 1.0
sqrtl 1.000000000000000222044604925031
exact 1.00000000000000016199999999999998687800000000000212576
浏览 0提问于2020-04-13得票数 6
2回答
我说了两件事：
std::numeric_limits<float>::max()+(a small number) 给出： std::numeric_limits<float>::max()。
std::numeric_limits<float>::max()+(a large number：std::numeric_limits<float>::max()/3) 给 inf。
为什么会有这种区别？1或2会导致溢出从而导致未定义的行为吗？
编辑:用于测试此功能的代码：
1.
float d = std::numeric_limi
浏览 2提问于2013-07-11得票数 20
回答已采纳
3回答
据我所知，GLSL中没有FLT_MAX类型常量。
有没有办法确保一个浮点数表示最大可能的值而不溢出？
编辑：
因为有人问我用这个做什么：
我基本上是把一个点扩展到“无穷大”。它用于2D阴影投射，其中我完全重塑了GPU上的三角形条带阴影。因为我一次只能控制处理一个顶点，所以w分量存储，无论它是停留在船体上还是投影到无穷大。
在两个“阴影边界”点是同一边缘的情况下，光线几乎与该边缘共线，我需要确保三角形仍然覆盖整个屏幕。这很难描述。
浏览 0提问于2013-04-18得票数 8
回答已采纳
2回答
我正在编写一个包含非常大的数字的问题。我有一个关于如何处理整数溢出的问题。当我将多个大数字相加时，我得到一个负数。我该如何处理这件事？另外，我的数据类型是
unsigned long long p=0;
我怎么做才能让它保持正值并继续加法呢？
浏览 4提问于2016-02-07得票数 1
1回答
为什么对于下面的情况，toFixed()不像预期的那样工作呢？解决办法是什么？
代码：
var num = 5.56789;
var n = num.toFixed(16);
console.log(num)
console.log(n)
n：5.5678900000000000期望值
n：5.5678900000000002的实际值
注意：
，我已经讨论了所有相关的堆栈溢出问题。，我知道它没有给出预期的结果，因为浮点数不能完全用二进制表示。，我想要的是一个库函数，它实际上确认了上面的内容并生成了预期的输出。
浏览 5提问于2020-06-16得票数 0
云服务器
ICP备案
对象存储
腾讯会议
实时音视频
腾讯云开发者
