我有一个系统,它使用小数执行大量计算,偶尔会将相同的数字相加,但返回不同的结果,+/- 0.00000000000000000000000000001decimal a = 2.016879990455473621256359079m;decimal c = 0.4507062854741283043456903406m;
decimal result1 = a + b + c + d;
我不明白为什么rails datetime不匹配。下面的测试失败了,因为我的created_at日期不相同,但我不知道为什么it "renders the course as json" do get :index, format: :jsonendCoursesController renders the #index view (FAILED - 1)
Fa
首先,我想要解决的问题是,为那些始终保持一致分布的值提供一个更好的表示:这样做的目的是为了减少用于存储数据的字节数(应用程序内存很大,I/O带宽受限)。目前使用的是32位浮点表示,16位浮点被证明不够精确.x/(2^16 - 1) [x is an unsigned short]显然,在这两种截然不同的、不精确的表示之