田舎エンジニアのBlog

~自宅も会社も田んぼに囲まれてますが何か?~

目次

Blog 利用状況

ニュース

自己紹介

リンク

スポンサー

書庫

日記カテゴリ

re: 計算結果の誤差

あっれ~?"D" だと思っていたのですが、"M" だっけ?
うろ覚えでやってるなぁ(笑)

> VB.NETでは整数同士の"/"での除算は、結果の値の大小に関わらずDouble型になります。
おお!なんか、あっちやこっちがごった煮状態。。。
誰か違いをまとめて(ぉぃ


> わたしはてっきり丸め誤差=進数変換で発生する誤差だと思っていました。
n進数では割りきれない数字を丸めた誤差だから、いいのでは?


ついでに、昔のネタにリンク
http://blogs.wankuma.com/jitta/archive/2005/11/22/19516.aspx

投稿日時 : 2008年6月3日 21:07