计量校准的测量和数据运算中,确定用几位数字来表示测量或数据运算的结果,是一个十分重要的:问题。测量结果既然包含误差,就说明它是一个近似数,其精度有一定限度,在记录测量结果的:数据位数或进行数据运算时的取值多少,皆应以测量所能达到的精度为依据。如果认为,计量校正不论测量结果的精度如何,在一个数值中小数点后面的位数越多,这个数值就越精确;或者认为在数
据运算中,保留的位数越多,精度就越高,这些都是片面的。将不必要的数字写出来,既费时间,又无意义。一方面是因为小数点的位置决定不了精度,它仅与所采用的单位有关,如35. 6 mm.0.356m的精度完全相同,而小数点位置则不同。另一方面,测量结果的精度与所用测量方法及仪器有关,在记录或数据运算时,所取的数据位数,其精度不能超过测量所能达到的精度;反之若低于测量精度,也是不正确的,因为它将损失精度。
计量校验有所谓有效数字,是指在测量数值中,从最左边1位非零数字起到含有误差的那位存疑数为止为F有各位数字。最末位有效数字常称为存疑数,它主要由仪表所能达到的精度决定。例如,用10v量程指针式电压表测得电压5.64V,这是由3位有效数字组成的数据,在这3位教中,前2位是可从刻度且准确读出的,而最后1位是估读的,是含有误差的近似数,称为存疑数。