远古时候，我们的祖先在生产实践中，逐步建立起大小、多少、方圆等数量和形状的观念，并产生了“数”的概念，总结出许多计数的方法。随着生产、交换的发展，确立了标准，产生了统一的计量方法，逐渐创造了尺、斗、秤等用途不同的计量工具。

《大戴礼记·五帝德》说，黄帝时设置有衡、量、度、亩、数，谓之“五量”。《尚书·舜典》说舜“同律度量衡。”《史记·夏本纪》说大禹“身为度，称以出”。古文献上的这些属于历史传说时期的零星记载，多少反映了商周以前的度量衡简况。

商周时期，度量衡器及其管理制度已比较完备，已采用了先进的十进位制。当时，中央和地方都设有专职的官吏，负责度量衡标准器的颁发、检定和使用。

春秋时期，诸侯国各自为政，度量衡制度混乱。战国时期，各诸侯国为了便于商品交换和征收赋税，都十分重视度量衡的整顿和统一。如齐国的田氏，在夺取政权以后，将四进位制改为五进位制，并颁发了标准量器。

秦国商鞅实行变法，改革了度量衡制，实行“平斗桶、权衡、丈尺”之法，并在公元前344年颁发了标准量器商鞅铜方升，为秦始皇统一全国度量衡打下了基础。

秦朝建立后，用法律形式统一了度量衡，主要是：(一)皇帝亲自颁布统一度量衡的命令。这个命令刻在或铸在量器、衡器上，或者刻在铜版上，再嵌在量器、衡器上，作为使用凭证;(二)中央制造颁发度量衡标准器，作为各地制作和检定的标准;(三)每年对度量衡器鉴定一次。这些措施，有利于中央集权的巩固，促进了社会经济的发展，对后世度量衡制度有着深远的影响。

汉代承袭了秦代的度量衡制度。西汉长度单位是分、寸、尺、丈、引，都是十进位，一丈等于十尺，一尺等于十寸。量的单位是龠(yuè)、合、升、斗、斛(hú)，除一龠等于半合外，其余都是十进位。衡的单位和进位关系是：二十四铢等于一两，十六两等于一斤，三十斤等于一钧，但钧等于一石。

三国鼎立时期，基本沿用前代制度，度量衡无大变化。两晋南北朝时，度量衡制度比较混乱。但自南北朝开始，度量衡就正式形成了大小制。所谓小制，即秦汉之制，主要用于调乐律、测日影、定药量以及制作冠冕礼服等，其他方面都通行当时的大制。

隋文帝统一全国，建立了隋朝，再次统一度量衡，把前期增大的量值固定下来。这时尺度比秦汉增大了28%，量和衡，单位量值增长了约两倍。

唐承隋制，唐代将一两定为十钱，废除了二十四铢为一两的进位制。

从唐代至明清，度量衡相对统一，制度更加完备。宋代在衡器方面创制了精密、灵敏的戥(děng)称，最小可称一厘，合今零点零四克。在最小的重量单位“钱”下，增设了十进位制的分、厘、毫、丝、忽。将长度单位移于衡制，这是宋代的一个创造。量制也做了调整，将十斗一斛改为五斗一斛，两斛为石。在形状上，宋以前的斛是圆筒形，宋将升、斗、斛一律改为截顶方锥形。

明代资本主义已经萌芽，度量衡也有发展，常用尺分为营造尺、裁衣尺和量地尺三个系统，衡器种类有杆秤、天平和精巧的戥子。

清代度量衡基本沿用明制。