水硬性水泥的起源可以追溯到古希腊和罗马。
使用的材料是石灰和火山灰，它们在水的存在下与石灰缓慢反应，形成坚硬的物质。这形成了2000多年前罗马砂浆和混凝土以及随后西欧建筑工程的胶结材料。在现在的意大利波佐利市附近开采的火山灰，特别富含重要的铝硅酸盐矿物，形成了罗马时代的经典火山灰水泥。
时至今日，火山灰或火山灰一词指的是水泥本身或与石灰在水中反应形成水泥的任何细碎铝硅酸盐。（同时，水泥一词来源于拉丁语caementum，意思是罗马砂浆中使用的碎石，而不是粘结材料本身。）
波特兰水泥是水力石灰的继任者，水力石灰是约翰·斯梅顿于1756年首次开发的，当时他应邀在英国德文郡普利茅斯海岸建造埃迪斯通灯塔。
下一个发展发生在1800年左右的英国和法国，是通过燃烧粘土石灰石结核获得的材料。不久之后，在美国，通过燃烧一种称为“水泥岩”的天然物质获得了一种类似的材料。这些材料属于一种被称为天然水泥的类别，与波特兰水泥相似，但燃烧更轻，成分不受控制。
波特兰水泥的发明通常归功于英国约克郡利兹的约瑟夫·阿斯普丁（Joseph Aspin），他于1824年申请了一项由石灰石和粘土合成混合物制成的材料专利。
他称这种产品为“波特兰水泥”，因为这种材料在凝固时与波特兰石（一种在英国用于建筑的石灰石）非常相似。阿斯普丁的产品很可能烧得太轻，不可能是真正的波特兰水泥，而真正的原型可能是艾萨克·查尔斯·约翰逊于1850年在英格兰东南部生产的。波特兰水泥的生产迅速扩散到其他欧洲国家和北美。在20世纪，水泥生产在世界范围内蔓延。到2019年，中国和印度已成为水泥生产的世界领导者，其次是越南、美国和埃及。
