关于修筑长城的建筑材料，在没有大量用砖以前，主要是土，石和木料、瓦件等。需用的土、石量很大，一般都就地取材。在高山峻岭的地方，就在山上开取石料，用石块砌筑。在平原黄土地带即在就地取土，用土夯筑。在沙漠地区还采用了芦苇或红柳枝条层层铺砂的办法来修筑，如像今天还保存的新疆罗布泊与甘肃玉门关一带的汉长城就是这样修筑的。修筑的方法是铺一层芦苇或红柳枝条，上面铺一层砂石，砂石之上再铺一层芦苇或红柳枝条。这样层层铺筑，一直铺砌到五、六米的高度，芦苇或柳枝的厚度约五厘米左右，砂石的厚度约二十厘米左右。若修五米高的城墙就要铺到二十层左右的芦苇柳枝和砂石。在东北的辽东长城还有用编柞木为墙、木板为墙的。充分说明了我国古代劳动人民采用因地制宜，就地取材的办法。
明朝的长城在许多重要的地段采用了砖石垒砌城墙，所用的建筑材料更多了。除了土、石、木料之外，还需用大量的砖和石灰。这些建筑材料也都采用就地取材的办法。砖瓦都是采取就地开窑厂烧制，石灰也就地采石烧制。修筑关城和堡子、敌台房屋用的木料也就近采伐。如果近处没有可供采伐的林木，就要从远处采运。在每一段分包修筑的施工组织中还专门设置了办料的部门和石场、窑厂。如在居庸关、八达岭发现的石碑上就记载有各项窑厂和石场办料部门的名称。而区这些部门的人员为数甚大。可以看出当时修筑长城备办建筑材料的任务是很大的