越秀山虽然不高，但过去的登上山顶便可俯瞰全城，也成为军事上的制高点，所以，越秀山历来是兵家必争之地。

早在明末清初，这里便筑有一些炮台（包括四方炮台遗址），这些炮台见证着古战场的硝烟，也见证广州受到帝国主义侵略的痛苦和广州人民抗击帝国主义侵略的壮举。可惜在城市建设中大部分已经被拆除，如今仅残存四方炮台、越秀东台台基。四方炮台在蟠龙冈上，是鸦片战争重要遗迹之一。这些炮台规模较大，共配炮22门，其中外台配炮13门，台中配炮9门。四方炮台坐落在越秀山上，是广州城防的重要据点。

鸦片战争爆发后，清道光二十一年（1841年）公历5月25日，英军在炮火的掩护下，由西村增埗清醒登陆，当天攻占城北各炮台，并以四方炮台为司令部。

5月29日，盘踞在四方炮台的英兵14人窜到广州城北三元里村抢劫奸淫，激起村民抗击，村民打死英军数名，拉开了近代中国人民第一次大规模的反侵略斗争——三元里抗英斗争的序幕。为防英军报复，城北103乡民众共一万余人，同仇敌忾，挥戈御敌，于5月30日引出据守在四方炮台的英军千余人至牛栏冈予以围歼。战斗中适逢雨天，三元里人民凭着机智勇敢，以落后的武器战胜了用新式武器装备的英军。英军司令卧乌古率领军队冒雨逃命，英军官兵被歼灭多名。

5月31日，番禺、南海、花县、增城等地的400余乡群众共10万余人将四方炮台重重包围。被困的英军不敢鸣放一枪，只好向清政府求援，广州知府余保纯带南海、番禺知县赶至四方炮台，采取软硬兼施的手段为英军解围。英军第二天开始撤离广州，6月7日全部撤出了珠江口外。四方炮台收复后，即进行修复。但第二次鸦片战争期间，炮台又遭受破坏。

1959年，园林部门在炮台基下挖掘出鸦片战争时用过的城放炮1门，次炮1838在国外铸造。此炮现陈列在广州起义烈士陵园内的广东革命历史博物馆大门左侧。

1914年，广州当局为巩固城防，向德国克的兵工厂贷款购买了两门大炮。当年5月，广州润记公司为两门大炮各建一炮台，即越秀东台、西台。两炮居高临下，俯瞰全城，又隐蔽在越井冈东西两侧，所在位置极其险要，大炮置于炮台又环形铁轨上，可按作各种角度旋转，两门大炮又形成互相配合之势，组成以越井冈为中心的火力交织网，覆盖广州城区，有相当大的威慑力。

1916年，军阀龙济光被驱逐出广州，撤退前将越秀炮台大炮的炮栓取走，大炮从此失去作用。这两门大炮虽然失去威力，但它已经成为了研究火炮历史的重要实物。现越秀炮台的两门大炮已经被移至镇海楼前西侧的空地上陈列。

镇海楼前还摆放着几门当年的火炮。一门火炮从清光绪十年（1884年）中战争爆发、广州戒严之日起，它就镇守在黄埔蟹山炮台，1954年才移至此。镇海楼前西南侧还陈列着10余门明清时期原放在越秀山城墙上的城放炮。其中一门是明崇祯十七年（1644年）广东铸造的城防大炮，另外9门是清代铸造的滑膛前装铁炮，其中4门是清道光二十一年（1841年）第一次鸦片战争期间，由佛山炮匠李陈霍所铸。

由于清政府的“义和”投降政策，这4门铁炮在战争中未能发挥作用，便被侵略广州的英军封了点火口，敲断了炮耳，不能再用，但它们成了研究广州铸炮技术史的重要实物。