望江门是杭州东城门之一，始建于南宋高宗绍兴年间，称“新门”或“新开门”。元末改筑杭城后，称永昌门。清代初年，始改名“望江门”，杭州人也习称“草桥门”。旧址在今望江门直街与江城路相交处附近。

望江门外，明清以前一直是观潮胜地，历代志书中有不少记载。其中著名的有“映江楼”等。明人记载映江楼，在永昌门外江边，宋时原为“烟云鱼鸟亭”，元代重建为“瞰江亭”，明代改亭建楼，方有“映江”之称。由于层楼高耸，俯临江岸，气势雄伟，当时诗人誉为“形胜东南属此楼”。映江楼的西南，有观潮楼，又名大观楼。据清初有人考证，“其地正对海门，当潮汐往来之冲”，传说为唐代江楼遗址。观潮楼右有顺济庙，祭祀浙江海神龙王，俗称海潮寺，传说钱江怒涛涌至庙前－－“其声愈壮”，景色十分壮观。

望江门内，望仙桥之东，有德寿宫遗址。此原系南宋奸相秦桧在绍兴十五年所建府第。施全刺秦桧的故事就发生在望仙桥堍。后来高宗赵构年老退位后居住于此，改名“德寿”宫。明代作家郎瑛，曾长期居住在草桥门内景隆观前，他的笔记名著《七修类稿》就是在这里写成的。

闽浙总督、搞倭名将胡宗宪在主持重建“镇海楼”完工后，曾慕名邀请徐渭代撰《镇海楼记》。徐渭以胡宗宪所赠酬劳，在望江门附近购地十亩筑了一所别致的草庐，并以“酬字”两字作为堂名。这也算得当年杭州文坛的一段佳话了。

清代中叶以后，望江门外江岸涨沙日增，一片荒芜，仅有一些菜畦点缀其间，因而有“望江门外菜担儿”的俗谚。直到解放后，在政府的统筹规划下，荒地辟成四季常青的蔬菜基地，先后又兴建了不少工厂，从此望江门外就换了一派景象。