相传晋代年间曾有乌龙四条常于潭中戏水，故名“乌龙潭”；又传说三国时赤壁大战前夕，诸葛武侯出使东吴共商抗击曹操大计，曾和孙权并辔至潭畔蛇山、菠萝山、石头山观察金陵山川地势，发出：“钟山龙蟠，石头虎踞，真乃帝王之宅也!”的赞叹。后清代薛桑根于蛇山建“诸葛词”祀之，至今祠尚存。唐代大书法家颜真卿任升州刺史时，将乌龙潭辟为“江宁放生池”，为全国八十一处“放生池”之一，并亲书《天下放生池碑铭》。唐元和年间，后人于潭西建“放生庵”，以祀颜真卿，故又名“颜鲁公祠”。

乌龙潭辟为放生池后，各种寺、庙、庵、祠等建筑纷纷兴建，而历代达官显贵所建的园林别墅更是鳞次栉比。此时的乌龙潭，花木扶疏，亭阁错落，水含山影，一派诗情画意的自然风光。清道光年间的一个金秋之夜，江苏巡抚陶澎和魏源泛舟潭面，观景赏月，诗兴大发。陶公云：“乌龙美景，秀色可餐”。魏答日：“有此妙处，何必西湖”。自此，乌龙潭又得“小西湖”之美名。

然而，至解放初期，历尽沧桑的乌龙潭已是一片荒凉，潭淤景毁，绝大部分古建筑无踪可觅了。五十年代，人民政府沿潭广植树木，修堤辟道，乌龙潭重又生意盎然。十年“文革”，乌龙潭再遭劫难。昔日的“小西湖”成了全市有名的臭水塘。一九八二年七月二十四日，乌龙潭公园筹建处进驻乌龙潭，开始了乌龙潭历史上第三次大规模的整治和建设。历时七年，于一九八九年九月二十四日，一个全新的乌龙潭公园向社会正式开放了。

如今的乌龙潭，花繁树茂，绿草如茵，鸟鸣枝头，鱼跃碧波，各种明清风格的建筑“妙香阁”、“冷华厅”、“肥月亭”、“庇鳞”“芙蕖斋”，以及“镇潭神石”、“清桂”等名木巨石布置得当，点缀在百花丛中。公园建设者们在十分有限的环潭陆地上，作出了十分生动的文章，展示出一种小面积而大涵量的园林布局。他们还匠心独运，在潭畔建成了我国首家龟鳖自然博物馆。馆内饲养、收藏、陈列着八十多个品种的龟鳖，其中有罕见的四眼龟、夹蛇龟，以及属国家一级保护动物的四爪陆龟和频临灭绝的珍稀品种鼋等。现在，该馆已以品种全、活体多、知识性强而誉满神州，受到中外人士的极大关注。园内还有被专家们誉为“国宝”，价值连城的五亿年前的“鹦鹉螺化石”；有全国第一家“颜真卿书画馆”；有文学巨匠曹雪芹的塑像；而新近落成的我国第一座“红楼山庄”，则集民俗、美食、娱乐、观光于一体，朴实敦厚、憨态可鞠的刘姥姥正在庄前热情欢迎中外宾客的到来。