梁园由当地诗书画名家梁蔼如、梁九章、梁九华及梁九图叔侄四人，于清嘉庆、道光年间（ 1796-1850）陆续建成，历时四十余年。

在清代，与清晖园、可园、余荫山房并称为广东四大名园的梁园，原本指的是梁园中的“十二石斋”，它位于松桂里内。

　　据有关资料介绍，“十二石斋”是梁九图最初在松桂里兴建的园林，其名称叫做“紫藤（花）馆”。后来，梁九图在游览衡山湘水，南归之时，船过清远，购得十二奇石，纹络嶙峋，晶莹剔透，润滑如脂的大小黄腊石十二块，运返佛山，以石盆乘之，罗列在馆里。其中，最大一座名叫“千多窿”，梁九图视若性命，因而将原馆名改为“十二山石斋”，简称“十二石斋”。梁九图曾《自题十二石斋》，诗云：“衡岳归来兴未阑，壶中蓄石当烟鬟。登高腰脚输人健，不看真山看假山。”