高瀬川を開削した角倉了以の別邸の庭園が起源。のちに明治の元勲・山縣有朋の別邸第二無鄰菴の庭園として、造園の名手・七代目小川治兵衛が禊川から取水して作庭した。