呑象楼は、天保年間の建築です。もとは旧高松街道の榎井六条にある興泉寺が建てたもので、嘉永年間に勤王家『日柳燕石』が12年間を住居として使用した建物です。日柳燕石亡き後（1868）呑象楼は建物はそのままに置かれていました。
保存保護の立場から、燕石の遺徳に心うたれた有志の方々により、昭和29年（1954）4月、現在の場所に移築されました。移築したときに、集会所として使用するために改築されたため、文化財としての価値がなくなり、現在も文化財の指定は受けておりません。昭和14年（1939）県史跡に指定されていましたが、今は解除されています。現在も、2階には、壁のどんでん返し、床の掛け軸の抜け穴、はしご段の仕掛けなどが残っており、いろいろな逃げ道はまさかの時の用意であったものと思われます。
呑象楼は、初め【皆宣楼（かいぎろう）】や【双松閣（そうしょうかく）】などと言っていましたが、2階西側の窓から象頭山を盃に浮かべて飲み干したことから、「呑む」・「象」・「楼（高い建物などのこと）」と呼ばれるようになったそうです。
※内部の見学は有料です。