高知財団法人板垣会（現・特定非営利法人板垣会）が組織されたきっかけもまた、この會舘を使って板垣精神と自由民権思想を啓蒙することにあったのである。
時運刻々と逼迫しゆく中にあって、各位のご尽力を以て建立された高知城の板垣銅像は、昭和十八年（一九四三）金属供出令によって応召出征せられ護国の基となって露と消えた。その時の思いを財団法人板垣会の理事・池田永馬は『板垣退助先生銅像供出録』として一編を著した。
されど戦況必ずしも芳しからざる日々を経て、遂に昭和二十年（一九四五）一月十九日には、高知市神田の敵機が襲来し、吉野地区に爆弾を投下、続く三月七日には桟橋通に爆弾六個を投下し、敵機は国際法規を遵守する姿勢を見せず、高知ばかりではなく、日本全土への空襲爆撃を繰り返していたそうである。
六月になっても空襲の已まぬ中、二十二日、地上砲火によってＢ２９一機を撃墜する戦果を挙げたのも束の間、二十六日にはその報復ともとれる空襲によって、敵機は高知市常磐町（現・二葉町）に一噸爆弾を三個投下、死者六名、重傷者七名、軽傷者三十五名、建物全壊二十七戸、半壊百十戸・小破百十一戸等被害は民間にも及んだ。
その翌週にあたる、昭和二〇年（一九四五）七月四日の未明、敵機の大戦隊が襲来し、市街地、民家に対して爆弾を投下、未曽有の惨劇となり、高知市街の約四割を焼失する大被害を受けた。これが世に云う「高知大空襲」である。米国側の資料によると、爆撃目標の中心点 とされた場所は、高知市中島町六十二番地附近で、現在の地図に置き換えると「高知市本町二丁目三―二三前の路上附近にあたる。
この場所は、現在は御菓子司小笠原などが軒を連ねている天神橋筋商店街の一角であるが、かつては「板垣會舘」のあった高野寺（板垣伯の誕生地）の山門が西側にあり、その楼門があった附近である。この門を潜った内側に建つ二階建ての白亜の洋館が「板垣會舘」であった、高知県最大の被害となった「高知大空襲」が、何故に「板垣會舘」附近を照準点に定め、非人道的な殺戮行為を行ったのか、あるいは板垣精神の破壊を意図としていたならば、真に怒りに堪えざるところである。
板垣會舘を焼き払った敵機は、その後、それを嘲り笑うが如く「板垣はおらぬか、福澤はおらぬか……」という伝単を空中から投下した話は有名である。
この「板垣會舘」を焼き払った空襲は米軍資料では「ミッション二四八」と呼ばれるものであり、敵の動向を探ると、前日、（日本時間）七月三日午後四時二十三分、米国陸軍航空軍第二十一爆撃軍隷下のＢ２９五百一機（先導機十二機を含む、一千五百二十七名）が、マリアナ諸島のグアム、サイパン、テニアンの基地から、姫路、高松、徳島、高知爆撃の為に硫黄島を経由して出撃した。
翌日未明、第七十三爆撃団のＢ２９百二十五機が高知市上空に飛来し、（日本時間）午前一時五十二分から同二時五十二分にかけて、一〇六〇、八米噸(とん)の焼夷弾を投下した 。死者四百一名、重傷者九十五名、軽傷者百九十四名、行方不明二十二名、罹災人口、四万七百三十七名、罹災面積四百十八万六千四百四十六平方米(メートル)、全焼家屋一万一千八百四戸、半壊家屋百八戸という土佐の歴史に於いて未曽有の大被害となった。敵機の侵入経路は、爆撃航程開始点（ＩＰ）を室戸岬とし、高知市南東方面からレーダー進入。先導機の高度は一万二百七十乃至一万一千五百三十フィートで、全機レーダー照準。爆撃機の高度は一万三百乃至一万一千五百フィートで、内、目視爆撃が十機、レーダー併用が五機、レーダー爆撃が九十八機であった。
米国側の被害は行方不明機一機（乗員十三名不明）、負傷者二名であったという 。爆撃の照準としては川や橋など、上空から識別しやすいものが選ばれたと言われ、江戸時代鏡川に架かる唯一の橋であった天神橋 から北に伸びる人口密集地は恰好の標的となったのであろう。憎むべき非人道的行為である。この結果、戦災によって焼け出された人々の避難所として使われたのが、伯の旧家を移築して作られた「憲政館」である。その為、旧蹟であるにも関わらず、見る間に傷んでしまい、戦後まもなくは、幼児の襁褓の匂い、廃棄物、鶏糞にまみれて貧民窟の如く有様であった。当時、進駐軍として高知市内を視察したアクセルソン中佐は「嗚呼なんと言う痛ましいことだ、板垣退助は、アメリカのリンカーンにも比する人を、わが国（米国）の人は、何という事をしてしまったのか……」と慨嘆し反省したことが記録されている。(『板垣精神』より)
