Der Tempel gehört zur Myoshinji-Schule der Rinzai-Sekte und soll in der Ashikaga-Periode gegründet worden sein.

Auf dem Tempelgelände befinden sich die Gräber von Shimizu Jirocho, dem “Raufbold des Tokaido”, seinen Helfern Omasa, Komasa und Masukawa Sen'emon und seiner Frau Ocho, die er sein Leben lang liebte.

Die Inschrift “Grab des Kyokaku Jirocho” stammt von Takeaki Enomoto, einem ehemaligen Vasallen des Shogunats, der in der Meiji-Regierung Kommunikationsminister (Teishin-Minister) war.

Er ist die einzige ritterliche Person in Japan, die eine Bronzestatue als Anerkennung für ihr Lebenswerk erhalten hat. Die erste Statue wurde während des Pazifikkriegs abtransportiert, die heutige wurde 1952 von Tatsuo Tsutsumi geschaffen.

Die Steinmauer hinter der Statue stellt die Burg Sunpu dar und der Teich davor die Bucht von Suruga, was Jirochos Willen zeigt, in seiner Heimatstadt Shimizu Wurzeln zu schlagen.

Im Jirocho-Museum sind eine Kristallkugel, die ihm Katsuzo von Kurokoma schenkte, ein Reiseschwert (Dochuzashi) mit Bishamonten-Schutzamulett, eine Uhr, ein Teleskop, ein Luntenschlossgewehr und weitere Hinterlassenschaften ausgestellt.

Der Tempel wurde im ersten Jahr der Meio-Ära (1492, Ashikaga-Periode) vom Mönch Tenrin Domyo, einem Schüler des Mönchs Tokoku, gegründet.

Der Tempel trug zunächst den Namen Baiin-an und erhielt in der Eiroku-Ära (1558–1570) von der Familie Takeda Land mit Rotsiegel-Urkunde; diese Urkunde ist bis heute erhalten. Der Name wurde später in Baiinji-Tempel geändert.

Während der Keicho-Zeit wurde der Tempel von einem Feuer heimgesucht, das die Hallen und Schätze zerstörte. Der Tempel wurde später wieder aufgebaut, aber das große Ansei-Erdbeben zerstörte alle Gebäude.
Im 36. Jahr von Meiji (1903) wurde unter dem 14. Abt, dem Mönch Bankyu, die heutige Haupthalle wiedererrichtet. (Aus Materialien für allgemeine Besucher)