天正6年（1578年）越後・春日山城で没した上杉謙信公の遺骸は、上杉家の移封に伴い、春日山から会津若松を経て米沢城 へと移されました。
慶長17年（1612年）には、この地に謙信公の遺骸を祀る御堂（みどう）が建立され、城内随一の聖域とされました。
その後、明治9年（1876年）に謙信の遺骸は上杉家の御廟所へ改葬され、明治24年（1891年）、この碑「祠堂遺趾之碑」が建立されました。