上杉伯爵邸の敷地に２棟（国登録有形文化財）、座の文化伝承館の敷地に１棟の土蔵が建っています。いずれもかつての上杉伯爵家の宝物蔵であり、江戸時代後期から明治期の建物とされます。これらの土蔵は、大正8年（1919）の火災でも焼失を免れました。これにより、国宝「上杉本洛中洛外図屛風」や「上杉家文書」、伝来の武具・刀剣類など、上杉家の宝物が、現代まで守り伝えられたのです。