Jak wiadomo z zachowanych źródeł istniała w Nosowie już w średniowieczu bliżej nieznana siedziba rodowa, którą w starodrukach nazywano zamkiem. W wieku XVIII ponownie w jednym z historycznych opracowań ziem pomorskich odnotowano: „...we wsi Nosowo istniał niegdyś zamek....”.