Växsjø biskopperne søgte tilflugt her siden midten af 1400 tallet da man begyndte at bygge borgen. Områdets bønder sled med træ og sten for at gøre befæstningen så uindtagelig som muligt.