Nel 1381 Rodolfo Visconti figlio di Bernabò, fece costruire l’hospitium magnum, un maestoso palazzo a forma di quadrilatero con al centro una grande corte.
L’edifici nella parte settentrionale, insieme col meastrum, era riservato all'alloggio dei Visconti mentre gli altri 2 erano proposti alle dispense di armi. Dopo l’ ospitium magnum la fortificazione venne divisa, da una parte l’ospitium magnum e poi la cittadella al di sopra.