Le premier château a été construit par l'Ordre de Croisade et appellé Château Wittenstein (fait en pierre blanc), il a été mentionné pour la première fois en 1209. Il était situé au norde du château d'évêque. Le château a été détruit par les habitant de la cité pendant la guerre avec l'Ordre. Les habitant devait construire un nouveau château pour l'Ordre Livonien sur le territoire de l'hôpital de Saint Esprit en démolissant le mur de la forteresse en ouvrant la cité de la part de château. Le tour de Saint Esprit et le fragment de la forteresse construit par maître D.Kriege a été ajouté à chateau en 1330-1353. En 1484 les habitant de cité ont détruit ce bâtiment aussi, et en 1515 ils ont été obligés de le reconstruire.