Im Jahre 1349 wurde die „Kapelle des Heiligen Jakobus außerhalb der Mauern bei den Kranken“ erstmals erwähnt. Das Spital befand sich in typischer Lage an der Brücke über den Jacobsgraben aus hygienischen Gründen außerhalb der Stadt und am Wasser, gleichzeitig an einem frequentierten Punkt, an dem Reisende den bettelnden Insassen nicht ausweichen konnten.
Die gotische Kapelle, die letzte Spitalkapelle der Stadt Brandenburg, liegt inmitten eines archäologisch nachgewiesenen Spitalfriedhofs. Es handelt sich um einen bescheidenen Backsteinbau von 7 mal 5 m Grundfläche, steilem Dach und blendengeschmückten Westgiebel. Das Innere wird von einer hölzernen Tonne überspannt. Der einzige Eingang befindet sich auf der Südseite.
Im 15. Jh. hat man an die Ostseite einen achteckigen Backsteinturm angefügt, der über Zungenmauern halb innerhalb der Ostmauer steht und in acht Giebeln und einem gemauerten Turmhelm (1833 erneuert) endet.
Die Spitalgebäude, zuletzt mehrere eingeschossige barocke Bauten, lagen auf der gegenüber liegenden Seite der Wilhelmsdorfer Straße und wurden 1898 abgerissen. Zur Verbreitung der Straße hat man die Kapelle 1892 von ihrem ursprünglichen Standort um 11 m nach Osten verschoben, was ihr den Namen „verrückte Kapelle“ eintrug.