Til beskyttelse står der ved siden af porten et rundt tårn fra tiden omkring 1480. Det var formodentlig en kurfyrste fra Hohenzoller-slægten, Albrecht Achilles, der lod det opføre for at beskytte porten mod de rebelske byer i Altmark.
I tårnets stueetage er der et fangehul med en diameter på 4,15 meter, og det er omsluttet af 3,50 meter tykke mure. Ovenover er der tre etager med kugleformede hvælvinger og en platform, der er afsluttet med en takket krans.
I 1902 blev takkerne genskabt, og det kegleformede tag med to tagluger blev sat på, hvilket gav tårnet en højde på 37 meter. I første sals højde kan man se to tilmurede døre, der førte ud til vægtergangen af træ. På ydersiden på højde med anden sal er der et kloset, der hænger på en stenkonsol over voldgraven. Som udsmykning på den glatte tårnmur er der lavet zigzagstriber med glaserede sten og våbenskjolde. I 1700 tallet byggede man nogle fængselsceller ind, og det gav tårnet navnet fængselstårnet.
Gennem borgporten kammer man ind i den forreste borggård, hvor borgens staldbygning stod. I dag er det delvis et offentligt parkanlæg, og det har gennemgået mange forvandlinger i tidens løb.
Fund fra sten- og jernalderen gør det sandsynligt, at Burgberg var beboet meget tidligt. Man mener også, at før den tyske borg var der en slavisk borgmur. I 1009 nævner biskop Thietmar von Merseburg således Tangermünde i sin kronik for første gang.
Det var dengang en del af den officielle forvaltning i Balsamgrau, der omfattede den sydøstlige del af det, der senere blev Altmark. Borgen tilhørte et borgsystem ved Elben, i det der dengang var et tysk-slavisk grænseområde. Med markgreven Albrecht dem Bären kom adelsslægten Askanier til landet. De udvidede deres jordbesiddelser videre mod øst ved at erobre slaviske områder, og borgen Tangermünde var ikke længere en grænsefæstning, dog den blev efterhånden udbygget til den stærkeste borg i Altmark.
I 1373 erhvervede Karl IV (1346-1378) Mark Brandenburg. Han var romersk-tysk kejser, konge af Böhmen og tysk konge. For at sikre sit vigtigste område, Böhmen, var han til hele tiden opsat på at gøre sit magtområde større og havde vidtrækkende planer om at gøre Prag til Europas økonomiske centrum.
De strømme af varer, der kom fra Venedig over Alperne, og de strømme, der kom fra områder øst for Donau, og som skulle videre nordpå, skulle løbe sammen i Prag og derfra via Moldau og Elben videre til Hamborg, og der skulle de føres videre til handelsområdet ved Hansestæderne.
Omvendt skulle stabelvarerne fra Brügge, varerne fra England, fiskene fra Skandinavien og varerne fra Novgorod via den samme vej over Hamborg nå til Prag, for at blive ført videre derfra til de sydlige og østlige egne.
Hensigten var at gøre Rhinen til den foretrukne handelsvej, den skulle være en afløser for Elben, som man foretrak på det tidspunkt. Tangermünde var den første by ved Elben i Karls magtområde, som man mødte, når man kom fra den bøhmiske grænse. Herfra kunne man kontrollere de økonomiske forbindelser til Hansestæderne.
Således blev Tangermünde i fem år Karl IV ´s ekstra residens ud over hovedsædet Hradschin i Prag, indtil han døde i 1378. Det lykkedes dog ikke for kejseren at føre sine planer ud i livet, og ingen af hans efterfølgere har nogensinde taget dem op igen.
Borgen blev fuldstændig bygget om mellem 1373 og 1378. Byggematerialet var røde mursten. På tre sider er borggården omsluttet af en murring, der for størstedelens vedkommende skulle stamme fra Karl IV´s tid. Muren er 10 meter høj og 1,5 meter tyk, mellem fængselstårnet og det såkaldte Kapitelturm kan man på indersiden se huller til bjælker og en afsats, som vægtergangen af træ skulle hvile på. Den var sandsynligvis overdækket. Der er også rester af de tidligere takker på denne del af tårnet. Muren blev altså fosvaret fra oven i 1300 tallet. På siden ud mod Elben styrtede den største del af borgmuren ned i 1819.
Ved det østlige hjørne af borgen står Karl IV´s kernetårn i forbindelse med ringmuren. Senere fik det betegnelsen Kapitelturm, da det tjente som oplagsplads for det korn, som Berlins domkapitel købte. Tårnet når en højde på ca. 50 meter.
Den indre borggård, der lå højere oppe, var særlig sikret af en grav, der nu er kastet til, og af en markstensmur, der skal stamme fra adelsslægten Askanieschs tid. Der førte en bro over graven over til et porttårn. Her lå de vigtigste bygninger. Bygningen, der rummede myndighederne, er den eneste bevarede bygning fra 1300 tallet og var oprindelig borgens dansehus.
På beskyttelsesmuren mod Elben står en simpel barokbygning, som den prøjsiske konge Friedrich I lod bygge som et tarveligt natkvarter. Huset var også senere hjemsted for en område-forvalting.
Hvis man forlader selve borgen og går over de grønne anlæg ved den forreste del af borgen, kan man komme over til mindesmærkerne for Karl IV og Friedrich I.
Fra borgens østlige hjørne går der en smal gangsti udvendigt langs borgmuren. I 1300 tallet blev muren forsvaret fra en vægtergang, der løb oppe for oven mellem takkerne. Skydeskårene, som man skød ud af under trediveårskrigen, blev i 1813 brudt ned af franskmændene.