Den som i 1526 stod for rivingen av de kirkelige anleggene på middelalderens kongsgård, var slottshøvedsmannen Eske Bille. Det var ventet angrep fra den landflyktige kong Christian II. En angriper kunne sette seg i besittelse av disse anleggene utenfor murene og beskyte slottet derfra. For øvrig var Christian IIs slottshøvedsmann, den borgerlige Jørgen Hansøn «skriver», den som sterkest hadde bidradd til moderniseringen av slottet 1514-23. Sverresborg var blitt revet i 1477 av de tyske kjøpmennene på Bryggen.
Etter et besøk i Bergen 1641 konstaterte kong Christian IV at fortifikasjonene trengte forbedring. Under Hannibalsfeiden 1644-45 ble Bergenhus omgitt av en jordvoll, med batterier og bolverk mot Vågen. I 1646 sendte kongen sin nederlandske fortifikasjonsekspert, Isac van Geelkerck til Bergen. Arbeidet ble fortsatt etter eneveldets innføring under en annen av tidens festningseksperter, Jean Caspar von Cicignon, som ble den andre fagmilitære kommandant på Bergenhus i 1664.
«Langhuset» og «Tårnet» undergikk endringer i funksjon og eksteriør. Bergenhus ble en moderne barokkfestning, omgitt av et stjerneformet system av voller og bastioner. Det noe tilfeldige seinmiddelalderske bygningskompleks rundt Slottsgården ble i løpet av 1700-tallet erstattet med nye slottsmessige bygninger av dansk barokktype: Kommandantboligen og Kapteinvaktmesterboligen. Det ble et klarere skille mellom en indre slottsdel og en ytre festningsdel, som på Akershus. Dette er mindre tydelig etter at en vesentlig del av festningens utenverker ble fjernet ved anlegget av Festningskaien i 1920-årene.
Etter napoleonskrigene har Bergenhus ikke vært beredskapsmessig oppsatt som festning, men vedlikeholdt som militært administrasjonssenter. Håkonshallen og Rosenkrantztårnet har status som nasjonalmonumenter. Hovedporten og vaktstuen på paradeplassen er bygd i kong Carl Johans regjeringstid. Hele anlegget er restaurert etter de omfattende krigsødeleggelsene i 1944.
