Na levém břehu řeky Moravy leží nízký pahorek pojmenovaný Hradisko. Zde podle jedné z legend roku 1030 vybudoval český kníže Břetislav vlastní hrad poté, co unesl Jitku ze svinibrodského kláštera. O rané kolonizaci tohoto místa svědčí i hojné archeologické nálezy opuštěných hradišť v okolí. V roce 1077 byla na Hradisko pozvána benediktinská kolonie, aby zde vybudovala klášter, kam přišel opat Jan i se svými bratry z břevnovského kláštera v Praze. Klášter byl vysvěcen za účasti českého knížete Vratislava II. a břevnovského opata Meinharda.
Výrazným obdobím v dějinách tohoto místa byla druhá polovina 12. století, kdy byli benediktini vyhnáni z Olomouce a na jejich místo byl uveden řád premonstrátů. Ti se v té době stali oporou církevní reformy a papežství. Jako většina historických budov, i tento klášter několikrát vyhořel, a to konkrétně v letech 1241 při nájezdu Mongolů a 1432 při napadení táborskými vojsky. Klášter byl znovuobnoven s velkým přispěním krále Jiřího z Poděbrad. Největší pohromou pro toto místo bylo ovšem obsazení Olomouce švédskými vojsky v roce 1642, kteří odvezli nejcennější knihy jako svoji válečnou kořist do Švédska.
Budova získala svůj dnešní barokní vzhled na přelomu 17. a 18. století. Architektonický návrh vytvořil Giovanni Pietro Tencalla (dílčí úpravy provedl Domenico Martinelli), nástěnné malby a obrazy jsou dílem Paula Trogera a Jana Kryštofa Handkeho, autorem bohaté štukové výzdoby je Baltazar Fontana a za sochařskými pracemi stojí Josef Antonín Winterhalder a Jiří Antonín Heinz. Všichni se řadí k těm nejlepším dobovým umělcům na Moravě. Klášter byl ovšem po několika letech činnosti řádu roku 1784 zrušen – v tu dobu byl domovem více než 70 bratří premonstrátů.
Po smrti císaře Josefa II. byl areál předán armádě. Od fortifikačního skladiště přes francouzský zajatecký tábor zde byla roku 1802 zřízena vojenská nemocnice, která tu funguje dodnes.
