Pozdně gotickou tvrz vybudoval v Janovicích kolem roku 1520 tehdejší zástavní pán Petr ze Žerotína.  K dalším stavebním změnám došlo až v poslední čtvrtině 16. století, když panství získal do dědičného držení  Ferdinand Hoffmann z Grünbüchlu, který nechal tvrz přestavět na renesanční zámeček. K prvním významným zásahům do interiéru zámku došlo asi již v průběhu rekatolizace po roce 1625.  Teprve poslední Hoffmann Wolfgang Bedřich (1631- 1664)  rozhodl o rozsáhlých úpravách zámku. Majitel panství však zemřel následujícího roku a práce pokračovaly i potom, kdy se ujal poručnictví dvou osiřelých dcer kníže Ferdinand z Dietrichštejna. Po sňatku Marie Alžběty Hoffmannové s hrabětem Filipem Sigmundem z Dietrichštejna se stal janovický zámek jen občasným sídlem panstva. Druhým sňatkem jejich dcery Marie Arnoštky přešlo panství roku 1721 do vlastnictví hrabat Harrachů, ale zámek nadále zůstával vedlejším sídlem rodu. Navzdory tomu zahájil Ferdinand Bonaventura II. Harrach (1742 - 1778) zásadní úpravy zámku. Nejprve zvažoval přestavět pokoje zámku na byty pro tkalce, poté ale od toho ustoupil a rozhodl se pro zbudování hraběcího bytu a reprezentativních pokojů. Rodina na zámku pobývala jen občas. Již v 19. století tak byla část zámku vyhrazena pro pana hraběte a větší část zámku pak pro správu velkostatku.

         Současnou tvář získal zámek v 19. století.  V areálu zámku se nacházela též palírna, stáje, kancelářská budova a pivovar. V průběhu 19. a ve 20. století probíhají další vnitřní úpravy a poslední vnější pochází z roku 1919. Zámek se rovněž stal od roku 1884 trvalým sídlem janovické linie Harrachů až do posledního majitele Františka Harracha, jímž roku 1937 vymírá janovická linie rodu po meči. Poslední majitelkou se stala Františkova dcera Anna Marie, žena  maďarského šlechtice a velvyslance, hraběte Františka Zikmunda Rosty - Forgáche de Barkocz. Anna Marie s manželem užívali zámek jako letní sídlo.

          Velkostatek se zámkem  byl rodině  zabaven roku 1943, kdy byl František Rosty - Forgáche zadržen a vězněn nacisty. Poté byl velkostatek zabaven také na základě dekretu prezidenta republiky č. 12/1945 Sb. v červenci 1945, kdy byl v zámku zřízen internační tábor pro německé občany. Část mobiliáře měla být odvezena rodině Rosty - Forgáche, některé předměty se dostaly do správy jiných památkových objektů, zbytek byl rozkraden či zničen. Část zámku využíval jako sklad Československý státní statek Rýmařov. V padesátých letech minulého století na zámku vznikl Státní archiv Janovice a zámek převzala krajská správa Ministerstva vnitra v Olomouci. Roku 2002 archiv definitivně opustil prostory zámku a byl deponován v Opavě a Olomouci.  Zámek od té doby spravovalo Zařízení služeb pro Ministerstvo vnitra ČR, které část objektu pronajalo Městu Rýmařov, od roku 2011 oživovalo v letní sezóně areál zámku Městské muzeum Rýmařov kulturními akcemi. Rodina poslední majitelky žádala o navrácení majetků, proto je zámek mezi lety 2002-2017 opuštěný, prázdný a chátrá. Restituční spory byly v neprospěch rodiny uzavřeny v roce 2017 a o dva roky později přebírá správu zámku Národního památkového ústavu.