Muzeum v Rýmařově založil místní podnikatel a představitel města Wilhelm Ludwig (1853 - 1943) v roce 1901. Sbírky vzešly z darů obyvatel města a blízkého okolí, jakož i z darů bohatých mecenášů a krajanů v cizině (např. Afrika, Amerika, Orient). 2. světovou válku přečkaly bez úhony ukryté v přízemí radnice. Po válce ale nastalo nemilosrdné období stěhování, ztrát a ničení sbírek. Jejich zbylé torzo pak mělo sloužit jako základ fondu okresního rýmařovského muzea. K tomu však kvůli nepochopení ze strany představitelů města nikdy nedošlo. Sbírky se znovu několikrát stěhovaly, aby jejich chabé zbytky byly nakonec roztroušeny do nejrůznějších muzejních institucí (např. Národní technické muzeum, Náprstkovo muzeum, Muzeum Bruntál a další).
Nová éra muzea začala až v roce 1991, kdy byla za přispění přátel, občanů města i okolních obcí, sponzorů a kolegů z ostatních muzeí zahájena obnova muzea v budově určené původnímu záměru. K slavnostnímu znovuotevření došlo v listopadu roku 1992 výstavou Bohuslava Růžičky v Galerii Octopus.
Sbírky zpočátku tvořily především nálezy z archeologických výzkumů probíhajících v Rýmařově v letech 1969-1991 a kolekce nerostů z geologických průzkumů. Postupně přibývají dary občanů města, méně se již daří získávat do sbírek předměty koupí nebo sběrem v terénu.
Postupně vznikly jednotlivé expozice (1992-2001) týkající se historie Rýmařova (od 13. do 20. stol.), regionální geologie, historie místního textilnictví a dolování. Součástí muzejních expozic je i volně přístupná externí expozice hornin Jesenicka umístěná v lokalitě Hrádek (nedaleko od náměstí). Muzeum navíc disponuje dvěma sály, ve kterých po celý rok probíhají výstavy nejrůznějšího charakteru, nejčastěji výstavy umění, méně pak výstavy přírodovědné, historické nebo etnografické.