Das um 1500 erbaute Treppengiebelhaus im Stil der Backsteingotik diente als Geschäfts- und Wohnhaus. Nach Ankauf durch die Stadt 1958 und umfangreicher Außenrenovierung, sowie  der Wiederherstellung der historischen   Raumaufteilung im Inneren mit der über zwei Geschosse reichenden Eingangshalle, wurde das Haus 1966 als Museum eröffnet. Prof. Dr. Jakob Heinrich Schmidt, von 1935 bis 1962 Kunsthistoriker an der Düsseldorfer Kunstakademie, lebte im Ruhestand in Kalkar. Dank seiner Kontakte konnten zahlreiche Kunstwerke, z.B. der Düsseldorfer Malerschule oder auch von Franz Radziwill, für ein künftiges Museum gewonnen werden. Themen  der Stadtgeschichte und Werke von bildenden Künstlern, die in Kalkar lebten oder eine besondere Beziehung zur Stadt hatten (u. a. von Heinrich Nauen, Gerhard Janssen, Hermann Teuber), bilden Schwerpunkte der Sammlung. Präsentiert werden zudem Ausstellungen zeitgenössischer Kunst.