1921年,潘洪钧(字子和)发了一笔战争财,于是在济宁兴建了这座私人豪宅。也就是现在我们看到的潘家大楼,大楼分三进院落和东西跨院,1925年建成。院子分为前庭院、要庭院和上房院。 据说,当年潘金屋藏娇,把他的八房姨太太安排在大楼的各个房间,但其中一个姨太太与他的护兵有染,于是盛怒之下的他将这位红杏出墙的姨太太奸夫一同杀掉,并埋在大楼的后院内,这就是济宁百姓所说的"潘子和杀家",也是因为这起丑闻,潘子和在济宁住不下去,就把这座大楼卖给后来的奉系军阀军官。再后来,由于战争频发,潘家大楼被各个时期的军政要人轮番占据。