苏州人都知道，顾陆朱张是苏州的四大姓，也是四大名门望族。其实，人们到苏州，说起苏州的名门望族，还总会谈及潘家，而且总欢喜问：“是‘贵潘’还是‘富潘’？”清代中晚期以来，苏州就有了“贵潘”和“富潘”之分。两家“潘”分居在平江路的两侧，很早以前就有“苏州两家潘，占城一大半”的说法。
     一般来说，“贵潘”是指以潘世恩为代表的一支，这一支明末清初从徽州迁来。300多年来，这支潘姓人才辈出。之所以称“贵”，主要是因为潘世恩和潘祖荫二人“贵不可言”。平江路钮家巷的巷口就是状元宰相潘世恩的故居。自乾隆年间开始，潘家子弟中共有状元1人、探花2人，另有进士18人、举人36名。其中数潘世恩最为荣耀。
     有人统计过，清朝历代享有最高荣誉的官员里面，活着加到“太傅”荣衔的极少；“重宴琼林”（意思是进士于考中后满60周年，重逢原科，即同一干支之年开考，由礼部奏准，与新科进士同赴恩荣宴）的有34人；殿试第一又做到大学士（相当于宰相）的有十几人，这3项只有潘世恩全部兼有。潘世恩24岁就状元及第，后来做过十几年上书房总师傅，是所谓的“天子门生，门生天子”。潘世恩享年85岁，为乾、嘉、道、咸四朝元老，清朝近300年官场，潘世恩堪称“福气第一”。关于潘世恩，还有一段有趣的轶事。
     潘世恩从小聪明伶俐，读书过目不忘。他十几岁就中了秀才，20岁刚出头又中了举人。这年，朝廷开科考状元。潘世恩上京赶考，一天中午，他路过一座高山，突然乌云密布，雷声大作，不一会，下起了倾盆大雨。潘世恩进山洞避雨，雨过以后，又重新上路。他走出洞口，发现洞口边有个大水塘，水塘里墨黑一团，全是蚂蚁，成千上万只在水面上垂死挣扎。潘世恩不觉动了恻隐之心，想救救蚂蚁。于是，他找来了一把稻草，丢进水塘，让蚂蚁爬在稻草上，再将稻草拉到岸边，让蚂蚁爬上岸来。这样，淹在水塘里的蚂蚁都救上来了。蚂蚁虽是小小的动物，但也有灵性，对潘世恩十分感激，围着他爬了两圈，才结队而去。
     潘世恩进京应考，考毕，主考官看了他的考卷，觉得文章做得十分出色，字也写得龙飞凤舞，在考生中是少有的，可以录取为第一名。但看到他的名字时，发现问题了。原来，潘世恩写“潘”字时习惯性地少了“番”上的一撇，他认为这样写可以体现出有田，有水，又有米。主考官却认为是个错字，这怎么能取第一名呢？主考官将潘世恩叫去，潘世恩跪在地上。主考官将试卷扔在地上质问，“潘”字为何会少一撇？
     潘世恩只怪自己粗心大意，心里十分懊恼。正当他后悔不已时，他突然发现“潘”字写得不错呀。
     于是，他对主考官说道：“禀大人，这考卷上的‘潘’字没写错，请大人再看。”
     主考官接过考卷一看，咦，“潘”字确实没有写错。他心想，可能是自己年龄大了，老眼昏花的，刚才看错了，就说道：“不错最好，卷子放在这里吧。”
     潘世恩的孙子潘祖荫23岁探花及第，历任刑部尚书、军机大臣等要职，加太子太保荣衔。太平军起义时，左宗棠是湖南巡抚骆秉章的幕僚，因倨傲暴躁而得罪了权贵，被群臣弹劾。当时朝廷内外一片喊杀之声，只有时任大理寺少卿的潘祖荫竭力反对，他为左宗棠据理力争，说道：“国家不可一日无湖南，湖南不可一日无左宗棠。”这句话至今脍炙人口。从潘世恩高中进士到潘祖荫去世，整整120年，潘家一直都处在全盛时期。
     潘世恩故居距今已有200多年历史，现为苏州状元博物馆。历史上，苏州亦是状元之城，共出了51名状元。
     再说“富潘”，与“贵潘”宅第相较，“江南第一豪宅”的“富潘”宅院老址“礼耕堂”也有着难得的幽雅静谧。门楼砖雕、滴水檐、回廊、骑马楼……轿厅、门厅、大厅及三进楼厅，一共五落六进，东到徐家弄，西抵平江路，后门可通到混堂巷，占地6700平方米的古建筑群落是有些故事的。屋宇都为木梁架结构，高大敞亮，峻严大气。传统结合自然的风味，在一片民居之中，造就了神秘而尊贵的气质。
     “富潘”的祖上可追溯到明初。先祖潘留孙，原是金陵人氏，明朝洪武初年曾任京城的兵马司都指挥使。从迁到苏州后的第九代潘颖昌开始，“富潘”就奠下了基业。潘颖昌，号麟兆，康熙年间人。他幼年的时候，就听从他父亲的吩咐，开始学习生意，投身于商海。经过多年的苦心经营，家族生意蒸蒸日上，成为殷实之家。“富潘”经营的货物主要为丝绸、药材、茶叶等，东北辽沈和华北一带都遍布他们的踪影，在那里设有商号。鼎盛的时候，“富潘”的生意遍及国内，甚至走出国门。