潘姓出自姬姓。周文王第十五子毕公高之子季孙食采于潘（今陕西），以邑为氏。另有芈姓潘氏楚国贵族有潘氏家族。还有少数民族改姓如北魏孝文帝改鲜卑破多罗氏为潘氏等。得姓始祖为季孙。
潘姓最著名的郡望为荥阳郡、广宗郡。潘岳（潘安）为西晋文学家，古代美男子代表"貌若潘安"流传千年。潘美为宋代开国名将参与平定南汉南唐。潘天寿为现代国画大师。潘建伟为当代物理学家量子通信领域先驱。
潘姓发源于陕西一带。战国末已分布于陕西河南等地。汉代潘姓已在北方各省分布。西晋永嘉之乱后潘姓南迁至浙江福建。唐代潘姓在南方各省已有分布。宋代潘美为开国功臣潘姓在福建江西兴盛。
明清时期大量迁入台湾和海外。当代潘姓人口约500万。以浙江、福建、广东、江西、安徽分布最为广泛。
潘岳（西晋文学家美男子"潘安"）、潘美（宋代开国名将）、潘金莲（《水浒传》人物）、潘天寿（现代国画大师"指画"）、潘建伟（当代物理学家量子通信专家）
浙江、福建、广东、江西、安徽分布最为广泛，其次分布于江苏、湖南、湖北、四川、贵州等地。