据明万历《高州府志》记载：西晋末，永嘉年间（307-313年），今高州地内有个潘茂名的人，他入山遇着道士下棋。道士欣赏他的对答和相貌，教他予黄精不死的丹方。他便在东山采药炼丹，而后升仙于西山（观山）之上。解放前，高州城文明门外洗太庙门前尚有他用的石船及其丹灶古迹，今该庙内还有一块生长着少许苔藓的石船破石存在，作为传说中的潘仙遗迹的历史见证（又一说是冼夫人遗物）。
