祖父潘堂，父潘鲠是绘画家，元丰己末（1079年）进士。大临与其弟潘大观皆有诗名。元丰三年（1080年）苏东坡贬黄州，二月与潘鲠、潘丙有交往；张耒谪黄州时，多有交往。大临能诗，宋代惠洪《冷斋夜话》卷四记载：“黄州潘大临，工诗，多佳句，然甚贫。东坡、山谷尤喜之。临川谢无逸，以书问有新作否？潘答书曰：“秋来景物件件是佳句，恨为俗氛所蔽翳。昨日闲卧，闻搅林风雨声，欣然起题其壁曰：‘满城风雨近重阳。’忽催租人至，遂败意。止此一句奉寄。”闻者笑其迂阔。其子潘振镛以绘画闻名。