潘安生于247年，比生于257年的贾南风大9岁。贾南风掌权时已35岁，潘安更是44岁中年，与她专宠年轻男子的作风不符。

潘安依附于贾南风外甥贾谧，是贾氏集团核心文人。299年，他受贾后指使，仿冒太子口吻起草“谋反”文稿，导致太子被废。他是这场政治阴谋的关键执行者。

公元300年，赵王司马伦发动政变，贾南风被擒杀。潘安作为贾氏党羽受牵连，最终被“夷三族”，两人死于同一年。

民间因潘安美貌和贾后荒淫，将二人风月传闻联系起来。甚至有戏说认为，潘岳（字安仁）因侍奉丑后，德行有亏被省去“仁”字，才得名“潘安”。不过，正史中两人并无桃色关系，更多是各取所需的政治依附与工具利用。