常大用是洛阳人，爱好牡丹成癖。他听说曹州的牡丹名冠齐、鲁，心中很是向往。正好因为有事到曹州去，他便在一个缙绅的花园中借住下来。当时才是二月，牡丹还没有开花，他只能在花园中徘徊，注视着花枝上的嫩芽，期待着花蕊的绽放。他作了《怀牡丹》绝句一百首。不久，花儿渐渐含苞待放，而他的旅费也快用完了，他便典当了春衣，流连忘返。

一天凌晨，常大用前往花圃，只见一个女子和一个老妇人在那里。他疑心是富贵人家的家眷，便急忙转身离去。到傍晚他再去时，又见到她们，他慢慢地躲到一边。偷偷一看，只见那女子穿着华丽的衣服，美艳绝人。正在晕眩迷茫之际，他忽然转念一想：这肯定是个仙女，凡间怎么会有这样的女子呢！便急忙返身去搜寻她们，刚一转过假山，正好跟老妇人迎面碰上。那女子正坐在石头上，一看之下，大惊失色。老妇人用身体挡住那女子，喝斥道：“狂生想干什么！”常大用挺直身子跪着说：“娘子一定是个神仙！”老妇人责骂他道：“说出如此妄言，就该将你捆了送到衙门！”常大用很是惊恐。那女子微笑着说：“让他去吧！”说完，绕过假山而去。常大用返回时，几乎迈不开步子，想着那女子回去后如果禀告父亲兄长，他们肯定会来辱骂自己。他一个人躺在空荡荡的书斋里，悔恨自己太冒失了。又暗自庆幸那女子并没有做出生气的样子，或许她并不把这事放在心上呢。悔恨和害怕交织在一起，一夜下来竟病倒了。天亮以后，幸好人家没有前来问罪，他心里渐渐安定下来。而回忆起那女子的音容笑貌，恐惧又转化为思念。

这样过了三天，他憔悴得几乎要死了一样。一天夜里，灯还亮着，仆人已经熟睡，老妇人进来了，端着一只碗，近前说道：“我家葛巾娘子亲手调制了一碗毒药汤，赶紧把它喝下去！”常大用一听，大为惊骇，过了一会儿说道：“我与你家娘子素无怨仇，何至于赐我一死呢？既然是娘子亲手调制的，与其相思得病，倒不如喝下这碗毒药死了还痛快！”说完，一仰脖子喝了下去。老妇人笑着接过碗离开了。常大用觉得药气又香又冷，看起来不像是毒药。一会儿只觉得肺腑宽阔舒畅，脑袋清爽，酣然入睡，一觉醒来，已经是艳阳高照了。他试着坐起身来，病好像已经没了，他心里越发相信那女子是神仙。因为没有接触到她的机会，常大用只好在没人的时候，想象着那女子站着，坐着，虔诚地跪拜，默默地祈祷。一天，常大用到花园中散步，忽然在深树丛中迎面撞上那女子，幸好还没有旁人。他大喜过望，拜倒在地。葛巾近前将他拉起来，常大用忽然闻到她身上有一股奇异的香味，马上用手握住葛巾白嫩的手腕站起身来，手指触到她的肌肤，只觉得柔软细腻，让人骨头都要酥了。他正要说话，那老妇人忽然来了。葛巾让他躲到石头后面，向南边一指，说：“夜里你用花梯翻过墙去，那四面都是红窗的，就是我住的地方。”说完，就匆匆走开了。常大用好一阵儿惆怅，竟好像魂飞魄散，不知道上哪里去才好。到了夜里，他搬来梯子，登上南墙一看，墙那边已经放好梯子了，他狂喜着下了墙，果然看见一个四面红窗的屋子。只听到屋里传来下棋声，他站了一会儿不敢上前，只好又翻墙回来。过了一小会儿，他又翻过墙去，那下棋声依然频繁。他悄悄走近一看，只见葛巾与一个穿素色衣服的女郎面对面坐着下棋，老妇人也坐在旁边，还有一个丫环在一边侍候着。他又回到墙这边来。来回折腾了三次，已经到了三更天。常大用伏在梯子上，就听见老妇人出来说道：“梯子是谁放在这儿的呀？”便叫来丫环一起把梯子挪走了。常大用爬上墙，想下去吧，又没有梯子，只好闷闷不乐地回去了。第二天晚上，常大用又去了，梯子已经预先架好了。幸好四周寂静无人，他进了屋子，只见葛巾一个人坐着，一副若有所思的样子。一见常大用，惊慌地站起来，侧过身子，满面含羞。常大用作了一揖，说：“我自认为福分浅薄，恐怕仙人和凡人没有缘分，没想到也有今夜呀！”说完就亲热地要抱葛巾。只觉得她腰肢纤细，只够一握，口中吐气如同兰花的芬芳。葛巾推阻道：“为什么这么着急！”常大用说：“好事多磨，迟了怕连鬼也要嫉妒了。”话还没说完，就听到远远传来说话的声音。葛巾急忙说道：“玉版妹妹来了！您赶紧钻到床下吧。”常大用急忙钻到了床下。没一会儿，只听一个女子进来，笑着说：“手下败将，还敢再和我战上一盘吗？我已经煮好了茶，特地来请你共尽长夜之欢。”葛巾推辞说自己已经困倦了。玉版坚决请她去，葛巾坚决坐着不肯走。玉版说：“你这么恋恋不舍，莫非是藏了男人在屋里？”便把她强行拉出了门。常大用爬出床底，怨恨至极，便搜寻葛巾的枕席，希望能找到一件她丢下的东西。但屋内并没有梳妆盒，只在床头放着一个水晶做的如意，上面扣着一条紫色的手巾，芬芳洁净可爱。他便将如意揣在怀中，翻墙回去了。他整理了一下衣服，只觉得葛巾身上的香气还在，心中越发倾慕。然而因为有了钻床底的恐惧，心中便产生了送官查办的恐惧，反复思量，不敢再去了，只是将如意珍藏好，希望葛巾能来找寻。

隔了一个晚上，葛巾果然来了，笑着说：“我一直以为你是个君子，不料却是个小偷呢。”常大用说：“确实有这么回事！我之所以偶尔做了一回小偷，只是希望大家能够如意罢了。”说完，就将葛巾揽入怀中，替她解开裙子上的结扣。白嫩的肌肤一下子露出来，温热的香气四溢，依偎搂抱着她，只觉得鼻息汗气，无不馥郁芬芳。常大用于是说：“我本来就猜你是个仙女，现在更知道不假了。有幸蒙你错爱，真是三生有缘呀。只恐怕仙女下嫁，终究只是一场离愁别恨。”葛巾笑着说：“你担心得太过了。我不过是那离魂的人间倩女，偶然为情所动罢了。这件事一定要慎重保密，恐怕会有搬弄是非的人颠倒黑白，弄得你不能长上翅膀逃走，我也不能乘风而去，到那时，因祸分离可比好离好散要更惨呀。”常大用答应了她，但终究还是怀疑她是仙女，所以再三询问她姓什么。葛巾说：“你既然认为我是仙女，仙人又何必要把姓名告诉别人呢？”常大用又问：“那老妇人是谁？”葛巾说：“她是桑姥姥。我小时候受到她的照顾，所以对她不和丫环们同等看待。”说完就起身要走，说道：“我那里耳目众多，不能在这里久留，有空我会再来的。”临别时，她向常大用索要如意，说：“这不是我的东西，是玉版丢在那里的。”常大用问：“玉版是谁？”葛巾答道：“是我的堂妹。”常大用将如意交给葛巾，她就走了。葛巾走后，被子枕头上都留着奇异的香味。从此，隔个三两夜，葛巾就来一次。常大用迷恋葛巾，不再想着回去了，但行囊已经空空如洗，他打算卖马。葛巾知道后，对他说：“你为了我，用尽了钱财，还典当了衣服，我实在不忍心。现在又要将马卖掉，一千多里的路程，以后怎么回家呢？我有些积蓄，倒可以帮你应付开销。”常大用推辞道：“我很感激你的好意，就是摁住胸口，拿身上的肉来起誓，也不足以报答你对我的感情。如果再贪婪卑鄙地耗费你的钱财，我还是个人吗？”葛巾坚持己见，说：“就算是我借给你的吧。”说完，她就拉着常生的胳膊，来到一棵桑树下，指着一块石头，说：“把它挪开！”常大用照她说的做了。葛巾又拔下头上的簪子，往土里刺了几十下，又说：“把土扒开！”常大用又照她说的做了，只见土下露出一个瓮口。葛巾伸手进去，取出五十多两白银。常大用拉住她的胳膊不让她再拿，葛巾不听，又取出十几锭，常大用强迫她放回去一半，又将土盖上。一天晚上，葛巾对常大用说：“近来稍有些闲话，我们不能再这么长久继续下去了，这不能不预先商量商量。”常大用吃惊地说：“应该怎么办呢？小生素来迂腐拘谨，如今因为你的缘故，才像寡妇一样失去操守，不再能自己做主了。全听你的安排，任凭刀锯斧钺架在脖子上，也无暇顾及了！”葛巾计划一起逃亡，让常大用先回去，两人约好在洛阳会面。常大用收拾好行装回家，他打算先到家然后再来接葛巾，谁想他一到家，葛巾的车子恰巧也到了家门口。他们便登堂拜见家里的人，左邻右舍听说常大用带回一个媳妇很是惊奇，都来祝贺，但并不知道他们是偷偷逃回来的。常大用有些害怕，而葛巾却很坦然，对他说：“且不说千里之外他们查不到这儿，就是被人知道了，我是官宦大户人家的女儿，就像当初卓王孙对司马相如也怎么不了一样，你可以放心。”常大用有个弟弟叫常大器，年方十七岁，葛巾看到他，对常大用说：“这是个有慧根的人，他的前程比你还远大。”大器快到完婚的日子时，他的未婚妻突然夭折了。葛巾说：“我的堂妹玉版，你以前曾经偷见过，相貌不丑，年岁也相当，他们俩做夫妻真可以说是天造的一对。”常大用听了就笑，开玩笑要请葛巾做媒。葛巾说：“如果真想叫她来，也不是什么难事。”常大用高兴地问：“有什么办法？”葛巾说：“妹妹跟我最要好。只要用两匹马拉上一辆小车，派一个老妇人往返一趟就行了。”常大用害怕连同他们私奔的事也一并暴露，不敢同意葛巾的计谋，葛巾坚持说：“不妨事。”便驾车，派桑姥姥前去。过了几天，车子到了曹州，桑姥姥在里口下了车，让车夫停在路边等候，自己则乘着夜色进了花园。过了好久，她带了一个女子回来，上车出发了。她们晚上就睡在车里，到五更天时再上路。葛巾估计了一下时间，让大器穿着礼服前去迎接，走了五十多里路才遇上，大器行了亲迎之礼。家中鼓乐齐鸣，花烛明亮，新郎新娘拜堂成亲。从此，常家兄弟都娶了美丽的媳妇，而家中的日子越来越富裕。

一天，几十个骑马的强盗突然冲进常宅。常大用判断出发生了事情，便让全家都上了楼。强盗闯进院子，围住楼房。常大用俯身向下问道：“我们之间有仇吗？”强盗答道：“没有仇。只是有两件事相求：一是听说两位夫人是凡间没有的美人，请求一见；二是我们兄弟五十八人，请赐给每人五百两银子。”强盗们在楼下堆上柴禾，用放火烧楼来威胁他们。常大用答应他们勒索钱财的要求，强盗们还是不满意，仍要烧楼，家里的人大为恐慌。葛巾要和玉版一道下楼，别人阻止她们也不听。她们浓妆艳抹走下楼，到离地三级的台阶上站定，对强盗们说：“我们姐妹都是仙女，暂时下凡人间，如何会怕你们这些强盗！倒想赐你们白银万两，只怕你们还不敢接受。”强盗们一起仰头跪拜，齐声说“不敢”。姐妹刚要回身，一个强盗说：“这是在骗我们！”葛巾一听，转过身来站定，说：“你们想干什么，赶紧想好了，还不算太晚。”众强盗面面相觑，悄无一言，姐妹从容地登楼而去。强盗仰头一直看得不见了踪影，才一哄而散。过了两年，姐妹各生了一个儿子，才渐渐说出：“姓魏，母亲被封为曹国夫人。”常大用怀疑曹州并没有姓魏的世家大族，而且大族人家丢了两个女儿，怎么会置之不问呢？他虽不敢追问，但心里暗自觉得奇怪。他便找了个借口又前往曹州，在境内四处访问，发现世家大族中并没有姓魏的。于是他仍旧借住原来的那个花园中。他忽然看见墙壁上有一首《赠曹国夫人》诗，内容颇有些怪异，便向主人询问。主人一笑，就请他去观赏曹国夫人，到面前一看，却是一棵牡丹，跟屋檐一样高。常大用问起名字的由来，却是因为这株牡丹在曹州名列第一，所以朋友们就戏封它为曹国夫人。常大用问这是什么品种，主人笑道：“这叫葛巾紫。”常大用心中更加惊骇，便疑心葛巾她们是花妖。他回到洛阳后，也不敢当面质问，只是叙述那首《赠曹国夫人》诗来察言观色。葛巾一听马上皱了眉头，变了脸色，迅速出了门，叫玉版抱着儿子来到常大用面前，对他说：“三年前，我被你对我的思念感动，才显出人形，以身相报。现在你既然猜疑了，又怎么能再生活在一起呢！”说完，她和玉版一起举起孩子远远地扔出去，孩子一落地就消失了。常大用吃惊地回头看，那两个女子也都渺无踪影了。常大用懊悔不已，过了几天，孩子落下的地方长出两株牡丹，一夜之间就长到一尺，当年就开了花，一株是紫花，一株是白花，花朵像盘子那么大，与一般的葛巾、玉版相比，花瓣更加繁碎。过了几年，两株牡丹枝繁叶茂，形成了花丛，一移到别的地方，就变了品种，没人能知道它们的名字。从此洛阳的牡丹就名列天下第一了。