牛廷章，江西布商，娶妻鄭氏，生下兩個孩子，一男一女。牛成章三十二歲那年病死，兒子牛忠，其時才十二歲，女兒八九歲而已。妻子不能守貞，捲走家財，改嫁旁人。留下兩名孤兒，難以存活，幸虧伯母心善，收留牛忠兄妹，極力關照。
伯母六十多歲，家貧守寡，數年之後，便即死去。牛忠漸漸長大，想要繼承父業，賣布經商，身邊卻沒資本。妹妹嫁給富商毛某爲妻，在她幫助下，借來數十兩紋銀。
牛忠拿着這些銀兩，與朋友一起前往金陵闖蕩，半路中遇上強盜，錢財被劫一空，一個人四處飄零，這一天來到一處店鋪，鋪內一名主人，容貌酷似生父。暗中訪查姓名，也與父親一般無二。牛忠心中訝異，每日在店前流連，店主人雖然時常看見他，但神情冷淡，似乎並不相識。
如此過去三日，店主人言行舉止，無一不與父親類似，牛忠渴望與父親相認，於是毛遂自薦，以同鄉名義，前往店中打雜。彼此簽下契約，契約上詳詳細細寫明自己籍貫，姓名，年齡大小。
店主人乍見契約內容，神色一顫，問道：“你父親是誰？”牛忠如實說了，聲音哽咽。店主人悵然若失，半晌問道：“你母親還好吧。”牛忠不敢直言父親已死，說道：“自從六年前父親外出經商，母親便改嫁離去。兄妹二人多虧了伯母撫育，不然，早就屍骨無存。”
店主人慘然道：“我就是你父親。”兩人握手悲哀。牛成章引導兒子參拜後母，後母姓姬，三十來歲，並無子嗣，一見牛忠，十分欣喜，當即設宴款待。
自此後，牛忠便在店中住下，跟隨父親學習經商之道。牛廷章終日悶悶不樂，如此過了三個多月，眼見兒子業務嫺熟，於是提出要回老家一趟。
牛廷章去後，牛忠跟姬氏說：“母親，我跟你說實話，其實我父親已死去很久，眼前之人，多半是鬼魂。”姬氏大驚，說道：“你父親與我朝夕相處六年，並無半分可疑之處，怎會是鬼？”牛忠嘆了口氣，當下將真相一一說了。姬氏聞言，心中駭然，半信半疑。
過了一晚，牛廷章去而復返，手中提着一名婦女，蓬頭垢面，正是牛忠生母鄭氏。牛廷章滿臉怒氣，一把揪住鄭氏耳朵，罵道：“惡女人，你改嫁我不怪你，但爲什麼要丟棄兒女？”
鄭氏渾身顫抖，趴伏在地，不敢動彈。牛廷章張口咬住妻子脖頸，鄭氏吃痛，口中叫道：“兒子救命，救命！”牛忠見狀，心中不忍，當即上前勸架，用身體將父母隔開，牛廷章兀自恨恨不已，但頃刻之間，鄭氏已不知所蹤。
衆人大驚，紛紛道：“白日見鬼了。”轉眼再看牛廷章，只見他臉色慘變，忽然間化爲一股黑氣，魂飛魄散，只留下幾件衣服鞋帽。牛忠又驚又嘆，默默撿起父親遺物，入土埋葬，造了一座衣冠冢。
後來牛忠子承父業，生意越做越好，家財萬貫。有一次回家看望妹妹，跟鄉民一打聽，原來生母正是被牛廷章懲罰致死。