《丽人赋》创作于南朝宋孝武帝大明四年（西元四六〇年），沈休文时年二十。其祖沈敬士为刘宋名将，尝随宋武帝伐南燕、御卢循、讨司马休之、灭后秦，战功彪炳，故吴兴沈氏在刘宋士族地位显赫。其父沈道真备受宋文帝恩幸，既为朝官，亦是文帝家臣。正是这种特殊君臣关系，使得该房支长期捲入皇室内争，并最终演化为沈氏宗族史上的一次家难，元嘉三十年（西元四五三年），「二凶」乱起，道真时任淮南太守，因随故主始兴王「不从义师」故，为起兵讨逆的孝武帝所诛。受此株连，休文时年十三，被迫潜窜避难，继而虽获赦免，却仍长期未获功名，遂四方拜谒，既攀附贵为始兴郡公宗人沈庆之，为之捉刀代撰《让仪同表》，又出入于西阳王刘子尚门下，以期开闢仕途。《丽人赋》的首句「有客弱冠未仕，缔交戚里」便是交代了这个背景，结合全文来看，休文少时在京城四方交遊中结识了一位丽人，两人曾相互爱恋，晚上私下偷偷相会，这篇赋即是休文为此丽人而作。