1102年底开始，米芾先后担任蔡河拨发、太常博士的职位，由于正是繁华的京师与附近地区，他特别有机会收藏到重要的书画作品，也认识书画鉴赏与交易的同好，成为他鉴赏、收藏书画的精华时代。然而，米芾却同时遭逢人生的苦痛，因为他最疼爱的幼子不幸过世，对他来说是莫大的打击。

米芾在三十馀岁所书的《叔晦帖》，曾提过他钟爱的三个儿子：“鳌儿、洞阳、三雄”，而“鳌儿”是指长子米友仁，“三雄”则为幼子米友知。米芾在年过五十岁后，遭逢到前所未有的家庭变故，先是小女儿于1100年过世，接着更沉重的打击则是幼子米友知于1103年的早卒，《晋纸帖》就提到这段遭遇。对于幼子的过世，米芾受到很大的打击与伤痛，严重影响身体的健康；他并提到大儿子米友仁还好正值年少，尚能维持家业。在三个孩子当中，米芾对于幼子米友知特别疼爱，据说他能帮父亲米芾代笔，年少才高，然而却不幸早逝，由此更能想见米芾何以会哀痛逾恒了。

米芾：“馀尝硾越竹，光滑如金版。”知其曾经亲自加工越竹纸，以获得品质精良的书写用纸。米芾亦撰有《评纸帖》一卷，批评当时造纸者为求洁白而多用灰粉，致使纸质粗涩、受墨不凝、运笔碍滞等状况，意在推行古代造纸法。