虽然朱元璋为汉高祖刘邦进行了辩护，把责任推给了富二代汉孝文帝，但是他并不打算把难题推给自己的继任者，他认为自己有机会有责任做这个事情，如果不做，那就是违背了天时。
根据《太祖本纪》另一则记载：“洪武元年，帝尝与侍臣言：声色之害甚于鸩毒，创业之君，为子孙所承式，尤不可不谨。”虽然这里的谈话仅仅是讨论了“声色之害”，但朱元璋“创业之君，为子孙所承式”的思想却指导了他各个方面的工作。
在这个思想的指导下，朱元璋很早就开始总结统治经验。洪武二年，编定了《祖训录》，教导子孙后代。洪武六年，学士詹同建议编写《日历》，将“渡江以来，征讨平定之迹，礼乐治道”的经验详细记录在册，朱元璋欣然同意，命詹同和和宋濂、吴伯宗等人纂修。洪武七年五月书成，内容记载了自起兵临濠到洪武六年的成功经验和好做法，共一百卷。
后来詹同进一步建议：《日历》的内容涉密，不能公之于众（秘天府，人不得见），有必要模仿唐代的《贞观政要》，把圣政归纳整理，宣示天下。于是将《日历》分为四十类，共五卷，取名为《皇明宝训》。以后凡是有好的政迹，随时加入。
洪武后期，朱元璋加大了总结统治经验的力度，这是他开始安排后事的一个重要表现。
洪武二十八年六月二十七日，朱元璋在奉天殿对文武大臣发表重要讲话，讲话的第一部分是关于取消酷刑的。他说：“朕自起兵至今四十余年，亲理天下庶务，人情善恶真伪无不涉历，其中奸顽刁诈之徒，情犯深重，灼然无疑者，特令法外加刑，意在使人知所警惧，不敢轻易犯法。然此特权时处置，顿挫奸顽，非守成之君所用常法。以后嗣君统理天下，只守《律》和《大诰》，并不许用黥剌、剕（剁脚）、劓（削鼻子）、阉割之刑。因为嗣君在宫中长大，人情善恶未能周知，恐一时所用不当，误伤善良。臣下敢有奏请用此刑者，文武群臣即时劾奏，处以重刑。”
第二部分重申了废除丞相制度，说道：“朕罢丞相，设府、部、都察院分理庶政，事权归于朝廷。嗣君不许复立丞相。臣下敢以请者置重典。”
第三部分是保护皇亲国戚。包括皇后家、皇妃家、东宫妃家、王妃家、郡王妃家、驸马家、仪宾家、魏国公、曹国公、信国公、西平侯、武定侯家，除谋逆不赦外，其他罪犯，由皇上亲自裁决。法司部门只许举奏，不得擅自逮捕。
朱元璋既然明确了《大明律》和《大诰》是嗣君的行为标准，那么他必须对二者进行完善。
这次讲话之后，朱元璋就开始更动《大明律》，洪武三十年（1397）五月，新定的《大明律》颁行，对原律七十三条较重量刑进行了更改。
同时，朱元璋又为皇家内部立法定制，颁布了《皇明祖训条章》，这个《祖训条章》在洪武六年五月颁布的祖训录的基础上增订而成。在颁发之日，朱元璋对礼部有一段训话，说道：“自古国家建立法制，皆在受命之君，以后子孙，不过遵守成法，以安天下，故日夜精思，立法垂后，永为不刊之典，如汉高祖刑白马盟曰：‘非刘氏者不王。’以后诸吕用事，尽改其法，遂至国家大乱，刘氏几亡。此可为深戒者。尔礼部其以朕训颁行天下诸司，使知朕立法垂后之意，永为遵守，后世敢有言改变祖法者，即以奸臣论。”
在这段讲话中，朱元璋展示了他立法垂后的担当和为万世师表的决心，并再次援引了他所喜爱的刘邦现身说法，指出后世破坏了刘邦立下的规矩才产生了祸乱，尽管他认为刘邦在立法垂后方面做得远远不够。
这个条章共分祖训首章、持守、严祭祀、谨出入、慎国政、礼仪、法律、内令、内官、职制、兵卫、营缮、供用十三个部分。内容无所不包、细致入微，极具实用性。在这里他再次强调了不许设立丞相，不许后宫干政、不许太监干政等等，同时花费了大量笔墨，再次劝诫诸王与皇室同心同德，保护大明江山，保住自己的荣华富贵。
朱元璋的遗产并不仅限于非物质文化方面，他在经济建设、社会安排、国防建设方面都有许多泽被后世的成果，他留给继任者的是一个富饶、安定、强盛的国家。
洪武三十一年四月，朱元璋己经老态龙钟，行动困难，但他执意要亲自去太庙祭拜，他清楚地知道，这是最后一次了，他要借此机会向自己的先祖和父母告别。在太庙，他把侍者赶走，独自行三献之礼，并默祷祖宗神灵来享，保佑子孙后代，江山永固。
礼毕，朱元璋走出庙门，对太常寺卿等礼臣说：“当年建太庙的时候，祖宗神主迁入供奉，朕行罢祭礼，稍事休息，不知不觉睡着了，梦见我父亲喊着我的名字说道：‘西南有警’。我随即上朝，果然有西南边报。祖宗神明照临在上，无时不在，你们掌理祭祀的大臣，要加意敬慎，宦者早晚都要洒扫，侍奉神主，你们应当按时去检查，务令心诚事洁，以安神灵。”
官员们唯唯诺诺，表示遵行，并劝朱元璋保重龙体，早点上车回宫，朱元璋却流连徘徊，不忍离去，他查看太庙周围的环境，对随行官员说：“当年新建太庙时，它们都还是新植的小树，现在不觉都己枝繁叶茂了，想凤阳皇陵也应该是这样了。皇考皇后（父母）离我而去己是五十多年，可惜我己不能亲到皇陵为他们烧上一陌纸钱！”说完难过地抽泣呜咽起来。
人之将死，其言也善，朱元璋显然己经知到自己来日无多了。不久之后，朱元璋卧病不起，朱允文连日在病榻侍侯，形容憔悴，朱元璋十分心痛，他很担心传授给这个听话懂事、仁爱慈孝的孩子的这份大产业会被别人夺走，而最大的威胁来自他的四儿子朱棣。
弥留之际，朱元璋命人将齐泰召来，任命为顾命大臣，告诉他和朱允文：“燕王不可不虑”，随即口授遗诏：“朕受皇天之命，膺大任于世，定祸乱而偃兵，安民生于市野，谨抚驭以膺天命，三十一年，忧危积心，克勤不怠，务有益于民。奈何起自寒微，无古人之博知，好善恶恶，过、不及多矣。今年七十一，筋力衰微，朝夕危惧，惟恐不终。今得万物自然之理，其奚哀念之有？皇太孙允炆，仁明孝友，天下归心，宜登大位。内外文武臣僚同心辅政，以安吾民。葬祭之仪，一如汉文帝，丧祭仪物，毋用金玉。孝陵山川因其故，毋改作。天下臣民，哭临三日，皆释服，毋妨嫁娶。诸王临国中，毋至京师。王国所在文武吏士，听朝廷节制，唯护卫官军听王。诸不在令中者，推此令从事。”
遗言的最后几句，完全是针对朱棣而发，朱元璋知道，自己对诸王的问题处理得太勿忙，太草率，但己没有时间进行调整，只好在遗命中为朱允文做最后一件事：传令不谁诸王借国丧机会聚会于南京；藩国所在地的军队一律听候朝廷调遣。为了国家的安定，他不得不牺牲亲情，放弃了与儿子们见最后一面的机会。
洪武三十一年闰五月初十日，朱元璋怀着无尽的留恋、忧虑与惆怅，撒手人寰。