黄仁宇认为，在我们这个农耕国度，民众最大的追求就是通过辛勤劳作获得余钱，通过几代的积累获取多余的土地，然后上升为地主阶层，将后代从体力劳动中解放出来，这样，再通过几代的拼搏，从而使家族中有人能够通过科举步入士大夫阶层。在这个过程中，母亲和妻子的自我牺牲，在多数情况下也为必然。所以，表面看来，考场内的笔墨，可以使一代清贫立见，但幕后的惨淡经营则历时至久。这种经过多年的奋斗而取得的荣誉，接受者只是一个或至多几个人，但其基础则为全体家庭。因此，荣誉的获得者必须对家庭负有道义上的全部责任，保持休戚与共的集体观念。散文家归有光说过，如果他要离开家乡，就必须带着百余口的族人同行，李贽在泉州抗倭的时候，当泉州城被倭寇围起来的时候，李贽就要负责为30余口的族人寻找食物。
通过黄仁宇的讲解，我们已经很清楚了，李贽不愿意回家，是因为他无法履行他所应承担的任务，他没有脸面面对族人，抑或者他一心做学问，不愿意受到族人的干扰。虽然李贽没有给他的家族尽到义务，但他无疑事实上成了这个家族最荣光的人，因为直到今天，这个家族所有的人都成了历史学家考证的对象。
李贽和耿定理相处的岁月只持续了三年，在这三年中，李贽主要是研究道学，他写下《解老》一书，来诠释自己对《道德经》的理解。万历十二年耿定理逝世，这对李贽是个打击，他似乎一下失去了交流的对象。
而李贽跟耿定理的兄长耿定向一直不和，其实受耿定理的影响，耿定向也是泰州学派的门徒，他不相信玄而又玄的天理，他也认为天理就在日常生活之中，但跟王艮和李贽不同的是，耿定理显得很低调，他内心对程朱理学提出了疑问，但在日常行事乃至官场上，他还是儒家思想的那一套。
耿定向的思维与行事跟那个时代很多官僚一样，虽然理学、心学已经没落，但这个时代还需要维持一种表面上的平静。二个人说的话不适合在三个人场合下说，三个人说的话也不适合在五个人场合下说，这就说明公之于众的言论与私下里的活跃从来都不是一回事，推而广之，孔子不一定就信仰儒学，朱熹也不一定就信仰理学，他们所需要的就是维持一种秩序的稳定，或者以最小的成本来治理这个最庞大的国家。
正因为这样，李贽说耿定向言行不一，耿定向说李贽既矫且伪。万历十二年八月，罢官多年的耿定向复职为都察院副都御史，这明显引起了李贽的不快。李贽在《答耿中丞》一文中说道：“天生一人，自有一人之用，不待取给予孔子而后足也；若必待取足于孔子，则千古以前无孔子，终不得为人乎。余自幼读圣教，不知圣教；尊孔子，不知孔子何以可尊。所谓矮子观场，随人说妍，和声而已。”
这番话李贽明显表现出了不以孔子作为是非评判的唯一标准，万历十三年，耿定向再次升职，李贽再也无法忍受，遂离开耿家。离开前，李贽写了《答职司寇》一文，在此文中，李贽对那些他认为的信奉儒家思想的伪道士进行了深刻批判。
“他们之行事殊无甚异于人者，种种日用，皆为自己身家计虑，无一厘为人谋者，言不顾行，行不顾言。反不如市井小夫、力田作者，凿凿有味，真有德之言。他们阳为道学，行若猪狗。”这是李贽的一番话。他的这段话是对着耿定向来的，他痛恨耿定向这样言行不一的人。
跟王艮、何心隐一样，李贽主张众生平等，这其中也包括男女平等。葡萄牙人曾德昭在《大中国志》一书中对此有正确的描绘，他说道：“在中国，大户人家的女眷从来不在公开场合露面，他们的闺房只能自己的丈夫或者未成年的男子能够进入，即使是父亲、兄长也不能进入，他们出门也是乘坐轿子，除了家里人，他们从不接触其他男子。但这只是针对大户人家的女子而言，平民家的女子则不在此列，他们跟其他男人一样，需要为生活而忙碌，她们也需要下地耕田，走织贩屡。”所以，大户人家的女子只是帝国的极小一部分，封建礼法对大多数女子来说并不适用。
针对李贽的挖讽刺骨，耿定向也进行了反击。他说李贽收受女弟子，随意进出女眷的内房，而且引诱自己的弟弟嫖娼，李贽对此丝毫不理会，在他眼里，既然男女平等，也就根本不存在什么授受不亲之说。
当耿定向二次升官后，耿、李二人之间的关系已再无回旋的余地，万历十三年，李贽带着妻子、女婿、女儿、外孙、外孙女前往麻城投靠周思敬、周思久兄弟二人，周家建了一座小楼供李贽一家居住，在麻城还有梅国桢一家，跟李贽也是至交。
“有家真是累，混俗亦招尤。”这是李贽在《剃发》中的诗句。万历十六年，因为家中的叔侄、兄弟不断来麻城逼迫自己回去，他便前往麻城的芝佛院居住，既然入了空门，身边的女眷便不能随行，李贽便打发她们回到福建。为了彻底表示自己跟儒学划清界限，同时避免家乡的族人纠缠，他还剃了发，但是没有受香疤，从这点来看，李贽也并没有入佛教，但既然如此，他也就跟天下的儒生彻底决裂了。
李贽在芝佛院一直住到万历二十九年，一共是住了十三年，这十三年是李贽著书立作的迸发时期，他刊印了《焚书》与《藏书》，《焚书》的意思是这部书在将来必定会被焚毁，《藏书》的意思是这部书只能偷偷的藏起来，不能示人。《焚书》是将李贽生平和士大夫们来往的书信以及他所写杂文收集起来，《藏书》记载了自先秦开始，一直到元代800个历史人物的传记，李贽在藏书中对历史人物的评价不再是从是否符合儒家行为规范来看待，而是从是否推动了历史的进程来考虑。从这个是非判断标准来说，秦始皇、武则天这些行霸道的君主都被李贽推崇，陈胜、项羽这些历史的失败者也被他单独立传，但是中国历史上那些温文尔雅、谦谦君主们却不见其踪，推而广之，司马迁所作的《史记》在李贽眼里也是笑谈。
李贽在芝佛院的十三年正是他从61岁到74岁的十三年，他在芝佛院开讲，士农工商、凡夫俗子皆来听讲，他是男孩女孩一起收，而且他讲课不拘俗法，他不会教授人们“修身、齐家”这些东西，他讲课完全是率性而为。别人都教育孩子走路要轻、说话莫大声，李贽偏要他们蹦蹦跳跳翻跟斗，大声吆喝震天吼；别人教书在白天，李贽让孩子们白天帮大人种地，晚间来听他讲学。李贽自己也开荒种地，体会劳动的乐趣，但他出入坐轿，又保持了士大夫的优待。
李贽在某些方面的作风的确有些荒诞，或许有些故意为之，从这点看，李贽这个人又很矫情。有一回，李贽给小孩子出了一个谜语：皇帝老子去偷牛，满朝文武做小偷；公公拉着媳妇手，孩子打破老子头。孩子们冥思苦想想不出来答案，李贽便笑道：“皇帝老子去偷牛是指君不君；满朝文武做小偷是指臣不臣；公公拉着媳妇手是指父不父；孩子打破老子头是指子不子。孩子们听完这个谜底都很兴奋，他们四处传播，在当地带来很坏的影响。
这还仅仅是个个例，李贽在麻城居住期间跟御史梅国桢一家来往过密，梅家在当地是世家，梅国桢又正在西北掌权，梅国桢有一位孀居的女儿叫梅澹然，梅澹然拜李贽为师，李贽说澹然是“出世丈夫，虽是女身，然男子未易及之”。李贽还跟梅府的另外几个女眷，以及其他大户人家女眷也有来往，梅澹然在家中筑一绣佛精舍修行，李贽则经常跟这些女眷出入绣佛精舍，甚至进入女眷的卧室。李贽将她们取法号为善因、明因、自信、无明、澄然，除了颂扬梅澹然以外，李贽对这些女眷也赞誉颇多，他说：“此间澹然固奇，善因、明因等又奇，真出世丈夫也。”
李贽还专门有一首题“绣佛精舍”的诗：“闻说澹然此日生，澹然此日却为僧。僧宝世间犹时有，佛宝今看绣佛灯。可笑成男月上女，大惊小怪称奇事。陡然不见舍利佛，男身复隐知谁是？我劝世人莫浪猜，绣佛精舍是天台。天欲散花愁汝着，龙女成佛今又来。”
李贽好像生怕别人不知道似的，他将他与这些豪门女眷交往的言谈及书信汇集成册，编成《观音问》，李贽对他与女性的交往毫不避讳。
李贽曾在给梅澹然的信中写下一首诗：
盈盈细袜随风雪，
点点红妆带雨梅。
莫道门前车马杳，
子规今已唤春归。
李贽在《云中僧舍芍药》一诗中更是写道：
芍药庭开两朵，