是继续在变幻莫测的仕途上前行，抑或是归隐田园，这一直是在永嘉的谢灵运思索的事，宋少帝景平元年秋天，他终于想明白了，断然决定辞官归隐，为此他写下了《初去郡》一诗，称自己为官是“负心二十载，于今废将迎。”无官一身轻的他再看那优美的景色，更多了一份清雅：“野旷沙岸净，天高秋月明。憩石挹飞泉，攀林搴落英。”回到始宁墅，谢灵运开始过起隐居生活，在此他又修建了北山居所，“傍山带江，尽幽居之美”。其间，刘宋政坛经历了庐陵王刘义真、宋少帝刘义隆被杀、徐羡之等人迎立宋文帝、宋文帝诛杀徐羡之等人等一系列事件，谢灵运更是不愿再跻身政治漩涡，与隐士王弘之、孔淳之等人清谈玄理，打算永远过这种隐居生活，在此期间，他写下了著名的《石壁精舍还湖中作》：“昏旦变气候，山水含清晖。清晖能娱人，游子憺忘归。出谷日尚早，入舟阳已微。林壑敛暝色，云霞收夕霏。芰荷迭映蔚，蒲稗相因依。披拂趋南径，愉悦偃东扉。虑澹物自轻，意惬理无违。寄言摄生客，试用此道推。”全诗结构绵密，对仗精工，精雕细琢，情景交融，极具艺术感染力。正如沈德潜在《古诗源》中评价的那样：“陶（陶渊明）诗合下自然不可及处，在真在厚。谢（谢灵运）诗经营而返于自然，不可及处，在新在俊。陶诗胜人在不排；谢诗胜人正在排。”
谢灵运的诗歌让人们无法忘记他。隐居中的他每有一首新诗，很快就会传到京师，不论贵贱，都是竞相传抄，顿时成为建康议论的中心话题，引起巨大的轰动，元嘉六年（公元429年），已经除掉徐羡之等人的宋文帝为了显示海纳百川、选贤任能的气度，又将屡遭挫折的谢灵运征召入京，任命为秘书监。宋文帝两次派遣使者征召谢灵运，谢灵运都婉言谢绝了，最后，宋文帝又让光禄大夫范泰亲自写信敦促，谢灵运这才离家就职。谢灵运与宋文帝之间并无渊源，宋文帝将他召到京师，不过是想给自己博得一个礼贤下士的名声，并非要委以重任，谢灵运抵京后，宋文帝让他负责撰写晋书，但谢灵运志不在此，仅仅立下书的大纲而已，很快宋文帝又晋升其为侍中，对他非常尊重，谢灵运的诗文、书法都是举世无双，每当他写成文章后，又亲自誊写一遍，宋文帝称之为“二宝”。谢灵运自以为出身名门，名望素来高于王华、王昙首、殷景仁等辈，却仅仅被宋文帝以一名普通的文士对待，在陪酒的时候谈天说地而已，这让谢灵运非常失望，经常称病不朝，假公济私，动用公家的劳役修建自己家的池塘庄园，植树种果，或者出城游玩，一去一百六七十里，十几天下落不明，既不请假，也不通报，弄得宋文帝也很没面子，暗示他称病回家。谢灵运立即照办，离京之时，他上书宋文帝要求北伐，离京后，在家中游宴无度，夜以继日，根本没有一个得病的样子，元嘉五年，他又被御史中丞傅隆弹劾，免官。
在这段时间里，谢灵运与族弟谢惠连、东海何长瑜、颍川荀雍、泰山羊璿之，以文章赏会，共为山泽之游，被人称为“四友”，谢灵运发明了一种木屐，上山的时候，去掉前面的木齿，下山时又去掉后面的木齿，被称为“谢公屐”，又写了大量的山水诗歌，风格也逐渐成熟。
始宁墅占地很广，有南山、北山，两山之间又有大小巫湖，这里风景优美，为谢玄一手规划建造，谢灵运家业丰厚，奴仆众多，门生数百，他曾经率领数百人从南山伐木开凿山路，一直来到南海，临海太守王琇大惊，以为是山贼来袭，后来知道是谢灵运才安下心来，谢灵运又邀请他一起前行，王琇不肯，谢灵运临别给王琇赠诗称：“邦君难地险，旅客易山行。”谢灵运曾因一句话就得罪了当地的父母官会稽太守孟顗（卫将军孟昶的弟弟），孟昶、孟顗兄弟都长相俊美，被人称为“双珠”。孟顗笃信佛教，但谢灵运却嘲笑人家说：“成佛的人都是那些得道的读书人，你肯定会在我之前死去，但成佛一定会落到我的后面。”伤了自尊的孟顗一辈子都忘不了这句嘲讽。
会稽郡的东城外有一片湖泊，叫做回踵湖，谢灵运请求宋文帝下令郡里将湖水泄去，开垦成农田自用，由于这个湖泊距离城市很近，很多百姓出城在湖泊里打渔维持生计，虽然有皇帝的命令，但太守孟顗却拒不同意，谢灵运得不到回踵湖，又让孟顗以始宁的岯崲湖代替，但孟顗依然不从。谢灵运认为孟顗并非为百姓着想，而是因信佛担心掘开湖泊而杀生，于是，散播言论，诋毁孟顗，致使双方的矛盾升级，一次，谢灵运与王弘之二人在千秋亭饮酒，赤身裸体，大呼小叫，孟顗听说后，派人前去制止，谢灵运大怒说：“我自己叫我自己的，与你有什么关系！” 元嘉七年（公元430年），孟顗搜集了谢灵运惊扰百姓的种种事情，上书宋文帝，称其将要图谋不轨，州郡下令戒严。这顶谋反的帽子非同小可，谢灵运闻讯后，赶紧跑到京师，向宋文帝解释，宋文帝倒是也没有怪罪于他，但顺势将其留在了京师，以免他回到地方，再兴波澜。
元嘉八年春，谢灵运被任命为临川太守。这位著名的诗人在另一位著名诗人陶渊明去世两年后，也来到了江州地面，不过，幸运的是，谢灵运还是见到了庐山上的那位慧远和尚，谢灵运一见之下，顿时对慧远心服口服。元嘉八年，宋文帝的第一次北伐刚刚以失败而告终，那么，为什么要将谢灵运安排在曾诛杀过谢灵运堂弟谢晦的江州刺史檀道济的手下呢？也许，这仅仅是宋文帝又一出借刀杀人的把戏而已！如果檀道济继续容忍谢灵运，这就可以成为檀道济的一个罪名；檀道济如果不容忍谢灵运，就可以进一步挑起两族之间的对立，达到分而治之的目的。刚刚躲过杀身之祸的谢灵运已经预感到丝丝的凉意，他在《初发石首城》中就表达了忧谗畏讥、徘徊惶恐的心境。一路上，诗人还做了《道路忆山中》、《入彭蠡湖口》等诗，再无曾经的欢快，诗中充满了阴郁、无助之情，表达了他对前途的担忧和迷茫。到临川后，谢灵运仍然与他在永嘉之时相似，总是出城游玩，不理政务，很快就有人弹劾，司徒刘义康派人前去逮捕谢灵运，谢灵运却将来人扣押，并率众逃亡，写下“韩亡子房奋，秦帝鲁连耻。本自江海人，忠义感君子”的诗句，朝廷兴兵将其抓获，送交廷尉治罪。廷尉审理后判决，谢灵运率众反叛，应当斩首。宋文帝爱惜人才，打算仅仅将其免官了事，但司徒刘义康却坚持认为不应宽恕他了，宋文帝念及谢玄的大功，将谢灵运免去了死刑，流放到广州。到广州以后，敏感的诗人已经预感到自己有可能会性命不保，他写下的《感时赋》中就曾说“颓年致悲，时惧其速”，果然不出所料，一个叫宗齐受的地方武将说他路过桃墟村的时候，曾见到七个人在一起形迹可疑，就报告了官府，官府发兵经过格斗将这七个人抓获，其中一个叫赵钦的人供述说：“同村薛道双以前与谢康乐共事，薛道双曾让同村成国对自己说：‘谢灵运给钱让买刀剑等武器，并让薛道双纠集同乡的壮士，到三江口截取谢灵运。’于是，就纠集了一些人打算在途中截取谢灵运，却没有遇到，回家的路上断粮了，才一路做了强盗。”
宋文帝得到这个汇报以后，即下诏在广州街市上对谢灵运执行死刑！
诗人临死之前，写下了一首绝命诗：“龚胜无余生，李业有终尽。嵇公理既迫，霍生命亦殒。凄凄凌霜叶，网网冲风菌。邂逅竟几何，修短非所愍。送心自觉前，斯痛久已忍。恨我君子志，不获岩上泯……” 龚胜为西汉人，王莽篡汉后，他绝食而死；李业是东汉人，公孙述称帝后，李业饮鸩而亡；嵇公当指不屈服司马氏的嵇康，霍生为被王浚所杀的霍原，在临死前，他终于痛快淋漓地表达了对篡夺东晋的刘宋王朝的愤恨和不满。谢灵运被杀时年仅49岁。
谢灵运的一生是悲剧的一生，也是备受争议的一生。当我们陶醉于他那些诸如“池塘生春草，园柳变鸣禽”（《登池上楼》）、“野旷沙岸净，天高秋月明”（《初去郡》）、“明月照积雪，朔风劲且哀”（《岁暮》）等无数优美诗句的时候，请不要忘了遥遥地凝视一下这位个性张扬的悲剧人物，他真如他的小名一样只是那个纷乱而又丑恶的时代的一个匆匆过客，宛如惊鸿一瞥留给我们太多的赞叹、惋惜和伤感……