袁世凯虽然与唐绍仪是交往数年的“铁哥们”，但其多年来大权独揽的习性难改，对唐绍仪推行责任内阁制，“事事咸恪遵约法”甚为不满，在用人、财政、遵守《临时约法》规定的总理附属权等问题上，两人的裂痕加深。特别是唐绍人“重用革命党人”的闲言闲语不断传到袁世凯的耳中。
一天，唐绍仪正在对袁世凯陈述政见，袁世凯听得心不在焉，后又忽然很不耐烦地说：“少川，我已经老了，你就来做总统吧!”这突如其来的话，使得唐绍仪大吃一惊，这才明白，俩人亲密的哥人关系已经走到了尽头。
在当时的政治环境下，唐绍仪想真正建立责任内阁实在勉为其难。在他的内阁班子中，内务总长赵秉钧根本不把唐放在眼里，从来不出席国务院会议，凡遇重大问题都直接向袁世凯请示汇报。
财政总长熊希龄也把唐绍仪搞得焦头烂额，因为首届内阁成立时，最艰苦的莫过于财政问题，仅北京一地，每月需款就达350万元，实际能够到库的收入连三分之一都不到，财政上的捉襟见肘，把唐绍仪压得喘不过气来。
唐绍仪是国务会议上主张发行公债，遭到强列抵触，政府的日常运作，基本要靠向外国财团借款来维持，英美德法组成的四国银团，提出种种苛刻条件，使唐内阁面临巨大压力。在筹款方面，唐绍仪反对英、美、德、法四国银行团提出监督中国财政的无理要求，引起了袁世凯、财政总长熊希龄及四国银行团巨头的合伙攻击。
压力归压力，在唐绍仪的艰难运筹下，向六国银团借款与国内发行公债双管齐，首届内阁还没有到揭不开锅的地步，真正给这位首届内阁总理致命一击的，还是出在他的老朋友袁世凯身上，也就是“直隶都督”问题。
1912年6月初，直隶省议会选举曾加入同盟会的王芝祥为直隶都督。在袁世凯眼里，直隶都督就是北洋大臣，位高权重，地位重要，卧榻之旁岂能容得了他人？必须是自己的心腹才行。
按照惯例，各省都督都应由咨议局推选，唐绍仪拟任命直隶议会推选的时任南京留守府军事顾问王芝祥为直隶都督，这就与袁世凯的想法产生了冲突。袁世凯的霸道作风再次显现，他既不与唐绍仪商量，也没有经唐内阁副署，就直接任命王芝祥为“南方军宣慰使”，并立即发布命令。
唐绍仪见《临时约法》已遭到破坏，深感“袁之种种行为，存心欺骗民党”。唐绍仪因执拗不过袁世凯而大受刺激，遂蒙生退意。王芝祥督直事件最终导致了唐绍仪与袁世凯分道扬镳。
几经辗转反侧，唐绍仪痛下决心，以国务总理身份直书袁世凯：“绍仪现因感受风热，牵动旧疾，恳请给假五日，赴津调治。惟总理职务关系重要，不容一日旷废，并乞大总统于国务员中简派一员暂行代理。”
1912年6月15日，深感孤立无援的唐绍仪，连读两遍辞职信之后，身穿便服，带着两3个随从人员，悄然乘坐一辆人力车来到至北京前门车站，搭乘当日头班火车，直奔天津而去。
袁世凯虽然对唐未萌生挽留之意，但念及几十年的旧交，感到贸然决裂实在有点过分，便派秘书长梁士诒赴天津慰留。唐与梁本就私交甚笃，一肚子苦水倾泻而出，溯源及往，历数与袁世凯数十年交往细节，到如今两人的决裂，动情之处，不胜唏嘘。
唐梁对袁世凯的性格和为人都颇为了解，知道大势已不可挽回。彻夜长谈之后，次日凌晨，梁士诒乘火车返京复命，也算对袁世凯有所交待。
袁世凯得知唐绍仪去意已决，随即在唐的辞呈上批复“准辞”，同时还不忘故作正经地绕个大圈子，称赞唐绍仪“南北奔驰，为民国效劳备至，及就任总理，经营擘划，错节盘根，困苦艰难，非可言喻，……出于至诚,不得不谅其苦衷，遂厥初志，应即准允请免国务总理本官，任为政府高级顾问。”
唐绍仪于民国元年3月13日由袁世凯任为国务总理，至6月28日辞职获准，前后不过100多天，唐内阁就此瓦解。这是中华民国的第1届内阁，竟如此短命，显示出民国初年中国政坛的多难与诡异。
唐绍仪辞职，引发了首届中华民国政府的巨大动荡，教育总长蔡元培、司法总长王宠惠、农林总长宋教仁、署理工商总长王正廷四位内阁要员联袂请辞，即使袁世凯发出“我代表四万万国民慰留你们”的“诚挚”哀求，也未能阻止他们拂袖而去。
按理说，袁唐这两位有着20多年交情的秘密政治伙伴组成的新政府，应是相得益彰的，但事实并非想象那么简单。唐绍仪是一位受过西方政治思想熏陶的总理，一上任便开始按照共和政体的要求，去实施总理的职责。唐绍仪在向参议院阐述政见时，展示了他的远大理想：要振兴外交实业，尤其在用人机制上“务贵新不贵旧”。
而且，在责任内阁体制下，唐内阁要代替总统对国会负责，总统只能虚居荣位，这些主张袁世凯哪能接受？两人的关系开始出现裂痕。唐绍仪的辞职，充分表明人治的强大与法治的脆弱，总统不经内阁总理副署而发布人事命令，这一破坏《临时约法》的严重“违宪”行动，并没有引起太多的争论与异议，这当然是因为对于法治和民主还不熟练的缘故。
孙中山对唐绍仪的去职深为惋惜，他说:“内阁中唐少川辞职后，虽然名义上还有党人在内阁中担任总长，只怕没有多大力量，又为官僚所化，也就很难依靠了。”在孙中山的心目中，唐绍仪是一位始终为共和而奋斗的勇士，他的悄然离去，无疑会削弱维护共和的力量。
（5）不当总理当县长
总理是指中华民国内阁总理，县长是指广东省中山县的县长，在这个世界上，有这么一个人，先做总理，后当县长，两个职位相差如此悬殊，听起来几近不可思议。
辞职后的唐绍仪又回到了上海，与其说他是韬光养晦，不如说他成了政坛的看客。隐居乡里的唐绍仪，不知何时能够再遇到历史对他的召唤。直到1929年，他就任中山县训政实施委员会主席，发誓要“将中山县建设成为全国各县的模范”，似乎显示出他有再次施展政治抱负的雄心。
南京国民政府成立以后，唐绍仪任国民党中央监察委员、国民党政府委员。
1931年，唐绍仪出任起自己的家乡香山县（时已改为中山县）的县长，他以此为抓手，集中精力实施建设模范县的计划。该计划包括基本建设、发展实业、加强农渔业和乡村建设、引进外资和发展教育诸方面，而以开辟唐家无税商港为重点。
此时的中山县，社情民情十分复杂，曾有被任命为县长而不到任的前车之鉴，更有人对孙中山的故乡望而却步。但曾经身居内阁总理高位的唐绍仪却毫无顾忌，他不计名位高低，待遇多寡，自告奋勇地走马上任中山县长。
唐绍仪毫不计较七品芝麻官位卑职贱，把县长的工作做得有板有眼，绝不糊弄。在带领当地的乡亲修马路、建医院，甚至还野心勃勃地想在中山县的海岸上建成一个大海港。
至今中山还流传着他的逸事，说他修马路的时候，碰到土地公公挡路，民工不敢动，他就用手杖敲敲土地公的头，然后让民工下手。马路修好之后，下水道的井盖老是被偷，于是他下令在井盖上铸上“盗买与盗卖，均罚50元；报信或引拿，均六成充赏”字样，后来就没有人偷了。
他为家乡的长远发展和建设着想，多次邀请省内外要人和专家前往唐家湾考察，编印《中山县发展大纲》，散发到港澳和海外，想方设法从各方面筹集奖金。他当县长期间，惩治贪，政清廉，革除官吏衙门陋习，坚持微服察访，及时解决一些实际问题，有“布衣县长”之称。