三年后，开成二年，三十五岁的杜牧到扬州探望患了眼病的弟弟杜顗，后带着杜顗再次来到宣州，当了崔郾的幕僚。《丽情集》、《阙史》记载，杜牧宣州期间，听说湖州有很多美女，特意前去寻找。湖州刺史与他有些交情，把所有的**都弄来，杜牧一一看过，没一个看上眼的。刺史问怎么办，杜牧提出举办一个龙舟巡游，让当地的百姓们都出来观看，也许能遇上一个如意的女子。刺史大喜，就照着杜牧的话办了，当天果然百姓们倾城出动观看，杜牧苦苦搜寻，但一直没有找到。快日落时，才在人堆之中看到一个女人带着一位十几岁的小女孩，杜牧顿时两眼发光，说道：“这才是国色啊！”命人把母女二人叫到船上。母亲听后，大吃一惊，杜牧赶忙说道：“我并非现在就娶，以后等她长大再娶。”老婆婆说：“以后你失信了，我可怎么办呢？”杜牧说道：“不出十年，我一定会当这里的刺史。如果十年之内我不来这里，随你把她嫁给谁都成。”遂给那位母亲很多钱定下了这门亲事。开成五年，杜牧入朝担任膳部员外郎，会昌元年调任比部员外郎，次年，外派担任黄州刺史。此后，他又历任池、睦刺史、司勋员外郎、吏部员外郎，他一直对湖州约定念念不忘，直到唐宣宗大中四年（公元850年），他与曾任宰相的周墀私交很好，在他再三恳请下，时年已四十八岁的他才如愿以偿。上任第一件事，他就找到了那户人家，但此时那位姑娘已经在三年前嫁人了，已生下了两、三个儿子。那位母亲害怕杜牧强行把女儿夺走，只带上最小的外孙前来。杜牧怒气冲冲地责问，那位母亲回答：“过去我们约定的是十年，等了你十年，可是没见你来，三年前才嫁人。”杜牧低头不语，过了很久，才说道：“这话说得也直爽，强行夺取不合适。”又送给她一些财物，放她走了。杜牧大半辈子声色犬马，但其实内心一直向找到心目的女神，可是总算找到了，造化弄人，竟然是一场空。这次对他的打击是沉重的，他写下了那首著名的《怅诗》“自是寻春去较迟，不须惆怅怨芳时。狂风落尽深红色，绿叶成荫子满枝。”两年后，杜牧入京拜为中书舍人，不久就去世了。《丽情集》把杜牧初遇该女的时间定为他第一次在宣州当沈传师幕僚时，二次相距七年，考察杜牧担任湖州刺史的时间，应当是他第二次在宣州当崔郸幕僚发生的事，那年，杜牧三十五岁。

话说远了，如今，已经当了一年黄州刺史的杜牧四十一岁。杜牧游离于牛李两党之间，杜牧的祖父杜佑与李德裕的父亲李吉甫同为宰相，有些交情，杜牧的堂兄杜悰之所以能够娶到岐阳公主，也是李德裕的父亲李吉甫从中牵线搭桥的结果，开成二年李德裕接替牛僧孺担任淮南节度使时，还照顾性地将患有眼病的杜牧弟弟杜顗召入幕府，然而，事情却并非那么简单。杜氏兄弟与李党的核心人物李绅矛盾甚深，这源于杜佑与元稹、白居易和李绅之间的宿怨，昔日，元稹曾触怒过杜佑，而李绅却帮助元稹，嘲笑杜佑，李德裕又与元稹、李绅很好，杜氏兄弟自然会在牛李党争中稍稍偏向于牛党。大和六年文宗想起用李德裕时，李宗闵极力反对，杜悰也积极给其出谋划策，杜牧又曾任牛僧孺的幕僚，内心一直对牛僧孺有一种感恩之情，这也是人们把他视为牛党一员的原因之一，然而，现在是李德裕的天下，杜牧要想出人头地，就不得不极力巴结李德裕，而朝廷决心讨伐泽潞就给了杜牧一个机会。杜牧远远不是一个只会写诗作赋的文人，他还博览群书，一直想干出一番惊天动地的事业来，过去就曾写过《原十六卫》等文章，还曾经给《孙子兵法》作注，因此，当他听说朝廷要讨伐刘稹后，就给李德裕写信，积极建言献策。

杜牧在信中写道：“我曾经亲自询问淮西将领董重质，当年淮西凭借光州、蔡州、申州三州之地对抗天下之兵，仗却一直打了四年之久的原因，董重质认为是因为朝廷的军队兵员太杂，那些来自其他军镇的兵员人数太少，不能自成一军，要加入主要讨伐军中，一旦作战，势力弱小，人心不一，往往失败，所以，战争开始的两年里，淮西军一打就赢，杀死的大多都是这些‘客军’。等两年以后，这种军队减少了，只与陈许、河阳全军搏杀，就算唐州的军队不趁雪夜入蔡州，淮西也坚持不下去了。当时，如果朝廷只命令鄂州、寿州、唐州的军队只守住各自的边境，不用出战，只用陈许和郑滑两路全军，再加上宣州和润州（今江苏省镇江市）的弓箭手，扼守淮西四境的咽喉要道，不出一年，淮西就投降了。如党叛乱又与当年淮西不同。淮西背叛朝廷将近五十年，那里的军民只看到背叛朝廷的好处，已经，自以为天下之兵也打不他们，上下盘根错节，打起来确实很难。上党就不是这样。自从安史之乱以来，上党就没有依附叛党；建中之后，往往参加平叛，立下战功，因此李抱真能够击败田悦、朱滔，以孤寒穷苦之军打败河朔强悍之众，由此看来，该军赤胆忠心，习惯于忠于朝廷。刘悟去世后，刘从谏想继任，响应的只有其父从郓州带来的两千中军罢了。当时正值宝历年间，朝廷多事，才答应了他的要求。如今才刚刚过去二十多年，风俗还未彻底改变，过去的老人们还健在，就算刘稹想胁迫大家，众人也一定不会替他出死力的。现在，成德、魏博虽然也表示效忠朝廷，但他们也不过是包围一座城池，进攻一座堡垒，牵制一下昭义的一部分老弱之兵而已。如果朝廷命令河阳一万人修筑堡垒，封锁住天井关（今山西省晋城市南），深沟高垒，不与其正面作战，只以忠武、武宁两支军队，再加上青州五千精兵，宣州、润州两千弓箭手，径直直扑上党，不出数月，一定能够平定叛乱。”

史称，李德裕在部署讨伐刘稹之战中采纳了杜牧的建议。虽然李德裕厌恶白居易，但对杜牧的才华还是肯定的，不过，此后杜牧并没有受到重用，这也许与李绅从中阻挠有关。另外，杜牧张扬多言、嗜酒好色的个性也与李德裕格格不入，《旧唐书，李德裕传》称李德裕“不喜饮酒，后房无声色之娱”，他的前妻徐盼早逝，后纳婢女刘氏为妾，虽然李德裕与刘氏二人相守四十一年，感情深厚，但他坚守儒家传统，终生未将刘氏立为正室。显然，纵情声色的杜牧不会入李德裕的法眼。再者，杜牧毕竟与牛党关系复杂，也让李德裕对其不甚放心。牛僧孺在淮南节度使任上干了六年，到开成二年五月调任东都留守，史称，开成年间“搢绅道丧，阍寺弄权，僧孺嫌处重籓，求归散地”，在洛阳期间，牛僧孺“筑第于归仁里…馆宇清华，竹木幽邃。常与诗人白居易吟咏其间，无复进取之怀。”开成三年九月，入朝拜为尚书左仆射，只是个虚名，次年八月又被拜为山南东道节度使。武宗即位后，李德裕拜相，他始终没有忘记政敌牛僧孺，会昌二年，“罢僧孺兵权”，征召为太子少保，等于令其退休了。《旧唐书，牛僧孺传》称：“僧孺少与李宗闵同门生，尤为德裕所恶。会昌中，宗闵弃斥，不为生还。僧孺数为德裕掎摭，欲加之罪，但以僧孺贞方有素，人望式瞻，无以伺其隙。德裕南迁，所著《穷愁志》，引里俗犊子之谶以斥僧孺。又目为“太牢公”，其相憎恨如此。”会昌三年五月，李德裕对武宗称，时任太子宾客、分司李宗闵与刘从谏私下有来往，不宜让其留在东都，十日，武宗下诏将李宗闵贬为湖州刺史。李德裕与牛僧孺和李宗闵积怨很深，更不会提携与二人眉来眼去的杜牧了。