桓温生下不满周岁，温峤见到了说：“这个小孩长着奇骨，可让他啼哭一下听听。”听了桓温的哭声，温峤说：“是个做英雄的材料。”桓彝因为温峤的赞赏，就将孩子起名为温，温峤听说以后，笑道：“真是这样的话，将来会改变世人对我这姓的印象了。”桓温十五岁那年，父亲在苏峻之乱中被韩晃所杀，当时的泾县县令江播也参与了此事。三年之后，江播去世，其三个儿子都在服丧，桓温假装成吊客，将江氏三兄弟全部诛杀，由此名声鹊起。
桓温的容貌气度十分伟岸，脸上长有类似北斗七星的七个痣，碧眼，猬须。刘惔从小就与桓温友善，他曾说：“桓温的眼睛如紫石棱（紫色的水晶），胡须就象刺猬的毛刺，他是孙权、司马懿之类的人物啊！”刘惔与桓温属于那种亲密但并非十分融洽的关系，这一点，我们可以从《世说新语，方正》的两则故事中看出来，一则是：“桓大司马诣刘尹，卧不起，桓弯弹弹刘枕，丸迸碎床褥间。刘作色而起曰：‘使君，如馨地宁可斗战求胜？’桓甚有恨容。”说的是，一次桓温去见刘惔，而刘惔却躺在床上，对其礼数不甚周到，桓温拉开弹弓打中刘惔的枕头。刘惔不禁勃然大怒，起身说道：“使君，凭这本事就能在战斗中获胜？”另外一则是：“王、刘与桓公共至覆舟山看。酒酣后，刘牵脚加桓公颈，桓公甚不堪，举手拨去。既还，王长史语刘曰：‘伊讵可以形色加人不？’”说的是，王濛、刘惔、桓温三人一起去覆舟山游玩。酒喝得酣畅的时候，刘惔把脚伸到了桓温的脖子上，桓温实在难受，就用手把他的脚拨开了。回来以后，王濛还对刘惔埋怨桓温说：“他怎能对人流露出不快的脸色呢？”
桓温与王刘二人关系虽好，但是并非无间的根本原因，我们仍然可以从《世说新语》中得出答案，在《排调》中记载：“桓大司马乘雪欲猎，先过王、刘诸人许。真长见其装束单急，问 ：‘老贼欲持此何作？’桓曰 ：‘我若不为此，卿辈亦那得坐谈？’”究其原因，在王濛、刘惔看来，桓温缺乏名士风流，而桓温则是欲建功立业之人，从骨子里互相瞧不起。《世说新语，豪爽》记载，桓温读《高士传》，每每读到隐士陈仲子的时候，就将书本扔到一旁，说：“做人怎能象这样刻薄地对待自己呢？”也透露出桓温从骨子里与这些人的不同。
这一点在桓温与殷浩之间显得更为明显。《世说新语，品藻》就十分清楚地说：“桓公少于殷侯齐名，常有竞心。桓问殷：‘卿何如我？’殷云：‘我与我周旋久，宁作我。’”桓温在年轻的时候，与殷浩齐名，一直不服气，桓温更是直截了当地问过殷浩：“你和我谁更出色？”殷浩回答：“我和我相处的久了，我宁愿作我。”但是，另一方面，桓温对于殷浩的清谈风流也是认可的。《世说新语，排调》记载：“殷中军为庾公长史，下都，王丞相为之集，桓公、王长史、王蓝田、谢镇西并在。丞相自起解帐带麈尾，语殷曰：‘身今日当与君共谈析理。’既共清言，遂达三更。丞相与殷共相往反，其余诸贤略无所关。既彼我相尽，丞相乃叹曰：‘向来语，乃竟未知理源所归。至于辞喻不相负，正始之音，正当尔耳。’明旦，桓宣武语人曰：‘昨夜听殷、王清言，甚佳，仁祖亦不寂寞，我亦时复造心；顾看两王掾，辄翣如生母狗馨。’”说的是：在殷浩担任庾亮长史的时候，一次回到建康，王导为他举行聚会，桓温、王濛、王述、谢尚都在座。王导将挂在帐带上用于清谈的道具麈尾解下，对殷浩说：“我今天和你一同讨论玄理。”于是，一直清谈到半夜。王导与殷浩你来我往，谈得十分尽兴，其他人都难以插话。王导感叹道：“刚才我们的谈论，竟到了不知义理源流归属的地步。至于文辞，我们不相上下。正始年间，王弼、何晏谈玄，大概也就这样了。”第二天早晨，桓温对人说：“昨天晚上，殷浩和王丞相谈得非常好，谢尚一晚上也不觉得寂寞，我也心有所悟。回头再看看王濛和王述，就跟两条蠢笨的母狗一般。”
与桓温亲密的还有那位袁耽。我们曾经说过，袁耽洒脱不羁，极其擅长赌博，曾在服丧中为桓温赢回了百万钱。《世说新语，忿狷》记载，“桓宣武与袁彦道樗蒲。袁彦道齿不合，遂厉色掷去五木。温太真云 ：‘见袁生迁怒，知颜子为贵 。’”由此可以看出，年少之时的桓温与袁耽经常在一起赌博，同时，年少的桓温应该与温峤过从甚密。袁耽与桓温的亲密关系还能从《任诞》中的另外一则故事中得到验证：“袁彦道有二妹，一适殷渊源，一适谢仁祖。语桓宣武
云 ：‘恨不更有一人配卿 ！’”袁耽有两个妹妹，一个嫁给了殷浩，另一个嫁给了谢尚。他对桓温说：“遗憾我再也没有妹妹了，好嫁给你！”
与桓温交好的，还有谢奕。谢奕，字无奕，是谢安的大哥，是谢尚的堂弟。谢奕性格比较粗暴，最初做剡县（浙江省嵊县）县令，一个老人犯法，谢奕罚老人喝酒，老人喝得大醉，他仍然让喝，三弟谢安当时才7、8岁，对哥哥说：“这老人太可怜了，为何要这样作弄他呢？”《世说新语，忿狷》还记载，有一次，王述不知是什么原因得罪了谢奕，谢奕跑到王述那里，破口大骂。性格急躁的王述也拿谢奕没办法，只好拉长了脸，面壁不敢动弹。谢奕骂了半天，王述只是不吭声，过了很久，王述才低声问旁边的小吏：“他走没？”小吏回答：“走了。”王述这才安心坐下。《世说新语，简傲》记载：“桓宣武作徐州，时谢奕为晋陵，先粗经虚怀，而乃无异常。及桓还荆州，将西之间，意气甚笃，奕弗之疑。唯谢虎子妇王悟其旨，每曰 ：‘桓荆州有意殊异，必与晋陵俱西矣 。’俄而引奕为司马。奕既上，犹推布衣交。在温坐，岸帻啸咏，无异常日。宣武每曰：‘我方外司马。’遂因酒，转无朝夕礼。桓舍入内，奕辄复随去。后至奕醉，温往主许避之。主曰：‘君无狂司马，我何由得相见？’”说的是，桓温做徐州刺史的时候，谢奕是晋陵太守，过去双方的关系就不错，但是，等到桓温将任荆州刺史前夕，对谢奕变得格外殷勤，谢奕也不在意。但是，谢奕的二弟谢据的妻子王绥，看出了桓温意欲携谢奕西去的心思，很快的，桓温真的引荐谢奕为自己的司马。谢奕到荆州以后，也没把他这个上司当上司看，还和平常一样，桓温经常对人说：“谢奕是我管不住的逍遥司马。”谢奕后来因为喝醉，也没了上下之礼，桓温进入内室，他也跟着。一次，谢奕又喝醉了，闯入桓温的内室去找他，桓温知道谢奕醉后惹不起，狼狈逃到妻子南康长公主那里躲避。司马兴男对老公说：“如果你没有谢奕这样一个经常发疯的司马，我哪有和你见面的机会呢？”而找不到桓温的谢奕，就来到刺史的大堂之上，抓住一个士兵陪自己喝酒，说：“跑了一个老兵，我又抓了一个老兵。”