源义家有兄弟四人，二弟义纲（贺茂次郎），三弟义光（新罗三郎），四弟打小就在园城寺当和尚，跟前面三位兄长的日子没啥交集，可忽略不计。
三兄弟中，源义纲是线条比较粗的那种，跟义家关系如水似火，曾因为罩各自小弟的原因，差点在京城开片；源义光则城府深沉，在义家生前两人没有发生冲突，在最困难的时候还帮他拉来一支多国部队——即使这些人是冲着源义家的名头来的，作为组织者的义光也是功不可抹的。
当然，源义光跟大哥处得来，并不等于跟侄子们也处得来，这是两码事儿。
源义家共生六字，其中长子义宗早死，次子义亲，三子义国，四子义忠、五子义时、六子义隆——老爷子戎马生涯，倒也没有忘记促生产，保增产，其干劲确实令我等“只生一个好”的碌碌无为之徒汗颜。
在他的几个儿子中，次子义亲是最无法无天的一位，是被《大日本史》划叛臣的坏份子——源光圀对叛臣的挑选那可是相当严格的，连圣武天皇那会儿明目张胆的叛臣藤原广嗣都未能挂上号，源义亲居然能榜上有名，真乃光宗耀祖也。
源义亲原来在京师当过左兵卫尉，算是白领；后来被放到基层锻炼，任对马守——对马这地儿小，也真的只能是“守”而已。当真要搞什么开发，招商引资什么的还真的是没有什么办法。若不应为防御海盗和给大宰府当警戒前哨据点的话，还真的没有什么守的必要。
源义亲可能感觉这里不够舒展自己的拳脚，生活又艰苦，便打起了给自己搞些第二职业的主意。
好人各有圣光，坏人却是一个模子倒出来的，不久后，源义亲便把自己的手下派回九州，干些打家劫舍、强抢民女的勾当。这些人公派抢劫回来后，当然也少不了分他一份。于是，对马岛人民政府里一片暖意融融，官爷们的日子快活得象山大王。
武家栋梁的公子是惹不起的，要是这种事情摊在别人头上，太宰府辖区内的那群国司们最多也就赶兵赶赶，礼送出境就是了；客气点的，说不准还公款招待吃了顿饭才送走：反正咱是一家人嘛，兄弟单位有人过来，好吃好喝那是必须的。
可是，这时在太宰府当权帅不是别人，却正是源义家的恩师，高级军事速成培训班的创建人大江匡房！老爷子看到招待费超标了，心里很急：这可不是办法啊，易拉要三年五载来一次我还受得了；小朋友你也甭三天五头的来打伙风啊，老是酱样子阿拉怎么受得了呢？阿拉的政绩怎么算呢？以后的历史怎么说阿拉呢？
一气之下，老爷子在朝廷告了源义亲一状：这个没有教养的孩子是谁家的？赶紧带他回家，人道毁灭，回炉再造！
这时候，源义家还没有死；在冰箱里呆了那么长时间后，他也知道自己还真的不算什么。所以，他一听到儿子也象自己当年一样的叛逆，得罪的还是给自己发证的大江匡房，心里一凉，赶紧叫藤原资道（在后三年之役时当过他的传令兵）：拜托你辛苦一趟，赶紧去把这个逆子给叫回来！要快，趁还没酿成大祸之前！
在源义家鞍前马后跑了多年的藤原资道一到对马：嘿，这地儿跟当年陆奥差不多嘛，杀人放火没人管，正合适我该呆的地儿，咱就在这里安家落户吧！
就这样，藤原资道不但没有把源义亲叫回家，连自己都不回来了，加入了对马岛人民政府特别行动大队，跟源义亲一块儿干了。
义家无奈之下，又派了一个手下去生拉硬扯，终于把这个不听话的儿子拉了回来，并在朝中为他四处活动，最终仅判流放隐歧的轻罪。
源义亲年龄太轻，没理解到老爷子的苦心，竟然在半路就偷跑了，还带着一群手上溜到出云国，变本加厉，满怀阶级仇恨地以官府为打劫对象——如此一来，源义家就算是再有本事也没有办事再包住他了。
白河天皇倒也理解源义家，没有迫源义家大义灭亲。在派出几波人，连个回报都人都找不到后，天仁元年（一一零八年），他派出杀手锏，下令北面武士平正盛前去追捕。
平正盛跟从白河法皇多年，却一直没有什么表现的机会，没啥名声；源义亲是源义家的儿子，又是传说的狠人，出逃后在出云一带嚣张了五六年，不少名头颇响且急于建功的追讨使都死在他手下。两人对阵，大伙儿对平正盛的吃饭家伙的存留问题都不持乐观态度，纷纷开出盘口，赌平正盛输。据说最高的比率是一比一百，源义亲一，平正盛一百。
平正盛冷冷一笑，吩咐家里人：去把所有的盘口都给清了，买自己赢！
出发前，平正盛雄纠纠气昂昂地跑到源义亲的家门口，朝人家家门射了三箭——咱等这机会，等了几十年啦。如今源义家老矣，我要不在趁此机会建功立业，顺便削除源氏旁枝，更待何时？我不但要打败源义亲，还要打得漂漂亮亮的！不然的话，怎么突出自己的业务水平中呢？
一个月之后，气闲神定的平正盛回到了京师，带回了源义亲等匪首的首级。“正盛大人杀了源义亲”的消息很快就传整个京师，人们赞叹有之，惊奇有之，羡慕有之，怀疑有之——由于籍籍无名的平正盛仅仅用了一个月时间就搞定了朝廷头痛了六年的问题，许多人认为其实源义亲并没有死，平正盛不过是报假账而已。永久五年（公元一一一七年），有一个僧人自称是源义亲，朝廷抓来一查，刑具一摆将上来，那人就熊了，自认是源义亲的粉丝，玩COSPLAY而已。任何名人都会有他的粉丝团的，象源义亲这种大名鼎鼎的恶人，有几个冒他牌子的人招摇撞骗，一点不稀奇。