陈寿在《三国志》中写得十分婉转，他说刘备专爱结交豪侠，而实际情况并非如此。《三国志》中所写的“豪侠”实际上是一种尊称，说白了，刘备专爱结交流氓、土匪、罪犯这样的人。从刘备的家庭出身来看，他生在贫寒的家庭，父亲早逝，仅能靠编织竹席、草鞋为生。面对这样的家庭环境，刘备却屡屡做出与本人身份不等的事情来。首先，家中一贫如洗的刘备母亲竟然能供刘备读书，并且投靠在前任九江市长卢植的门下，与当时担任令支郡门下书佐、令支侯市长的女婿公孙瓒是同窗。公孙瓒因为娶到太守的女儿才有机会到卢植门下学经，而刘备寒门子弟却也能就读于大儒门下，这的确是值得思考的问题。
抛开上述话题不谈，我们再看刘备读书的学杂生活费是哪里来的呢？原来宗族中的亲戚刘元起全力资助他的。《三国志·先主传》中记载道：“德然父元起常资给先主，与德然等。”这句话作何解释呢？笔者认为大意应该是刘元起对待刘备如同亲子，以至于不顾妻子的反对，时常接济刘备。因此，刘备得以顺利的在卢植门下学习。可是当我们看刘备少年的生活时，用骄奢淫逸来形容一点也不为过。刘备不仅不刻苦学习，反而骑马遛狗，攀比穿戴。可这些钱从何而来呢？我们暂且认为是刘元起给他的。就这样，刘备开始了结交“豪侠”的生活。那么，他又结交了哪些人呢？
史书中记载了三位有代表性的人物，他们就是简雍、关羽、张飞。简雍是刘备集团的肱股之臣，少年时就认识刘备，属于“年少争附之”中的一员。史书上对他的着墨不多，主要说他对礼法规矩不屑一顾，非常不注重个人形象。关羽本是河东解良人，因为杀人越货潜逃到涿郡，因为刘备在当地颇有名望，便去投靠他。张飞是刘备的老乡，与关羽一道去投靠刘备。从简雍、关羽、张飞的情况我们完全可以看出，刘备结交的“豪侠”全是一群不遵守礼法规矩的“亡命之徒”。因为刘备手底下聚集了一批人，中山的马贩子张世平、苏双觉得他是奇才，给他了一笔钱，刘备便正式建立了自己的武装队伍。可是，仅是这样也让笔者心生疑窦。《三国志》中记载张、苏二人赠送刘备钱财时，先是写他们“赀累千金”，路过涿郡时给了刘备一笔钱财。按理说，刘备尽结交一些亡命之徒，张、苏二人躲之不及，为何还要主动赠送钱财呢？
有一种解释说，刘备纠集亡命之徒对巨商张世平、苏双进行敲诈才获得了这笔钱财。从刘备少年的经历来看，仅仅依靠一句轻狂之言是很难引起别人注意的。他在获得张、苏二人“赠送”的一笔钱财时已经有很多“豪侠”依附于他，他能过上骑马遛狗、攀比穿戴的生活很可能就是利用这些“豪侠”们巧取豪夺来的。如果说刘备待人恭谦很有名望的话，我们会发现当他聚起第一支武装时宗族中没有一位亲戚投靠他，甚至连夸赞他“非常人也”的亲戚刘元起也没让儿子刘德然随刘备左右，这让刘备的名声大打折扣。倘若刘元起真心认为刘备是“非常人也”，可又为何在刘备拥有一支部队时不让儿子去投靠他，以期谋求发展呢？
刘备的父亲刘弘实际上是有兄弟的，《三国志》记载了刘备的叔叔叫刘子敬，可这位亲叔叔并没有对一贫如洗的刘备家提供丝毫的帮助，甚至觉得他会“灭吾门也”。难道仅仅是因为刘备少时的轻狂之言就让叔叔有如此严重的看法吗？孩童时代很多人都说过一些不着边际的话，可《三国志》将这事专门写出来是否有名不副实的嫌疑呢？实际上，我们可以想象刘备身处的时代属于乱世，少年时他就已经暴露了“称帝”的野心。依附他的那些少年很可能都是一群亡命之徒，因此家族里的亲戚对他都是避之不及。当他与这群亡命之徒谋得中山大商张世平、苏双的钱财后，我们可以看出刘备少年时就已经成为一名“豪侠”，并且还是一名“豪侠”首领。既然他做了“豪侠”首领、土匪头子，自然而然就可以过上富裕的生活，并且利用朝廷要求地方自行组织武装平定黄巾的机会将这群亡命之徒打造成“剿匪义军”了。