与他的结拜兄弟关羽之长须美髯相映成趣的是，刘先主恰巧是下巴光光，没有胡子的。
著名的语言学家王力教授曾撰文称，古代男子是必须要留胡子的。联想到当年袁绍、袁术引禁军杀入宫中，替被宦官杀了大将军何进报仇，见到宫中没胡子的就乱杀的这段故事(此并非小说家胡编乱造，《资治通鉴》等正史均有记载)，可见老教授的考证不错，古人除宦官外似乎大多确实是蓄须的。刘先主如果那时就已被认作了“皇叔”，而且又不幸当时也在宫中，说不定早被二袁的乱军当作宦官砍了也未可知。胡子有可能影响到身家性命，真是乱世啊！
王力老教授还引了古乐府诗《陌上桑》为证，诗中有“行者见罗敷，下担捋髭须”之句。可见当时连挑担走江湖的贩夫走卒等都是有胡子的，一路上见到美女就可“下担捋髭须”，既是审美，也权且歇脚。刘备也是织席贩褥的出身，一路贩运，见到了美女却无法像他的同行一样“下担捋髭须”，想必是极痛苦的。设想一下，他也许只有低下头，掩住了下巴，急急忙忙挑担逃走，这是没有胡子的烦恼！
刘备为何要急急地逃走，这倒不是胡乱猜测，因为按当时社会的审美标准，胡子长得好是美男子的特征之一，《汉书》称高祖刘邦“美须髯”，《三国志》记载的美髯公有关羽、崔琰、程昱、魏延、太史慈等人，另外，如孙权有一部紫髯，曹彰有一脸黄须，都是很叫异性动心的。你想当初刘备一个穷小子，要钱没钱，要地位没地位，连胡子都没有，见了心仪的妹妹还不得自卑地赶快逃走？可见胡子问题是会对刘备的心理产生影响的。
《三国志·蜀书·周群传》记栽了一则有关刘备胡子的故事：
刘备初入蜀时，与刘璋相会于涪。张裕当时是刘璋的从事，侍从在旁。这位张裕的胡子长得特别茂盛。此时刘备已有了些地位，也就不甚以自己无须为耻了，反倒先去招惹人家，嘲笑张裕说：“我从前住在涿县，那里特多姓毛的人家，，东西南北都有，涿县的县令称之为‘诸毛绕涿居乎！’”言下之意是把张裕比作了多毛的猪。但这张裕也不是好欺侮的，当即反唇相讥：从前有个上党地区潞县的长官，迁官去做涿县令，后又去官还乡，有人要给他写信，称呼他的官衔，“欲署潞则失涿，欲署涿则失潞，乃署曰‘潞涿君’”。“潞涿”与“露啄”同音，意思就是嘲笑刘备光着下巴没有胡子。刘备被他揭了痛疮疤，当时肯定很下不了台，但他不会脸上青一阵紫一阵如你我一般，因为他是“喜怒不形于色”的。后来，刘璋被逐，张裕就成了刘备部下。刘备就找了个借口将张裕下了大牢要杀他，连诸葛亮亲自来求情也不行。最后这张裕竟至被杀弃市——尸体还要被展览示众，可见刘备恨其入骨。这是有关胡子的自卑心理在作祟。
考刘备一生，自始至终为一种潜意识的自卑心理所笼罩，而自卑有时却也伴着超乎寻常的自尊而出现。打出“汉景帝中山靖王之后”的牌子，自然有政治斗争的需要，但是否也显出一点政治上的不自信呢？当孔融发帖子(是请帖，不是今天在论坛发帖之意：))邀请他去发兵救陶谦的时候，他潜意识里的自卑心理又暴露无疑，竟对着送帖子来的太史慈激动不已，说：“孔北海也知道世上还有我刘备啊！”这自然是很叫侠客作风的太史慈看不起的，太史慈没有像赵云那样投在刘备麾下，恐怕也是看出了刘备内心里的小家子气。至于刘备与曹操煮酒论英雄，情形实在有点像当年接到孔融的帖子，就在“刘皇叔”受宠若惊不能自持之际，被奸雄看破了心理，好好地将其耍了一回。
至于后来，急着要为关羽报仇，即是为掩饰自卑而表现出来的狂妄自大，((曹丕)诏问群臣令料刘备当为关羽出报吴不。众议咸云：“蜀，小国耳，名将唯羽。羽死军破，国内忧惧，无缘复出。”晔独曰：“蜀虽狭弱，而备之谋欲以威武自强，势必用众以示其有余。——《三国志·魏书·刘晔传》)急于要显示自己的力量。虽然综合分析伐吴也无不可，然而从心理上分析总还是自卑。