高祖鼻梁高挺，须髯很美，左腿有七十二颗黑痣。他为人厚道，喜欢施舍，胸襟开阔，不肯从事一般百姓的生产，壮年时做泗水亭长。高祖对其公所中吏人常加捉弄。高祖喜欢喝酒，常向王媪、武负二人的酒馆赊酒。有一次喝醉，卧睡。武负、王媪看见高祖身上有龙出现，十分惊讶。以前高祖每在馆中畅饮，二人按酒价数倍计价。等见有龙出现后，岁末算账时，二人便撕了账单，不向高祖索债。
高祖曾经到秦都咸阳服徭役，正好看到秦始皇的威仪盛势，他感慨说：“啊！大丈大就要这样！”
单父县人吕公与沛县令是好友。吕公为避仇人，迁到沛县，在沛县令家做宾客。沛县吏人听说县令那里有贵客来，前去道贺，萧何王持接礼，他向贺客们说：“礼金不满一千钱的、请坐在堂下。”
高祖平日就轻视沛县吏人。他假写：贺钱一万。礼贴送到吕公手上，吕公大惊，起身迎接。吕公好相面，见了高祖的相貌，便十分敬重。
吕公在席间示意高祖不要退席。客人散去后，吕公对高祖说：“我从小就好相面。相过的人很多，但没有像你这样高贵的。希望你能自珍自重，我有一个女儿，愿意许配给你。”
吕媪对吕公把女儿嫁给高祖，感到很生气。吕媪说：“你总是说这个女儿是不寻常的，一定会嫁给贵人。怎么许给刘邦了？”吕公说：“这不是你所能了解的！”吕公的女儿就是后来的吕后。
一天，吕后带着孩子耕田，一个老人经过，求水喝，吕后又给了老人一些吃的。老人给吕后相面说：“夫人的相貌，是贵人。”又相两个孩子，看孝惠皇帝时说：“夫人能够大贵，就因为他的关系。”相鲁元公主时，也说是贵相。老人走后，高祖来了，吕后便将老人相面的事，说给高祖听。高祖便问老人在哪里。吕后说：“刚走。”高祖便追上老者。高祖问老人相面的事，老人说：“我相过的夫人和小孩，相貌的高贵都像你一样，贵不可言，”高祖说：“如果真如先生所说的，那么这份恩情我绝不敢忘。”等到高祖当上天子，找寻老人，老人已不知去向。