劉伯溫博通經史，無書不讀，尤其精於天文。朱元璋攻下金華，聞知劉伯溫的才學，不惜錢財予以招聘。起初，劉伯溫堅決不答應，後經總制孫炎兩次寫信邀請，劉伯溫才決定出山。劉伯溫到了應天，向朱元璋陳時務十八策。而後劉伯溫憑其才學和神機妙算輔佐朱元璋平定天下，開創了大明王朝。

朱元璋即位後，劉伯溫上奏制定軍衛法，整肅綱紀，凡有過錯的宿衛、宦官等，一律依法懲治，因此人人畏懼劉伯溫。中書省都事李彬因貪圖私利，縱容手下而被治罪。丞相李善長一向私寵李彬，故請求從輕發落，劉伯溫不聽，在祈雨時，將李彬殺死，從此劉伯溫和李善長開始有隙。後來，太祖因事要責罰丞相李善長，劉伯溫勸說道：「他雖有過，但功勞很大，威望頗高，能調和諸將。」太祖說：「他三番五次想要加害於你，你還設身處地爲他着想？我想改任你爲丞相。」劉伯溫叩首道：「這怎麼能行呢？更換丞相如同更換樑柱，必須用粗壯結實的大木，如用細木，房屋立即就會倒塌。」

劉伯溫相貌堂堂，慷慨而有大節。每當談論天下大事時便聲形於色。太祖知道他非常忠誠，故對他委以重任。每次召見劉伯溫，都要避開他人進入內室，單獨與他長時間密談。劉伯溫也是知無不言。每到緊急危難的關頭，他總是勇氣奮發，計策立定，人莫能測。閒暇之時，便敷陳爲王之道。而太祖每次都是洗耳恭聽，常常稱劉伯溫爲老先生，並說：「你就是我的張子房（即張良）啊。」又說： 「老先生多次以孔子之言來勸導我。」

劉伯溫性情剛烈，嫉惡如仇，隱居山中後，只是飲酒下棋，從不提自己的功勞。