李緯自幼喜愛體育，長大后又偏愛京劇，在上學途中經常路過天橋，目睹了當時藝人的苦難生活，在他幼小的心靈上打下了深深的烙印。
1937年七·七事變后，他離開北平赴四川求學，途中結識電影導演孫瑜，并邀他去重慶從事電影工作，于是他進入中央電影攝影場任演員，此舉，改變了他的命運。 他參演的第一部影片是沈西苓導演的《中華兒女》。1940年同白楊，金焰，王人美，魏鶴齡等拍攝了孫瑜編導的影片《長空萬里》。
1940年，任中華劇藝社演員，演出《孔雀膽》、《棠棣之花》、《離離草》等劇，這段時期的舞臺實踐，使他的表演得到前所未有的長進，積累了寶貴的創作經驗。抗日戰爭勝利后，在上海任觀眾演出公司演員，除演出話劇外，并在上海實驗電影工場、文華影業公司拍攝的影片《浮生六記》、《小城之春》中扮演主要角色。 1952年入上海聯合電影制片廠。
1953年轉任上海電影制片廠演員。先后在《我這一輩子》、《51號兵站》、《飛刀華》、《舞臺姐妹》、《沒有航標的河流》、《許茂和他的女兒們》、《車輪四重奏》等二十余部影片中飾演主角或重要角色。因參加拍攝影片《我這一輩子》，于1957年獲文化部1949-1955年優秀影片評獎個人二等獎。1989年第一屆中國電影表演學會授予榮譽獎。 1987年年逾古稀的他，在《菊豆》一片中飾演了一個性無能而又有虐待狂的染坊老板楊金山，沒有語言和形體動作，全憑眼神和內在感受將人物的惡毒，變態的心理，表現得讓人不寒而栗，他精湛的演技，豐厚的藝術底蘊，不僅演活了劇中人物，也道出了老一輩電影藝術家那份勤奮，而又敬業的精神。 1997年年逾8旬的李緯，作為影片《小城之春》一片的男主角“遠方來客”的扮演者，不遠千里，坐著輪椅，從上海來京參加中國電影資料館召開的《費穆電影研討會》。 2005年8月21日上午，因為感覺身體有些不適，李緯在家人的陪同下前往醫院就醫。9點前后家人還曾打電話回家表示，李緯當時的情況比較穩定，但到10點老人家就去世了，整個過程相當突然。李緯在去世之后，喪事一切從簡，在簡單的追思儀式之后就進行了遺體火化。李緯去世之后留給家人最大的財富就是他從影期間拍攝的珍貴劇照。 2005年8月21日上午10時許，這位電影老人因病辭世，享年86歲。
