1020년(현종 11)에 강감찬은 다시 사직을 청하였고, 이에 현종은 사직을 허락하며 그를 특진검교태부(特進檢校太傅)·천수현개국자(天水縣開國子)·식읍오백호(食邑五百戶)로 올려주었다.

그러나 사직 후에도 정치계를 완전히 떠난 것은 아니어서, 이후에도 강감찬은 개경에 성곽이 없으니 나성(羅城) 을 쌓자고 건의하는 등 중요한 역할을 하였다. 1030년(현종 21)에는 문하시중(門下侍中)에 임명되었고, 현종의 뒤를 이어 즉위한 덕종[고려](德宗) 은 강감찬을 개부의동삼사(開府儀同三司)·추충협모안국봉상공신(推忠協謀安國奉上功臣)으로 삼고 특진검교태사(特進檢校太師)·시중(侍中)·천수군개국후(天水郡開國侯)·식읍일천호(食邑一千戶)로 올려주었다. 얼마 뒤에 그가 84세로 세상을 떠나니, 조회를 3일간 정지하고 백관에게 장례에 참석하도록 했으며, 인헌(仁憲)이라는 시호를 내렸다. 뒤에 현종의 묘정에 배향되었다.