因變法招致天災人禍，熙寧七年被免去宰相之職。次年再任宰相；熙寧九年再被免職，中共教課書上所稱讚的「王安石變法」實際是歷史上的一次教訓。
王安石變法，遭到了北宋元老重臣的反對。他們同王安石的政治見解不同，偏重於保持原來的法令制度。他們不同意王安石那樣全面而大刀闊斧地改變原有制度。爲此，他們不斷地向神宗進言。有人說：「祖宗法制俱在。不須更張。」 有人說，天災人禍，必須「安靜」。
彷彿是要印證元老重臣的意見似的，從王安石變法的那一年開始，天災就接踵而至。
熙寧二年(1069年)，河南地陷；
熙寧三年(1070年)，江西鉛山大旱，大飢；
熙寧四年(1071年)，山東「大風異常，百姓恐慌」；
熙寧五年(1072年)，「華州少華山前阜頭 峯越八盤嶺及谷，摧陷於石子坡。東西五里，南北十里，潰散噴裂，湧起堆阜，各高數尺，長若堤岸。至陷居民六社，凡數百戶，林木、廬舍亦無存者」。(《宋史。五行志》)
熙寧六年(1073年)，浙江「春大早，井皆竭」。(光緒《杭州府
志》)
熙寧七年〔1074年〕，「自春及夏，河北、河東、陝西、京東西、淮南諸路久旱；九月，諸路復旱。時新復兆河亦旱，羌戶多殍死」。(《宋史五行志》)
這期間，浙江、河北、山東、河南、安徽等地還相繼發生了蝗災。
頻繁的天災，逃亡的農民，爲反對變法者提供了最佳契機。皇宮門吏鄭俠，向神宗上《流民圖》，畫的是帶着腳鐐的難民在砍樹掙錢，用以償還宮府的青苗貸款。
據說，「神宗反覆觀圖，長吁數四，袖以入，是夕，夜不能寐」。
爲了遵天命，順天意，神宗終於解除了王安石的宰相職務。變法失敗了。時爲熙寧七年(1074年)四月。