刘宋经第一次北伐大败,一时无力再举,遂整顿政治、恢复国力,以图再举。宋文帝北伐之志不曾懈怠,待国力稍见恢复后,立即着手进行北伐的准备工作。元嘉二十一年(444年),以左军将军徐琼为兖州刺史,由彭城(今江苏徐州)移镇须昌(今山东东平西南),以大将军参军申恬为冀州刺史,移镇历下(今山东济南西)次年,以武陵王、南豫州刺史刘骏为雍州刺史镇襄阳(今湖北襄樊)。接着,罢南豫州并入豫州,以南平王、南豫州刺史刘铄为豫州刺史,镇寿阳(今安徽寿县)。
元嘉二十三年(446年)三月,北魏高梁王拓跋那等人率大军攻入刘宋边境,侵扰兖、青、冀3州,并掳走百姓4000余人,牛6000佘头。宋文帝遂将北伐列入议事日程,向群臣谘询北伐之策。御史中丞何承天上《实边论》陈述己见,他提出如果想彻底解决北魏侵扰问题,应当“大田淮、泗,内实青、徐,使民有臝储,野有积谷,然后分命方、召,总率虎旅,精卒十万,使一举荡夷,则不足稍勤王师,以劳天下”。又说:“奇兵深入,杀敌破军,苟陵患未尽,则困兽思斗,报复之役,将遂无已”。因此,他主张宜安边固守即所谓“坚壁淸野,以俟其来,整甲缮兵,以乘其敝”。应该说,何承天的意见,较为切合刘宋对魏战争的实况。但宋文帝志在北伐拓境,未能采纳何承天的安边之策。彭城太守王玄谟迎合宋文帝,屡上疏陈述北伐,却大为宋文帝宠信。
王玄谟字彦德,喜欢空谈兵事。他喜欢谈,宋文帝喜欢听,听得人神时还对左右说广听玄谟所陈,令人有封狼居胥意御史中亟袁淑会拍马屁,便说陛下席卷赵魏之后,定要封禅泰山,臣逢千秋难得的机会,愿意写上一篇《封禅书》。文帝听了大为高兴,似乎中原已经回到了宋朝的版图。