天宝十五载(756年)阴历六月四日,哥舒翰“恸哭出关”,唐军驻扎于灵宝(今河南灵宝)西原。灵宝南面靠山,北临黄河,中间是一条七十里长的狭窄山道,叛军依山傍水精心布阵,只等唐军闯入伏击区。初八,决战打响了,王思礼率五万精锐一马当先,庞忠等人率十万大军紧随其后,还有三万人在黄河北岸高处击鼓助攻。叛军故意示弱,队伍不整,唐军果然中计,一路前行,被诱进隘路。山上无数滚木檑石如冰雹般砸下,唐军在隘道上却没有周转余地,死伤枕籍,遭到重创。哥舒翰眼见大势不好,急令毡车在前面开路,叛军早有后手,把数十辆点燃的草车推下山谷,很快烈焰熏天,唐军看不清目标,只知道胡乱放箭,直到日落时分,弩箭用尽,才发现没伤到敌人分毫。此时,叛军统帅崔乾祐命令精锐骑兵从唐军背后杀出,前后夹击,唐军根本发挥不了人多的威力,乱作一团,溃散逃命,掉进黄河淹死的就有几万人,绝望的号叫声惊天动地。黄河边的唐军争相挤上运粮船,由于超载,几百艘运粮船最后都沉入了黄河河底。剩余的唐军把军械捆绑在一起,以枪当桨,划向黄河对岸,最终上岸的士兵仅有十分之一二。潼关城外挖有三条堑壕,均宽二丈,深一丈,逃回的唐军坠落其中,很快就填满深沟,后面的人踏着他们的身体,才跑回潼关,哥舒翰清点人数,二十万大军,仅仅剩下八千人。叛军潜锋蓄锐,引诱唐军弃险出战,决战之际,又假装不敌,引诱唐军进入埋伏圈,使哥舒翰遭到平生未有的失败,他常胜将军的声名,也因此付诸东流。诗人杜甫在他的《潼关吏》中感慨“谨嘱关防将,慎勿学哥舒”。
哥舒翰收拾残兵败将,重新守住关口,想继续与叛军周旋。叛军稍事休整,就向唐军直扑过来。哥舒翰提拔起来的蕃将火拔归仁等人眼见大势已去,打定主意,劫持了哥舒翰,将哥舒翰的双脚绑在马腹上,连同其他不肯投降的将领,一起押往东去。这时,叛军将领田乾真赶到,火拔归仁就投降了他,几十名唐军将领被送往洛阳,潼关失陷了,长安岌岌可危。安禄山见到哥舒翰后,得意洋洋,“你过去一直看不起我,如今怎么样?”哥舒翰此时却完全没有了英雄胆色,居然跪在安禄山面前,伏地谢罪,“肉眼不识陛下,以至于此。陛下是拨乱之主,天命所归。李光弼在土门,来瑱在河南,鲁炅在南阳,我为陛下招降他们,可一举平定这三方唐军。”安禄山大喜,马上将哥舒翰封为司空,又命人将火拔归仁拖下去斩首示众,以此向哥舒翰示好。哥舒翰昔日手下诸将接到书信后,都复书责骂他不为国家死节,有失国家大臣的体面,安禄山大失所望,就把哥舒翰囚禁在禁苑之中。