但他的儿子中,只有李亨和李璘到任了。李璘到江陵后,出任了江淮兵马都督和扬州节度大使,并在南方招募了数万兵马,这让他具备了抗衡李亨的实力。李亨称帝后,大唐实际出现了两个朝廷,唐玄宗率领的旧朝廷和唐肃宗李亨组建的新朝廷,在他们之间李璘选择了听唐玄宗的。
李璘到江陵后,除了招募士兵之外,还到处招募人才,希望人才能为他所用,恰好这个时候李白也在江南,所以他让心腹韦子春去劝说李白加入自己的团队。李白本人就有做官的理想,所以面对永王李璘的邀请,他自然很高兴,屁颠屁颠去了,并做了李璘帐下的江淮兵马都督从事。
但李璘的壮大让唐肃宗李亨深感不安,虽然他们主要的敌人是叛军大燕军,但此时李亨却将李璘当成了主要敌人。唐肃宗利用自己的皇帝职权,让心腹高适做了淮南节度使,来瑱做了淮南西道节度使,韦陟做了江东节度使,这分化了李璘的权力,同时也让他们对李璘起到了牵制和制衡作用。
然后唐肃宗李亨命令李璘返回蜀中,这会解除李璘的权力,但在两个朝廷并存的情况下,李璘选择了听从唐玄宗的,所以他拒绝返回蜀中,这让唐肃宗找到了借口,他以“讨逆”之命派兵征讨永王李璘。李璘失去了合法性和正义性之后,士兵纷纷背叛了他,这让唐肃宗很快将其击败。随后李璘在逃往大庾岭时,被江西采访使皇甫侁擒杀,李璘被唐肃宗贬为了庶人,背上了叛贼之命。
李璘死后,唐玄宗失去了抗衡唐肃宗的实力,所以唐肃宗实现了大权独揽。同时,跟随李璘的大臣也遭受牵连,成了叛国者,在李璘帐下做江淮兵马都督从事的李白,也成了人们口中的“叛国谋乱者”,他的仕途不但从此终结了,李白还因为名气大,招致了更多的火力,人人都痛骂李白,甚至还有不少人因为痛恨李白,而想杀了他,不过这个时期,杜甫一直支持李白。