肃宗至德元载（公元756年），最初设置河南节度使，治所在汴州（今河南省开封市），下辖十三个郡：陈留、睢阳、灵昌、淮阳、汝阴、谯、济阴、濮阳、淄川、琅邪、彭城、临淮、东海。同时，设置淮南西道节度使，下辖义阳、弋阳、颍川、荥阳、汝南五郡，治所颍川郡；设置青密节度使，下辖北海、高密、东牟、东莱四郡，治所北海郡；设置郓州、齐州、兖州都防御使，治所齐州。设置河南节度使，是安禄山叛乱之后，唐玄宗所作出的几个应对措施之一，其目的就是整合河南各地资源，阻止安禄山叛军南下，第一任河南节度使是卫尉卿张介然。但由于安禄山叛军进展迅速，张介然到任后还没有组织起有效的防御，汴州就陷落了，张介然被杀。次年，唐军收复河南，安庆绪北逃，唐肃宗遂任命来瑱为淮西节度使（六月任淮南节度使，十二月一日改任）。
乾元元年（公元758年），取消河南节度使，改为汴州都防御使，所辖地盘不变，但不久，又将滑州和濮州划归青密节度使；亳州划归淮西节度使。与此同时，将淮西节度使迁至郑州，增领陈州、颍州、亳州三州，另外又设置了豫许汝节度使，治所豫州。该年，由于殿中监汉中王李瑀奉命将肃宗幼女宁国公主送往回纥，与英武可汗成亲，遂将淮西节度使来瑱调回朝廷，担任殿中监，而改任鲁炅为淮西节度使。鲁炅奉命与朔方节度使郭子仪、兴平节度使李奂、滑濮节度使许叔冀、郑蔡节度使季广琛、河南节度使崔光远、镇西北庭节度使李嗣业等七节度使及河东节度使李光弼、关内泽路节度使王思礼等会攻邺城。
次年年初，唐军邺城大败，肃宗以郭子仪为东都留守，以来瑱为陕州刺史，陕虢华州节度使，抵御史思明可能的进攻，以兴平节度使李奂兼任豫许汝节度使，组织抵抗。又取消了汴州都防御使，设置汴滑节度使，治所滑州，下辖滑州、濮州、汴州、曹州、宋州，以滑濮节度使许叔冀担任汴州刺史兼滑汴等七州节度使。又设置了河南节度使，治所徐州，下辖徐州、泗州、海州、亳州、颍州；不久，又将濮州划给兖郓节度使，颍州和亳州划归郑陈节度使。设置了郑陈节度使，下辖郑州、陈州、亳州和颍州，由鲁炅担任，但不久鲁炅自杀，朝廷以鸿胪卿李抱玉为郑陈颖亳节度使，后增领申州、光州、寿州，但不久又将该三州改划给了淮西节度使。淮西节度使短暂取消，但不久襄州康楚元叛乱，朝廷又以陈颍亳申节度使王仲升为申沔等五州节度使，统领淮西兵马前去讨伐，淮西节度使由此恢复，治所也从郑州迁至寿州，下辖申州、光州、寿州、安州、沔州、蕲州、黄州七州。同年，青密节度使增领淄州、沂州、海州三州，以徐州刺史尚衡担任青密七州节度使，将郓州、齐州、兖州三州都防御使升格为郓齐兖节度使，治所兖州。
上元元年（公元760年），史思明进入东都。兖郓节度使能元皓从东部地区击破史思明叛军。上元二年（公元761年），史思明被杀，史思明的滑郑汴节度使令狐彰归降，朝廷取消了汴滑节度使、河南节度使、郑陈节度使，设置滑卫节度使、淄沂节度使，其中，滑卫节度使治所滑州，下辖滑州、卫州、相州、魏州、德州、贝州六州，以令狐彰为滑卫节度使，不久，增领博州，将德州划给淄沂节度使；淄沂节度使治所沂州，下辖淄州、沂州、沧州、德州、棣州。平卢节度使侯希逸率部从东北渡海来到山东，遂又取消了淄沂节度使，授予其为青密节度使，增领齐州，号称淄青平卢节度使。将郑陈节度使所辖区域的郑州、陈州、亳州、颍州和汴滑节度使的曹州、宋州、汴州以及河南节度使的徐州、泗州划给淮西节度使，淮西节度使又迁至安州，号称淮西十六州节度使，此时淮西节度使为王仲升。当时，史朝义将主攻方向改为南下，朝廷扩大淮西范围，就是更有效的整合力量，应对史朝义的进攻。
宝应元年（公元762年），讨伐史朝义前夕，江淮地区不稳，各节度使在讨平刘展之乱后，不听朝廷调度，代宗遂把李光弼派往江淮。下半年，唐军收复东都，打败史朝义，遂恢复了河南节度使，治所汴州，下辖：汴州、宋州、曹州、徐州、颍州、兖州、郓州、濮州。调回王仲升，改任董秦即李忠臣为淮西节度使，并增领许州、唐州、隋州，而把其原有的郑州划给了泽潞节度使，颍州、汴州、宋州、曹州划给了新恢复的河南节度使，泗州划给兖郓节度使，申州划给了蔡汝节度使。不久，又取消了兖郓节度使，将郓州、兖州、濮州、徐州划给河南节度使，登州、莱州、沂州、海州、泗州划给淄青平卢节度使。这次调整是基于兖郓节度使田神功平定刘展之乱，立下了战功，朝廷为了酬谢他的战功，才把河南节度使的职位交给了他，并鼓励他继续北上讨伐史朝义。
次年，史朝义被平定，安史之乱结束。滑卫节度使令狐彰增领亳州，号称滑亳节度使，又增领德州。卫州划给泽潞节度使李抱玉，将相州和贝州从滑卫分出，另外设立了节度使，魏博则设置防御使。沧州、德州、瀛州隶属魏博防御使节度。
永泰元年（公元765年），将沔州、黄州、蕲州从淮西划出，隶属于鄂岳节度使。
代宗大历三年，蔡汝节度使增领仙州。四年，滑亳节度使增领陈州；河南节度使增领泗州，以颍州划给泽潞节度使。五年，取消仙州建制。七年，滑亳节度使赐名为永平节度使。八年，淮西节度使迁至蔡州，取消蔡汝节度使，土地归于淮西节度使。十年，淄青平卢节度使增领德州。十一年，李灵曜之乱，永平节度使增领宋州、泗州；取消河南节度使，将曹州、兖州、郓州、濮州、徐州划归淄青节度使，宋州、颍州、泗州归于永平节度使，汴州归于淮西节度使。十四年，永平节度使增领汴州、颍州，迁至汴州；淮西节度使从汴州迁回蔡州，赐号淮宁军节度使，不久改称申光蔡节度使，汝州划归东畿节度使，汴州划归永平节度使。
德宗建中二年（公元781年），永平节度使增领郑州，设置宋州亳州颍州节度使，治所在宋州，号称宣武军节度使；以泗州划归淮南节度。三年，设置徐州海州沂州密州都团练观察使，治所徐州；取消淄青平卢节度使，设置淄青都团练观察使，下辖淄州、青州、登州、莱州、齐州、郓州、兖州七州，治所青州；设置曹州濮州都团练使，治所濮州。
兴元元年（公元784年），宣武节度使迁至汴州，永平节度使迁回滑州，恢复淄青平卢节度使，下辖淄州、青州、登州、莱州、齐州、郓州、兖州、徐州、海州、沂州、密州、曹州、濮州十三州，取消曹濮都团练观察使、徐海沂密都团练观察使。
贞元元年（公元785年），永平节度使改称义成军节度使，增领许州；唐州划归东都畿节度使。三年，设置陈许节度使，治所许州，以淮西的安州划归山南东道节度使。四年，设置徐州泗州濠州节度使，治所徐州。淄青平卢节度使迁至郓州。