袁、瑞两郡被太平军攻陷，水陆路断绝，他伪装成游学乞食者徒步行走数百里到达南昌，重新整理内湖水师为十营，船600艘，投入战斗准备 。咸丰六年（1856年），彭玉麟被擢升为广东惠潮嘉道，在樟树镇与太平军激战，凭借出色指挥和湘军将士英勇奋战打败太平军，此后又连续在临江吴城、涂家埠战胜太平军，攻克南康，军事才能进一步提升 。

咸丰七年（1857年）2月末，曾国藩父亲病逝回籍奔丧，水师以杨载福为总统，彭玉麟为协理，兼领内湖水师。九月初，湘军再围九江，太平军在湖口列战船数百，以铁索拦江，石钟山架起大炮，对岸梅家洲筑坚城。湘军采用先扫清外围据点的战法，分水陆三路会攻湖口，彭玉麟指挥内湖水师出湖助战 。战斗打响，他率军队鼓棹划行急赴，与外长江水师会合，陆军响应，太平军大乱，彭玉麟乘胜夺取小孤山，因战功加升按察使衔，为后续战斗打开局面 。

咸丰八年（1858年），彭玉麟、杨岳斌率湘军水师接连拔除枞阳、大通、铜陵、峡口的太平军据点，包围九江。彭玉麟精心策划，指挥水师对九江形成严密包围圈，不断调整战术，削弱太平军防御力量，最终成功收复九江，因功晋升布政使衔 。咸丰十年（1860年），彭玉麟移营与杨岳斌合并一处军队，后攻克都昌。次年，曾国荃围攻安庆，太平军陈玉成率领三万兵支援，扎营在菱角湖。彭玉麟创建飞虎营，结合陆军大战，损毁敌军营垒，攻克安庆，被授予广东按察使 。后又与陆军协同作战，攻克孝感、天门、应城、黄州、德安，因战功被提升为安徽巡抚，但他多次上疏推辞，认为自己不通政法，朝廷下诏嘉奖他的坦诚，改职水师提督 。

同治元年（1862年），彭玉麟被授为兵部右侍郎，奉诏节制镇将。他担心自己与杨岳斌威望相当，地位超越会产生间隙，于是苦心调和。还另外建立太湖水师十营，归自己统辖。彭玉麟调动水师援助曾国荃由安庆攻打江宁，湘军一路势如破竹，克铜城闸，收复巢县、含山、和州，打败雍家镇、裕溪口的太平军，抢夺东西梁山，进军攻打采石，又攻克金柱关 。

每次作战，彭玉麟都身先士卒，乘小船督战，手持红旗，或前或后地指挥着将士们。将士们见主帅亲临前线，个个不敢懈怠，拼尽全力作战。有时他还潜入陆军作战区域调查情况，往来飘忽不定，所经之处军民都不敢为非作歹。

同治二年（1863年），彭玉麟与杨岳斌联合攻打九洑洲。太平军在此地筑垒几十座，外筑大城，战船环绕，与江宁成犄角之势，拦江矶、草鞋峡等地都有重兵驻扎，防御十分严密。彭玉麟列船上游，南队向下关，北队向草鞋峡，杨岳斌攻燕子矶，陆军也分三队挖掘洲埂进攻中关，舢板环洲布阵 。

面对太平军猛烈的枪炮还击，湘军一时难以攻下。彭玉麟没有气馁，他督率各路军队轮番夜间进攻。他深知九洑洲战略意义重大，一旦攻克，太平军便会陷入被动。于是，他挑选敢死队，激励他们从火丛中上岸。敢死队员们在彭玉麟的鼓舞下，舍生忘死，终于突破了太平军的防线。诸军欢呼雀跃，乘胜追击，太平军争相溃散逃跑。这场战斗从田家镇以来最为激烈，彭玉麟的顽强战斗意志和卓越指挥才能展露无遗，为湘军的胜利起到了决定性作用 。

此后，太平军由江西进犯池州，企图阻挠湘军。彭玉麟回救青阳，解了围，又进军高淳，攻克东坝。因攻克九洑洲，彭玉麟被赐给黄马褂。恰逢杨岳斌赴江西督师，从此彭玉麟专门统领水军 。

同治三年（1864年），清军攻克天京，太平天国运动宣告失败。朝廷论功行赏，以彭玉麟创建水师为首功，加官太子少保，赐封一等轻车都尉世职。彭玉麟凭借多年在战场上的卓越表现和对湘军水师的杰出贡献，成为清朝的重要功臣，他的名字被铭刻在历史长河之中 。

在湘军水师中，彭玉麟不仅是一位杰出将领，更是一种精神象征。他作战勇猛无畏，冲锋在前，鼓舞着士兵们的士气；指挥如臂使指，能根据战场形势迅速做出决策，带领军队取得胜利；治军公正无私，对违反军纪的行为严惩不贷，使得湘军水师纪律严明。士兵们对他既敬且畏，各级将领也将他视为主心骨，对他的命令坚决执行。这种威望成为彭玉麟在官场的重要倚仗，那些想要对付他的人，忌惮他在军队中的影响力，不敢轻易动手 。

彭玉麟为人正直，一生光明磊落，从不参与结党营私之事。在晚清官场腐败、党派林立的时代，官员们为私利拉帮结派，争权夺利，严重影响朝廷运转和国家稳定 。