当时，宁波城中文武官员有的仓惶出逃，有的策划献城投降。二十五岁的张煌言，挺身而出，投笔从戎。
那个时候，刑部员外郎钱肃乐等率众集会于府城隍庙，张煌言毅然参加，倡议勤王，集师举义。并奉表到天台请鲁王朱以海北上监国。
他之后授翰林修撰。然后清军破杭州，张煌言不得不随鲁王逃至浙闽沿海，入据舟山。
顺治三年五月，大清征南大将军贝勒博洛乘虚突破钱塘江，绍兴、杭州、义乌、金华等城相继失守，南明宗室的那些郡王，比如乐安郡王、楚亲王、晋平郡王等都在金华殉国。
鲁王则在石浦守将张名振护卫下自台州出海到达舟山，张煌言随即赶回鄞县故里，与老父、继母、妻儿子女诀别，追随鲁王一行至舟山。
张煌言为了大明，舍了小家，已经世间少有了。
但舟山总兵、隆武帝所封肃虏侯黄斌卿却拒绝接纳，鲁王只得逃往福建长垣。不久，鲁王去厦门，张名振留舟山待机。
张煌言与张名振待局势稍定后，重返浙东与舟山地区，组织招募义军。而张煌言被鲁王加授右佥都御史之官职。
然而命运对于张煌言而言，并不是从此一番风顺。
顺治四年，即永历元年、也是1647年，清朝一个提督叫吴胜兆的，欲在苏州反正。起事前联络定西侯张名振支持。张煌言劝张名振援吴胜兆，张名振遂命张煌言为监军，徐孚远副之。
在四月六日张煌言自岑江出发。不料四月十三日在崇明岛外遇风暴而大败。总督浙直水师户部左侍郎沈廷扬、总兵蔡聪等将领十余人上岸后被清军俘获，于七月三日就义。
而张煌言也因飓风吹翻船舶，陷入清军之手七天，但张煌言找到机会逃出来了，并到了海上。
在途经黄岩时，又被追赶的清军包围并以箭射之，张煌言率领数骑突出包围，自此他更加努力练习骑射。
并且在浙东，张煌言招募集结义军于上虞县平冈寨屯田据守。
在那个时候，当地的多个山寨经常劫掠民众，唯独张煌言与王翊让他们的部下不要扰民，深得民众拥护。
那么从这件事看，张煌言带兵还是能深入民心的。
而在顺治八年七月，清将张天禄出崇安分水关，马进宝出台州海门，闽浙总督陈锦全军出定海，分路进攻舟山。张名振、张煌言等奉鲁王入海出兵吴淞，牵制清军主力。
大学士张肯堂、安洋将军刘世勋、荡北伯阮进、左都督张名扬等在舟山留守。此役舟山军民死难者达18000人，合葬定海城北龙峰山下。事后，有清将后面自己承认：“我军南下，江阴、泾县、舟山三城，最不易攻。”
到了顺治十年八月，张名振和监军兵部侍郎张煌言带领五六百艘战船向北进发，来到长江口的崇明一带沙洲。
崇明城中的清军兵力有限，不敢出战，被围长达八个月。明军以崇明和附近沙洲为基地。
在清方一份档案中介绍：张煌言部筑圩耕种，近城十里之外，充斥着很多张煌言部的贼人。城内百姓菜色相望，饥馑难支。为我清军用者恹恹待毙，为张煌言等反贼用者则是欣欣向荣的样子。
另外，崇明产米之乡皆在平洋山前东、西阜沙，都被张煌言贼部占据。
从清军这份档案可看出，张煌言确实知兵，还能切断清军粮草供应，变成自己这一方的。
而在顺治十一年，张军三次进入长江作战，便有了历史上有名的三入长江之役。