到了八月末，康承訓攻克並焚燒了宿州外寨，張玄稔與張儒等入保羅城，官軍發動數次進攻，死者數千人，都未能攻克。康承訓心想難以力克，不如遣辯士招降。於是令辯士在城下宣讀皇帝之聖旨“去歲災興分野，毒起徐方，蕞爾庸夫，稱兵犯命，招諭不復，猖狂罔悛，脅從三州之人，污染萬姓之俗。王者以仁恕爲本，拯濟是謀，今只除元惡，脅從宜從寬宥。除寵勳親屬及桂州回戈逆黨，爲賊脅從及因戰陣拒敵官軍，招諭不悛，懼法逃走，皆非本惡，若棄賊自新，一切不問……”這張玄稔本是徐州舊將，曾戍邊有功。雖脅從於龐勳，卻心懷忠義，見如今龐勳所爲愈加不道，與官軍交戰又屢屢失敗。心想孤城能守得一時，終有被克之日。他聽到了康承訓所派辯士在城下的招降詞後，決心反戈。爲了不使張儒等人懷疑，他故意一箭射中辯士髮髻，辯士趕忙跑回軍中。張玄稔假作發怒，大喝道“你們唐軍真的是太弱了。屢攻不下又想出這招降的伎倆！哼，我們龐大將軍遲早會攻克唐都，想要我們投降，做夢去吧！”後來有一卒發現張玄稔所射之箭內部中空，將其折斷，見有一封短信，趕忙上呈給了康承訓。康承訓閱後大喜，原來此信爲張玄稔所寫，“罪臣張玄稔拜見康大元帥麾下：近因徐州爲賊所陷，我亦爲賊所脅迫，不得已而從賊。然我之內心日夜盼望能重新迴歸朝廷。情知罪孽深重，願殺賊之守將並以此城歸唐，以求能稍微抵吾之罪。日期定於……”
康承訓與幕僚們商量約降事宜，有人反對道“怕其有詐，騙我等入城，到時將我們拘禁，此事甚危！”康承訓道“我察張玄稔之詞極爲誠懇，不似奸詐之人。怕有不虞的話，我們到時不進城，等其出城接受其降，又有何危險？”於是便決定接受張玄稔之降。
夜晚張玄稔召集親信數十人，告知他們歸唐之志願，大家均贊同。張玄稔便把投信給康承訓之事告訴大家，與大家約好期舉事。
九月初三這天，張儒、張實等正在柳溪亭飲酒。張玄稔暗中使部將董厚在亭西佈置軍隊，自己率先躍馬而前，向張儒一衆大呼道："龐勳已被梟首於康將軍寨中，汝輩尚有何面目苟活！"此時董厚領軍士爭相而前，將張儒、張實等數十人斬殺。城中突遭此變，紛紛驚擾，玄稔曉諭軍民以歸國之計，衆軍民見城內黨的龐勳黨與都已被殺，官軍勢力又越來越盛，都願意投降，紛亂很快就平定了。於是張玄稔按與康承訓約定好的，在城頭豎起青色旌旗，開門出降。玄稔見承訓後，肉袒膝行，涕泣謝罪。承訓將其扶起，拜其爲御史中丞，賞賜甚厚。玄稔說道："將軍厚恩大德，卑職無以相報。願克復徐州以將功贖罪。”康承訓言道“將軍之志可嘉。只是徐州爲賊之巢穴，攻之不易。此事需從長計議。”張玄稔繼續說道“如今我舉城歸國，遠處尚未知曉。我可以假作城池被攻陷，我則僞裝作突圍而出，領兵急趨向苻離，賊黨定然不以我爲疑，城可立下。我剛又獲得一重要軍情，那賊首龐勳已帶兵出了徐州。徐州城守不如往日之固，我拿下苻離後以迅雷之勢急攻徐州，到時定可盡擒賊衆，恢復徐州！"承訓聽後讚道“此計甚妙，我等候將軍捷訊。”張玄稔又說道“只是龐勳帶主力出了徐州，目前尚不清楚它有何目的，罪臣斗膽請元帥備好西方。”康承訓回道“好，我這回定要消滅這老賊。”
宿州原有舊兵三萬，康承訓又增以數百騎，並重賞他們，使他們聽命於張玄稔。於是張玄稔帶這些兵士再次入城，晚上發平安火一如常日，因此別處城池戍守都以爲宿州未陷。
初五凌晨，張玄稔令軍士積柴薪數千束，縱火焚之，僞造成城池被陷、軍隊潰逃之狀。張玄稔帶領一部分軍士在前僞作潰逃之兵，令其餘兵士在後僞裝作朝廷追擊之兵。張玄稔一衆直趨苻離，苻離城守見其匆忙狼狽之狀，果然絲毫未起疑心，開門納之而入。後面的僞追兵仍在城外吶喊叫嚷許久，苻離兵士更加堅信是張玄稔兵敗而逃。
苻離城守帶數十隨從前來相迎，不想這張玄稔立即將他們一衆殺掉，然後號令城中。一時變起倉促，城中兵士又見衆寡不敵，匆忙間盡皆聽命。張玄稔收集苻離之兵，又得萬人。之後張玄稔統領大衆火速向北進逼徐州。而徐州南面招討使馬舉聽聞後，也領兵前往徐州與其會和。龐舉直、許佶聽聞大兵臨城，嬰城拒守。張玄稔到達後，率衆圍城，按兵未攻，先曉諭城上人道："朝廷只殺逆黨，脅從者與平民一概不罪。汝曹奈何爲賊城守？若尚狐疑，須臾之間，將與逆賊同爲魚肉矣！"聽了這話後，守城者棄甲投兵的越來越多。崔彥曾的故吏路審中直接打開城門接納官軍。龐舉直、許佶只得帥其黨與退守內城。
三天後的日暮時分，龐舉直一衆人等眼見大勢已去，便帶領親信士卒連夜棄城從北門逃出。張玄稔帶兵急速追擊，龐舉直因年老體胖而逃走緩慢，被張玄稔所追及。距離尚數十步遠時，張玄稔射出一箭貫穿了龐舉直的後背前胸。許佶與趙可立則僥倖逃脫了張玄稔的追兵到達蕭縣，但不久後蕭縣被宋威攻克，許佶與趙可立均被斬首。在徐州克復後，桂州八百戍卒的親屬族人全部被殺。