待白义从的将士们离开城楼之后，王杰立将自己带来的士兵布防在了沙陵关之上，准备抵御鲜卑人的攻。与此同时，从沙陵关败退的鲜卑人返回了自己的大营之，当鲜卑单于见到退回来的士兵之后，立将指挥攻城的族领找了过来，对其说：“宇文兄，你们怎么撤回来了？”

    宇文族听后，立回：“单于大人，城有并州军的援军赶到，我军实在攻克不了，只能退回来了。”鲜卑单于听后，虽然早有预料，但是还是心有不甘，然后对着宇文族说：“宇文族，那你先回去吧！”宇文族听后，向鲜卑单于行了一礼，然后便离开了单于的大营。

    待宇文族离开之后，单于立对着边的军师说：“军师，并州军的援军赶到了，接来我们该怎么办？”军师听后，也是愁眉不展，想了想之后，对着单于说：“单于，要是实在不行的话，我们便只能撤军了。”单于听后，一拍桌就了起来，说：“这怎么行，看着我们就能并州掠夺一番，就这样半途而废，我心有不甘。”

    军师见单于如此大的反应，连忙说：“单于，这沙陵关险峻异常，本就易守难攻，我们没有趁并州军的援军赶到之前拿来，便错失了最好的机会，现在再继续攻城，只会徒增我军的伤亡人数，而无法再寸一步。”单于听后，也明白军师说的在理，但是还是不甘心的说：“就差那么一的时间，我们便能关了，可恨啊！”

    军师听后，连忙劝解：“单于，此次前来，我们也不是一无所获，云中郡的大分地方都被我们劫掠了一番。”单于听到军师这么说，心稍微好些了。就在这时，军师又接着说：“单于，我们此次前来只是趁火打劫的，万万不能忘本，毕竟单于你还没有统一鲜卑各，要是在此地损失了人，那单于你的威信便会大大降低啊！”

    单于听到军师这么说，如梦初醒，连忙回：“军师，要不是你提醒我，我差就舍本逐末了。你说的对，既然并州军援军已到，那我们便撤军回去，待我收服各族之后，再举全族之力，一举杀并州。”军师听后，回：“单于，这才是你应该的。”单于听后，心彻底的好转，然后立令，让大军准备撤离沙陵关，返回草原。

    鲜卑人撤军的动静，很快便传到了王杰的耳中，当王杰得知鲜卑人要撤军的消息后，顿时气的咬牙切齿，却也无可奈何，因为王杰的大军还没有赶到，只是他带来的兵本不足以迎战鲜卑人。结果，王杰只能睁睁的看着鲜卑人撤离了沙陵关，而毫无办法。