1944年，日军发动湘豫桂战役后，河南、湖北及湖南大片土地沦陷，为创建新的抗日根据地，延安方面准备筑成一道坚固的“堤坝”，将阻隔日军向西发展。同时，也准备选派一大批干部，由王震、王首道率部队南征。

这支部队就是鼎鼎大名的南下支队，支队下辖五千多人。
为更好南下开展工作，上级为南下支队营以上干部举办培训班。这个南下支队不简单，有一个干部大队900多人，全是旅、团级干部。
1944年11月10日，南下支队出征，部队一路行进抵达清涧、绥德，渡过黄河，进入吕梁地区。部队一连通过五道封锁线后，抵达太岳军区，与陈赓的部队会合。
南下支队在太岳休整几天，期间有一些将领回到原部队，找到老首长、老战友热聊起来，像查玉昇。

他说红四方面军出身，抗战时编入129师386旅772团。在陈赓旅长的指挥下作战，担任386旅16团团长，参加完百团大战后，被派往延安学习。临行前，他跟旅长说：学习是好事，不过学完说什么也要回来，到时候你们一定要收容我。 6park.com
就这样，查玉昇在延安学习4年，毕业后被分配到其他部队。
休整期间，他与秦忠、陈正洪等人来看老战友尤太忠，他们离开386旅之前，尤太忠还只是营长，如今他已经时团长了。几位老战友见面后，有说不尽的话。尤太忠热情招待说：你们回来吧，回386旅打仗。
这几位战役何尝不想老战友呢，可是上级命令他们南下，命令还说要服从的，毕竟是军人。几个人到分手的时候，依依不舍。

秦忠
查玉昇、秦忠、陈正洪等人回到部队，查玉昇悄悄对秦忠说：我想留下来。这让秦忠大吃一惊，这怎么行，这算是开小差儿吧。查玉昇似乎有办法，他说：我想好了，支队会留下他在太岳的。
第二天部队出发前点名，名单上果然没有查玉昇的名字。就这样，查玉昇如愿以偿留在太岳军区。
没多久，他参加太岳军区一系列的作战。
抗战结束后，太岳纵队改编为4纵，准备奔赴东北作战，上级让太岳军区组建8纵，下辖22旅、23旅、24旅，查玉昇奉命组建22旅。
到12月，4纵收到命令调往东北继续留下打仗。根据晋冀鲁豫军区命令，第4、第8纵队合并为第4纵队，撤销第8纵队番号。所辖第23、第24旅划归太岳军区建制，第22旅改11旅番号，归建第4纵队。
当陈谢集团南渡黄河挺进豫西作战，查玉昇一直率领部队作战，取得不断胜利。

1949年全军部队番号统一改编，查玉昇担任14军41师师长，参加陈司令员领导的大迂回大包围作战，一路打到云南，后升为副军长兼师长。
新中国成立后，长期在云南任职