我国西南边区，长期以来有少数民族聚居。唐朝，广西少数民族首领侬氏，就在广源一带，成为强大的地方势力。广源现在属越南，越南宋代称交趾。宋朝时，侬全福被交趾人杀害，其子侬智高从此对交趾不满，出据傥犹州。宋皇祐元年(1049)九月，侬智高在一进士的参谋下，举起了反宋旗帜，率领五千少数民族，沿河向东，占领了宋朝的广西边境安德州(广西那坡)等地，自称南天王。侬智高为报杀父之仇，要求归顺宋朝，并且送来了金银财宝。本来，侬智高归顺，对宋朝来说是件好事。可惜宋朝当时对南方边疆地区既不重视，更不管理，所以拒绝了侬智高的请求。侬智高认为宋朝看不起他，便把宋朝当作仇敌，决定既不同交趾打交道，也不再向宋朝表示友好，而在广西建立独立王国。宋朝在边境甚至整个南部地区，部署的兵力很少，文武官吏都不愿到两广去，原因是岭南路途遥远，交通不便，加上当时岭南山区流行瘴气等地方病，北方人去住长了，便可能得病而死。宋朝把岭南包括海南岛在内，作为罪犯和失意官僚的流放之地。苏东坡等许多仁人志士，都被先后流放到岭南，不少人病死在那里。由于上述原因，侬智高起兵反宋后，宋朝鞭长莫及，几乎不加理会。
皇祐四年(1051年)五月，侬智高轻而易举地攻占了宋朝的邕州(广西南宁)、横州(广西横县)。在邕州，侬智高自称仁惠皇帝，以“启历”作年号，组织了政府机构。侬智高称帝后，顺江东下，很快占领了贵州(广西贵县)、藤州(广西藤县)和梧州(广西梧州市)，进入广东，攻康州(广东德庆)和端州(广东肇庆)等地，包围了广州。侬智高所到之处，宋朝的官吏大多望风而逃。
宋仁宗听说侬智高横扫两广，直逼广州，这才着了慌，便命令陈曙、余靖等为广西安抚使，征讨侬智高。后来又加命杨弘信的后代、杨重勋的重孙杨畋，以广东现有宋军对付侬智高。侬智高的少数民族为主体的官兵，打仗勇猛，善于走山路，而宋朝的地方部队，几乎没有战斗力，因而杨畋等率领宋军与侬智高战，屡战屡败。宋仁宗毫无办法，在京城征求大臣们的意见，文武大臣谁也想不出良策，更不愿意到两广去领兵打仗。只有狄青自告奋勇，表示愿意领兵前往。
狄青出生于山西汾阳县农村贫苦农民家庭，长得魁伟有力气，也学了些刀枪武艺。少年时，哥哥狄素与另一农民打架，将人打落水中。地保要将狄素捉去吃官司。狄青对地保说：打架的是我，不是我哥。地保也不调查，便送狄青去坐牢。狄青到了宋首都东京，却因祸得福。原来宋朝士兵，可以在罪犯中挑选。征兵的见狄青身强体壮，又会弄枪舞棍，罪也不严重，便选了狄青当禁军，在开封当了马夫。宋与夏在陕西连年战争时，狄青也到了前线，在与西夏作战的四年中，参加了三十多次战斗，因其勇猛，每战皆捷，成为当时的新闻人物。在战争中，狄青以战功而连升多级，一直升到招讨副使职级，成为高级将领。战争结束后，狄青又在甘肃、宁夏宋夏边境抗夏防夏，又到河北宋辽边境防辽。出征侬智高前，狄青被调回京都，担任枢密副使。枢密副使的官位不低，相当于副宰相，但实际权力却不大。宋朝的军权，掌握在皇帝手中，枢密使和枢密副使，名义上掌管全国军队，实际上仅能管理将士训练具体事务。狄青在京城不想过有职无权、无所作为的闲日子，便请求出征侬智高。出征前，狄青对仁宗皇帝说，我当兵出身，只有打仗才能报国。要去打败侬智高，我只要不多的禁军，加上在陕西的蕃兵即少数民族部队。狄青为什么要陕西的蕃兵呢？因为蕃兵善骑马，走山路也毫无问题，对付侬智高，必须要用善于爬山的骑兵。出征前，交趾国派来使者，自愿出兵与宋共同征讨侬智高。一些大臣表示同意，狄青坚决反对。狄青说，交趾“贪利忘义”，如果赖在中国不走，“因而起乱，何以御之!”“假兵于外以除内寇，非我利也。”(《长编》卷173)十月，狄青带领一万骑兵，向广西开拔。在这精锐骑兵中，便有低级武官杨文广。
侬智高兵围广州，水陆并攻。广州军民坚守广州城，侬智高包围进攻了两个月，也没有攻下，便撤围广州，退回邕州。狄青则日夜兼程，于十一月抵达广西。第二年正月初，狄青从桂林、宾州(贵阳)进入邕州，在邕州，狄青与侬智高接触，首战告捷。侬智高抵挡不住狄青的骑兵，退守昆仑关。昆仑关在邕州东北的昆仑山上，居高临下，形势险要，易守难攻。侬智高凭险死守，以为万无一失。狄青清楚，若以骑兵强攻昆仑关，必然有很大伤亡，只能智取昆仑关。狄青令部队在山下休息三天，张灯结彩饮酒作乐，欢度元宵节。正月十六日夜，狄青称病，不参加庆宴。宋朝将士信以为真。侬智高得到宋军休息三天，狄青有病的消息，也毫不怀疑是狄青用计。就在十六日夜晚，狄青带领极少先锋战士，悄悄上山，逼近昆仑关，以迅雷不及掩耳之势，奇袭昆仑关。守关的侬智高军总以为太平无事，毫无防备，孰料宋军已在眼前，一时昏头转向，被狄青出奇制胜，夺取了险关。
昆仑关失守，侬智高仍不甘心，在关内列阵与陆续上山的宋军决战。决战之始，侬智高以逸待劳，势盛气壮，宋前锋战死。狄青见侬智高凶猛，便手举旗帜，领兵左右两面向侬智高冲杀。侬智高渐渐支持不住，败逃回邕州城。狄青紧追。侬智高眼看大势已去，一把火烧了邕州城，自己逃到云南大理国去了。据说侬智高后来“为南诏所杀”(《龙川别志》卷下)。侬智高反宋称帝，被狄青平灭。公平而论，侬智高举兵之初，是反对宋朝对少数民族的不公平政策和待遇，但后来侬智高称帝打到广州，不但要求独立，而且烧抢屠杀，就过分了，从总体上看，狄青打败侬智高，是有功于社会，有功于历史的。
杨文广跟随狄青打败侬智高，立了战功，但杨文广究竟如何打仗，如何立功，史书上仍然未有记载。《宋史》上仅说杨文广“从狄青南征，知德顺军；为广西钤辖，知宜、邕二州。”德顺军即如今的宁夏隆德，当时靠近西夏。杨文广并未从广西到德顺军去作地方官，这是当时宋廷封官的一种方式，既在一个地方任实职，同时在另一个地方兼职，兼职只是名义上的虚职，叫“遥领”。狄青打败侬智高后，于皇祐五年(1053年)四月凯旋还朝。杨文广于第二年六月即被任命为广西钤辖后又“知宜、邕二州”。这一年时间，杨文广来回奔波于路途，就差不多了。因此，杨文广随狄青大军回到京城后，仍在禁军中任职。而未外出任德顺军知军。广西宋朝叫广南西路，地域相当于如今的广西壮族自治区，外加如今的海南省、广东的一部分，以及云南的少部分地区。钤辖也叫兵马钤辖，主要负责部队驻防及当地安全。广西侬智高被打败后，少数民族仍不时有所行动，而且交趾也不安分，因而朝廷派杨文广回到广西。至于在广西的政绩如何，仍未有只字记载。邕州是广西大州，既与交趾、大理为邻，又是少数民族聚居区。杨文广为广西钤辖，管理广西的宋军，主要是在邕州。杨文广在邕州城驻扎，又兼邕州知州，还管理部队以外的行政事务。邕州知州后是萧注。萧注任邕州知州八年，直到嘉祐五年(1060)之后，邕州知州有贾师熊等人。杨文广在广西十年左右，因而广西有不少关于杨家将主要是杨文广的传说。杨文广的后代，也有可能从此留在广西。后来，广西有不少《杨氏族谱》反映，杨文广后代在广西的分布和源流。
