十二连城即古胜州城，位于准格尔旗十二连城乡黄河南岸，与托克托县隔河相望。原有城垣12座，当地人称十二连城，现仅存城垣5座，经考古人员勘察，为汉、隋唐、明三个时期古城。隋唐胜州榆林城呈横长方形，筑有一条南北贯通的城墙，将城分为东西两城，西城为市肆坊区，南北长1039米、东西宽857米；东城为官署寺庙区，南北长1019米，东西宽225米；全城周围墙总长4387米，是一座规模较大的州城。明代东胜右卫城，在隋唐城址西北角上，为东西并列的两座小城，平面为长方形，中间筑有一道南北墙，将城分为东西两城，南北长约237米，东西宽约458米。汉沙南县城在明代城垣的南面，只能看出一点痕迹，约为长方形，南北长约165米。
据《元和郡县图志》记载：“汉末大乱，匈奴侵边，云中、西河之间，其地遂空，讫于魏晋，不立郡县”。公元581年，隋文帝为防止突厥南下，在时称河套的鄂尔多斯南筑起一段长城，套内兴建城邑。开皇三年（公元583年），在黄河河套东北角，自东向南拐湾处置榆林关；七年（公元587年）改为县治；二十年（公元600年），置胜州，领榆林（今十二连城古城）、河滨（今十二连城天顺圪梁古城）、金河（今托克托县哈拉板申古城）三县，治所在地榆林县城；大业三年 (公元607年)改胜州为榆林郡，仍领榆林、河滨、金河三县，神木、府谷地在其辖境内。当时胜州人口达15万之多，是内蒙古最大的城市。大业十三年（公元617年），榆林郡人郭子和以城投突厥。唐武德四年（公元621年），郭子和归顺唐朝，其地又被梁师都所据。贞观三年 (公元629年)，讨平梁师都，第二年置胜州。天宝元年（公元742年），改为榆林郡，乾元元年（公元758年），复称胜州，领榆林、河滨（今十二连城乡天顺圪梁古城）县，郡治榆林县。
这里横跨南下黄河，纵卧京畿北屏，直系中原安危，为隋唐边防重地，因隋文帝和亲，将两位公主下嫁此地，隋炀帝北巡，在此召开民族团结盛会，而载入史册，名扬天下。
唐末，胜州为西夏所占。公元916年，辽太祖耶律阿保机西征突厥诸部，大胜东还，置东胜州于河东，迁胜州百姓安置于东胜州，胜州遂废。明初在东胜州城址置东胜卫，扩大为左、右、中、前、后五卫，河西胜州城址筑东胜右卫城，与东胜左卫控制黄河交通，成为明北部边境军事阵地。明军南移据守长城一线，东胜右卫城成为废墟。(焦拓义整理)
