回府的路上，他碰到了穷困潦倒的原兵部尚书潘景福。潘景福没有后台，全凭自己的能力，一步步擢升，终于当上了兵部尚书。文帝在时，他竭尽能事，却因不会见风使舵，公开反对杨广继承大统，遭杨广贬斥。摘了乌纱帽事小，没收了他的全部家产事大。他当过誊抄，干过门吏，终因年老体弱，丧失了劳动能力，失去挣钱养家糊口的机会，成了拣拾垃圾的乞丐。
李渊为潘景福不平，为潘景福心酸，却不能表现得过分热情，问候几句话，掏出身上仅有的一两碎银子，塞到潘景福手里，便走开了。潘景福清楚他的处境，便不再言语，两只视力极弱的老眼目送着他的背影，暗道：“胜者为王，败者贼。连他这样的朝中重臣都被贬斥，我还有什么好痛苦的？”
根据吏部的规定，大兴县的县丞、典吏、教谕等官吏及三班六衙不变，李渊仅带一个仆人，一个随从，十天内上任。为了管好县事，在上任前的几天里，他走遍了大兴县手工业和商业最集中的都会、利人两市，视察了分别从城东、城南入城，为解决宫苑用水开掘的龙首、永安、清明三渠。因为这三条渠经过大兴县内，宫中剩下的水用于县民饮用和灌溉。严格地说，这三条渠既是宫中的命脉，也是大兴县的命脉。本想阅览县内的各种档案和文籍，因不在任上，只好作罢。
他是带外甥王安和原来的亲兵柱儿上任的，还有一车简策，数件器械，一捆铺盖卷。县衙离李府不过十几里地，出皇城向东，沿着宽阔的官道走了半个多时辰，便望见县衙那高大气派的建筑和门前高高的旗杆了。柱儿眼尖，突然指着前面叫起来：
“老爷你看，县衙前怎么那么多人？噢，柱儿明白了，定是县人听到消息，前来迎接你的。哈，足有上万呢！”
王安接着柱儿的话茬：“咱老爷想当年威风八面，谁人不尊，哪个不敬？能到这大兴县当县太爷是大兴县百姓的福分，岂有不迎接之理？”
“胡说些什么？都给我闭嘴！”其实李渊早就发现了这一景观，没张扬罢了。县人迎接，已是常例，想不到来了这么多人。他能熟视无睹？能不激动、感动？便进一步提起了精神，思索着该向人们说些什么。
前来迎接李渊的百姓是自发的，并无任何人指示。一个大名鼎鼎、几起几落的非凡人物来大兴县做父母官，是空前的，谁不想看个稀罕？
看个稀罕也就是了，却搞得非常复杂。乡中的三老、亭长首先迎向前来敬酒、祝词。向前走出百余步，又被保长、闾长、族长、里正们接住，亦是敬酒、祝词。最后才被县丞等县里的官吏接住。敬酒、祝词之后，还燃起了爆竹，奏起了音乐。端的是循序渐进，精彩之极。
待爆竹响过，李渊站到早已准备好的几案上，开始了他的就职演说：“诸位同仁、父老乡亲，我李渊受圣上隆恩。前来敝县任职，荣幸之至。本县虽才疏学浅，却知水能载舟、亦能覆舟之理，亦知社稷为重的内涵。以故竭尽所能，秉公执法，造福于民。本县三日内览卷，三日后升堂理案，凡有冤情者，不分吏民，尽诉无妨。本县上有圣上垂顾，下有百姓拥戴，自信能办好县事。还望父老乡亲指点、帮衬。本县决计破例，为自己约法三章。这一，不吃请受贿，贪赃枉法。这二，对吏对民一视同仁。这三，秉公办事，皆依法典。请父老乡亲、衙内吏兵监而督之。若有上不合圣意，下不合民情之事，可直报朝廷。”
演说完毕，百姓欢呼雀跃，掌声雷动，又引来无数观看者，热闹非凡，在大兴县的历史上留下了浓抹重彩的一笔，也为李渊治理本县开了个好头。
新官上任之初作施政演说，亦是常例。李渊初来乍到，应当如此，否则朝廷会以坏大隋规矩惩戒。然而，此演说非彼演说，前几任知县演说是无不慷慨激昂，更有在演说过程中热泪沾襟者。可他们的演说内容、用语，与李渊的演说相比有着天渊之别。前者无不以父母官自居，傲慢自恃，开口警告不许如何，闭口若违其定规又该怎样，矛头直指县内百姓。而且呆板生硬，机械教条，是动脑筋编出来的。而李渊的演说内容新颖，发自内心，又将老百姓的冷暖和执行大隋法度紧密结合，无无病呻吟之弊，使人耳目一新。让人一听就能得出“此官非彼官，能为百姓做事”的结论。
李渊演说完毕，又回答了百姓提出的诸如“如何除霸缉盗”、“怎样治县富民”之类的问题，待进入县衙之中，已是太阳正南。他摒弃了县丞早已备好的、为他接风的美酒佳肴，随便吃了些糙米菜蔬，立下了日后崇尚节俭、不尚糜费的规矩后，便在县丞包伟的陪同下在衙内漫步，意在熟悉环境。
这是一处相当于府衙规模的建筑群，分前后两部分。前为官衙，设六堂三厅，后为内宅，设前上房、前后堂楼和寝室，最后面是花园，占地少说也在百亩以上。此衙建于隋开皇二年，一开始便起点很高，以后又经扩建，成了现在的规模。
衙门座北朝南，高广气派，堂皇威严。迎面一个粉白的大照壁，一对昂然雄立、逼真而又传神的大石狮立于大门两侧。红牙黑漆的大门上镶嵌着铜制狻猊辅首。大门正中上方悬上写“大兴县衙”四个金光闪闪的大字的匾额。这是文帝留下的御笔，不知对文帝的遗物一概视为邪恶的炀帝网开一面，还是其它原因，此匾未受劫难，静静地俯视着大地，年复一年，日复一日地面对着人们的目光。
衙门正对衙内的大堂，相隔不过百步。大堂一开五间。中间的三间为知县问案的所在，两边各为休息室和师爷室。大堂十分壮丽，上面是飞檐鸱吻，檐下的斗拱旁边伸出二十六个彩绘的云朵。堂内和梁柱皆绘彩云，使大厅若浮云端，威严煊赫。大堂北墙正中画一幅巨大的旭日东升图，图上挂“明镜高悬”的刷金匾额。匾额下有一把上铺色彩斑斓的豹皮的紫檀椅，椅前置一狭长高大的红漆公案，上摆文房四宝、印盒、签筒。两边是“迥避”、“肃静”牌和银爪、钺斧、朝天镫、曲棍、鬼头刀、如意钩等组成的仪仗。大堂左边阶下架一面红色的堂鼓。堂鼓破旧，因敲击的次数太多，已频临破裂的境地。
李渊从前至后依次看了一遍，然后令书吏找出县内文案，逐一翻阅。一连翻阅了三天，终于理出了个头绪。
大兴县共有一万两千户。五万口人，流动人口常年在一万五千人左右。共设五十四坊，另有集四方珍奇，皆所积集的都会、利人两市。文帝在世时，这里人丁兴旺，经济繁荣，秩序良好，达到了路不拾遗、夜不闭户的程度。杨广登基后，赋税加重，徭役为患，县民生活一落千丈。以致信仰丧失，民怨沸腾，盗贼蜂起，秩序混乱，仅前任知县留下的积案就达千余起之多。他将积案分为四个类型。一日横行坊里，为非作歹的恶霸案。二日坊内下吏依仗职权欺凌百姓案。三日盗窃库府，以掠大财为生的盗窃大案。四日抢男霸女，以淫乐为主的流氓案。
李渊夜以继日，废寝忘食，埋头理案，痛坏了外甥王安。借给李渊送饭的机会，王安埋怨道：“舅父，哪个官吏像你这样一心治事？累坏了身子不说，若真抓实管，要得罪多少人？凡大案重案，无不牵扯大人物，拽拽耳朵腮动弹，不是自找麻烦吗？你看人家前任知县，睁一只眼闭一只眼，过一天算一天。这不，硬是将这么案子留了下来。论大隋法度，该当撤职查办，可人家不仅没有任何损失，还提了职升了官。不是外甥胡吹海谤，你这样下去。怕是还要倒霉。难道非要三落三起不可吗？”
“你就知道怨这怪那，就不知民之疾苦，国之危亡。我作为一县之主，就要治理好县事，让老百姓安居乐业。再说，要让圣上彻底打消对我的疑虑，给予我重任，就要干出个样儿来。唉！燕雀安知鸿鹄之志？”李渊陈词之后，又觉生硬，便要王安与他一同用饭。
反正淡酒薄肴，王安也不客气，坐下就吃，边吃边嘟哝，好像李渊欠了他多少债：“哼！舅父若是将这四类大案办下来，怕是自己也就被砸进去了。安稳饭不吃，非要标新立异不可，真是的！”
一连数日，不仅王安规劝不止，家人李小古、亲兵柱儿也上阵助战。就连县丞包伟，也耐不住性儿，劝李渊手下留情，好自为之。李渊不为所动，力排众议，独树一帜，不日便大动干戈，迈出了上任来的第一步。
要想治理好大兴县，首先要使大兴县有一个稳定和平的环境，要有这样一个环境，必须惩恶扬善。基于这种考虑，李渊先从这四类积案中的第一类人手，以雷霆万钧之势，大刀阔斧地进入了角色。
县内有捕快四十人，又从杨林府上借来家丁六十名，组成了缉捕队。经数日训练后，分二十组在五十四个坊内采取行动。一夜之间缉拿为害一方的恶霸四十六名，凡积案中涉及到的无一漏网。次日夜又抓捕欺凌百姓的下吏二十名，积案中涉及的亦无一漏网。第三天晚上开始抓揖重大盗窃犯，经十个昼夜，抓获盗首八名，严重盗贼八十名。因第四类积案中的流氓首犯为右丞相、炀帝之信臣宇文述之子宇文吉，怕惹出麻烦，影响第一至第三类积案的处理，李渊决定等奏过圣上后再进行。
李渊处理国事游刃有余，处理这些积案当然不在话下。为防夜长梦多，他快刀斩乱麻，不日便升堂问案、定案。仅用了六天的时间便理清了这三类案子，并做出了恰当处理。该放的放，该罚的罚，该判刑的判刑，该上交的上交，三下五除二，干净利索，赢得了一片赞誉之声。百姓们奔走相告，拍手称快。大兴县沸腾了，民心唤起来了，社会秩序趋向稳定，老百姓说：有李知县这样的父母官，大兴有希望，大隋也有希望了！
盯梢李渊的密探亦大受感动，将李渊的行止奏报给了炀帝。一直被国内纷乱的形势所累，生怕江山不稳，荣华富贵到头的炀帝十分高兴，不仅撤销了李渊周围那些窥视的眼睛，还当着左丞相杨素和右丞相宇文述的面夸奖李渊不愧为栋梁之材。
为了拔掉流氓团伙这颗钉子，李渊写成奏折，借奏报处理积案事宜之机，请示宇文述之子宇文吉的恶行该不该惩治，宇文吉该不该抓辅归案？并在奏折后面附上了宇文述及其同伙的罪状。当然，这奏折他是无资格递上去的，于是，他又想到了靠山王杨林。
杨林之所以敢于将家丁借给李渊，一个重要的原因是摸透了帝王们的所思所想。一个国家的天子，无论是昏君也好。明君也罢，无不想让自己的国家繁荣昌盛，和平稳定，以故对扰乱国家秩序者恨之入骨，必欲除之而后快，炀帝当然也不例外。当李渊为民除害的消息传来，他拍手称快，同时也被李渊的才华所折服。因此，当李渊求他代递奏折时，他欣然接受，并断定炀帝向情难向理，肯定不会对宇文吉手下留情。
果然如杨林所料，炀帝接到奏折，不仅详细地御览了一遍。还提起朱笔批道：
渊不负朕望，惩治乱朕社稷之恶人，安定大兴，同时亦稳了半个京城的秩序，堪为表率。旨全国各县即行效仿。
然后拿过宇文吉的罪状，很有耐心地看下去：
……宇文吉色胆包天，罪行令人发指。据查，此人游手好闲，专以猎色为业。在不到三年里，抢二八少女六十名，奸淫少女、少妇二百余名，杀死少女、少妇十九人。其手下色徒数十人。目无法纪，穷凶极恶，肆无忌惮，如同洪水猛兽。算来被这伙色魔蹂躏的女子达千人之多。致使大兴境内之少有姿色之女子，傈傈而危，足不敢出户，面不敢视人。其恶行有目共睹，不抓、不杀，不足以除民之愤，不足以示法度、固江山……
炀帝虽然昏暴，却知用人之道，面对宇文吉血淋淋的罪行，他犯了心思：天吉是右丞相宇文述的儿子，宇文述在朕争夺太子之事上又有功于朕，且又与左丞相杨素共掌朝中大权。若惩办了天吉，感情上过不去不说，宇文述还能为朕不遗余力吗？多亏有宇文述和杨素执掌国事，朕才有余暇餐女色，览山水，享尽人间之福，若是……他思来想去，难以定夺，不想刹那间暴怒起来，自语道：“区区小儿，也敢与朕比美，比朕享用的美色还多，真真的该死！”于是，一把抓起朱笔，在宇文吉的罪状上写下了“立抓立判”四个大字。
李渊见了御批，心中涌起了一股热流，为防炀帝变卦，字文述与杨素、杨约从中作祟，他亲自出马，率领捕快，以迅雷不及掩耳之势，包围了宇文吉的下榻之处，一举拿下了正在餐色的宇文吉和二十多个同伙，解救出少女三十余名。当天夜间进行突击审问，宇文吉供出了所有的同伙。捕快们顺藤摸瓜，于平明前将余下的歹徒一网打尽。至此，积案全部处理完毕，屈指算来，仅用了不到十个昼夜。
抓捕与己无关者，倒也无可非议，自己最痛爱的儿子被打入大牢，而且有生命之忧，宇文述哪里忍得下这口窝囊气？在自己的府中大骂李渊与他过不去，发誓要与李渊争个你高我低，最终以李渊的鲜血来洗刷蒙受的耻辱。然而，李渊按圣旨办事，无可挑剔，又怕闹大了炀帝怪罪，落个父子人头落地的可悲下场。便决定立即去找炀帝，请求圣上网开一面，谕旨李渊放了宇文吉。