李元吉失了眉州兵权，灰熘熘地返回了成都。这对于野心勃勃的李元吉是一个重大的打击，因为这不是简单的被夺权的事，而是意味着李渊对李元吉能力的不信任。在这紧要关头，被贴上一个能力不足的标签，想再获得军权，就很困难了。
李元吉也意识到这一点，如一只暴怒的狮子一般，将整个军帐砸了一个稀巴烂，以发泄怒气，可木已成舟，即使他再歇斯底里，亦没法改变此事。
返回眉州的李元吉，愤愤不平。
可李渊现在对于巴蜀的内乱焦头烂额，恨不得全部的精力都用在平乱上，可没有精力在意李元吉的心情。也就是李建成劝了李元吉两句，承诺过段时间会向李渊举荐，帮着李元吉重新领军。
但福无双至，祸不单行。
李元吉回到成都没两日，李世民在眉州大破獠人的消息便传来。
现在的李世民有多次兵败的经历，因此在李唐内部，也只能算一个有能力之人，并未被神化。所以对于李世民迅速平乱，大家的想法不是李世民能打，而是眉州獠人太弱。
獠人未开化，中原王朝亦从未将其放在眼中。
所以李世民迅速平乱和之前李元吉连战不胜立刻形成了一个鲜明的对比，在所有人看来，李元吉就是能力不够，才未能平乱。
再加上李元吉风评本就不好，当初丢了太原，就是因为李元吉的临阵脱逃。
所以很快众人便形成了一个统一的意见，李元吉空有一副坏脾气，实则无能的很。
此评越来越广，连李渊和李建成都怀疑，这李元吉是不是真的没多少脑子，根本不会领军。
面对这个说法，李元吉恨不得杀人以泄愤。他自问勇武过人，天赋卓绝，虽古之名将亦不可比。虽然有败，但也只是时运不济而已。
至于李世民，败仗不比他大吗？凭什么还能被父亲委以重任。
李元吉甚至想告诉每个人自己的本事，让他们知道自己的能耐，可惜只能想想而已。表面上，大家对他还是客客气气的，让李元吉有气无处撒。
李元吉三番五次地去找李建成，请求李建成帮他再次领兵，可李建成也不太敢再用他，只得委婉拒绝。
连李建成都不信任他，这让李元吉很受伤。
因为全身精力无处发泄，李元吉只得整日打猎游玩。李元吉爱好打猎，号称“宁可三天不吃东西，不能一天不打猎”。当初跟宇文歆的矛盾，就是因为打猎而爆发的。可惜李元吉丢了太原，也没能改掉这个恶习。
原本还有李渊、李建成约束他，可现在所有人的目光都在平乱上，李元吉如脱缰的野马一般，四处游猎，践踏农田庄稼，公开掠夺百姓财物，简直如土匪一般。
可惜没人敢管，即使有人弹劾，也被裴寂给压下，美其名曰“勿使唐王分神。”
李元吉更疯狂了，西到灌县，北到绵竹，到处都有他肆虐的身影。
这天李元吉来到青城山打猎，中午歇息的时候，便遇到了学道的李密。
李密自当初邙山兵败之后，带着残部入蜀投奔了李渊。李密归唐，李渊大喜，拜李密为光禄卿，封邢国公，还将表妹独孤氏嫁给了李密，称呼李密为弟。
可惜对于李渊来说，李密是头勐虎，可以用他千金买马骨，收服人心，但真若是对其委以重任，那是不行的。
于是李渊将李密旧部等人一一调出，分化瓦解，使得李密空有光禄卿的高位，却无一点实权。