赵匡胤即位后，原来后周的一些将领打心眼里不服气。他们想起以前柴荣和赵匡胤拜天祭地，结成金兰之好，称兄道弟，可是柴荣死了才一年多，尸骨未寒，赵匡胤就忘恩负义，自己要做皇帝，这些将领不愿意下跪称臣，宋朝建立的第一年（建隆元年，960），潞州（今山西长治）节度使李筠、淮南节度使（驻扬州，今江苏扬州市）李重进筹划反叛，李筠且引北汉为援，当时宋太祖极担心南北夹攻，用计使两边一先一后而发，且亲征潞州。宋军声势浩大，将士作战勇猛，李筠和李重进都节节败退，最后他们无路可逃，放火自焚而亡。灭掉了二李，其他想反抗的人也不敢再反抗了，都向宋臣服。这时候，宋朝的政局才稍稍稳定。

宋太祖赵匡胤平定了边乱，接着就开始着手治理朝廷内部事务。

有一次，他单独找赵普谈话。赵普，字则平，幽州蓟县（今北京城西南）人，后迁河南洛阳。他出身小吏，没有多少学问，但却足智多谋，他自称博览群书，古今事务无一不晓。有一天，赵匡胤派人专门到赵普家去察看，回来的人报告说在他的书箱里藏的不过是半部《论语》。从此“半部《论语》治天下”的话流传开来了。

宋太祖问赵普：“李唐灭亡以后，五六十年的时间就经历了五个朝代，连年的战争，皇帝的宝座根本坐不稳，这是为什么呢？”

赵普马上答道：“这个道理我早知道了，我打个比喻，万岁千万别怪罪臣下。”

宋太祖一听这话，对赵普说：“你说什么都行，朕不会生气的。”

赵普说：“万岁可记得你的皇位是怎么得来的吗？不就是你手中有军队吗？要想使赵家的天下坐得长、坐得稳，就需要皇帝你自己掌握军队。现在地方上的节度使、藩镇的势力很大，这就很危险呀！”

宋太祖对赵普说：“那么，朝中的大将他们拥护我当皇帝，他们不会有什么危险吧？”

不等宋太祖说完，赵普就说：“皇帝，你忘记你以前做什么官了，是殿前都点检，也同样是朝廷中的大臣，如果有一天有人将皇袍加在这些掌握重兵的人身上，也来一次皇袍加身，这可就不好办了。”

宋太祖连连点头，赞赏赵普说的对。

赵普又对宋太祖说：“禁军大将石守信、王审琦两人，兵权太大，还是把他们调离禁军为好。”　　宋太祖说：“你放心，这两人是我的老朋友，不会反对我。”　　赵普说：“我并不担心他们叛变。但是据我看，这两个人没有统帅的才能，管不住下面的将士。有朝一日，下面的人闹起事来，只怕他们也身不由主呀！”　　宋太祖敲敲自己的额角说：“亏得你提醒一下。”建隆二年（961），即建国之后第二年，他召集禁军旧部聚饮于宫中。酒过几巡，有了三分酒意，宋太祖命令在旁侍候的太监退出。他拿起一杯酒，他开始倾诉：“在座的各位将军，有的是朕的拜把兄弟，有的是跟随朕多年征战沙场、出生入死的老部下，如今大家能坐在一起痛饮，真是难得呀！今天大家都不要客气，大口地吃肉，大口地喝酒，一醉方休。”

武将们都站起来，一个接一个向宋太祖敬酒：“祝万岁寿比南山。以后有什么事情万岁只管吩咐，我们赴汤蹈火，万死不辞。”

宋太祖和大家继续喝酒，说笑声不断。

宋太祖重重地叹了一口气。大家听到他的叹气声都停下酒杯，忙问：“万岁一切都顺心，怎么唉声叹气呢？”

“我要不是有你们帮助，也不会有现在这个地位。但是你们哪儿知道，做皇帝也有很大难处，还不如做个节度使自在。不瞒各位说，这一年来，我就没有一夜睡过安稳觉。”宋太祖说完这话，众人都急忙问：“这是为什么？”

宋太祖继续说道：“古人说：‘皇帝轮流坐，明天到我家。’谁不想当皇帝呀，今天我赵匡胤坐在龙座上，不知明天龙座之上坐的又是谁？”

众人都品出了这话中的含义，这不是害怕我们想当皇帝吗？大家都纷纷说：“我们到死都拥护万岁，决没有二心！”

宋太祖连忙说：“不要这样，朕怎么不相信大家呢？只怕你们的部下将士当中，有人贪图富贵，把黄袍披在你们身上。你们想不干，能行吗？真的那样的话，咱们君臣打起来，这可不好啊！”

众人一听，一个个都流了汗：“那可怎么办？万岁快给出个主意，我们一定照办。”

宋太祖这时不紧不慢地说：“我替你们着想，你们不如把兵权交出来，到地方上去做个闲官，多多地添置田地房屋，留与子孙；歌儿舞女，颐养天年。君臣之间，无所猜忌。这么办怎么样？”

众人一听，不住地叩头说：“好，好。”

宋太祖笑了笑：“大家不要这样，都快起来，让咱们君臣痛饮一杯。”

酒虽进了肚，众武将心里却不是滋味。

酒席一散，大家各自回家。第二天上朝，每人都递上一份奏章，说自己年老多病，请求辞职。宋太祖高兴地答应了，从此赵匡胤就把军权收归己有了。赏给他们一大笔财物，打发他们到各地去做节度使。

这就是历史上有名的“杯酒释兵权”的故事。

收了京城中禁军的军权，宋太祖仍觉不够。对藩镇的控制和削弱，不能松懈。太祖的处理手法不算新颖。最常见的是命各节度使换任，或称“徙镇”。节度使总要在本镇有若干年的经营，才好完全掌控本镇的资源，有作乱的资本。可是一“徙镇”，多年的苦心经营顿时化为泡影。从建隆元年开始，各节度使被密集徙镇，这就大大增加节度使作乱的难度。公元969年，宋太祖第二次“杯酒释兵权”，一些资格老的地方节度使的军权也被没收。同时，宋太祖派文官到地方上管事，用他的话说就是：“现在派了一百多个文人到地方上去，就算他们贪污，那么造成的危害也不及武将的十分之一。”

至此，禁军与藩镇的兵权都集中到了赵匡胤手里。为了避兔“君弱臣强”局面的出现，宋太祖又在宰相之下设参知政事若干人，以削弱宰相权力，并改变以前皇帝与宰相共同商讨国事的规矩，改为由皇帝批阅，再给宰相下旨处理。

在中央释禁军旧僚兵权，在地方则制约藩镇，使之不得展手足，这些都足以见宋太祖的高明。此外，他对其他将帅尤其是边将的控御也非常成功。史家盛赞他用人不疑，郭进、李汉超、何继筠等边将，皆在一地掌兵十数年、二十余年，久任而成事，故边圉宁靖。宋太祖在位十六年，国内外形势日渐稳定，他的个人能力和魅力。

宋太祖经过一系列的改革，手中的权力越来越大，这样五代王朝的短命悲剧没再重演，为维护国家统一做出了重要贡献。但是另一方面，宋太祖采取的一系列措施，也造成宋朝军队战斗力低下，这也是后来打仗经常失败的局面。