为了成为“秘密国家警察”的领导人，希姆莱利用罗姆的冲锋队与戈林的矛盾，经过一番钩心斗角的斗争，迫使戈林交出了“秘密警察”的控制权。而后，希姆莱、海德里希又和戈林联合起来，向着共同的对手——罗姆发起进攻。
此时罗姆的势力过于膨胀，几乎得罪了所有人，希特勒也觉得如芒刺在背，除去罗姆才能使各个实权集团满意，诛杀老战友已成为希特勒唯一的选择。罗姆曾是希姆莱的偶像，但涉及权力之争，心狠手辣的希姆莱是绝不会顾及这点情谊的。
希姆莱在全国范围内大搜捕、大屠杀；党卫队翻脸无情，火并其昔日的兄长——冲锋队，纳粹党内的争斗使德国一度处于内战边缘。短短一个星期的时间，数百万褐衫武装土崩瓦解。1934年6月30日夜，希特勒亲自率领党卫军与国防军，血洗了冲锋队总部，枪决了包括罗姆在内的一百多名冲锋队高级领导人，此外被杀的还有一千多人，史称“长刀之夜”。在结束对冲锋队的屠杀之后，希姆莱和海德里希得到了希特勒前所未有的信任和器重，纳粹特务机构的这两驾马车从此一路绿灯，畅通无阻。1934年7月20日，希姆莱得到了希特勒最好的报酬。希特勒在这一天下令：
鉴于党卫队的丰功伟绩，特别是6月30日的事件，因此我将其看做是国家社会主义工人党内的一个独立自主组织。
党卫队成了一支完全独立的力量，从此以后，希姆莱将只受希特勒一人的制约。党卫队保安处也名副其实地成为纳粹党内唯一的情报机构。
国防军很不情愿面对这样一个现实：“长刀之夜”最大的赢家是那个面色苍白、奴气十足、一向不被他们放在眼里的来自慕尼黑的农场主。在希姆莱的统领下，党卫队正在向真正的“国中之国”迈进。在德国的城市和乡村，蛊惑人心的宣传四处弥漫。
从纳粹上台的第一天起，每个德国人就被教会要牢记“领袖原则”，即无条件地绝对服从领袖——希特勒的一切旨意。这是第三帝国的国家原则，任何敢于反对它的人，都将被视为“国家之敌”。
而希姆莱就是实现这一原则的一把铁血之剑，在他和他所领导的机构身上充分体现了“毫不犹豫、无条件执行领袖命令”的顺从性。
希姆莱和海德里希有意强化黑色集团存在的恐怖效应。
党卫队这个秘密宗派，不让任何人了解它的组织内幕。阴森恐怖的氛围、神秘莫测的行动……使德国人对它望而生畏而又无从捉摸。
早在1933年3月20日，希姆莱便批准在巴伐利亚建立了一座专门关押男性犯人的集中营。这座集中营建在达豪附近的一个火药厂的旧址上，以几间石砌的平房为中心，所有被捕的共产党员和社会民主党人都被集中到这里。
看守集中营的党卫队从1936年起被称为“骷髅队”。
从那时起，“集中营”这个词使得人们谈之色变，每一个德国人都面临着这个无声无息、但又无处不在的威胁。“达豪”成了希姆莱警察统治的代名词。最初，几乎谁也没有理睬希姆莱的样板集中营的发明，纳粹的头目只是发愣地看着希姆莱警察机器的官僚主义的办事效率和完善组织。但是，很快人们就发现，集中营构成了海因里希·希姆莱警察之国的中心。
继达豪集中营之后，1933年3月底，党卫队又在符腾堡地区的施韦比施格明德附近，建立了第一座专门关押女性犯人的集中营，即戈特斯采尔集中营。集中营像蜘蛛网一样延伸到德国的各个角落。
带有强烈种族色彩的集中营的大量出现，其目的在于“不但不允许一个犹太人存在，而且要让整个犹太民族从这个星球上消失”。
比死更可怕的是生不如死。在集中营里，最坏的遭遇并不是死。在党卫军的种族政策中，灭绝人性的暴行常常伴之以五花八门的凌辱手段。其中有些手段就连最富想象力的文学家也无法想到。
集中营的恶毒用意就在于，给在押犯制造一种极端卑贱感，让他们不把自己当人看。同时，也借此震慑其他德国人，让他们学会循规蹈矩，抹去一切不顺从的精神。