17 (30) ноября 1917 г. народным комиссаром внутренних дел по предложению В. И. Ленина был назначен Г. И. Петровский. В состав первой коллегии НКВД вошли Ф. Э. Дзержинский, М. Я. Лацис, М. С. Урицкий, И. С. Уншлихт. Это руководящее ядро возглавило работу по формированию аппарата наркомата. На пути его создания, выработки структуры возникли большие трудности. Прежде всего саботаж. В целях борьбы с саботажем чиновников Коллегия НКВД РСФСР 31 декабря 1917 г. приняла решение: "1. Все чиновники, оставившие работу, считаются уволенными и лишенными пенсий. 2. Их фамилии опубликовать. 3. Предлагается всем органам по уборке улиц Петрограда обязать их принудительно работать по уборке улиц."
В первой декаде декабря 1917 года на заседании коллегии НКВД был рассмотрен вопрос об организации отделов наркомата. Первоочередной задачей стал подбор руководителей основных подразделений центрального аппарата. В конце 1917 - начале 1918 года эта работа была в основном завершена. Для формирования структуры НКВД единственным образцом, который можно было учесть и использовать, была структура аппарата дореволюционного Министерства внутренних дел. Она и легла в основу построения аппарата Наркомата.
Формирование центрального аппарата НКВД продолжалось до лета 1918 года. В июне 1918 года он насчитывал уже 11 отделов, в которых работало 400 сотрудников. Наркомат внутренних дел сложился как многофункциональный орган, охватывающий своей деятельностью широкий круг предметов ведения, что видно из названия его подразделений: отделы местного управления и местного хозяйства, финансовый, иностранный, беженцев, ветеринарный, по управлению медицинской частью. А еще - бюро печати, контрольно-ревизионная комиссия. Такое разнообразие функций в их совокупности дает основание утверждать, что НКВД того периода занимался внутренними делами государства в широком смысле слова. И хотя они включали в себя задачи, возникшие в связи с изменением государственного строя, можно также с уверенностью считать, что имело место прямое заимствование организационной структуры у дореволюционного министерства внутренних. Для реализации этой задачи в составе НКВД был создан специальный отдел. Он назывался отделом местного управления. Ставя такую задачу перед НКВД, исходили из того, что до революции губернаторы и подчиненные им органы, а затем и губернские комиссары Временного правительства, были подведомственны Министерству внутренних дел. Практика эта имела глубокие исторические корни. Поэтому она была воспринята и в новых условиях.