卫所制度是明太祖朱元璋创立的一项新的军事制度，它是以都司为地方最高军事领导机构，率领所属卫所隶于中央五军都督府，并听命于兵部。
朱元璋建国之后为了强化中央集权，对中央军政机构做了重大调整。当初，朱元璋建统军元帅府，不久改为大都督府，统领全国卫所军。洪武十三年（1380），分大都督府为中、左、右、前、后五军都督，全国卫所遂分隶于五军都督府。每府设左、右都督，正一品；都督同知，从一品；都督佥事，正二品。掾属有经历司经历从五品；都事从七品。都督府为最高军事机构，掌军旅之事，各领其在京卫所及在外都司卫所，以达于兵部。“凡武职，世官流官，土官袭替，优养、优给，所属上之府，移兵部请选。既选移府以下之都司、卫所。首领官听吏部选授，给由亦如之。凡武官诰敕、俸粮、水陆步骑操练、官舍旗役并试、军情声息、军伍勾补、边腹地图、文册、屯种、器械、舟车、薪苇之事，并移所司综理之。”
与都督府相配合的军事机关是兵部，设兵部尚书一人，正二品；左右侍郎一人，正三品。掾属有司务厅、司务二人，从九品。武选、职方、车驾、武库四清吏司，各郎中一人，正五品，员外郎一人，从五品，主事二人，正六品。兵部尚书主持兵部工作，侍郎辅佐。武选清吏司分掌武官升调、袭替、优给、诰敕、功赏之事。职方清吏司分掌舆图、军制、城隍、镇戍、营操、武举、巡逻关津、征讨之事。车驾清吏司分掌卤薄、仪仗、侍卫驿传、厩牧之事。武库清吏司分掌戎器、符勘、尺籍、武学、薪隶之事。洪武元年（1368）设置兵部时，它是中书省六个部的一个部，洪武十三年中书省及丞相制度被废除，兵部与其它五部一起升格，直属皇帝统制。
地方上朱元璋改行中书省为承宣布政使司，废除行省制度，改由承宣布政使司（简称布政司）、提刑按察使司（简称按察司），都指挥使司（简称都司），分掌一省行政、司法、军事，并称“三司”。三司互不统属，各对中央负责。都司负责管理所辖区域内卫所，以及与军事有关的各项事务，是地方平时最高军事领导机构。各省都司之外，在边防要地则单设都司，实行军民合一的统治，如辽宁都司，治定辽中卫（今辽宁辽阳）；大宁都司，治定大宁卫（今内蒙古宁城），万全都司，治定宣府卫（今河北宣化）。还在边境海疆的北平、山西、福建等地设置行都指挥使司，在中都设置留守司，以补都司之不及。
都指挥使司设都指挥使一人，正二品；都指挥同知二人，从二品；都指挥佥事四人，正三品。经历司经历，正六品，都事，正七品；断事司断事，正六品，副断事，正七品，以上二属司各有吏目一人；司狱司司狱，从九品。经历司、断事司、司狱司三个职能机构分别负责处理来往公文及刑狱之事。地方若有重大军务，须三司合议，并列署名向朝廷汇报。此外还有仓库、草场大使、副使等掾属。都司内部的分工大体是，都指挥史及同知、佥事，以其中一人统领司事，称为掌印；一人负责练兵，一人负责屯田，称为佥书；有的则分管巡捕、军器、漕运、京操、备御等事务。经历、都事则典掌文书，断事处理军队刑狱。遇有战争，朝廷临时派将，并非都司指挥作战。
都司之下，连郡者设卫，要害地系一郡设千户所。卫设指挥使一人，正三品，指挥同知二人，从三品；属员有指挥佥事四人，正四品；镇抚司镇抚二人，从五品，经历司经历，从七品，知事，正八品，吏目，从九品，仓大使、副使各一人。各卫统领本卫及属所的军政，指挥使、指挥同知，指挥佥事的职掌分工，类似于都司。凡指挥使、同知、佥事负责管理卫事者，称为掌印、佥书。掌印主管全卫军士的调拨、增补、选拔以及军旅防御之事；佥书分理屯田、营操、验军、巡捕、漕运、备御等事；出征时，各卫率领共属所听从朝廷所派将领的调度。
每卫大抵5600人，下辖五个千户所，每千户统兵1120人，设千户一人，正五品，副千户二人，从五品，千户、副千户分管军务，一人掌印、一人佥书。镇抚二人（镇抚是专管军纪的官员，百户缺员时可代百户行使职权），从六品。掾属有吏目一人。下辖十个百户所，每百户统兵112人，分为两个总旗。每总旗统兵56人。又分为五小旗，小旗管辖10名士兵。
所有的军政，由卫下达于千户所，千户督百户，百户下达总旗、小旗，大小联比以成军。洪武二十六年(1393)，定全国都司、卫所，共设都司17个、行都司3个、留守司1个、内外卫329个、守御千户所65个。兵额最多时达270余万人。
国家一旦遇有战争，由兵部秉承皇帝旨意，委派都督府官或侯伯出任总兵官，事后还任。明初，地方军队领导体制平时和战时不同。平时的军队训练、守御、屯田等都由都指挥、指挥使、千户、百户等层层负责。都指挥是一地区的最高长官。战时由朝廷派出的总兵官，指挥临时调集的某几个卫所或某几个卫所的部分官兵，进行作战。战争结束后，军队各回本卫所。
总兵是由中央派出的，官爵较高，职权较专。如宣府镇，永乐时总兵官的职掌为：“整饬兵备，申严号令，练抚士卒，振作军威。务要衣甲整齐，器械锋利。城堡墩台坍塌以时修治坚完，官军骑操马匹责令饲养膘壮。仍督屯田粮草，并一应钱粮不许侵欺。遇有贼寇，相机战守”。这就是说练兵作战，筹饷由总兵负责。正统以后，明朝由盛转衰，内忧外患加重。在这种情况下长城防线时时处于戒备状态，被朝廷派遣来的总兵官渐渐变成总领一方军事的固定官职，都指挥使是地方性军事长官，渐渐就成为总兵的下属了。这时期的总兵官被称为镇守。镇守以下，独守一路的称为分守。防守一城一堡的称为守备，与主将同守一城者为协守，总兵又分正、副。下设参将、游击将军等。除此以外又有提督、提调、巡视、备御、领班等名。如镇守蓟州总兵官一人，旧设。隆庆二年改为总理练兵事务兼镇守，驻三屯营，协守副总兵三人，统领南兵游击将军三人，领班游击将军七人，坐管官八人，守备八人，把总一人，提调官二十六人。
总兵官变成镇守地方的军队统帅后，再有战事时，朝廷又派中央大臣到地方巡抚，事毕复命。久之，巡抚也成为固定的官职，长驻地方。巡抚多以都御史或副佥都御史充任，其基本职能是监察地方，考核官吏，督理税粮，抚安百姓，控扼险要，固守城池等。以后偏重于军事，整饬边备，提督关隘，赞理军务者越来越多。如成化八年（1472）巡抚余子俊于榆林镇督修长城1770余里。
明朝规定巡抚兼军务者加提督军务，有总兵地方加赞理、管粮饷者加总督兼理等名义。各地巡抚实际上已经掌握一方的民事和军务大权，总兵官、都、布、政三司使都时为巡抚的下属，听其指挥。后来长城防线局势日趋紧张，战争此起彼伏。当时修筑长城，或调兵遣将多涉及几个镇，为调节、辖制各镇，以利统一作战，朝廷又添设总督军务或总制或总理，派重臣出任，有的成了长设之官。