Göktürkler Dönemi’nde devlet merkezinde Börü adı verilen, yönetici tabakayı koruyan bir muhafız teşkilatının bulunması, kurumsallaşma anlamında dikkat çeken bir örnektir. Bunlar soylulardan oluşan askerî bir güçtü. Bu dönemde, diğer devletlerin birçoğunda olduğu gibi emniyet ve asayiş işleri orduyla ilişkili güçlerden oluşmaktaydı. Hatta bu dönemin idari kurumları için asker-sivil ayrımı yapmak mümkün görünmemektedir.

Kolluk görevlerinde kurumsallaşma ve bürokratik iş bölümlerindeki farklılaşma İlk Müslüman Türk Devletleri’nde belirginleşmiştir. Kolluk makamı ve unvanı olarak subaşı-subaşılık kavramının kullanılışına bu dönemde rastlanmaktadır. İlk kullanımı daha çok komutan anlamındadır. Karahanlılar Dönemi’nde “yatgak ve turgak” adı verilen muhafızların görevi sarayı korumaktı. Turgaklar gündüz yatgaklar ise gece nöbet tutuyorlardı. Yatgak geceleyin düşman gözcülerini ve ileri kollarını yakalamak için çıkarılan askerî bölüğe de deniliyordu. Karahanlılar Dönemi’nde kullanılan unvanlardan biri de “candar”dır. Candar, Farsça silah tutan anlamına gelmektedir. Candarlar, gulamlar arasından seçilen askerler olup hakanın ve sarayın güvenliğinden sorumluydular. Bazı tarihçiler, Fransızcada aynı anlama gelen “jandarma” kelimesinin candardan geldiğini iddia etmişlerdir.

IX. yüzyılın sonları ve özellikle X. yüzyılda belirginleşen kolluk tarihiyle ilişkili şahne (şıhne) unvanı ortaya çıkmıştır. İlk kullanıldığı dönemde bir şehrin veya bölgenin muhafaza ve asayişinden sorumlu komutanı ifade etmekteydi. Şahne, tıpkı subaşı gibi daha sonraki yüzyıllarda hiyerarşik statü olarak daha alt seviyelerdeki bir unvana dönüşmüştür. Emeviler ve Abbasiler Dönemi’nde ortaya çıkan şurta; Selçuklu, Eyyubi gibi devletlerde de emniyet ve asayiş işlerinden sorumlu yöneticiler için kullanılmıştır. Selçuklularda şahne, subaşı ve şurta unvanları ile bunlara bağlı teşkilat bulunmaktaydı.

Osmanlı Devleti’nde; kazalarda "subaşılar" sancaklarda "sancak beyleri", eyaletlerde ise "beylerbeyi" askerî ve mülki birer otorite olarak emrindeki askerlerle emniyet ve asayiş hizmetlerini yürütmüşlerdir. Ayrıca merkez İstanbul'un genel güvenliğinden doğrudan sadrazam sorumluydu. Sadrazamın kontrolünde Yeniçeri birlikleri farklı isimler altında şehrin güvenliğini sağlamaya çalışmışlardır. Klasik dönem devlet teşkilatı tamamen askerî mahiyette inşa edilmişti. Mülki, adli, mali ve askerî gibi sınıfların birbirinden belirgin biçimde ayrılmamıştı. Asayiş ve inzibattan sorumlu olanlar ise bazı devlet dairelerindeki görevliler ve bu işten sorumlu askerlerden oluşuyordu. Eyaletlerde kolluk işlerini yürüten birimler genel anlamda ordu mensubu olarak görev yapan serhad kulu, yerli kulu,  tımarlı sipahi ve gönüllü adı verilen unsurlardı.

Başkent İstanbul'da ise emniyet ve asayiş hizmetleri taşradan farklı bir sorumluluk paylaşımıyla yürütülmüştür. Yeniçeriler, yeniçeri ağası, cebecibaşı, cebeciler, kaptan paşa, topçubaşı ve topçular, bostancıbaşı ve bostancılar, devletin emniyet ve asayişinin sağlanmasında görev almışlardır. 1826'da Yeniçeri teşkilatının kaldırılmasından sonra emniyet ve asayiş hizmetleri; Asâkir-i Mansûre-i Muhammediyye ordusuna bağlı olarak "Asakir-i Muntazama-i Mansuri","Asakir-i Muntazama-i Hassa" ve 1834 tarihinde Anadolu ve Rumeli'nin bazı eyaletlerinde "Redif Taburları" adı altında kurulan askerî teşkilatlar tarafından yürütülmüştür.

Üzerinde tarih bulunmayan ve arşiv kayıtlarında Tanzimat’ın ilanı öncesini gösteren Asâkir-i Mansûre Feriklerinden Namık Paşa’nın Meclis-i Vâlâ’ya sunduğu bir rapor, Osmanlı Devleti içerisinde Jandarma tarzı bir kolluk kuvvetinin Tanzimat Fermanı öncesinde gündeme gelmiş olduğunu göstermektedir. Namık Paşa, Avrupa Devletleri’nin birçoğunda Jandarma adlı bir askerî teşkilat kurulduğunu ve her ülkenin kendi Jandarmasının farklı yönetmeliklere tabi olduğuna dikkat çekmiştir. Rapor, benzer bir teşkilatın Osmanlı Devleti’nde de kurulması yönünde yorum ve teklifler içermekteydi. Namık Paşa,  Osmanlı Devleti’nde Jandarma teşkilatı kurulmasının gerekçesini, faydalarını, hangi bölgelerde ne şekilde kurulması gerektiğini ayrıntılı bir şekilde açıklamış raporun sonunda ise bu teşkilatın adıyla ilgili birkaç teklif sunmuştur. Onun kanaati Jandarma teşkilatı kurulması kabul edilse bile bunun Jandarma adıyla olmayacağı yönündeydi.  Raporu takip eden arşiv belgelerine göre bir Jandarma teşkilatı kurulmasıyla ilgili çalışmalara başlanmış; fakat çok kısa bir zaman içinde imkânlar elvermediği için durdurulması yönünde emir yayınlanmıştır. Buna rağmen Osmanlı arşivlerinde 1839 öncesinde rastlanmayan Zabtiye kavramı ve teşkilatlanmasına dönük belgelerin bu tarihten itibaren gittikçe arttığı anlaşılmaktadır. Modern Türk Jandarmasının kuruluşu Zabtiye adıyla gerçekleşmiştir. Merkezîleşme ve standardizasyon çabalarının bir sonucu olarak 16 Şubat 1846 tarihinde "Zaptiye Müşirliği" kurulmuş, eyalet ve sancaklardaki Zaptiye hizmetleri doğrudan doğruya bu makama bağlanmıştır. Bu devreye "Tevhidi Zabıta" (zabıtanın birleştirilmesi) devresi de denilmektedir. Böylece asıl görevi iç güvenlik ve düzeni sağlamak olan, tek merkezden sevk ve idare edilen yeni bir askerî niteliklere haiz kolluk sınıfı doğmuştur.

Zabtiye adı bir süre sonra Asakir-i Zabtiye’ye dönüşmüştür. Teşkilatın kurumsallaşması ve gelişimi yönündeki çalışmalarda 14 Haziran 1869 tarihinde yayımlanan "Asakir-i Zaptiye Nizamnamesi” bir dönüm noktası olmuştur.  Bu nizamname ile zabıta görev ve hizmetleri, yetki ve sorumlulukları daha belirgin bir çerçeve içine alınmıştır. Nizamname uyarınca vilayet merkezlerinde bir Zaptiye Alayı kurulması yönünde adım atılmıştır. Piyade ve süvari sınıfları bulunan Asakir-i Zabtiye teşkilatı, alay kuruluşlarının yanı sıra daha küçük merkezlerde tabur, bölük ve takım şeklinde teşkilatlanmıştır. 14 Haziran’ın Türk Jandarma teşkilatının kuruluş günü olarak kabul edilmesi Asakir-i Zabtiye Nizamnamesi’nin bu ayın on dördünde yayınlanmasıyla ilgilidir. 1839 yılı, Jandarma arşivinde bu yönde bazı kayıtlara rastlanıldığına dair rivayet üzerineydi. Ancak bu konuda yayınlanan bir akademik makale 1839 tarihi konusunda tereddüdü ve rivayeti ortadan kaldırmıştır. 14 Haziran günü ise sembolik bir tarih olarak kullanılmaya devam etmektedir.

Asakir-i Zabtiye teşkilatının düzenlenmesi ve Jandarma adıyla kurumsallaşma sürecinin devam etmesi bakımından 1879 yılında yapılan değişiklik yeni bir dönüm noktasıdır. 1877-1878 Osmanlı-Rus Harbi’nden hemen sonra İngiltere ve Fransa'dan subaylar getirtilerek Jandarmanın modernleşmesi konusunda yeni düzenlemeler yapılmıştır. Asakir-i Zabtiye, 20 Kasım 1879’da Jandarma Dairesi adıyla yeni bir sürece girmiştir. Yeni daire, seraskerlik makamına bağlanmıştır. 19. yüzyılın son çeyreğinde birçok isyanla ve asayişsizlik problemiyle karşı karşıya kalan Osmanlı Devleti için belirli standartlara ulaşmış jandarma tarzı kolluk gücü ihtiyacı gittikçe artmaktaydı. Bu ihtiyaç 20. yüzyıl başlarında daha da artacaktı. Balkan coğrafyasında meydana gelen isyan girişimleri ve bunun neticesinde başta Makedonya olmak üzere diğer bazı bölgelerin ayrılıkçı girişimleri, Osmanlı Devleti'ni bu bölgede reform yapmaya itmiştir. Özellikle bu coğrafyadaki Jandarma teşkilatının düzenlenmesi ve güçlendirilmesiyle isyan girişimlerinin önüne de geçilebileceği düşünülmüştür. Nitekim 1903 yılında Rumeli Tensîkatı (Yenileşme Dönemi) adı altında Balkan coğrafyasında Jandarma birlikleri eğitim, teçhizat ve üniforma gibi düzenlemeleri de kapsayacak şekilde yeni bir sürece girmiştir. Tensikat, Rumeli ile sınırlı kalmamış; diğer bölgeleri de kapsayacak şekilde genişletilmiştir. Bu dönemin Jandarma teşkilatı açısından dikkat çeken önemli gelişmelerinden biri, Jandarma Nizamname-i Hümayun’un yayımlanmasıdır. Diğeri ise her rütbedeki jandarmanın modern eğitim kurumlarında yetişmesini sağlayacak okulların açılmaya başlamasıdır. İlk Jandarma okulları 1904 yılında Selanik'te Jandarma Zabitan ve Posta Kumandanları Mektebi ve Efrad-ı Cedide Mektebi olarak faaliyete geçmiştir. Bu okullar daha sonra başka merkezlere yayılmıştır.

Jandarma tarihi açısından önemli dönüm noktaların biri II. Meşrutiyet’in ilan edilmesinden hemen sonra gerçekleşmiştir. Rumeli’de gösterdiği başarılı faaliyetleri de dikkate alınan teşkilat, 1909 yılında yeniden bir düzenlemeyle Harbiye Nezaretine bağlanmış ve "Umum Jandarma Kumandanlığı" adını almıştır. Jandarma birlikleri, 1914-1918 tarihleri arasındaki Birinci Dünya Savaşı ile 1919-1922 tarihleri arasındaki Millî Mücadele Dönemi’nde, hem asayiş ve emniyet görevlerini sürdürmüşler hem de birçok cephede, teşkilatın kuruluş amacındaki işlevine uygun, ordunun bir parçası olarak ülke savunmasında aktif rol almışlardır. Jandarma birliklerinin bu savaşlardaki faydası ve kahramanlıkları övgüye mazhar olacak niteliktedir.

1918 yılında Jandarma teşkilatında yeni bir düzenleme yapılmıştır. Bu düzenlemeyle Sabit Jandarma Bölge Müfettişlikleri ve İl Jandarma Alay Komutanlıkları yeniden teşkilatlandırılmış, Birinci Dünya Savaşı yıllarında önemli hizmetleri görülen Seyyar Jandarma Birlikleri güçlendirilmiştir. Ayrıca yine bu dönemde, Efrad-ı Cedide ve Karakol Kumandanları Mektebi bir çatı altında toplanarak Jandarma Alay Mektepleri kurulmuştur.

29 Ekim 1923’te Cumhuriyet’in ilanından sonra, devletin birçok kuruluşunda olduğu gibi Jandarma teşkilatında da yeniden düzenleme çalışmalarına bir plan çerçevesinde başlanmıştır. Cumhuriyet'in ilan edilmesinden kısa süre sonra, Cumhuriyet rejimine karşı birtakım ayaklanmalar ortaya çıkmıştır. Genel anlamda 1924-1938 yıllarını kapsayan bu evrede Jandarma teşkilatı, Seyyar Jandarma Müfrezeleri adı altında teşkilatlanarak isyan girişimlerinin bastırılmasında aktif rol almıştır. Böylece Cumhuriyet'in yılmaz savunuculuğunu üstlenmiştir.

Jandarma teşkilatının özellikle hukuki statüsünü belirgin hâle getiren kapsamlı düzenleme, 10 Haziran 1930 tarihinde, 1706 sayılı Kanun’un çıkarılmasıyla yapılmıştır. Bu düzenleme ile Jandarma teşkilatı Cumhuriyet Dönemi’ndeki hukuki statüsünü kazanmıştır. Personel niteliğinin artırılması yönündeki çalışmalar önceki yıllarda okulların açılmasıyla belirgin hâle gelmişti. Bu yöndeki çalışmalar, Cumhuriyet Dönemi’nde de sürdürülmüş; özellikle subay kalitesinin artırılması için 1935 yılında subayların  Kara Harp  Okulunda  yetiştirilmesi esası kabul edilmiştir. 1706 sayılı Kanun’dan sonra 1937 yılında "Jandarma Teşkilat ve Vazife Nizamnamesi" yürürlüğe girmiştir.

1930’lu yıllarda Jandarma eğitim tarihi açısından diğer bir önemli gelişme 1936 yılında Jandarma Subay Sınıf Okulunun kurulmasıdır. Bu okul, 1937 yılında Ankara Anıttepe’de kendi binasına taşınmıştır. Anıttepe’de Jandarma Genel Komutanlığına bağlı olarak açılan Jandarma Subay Sınıf Okulu binası, bu dönemde yeni kurulan Polis Enstitüsüyle ortak olarak kullanılmıştır. Jandarma Subay Sınıf Okulunun açılmasıyla beraber subay adaylarının eğitimi için hazırlanan müfredat programı, nitelikli bir jandarma subayının ihtiyaç duyacağı bilgi, beceri ve tutumları kapsayacak şekilde oluşturulmuştu.

Jandarma teşkilatı, Cumhuriyet Dönemi'nde geçirdiği değişim ve dönüşümlerle modern bir kolluk teşkilatı hâline gelmiştir. 1939 yılında Sabit Jandarma Birlikleri, Seyyar Jandarma Birlikleri, Jandarma Eğitim Birlikleri ve Okullar olmak üzere dört grup hâlinde yeniden düzenlenmiştir. Bunun dışında teşkilat yapısı içerisinde 1949 yılında nüfusu fazla olan illerde, polis  görevli  Jandarma birlikleri kurulmuşsa da bu birlikler 1960 yılında kaldırılmıştır.

1956 yılında yürürlüğe giren 6815 sayılı Kanun ile bu tarihe kadar Gümrük Tekel Bakanlığına bağlı tümen seviyesinde askerî bir kuruluş olan Gümrük Umum Kumandanlığı tarafından yürütülen sınır, kıyı ve kara sularımızın emniyeti ve korunması ile gümrük bölgelerinde kaçakçılığı men, takip, tahkik görev  ve sorumluluğu; Jandarma Genel Komutanlığına verilmiştir. Bir sonraki yıl ise Jandarma Sınır Birlikleri tugaylar hâline dönüştürülmüş ayrıca Jandarma Eğitim Tugayları kurulmuştur. 1966 - 1967 yılları arasında birden çok İl Jandarma Komutanlığını bünyesine alan Jandarma Bölge Komutanlıkları kurulmuştur. Bu yıllarda Jandarma Komando birlikleri kurulmaya başlanmıştır. 1968 yılında ise Diyarbakır'da Helikopter Bölük Komutanlığı adı altında ilk Jandarma Havacılık Birliği kurulmuştur. Teşkilata bağlı oluşturulan tüm bu birimler Genel Komutanlığın daha işlevli hâle gelmesini sağlamıştır.