Zvanično je osnovana 1911. godine , a njeni koreni sežu deceniju ranije, kada je formirana zaverenička grupa koja je izvršila ubistvo poslednjeg srpskog monarha iz dinastije Obrenović.
“Crnu ruku” su uglavnom činili mlađi zaverenici umešani u ubistvo kralja Aleksandra i kraljice Drage. Centralna ličnost organizacije bio je pukovnik Dragutin Dimitrijević Apis.
Članovi ove organizacije, pored Apisa, bili su legendarni Vojin Popović vojvoda Vuk,major Voja Tankosić, major Dragutin Gavrilović - komandant odbrane Beograda, Panta Draškić - kraljev ordonans, Mustafa Golubić kao i mnogi drugi.
Simpatije prema Apisu i organizaciji nisu krile ni značajne ličnosti tog doba Arčibald Rajs, vladika Nikolaj Velimirović, Branislav Nušić, Milan Rakić a nezvanični zaštitnik ove grupe bio je vojvoda Putnik.
“Ujedinjenje ili smrt” imalo je panslavističke ciljeve, i nameru da ujedini sve teritorije Južnih Slovena, ali u istoriji će ostati poznatije po svojim “prevratničkim akcijama”.
Crnorukci su smatrani jednom od "tri grane vlaste" u Kraljevini Srbiji, i u borbi za prevlast sa Dvorom i Pašićevim radikalima nisu birali sredstva.
Veruje se da su Apis i ljudi iz njegovog okruženja imali značajnu ulogu u abdikaciji prestolonaslednika Đorđa i samim tim u smeni u naslednoj liniji monarhije.
Sa prestolonaslednikom Aleksandrom, Apis i crnorukci imali su dinamičan odnos, u startu je bilo obostranih simpatija, a budući kralj je i novčano pomogao rad njihovog glasila - časopisa "Pijemont". Kasnije pod uticajem političara, kao i oficira koji nisu bili deo organizacije, dolazi do razmimoilaženja koje će kulminirati nestankom Apisa i njegover grupe sa istorijske scene.
Otvoreni sukob sa Pašićem i radikalima desio se posle Balkanskih ratova, tačnije na proleće 1914. godine.
Po sredi je bila borba oko prvenstva vojnih i civilnih vlasti u novooslobođenim krajevima i već tada se verovalno da crnorukci mogu izvesti državni udar. Taj scenario onemogućio je, još jedan veliki istorijski događaj u kojem se mogu videti "otisci Crne ruke" - Sarajevski atenat.
Pripadnici "Mlade Bosne" iz čijih redova su i atentatori na nadvojvodu Franca Ferdinanda i njegovu suprugu Sofiju, definitivno su imali kontakte sa određenim članovima "Crne ruke" ali će stvarna uloga Apisa, Tankosića i drugova, verovatno zauvek ostati misterija i predmet nagađanja.
Tokom Velikog rata pripadnici ove oficirske organizacije uzeli su učešcće u najkrvavijim bitkama i istakli se hrabrošću i junaštvom.
Podelili su sudbinu srpske vojske sa kojom su prešli preko Albanije, zatim na Krf, a potom u Solun, gde je zapečaćena sudbina ove grupacije.
Apis i grupa njegovih najbližih ljudi uhapšeni su krajem 1916. u Solunu zbog navodnog pokušaja atentata na regenta Aleksandra Karađorđevića, 11. septembra kod mesta Ostrova, u pozadini Solunskog fronta. Sa Dimitrijevićem, uhapšeni su i pripadnici “Mlade Bosne” Rade Malobabić i Muhamed Mehmedbašić što ide u prilog teoriji da je bio umešan u Sarajevski atentat.
Organizatori suđenja, u istoriji poznatog kao "Solunski proces", sumnjičili su Apisa takođe i da je sarađivao sa Nemcima i predstavljajući ga kao izdajnika. Sam proces imao je niz propusta i manjkavosti, tako su na primer sudije bile u ličnom sukobu sa optuženima, pre svega sa Apisom.
Presudom iz maja 1917. godine Dimitrijević je osuđen na smrt, i streljan zajedno s artiljerijskim majorom Ljubomirom Vulovićem i Radetom Malobabićem. Preostali članovi organizacije "Ujedinjenje ili smrt" osuđeni su na zatvorske kazne ili premešteni na prve linije fronta, penzionisani i skrajnuti.
Tako je sa istorijske scene uklonjena grupa oficira koja je imala nesaglediv uticaj na događaje kako u Kraljevini Srbiji tako i na Balkanu, na kraju 19. i početkom 20. veka.
Na obnovljenom sudskom procesu, posle Drugog svetskog rata, 1953. godine u Beogradu, Dragutin Dimitrijević Apis je rehabilitovan.