Propozycje kontynuacji walki i oporu metodami konspiracyjnymi sformułowano na spotkaniach między władzami cywilnymi Warszawy (prezydentem Stefanem Starzyńskim, Radą Obrony stolicy i gen. Juliuszem Rómmlem (dowódca obrony Warszawy – 25 września). Brał w nich udział gen. Michał Tokarzewski-Karaszewicz. W nocy z 26 na 27 września 1939 roku powstała w oblężonej Warszawie Służba Zwycięstwu Polski – konspiracyjna organizacja wojskowa, mająca toczyć walkę przeciw okupantom. Gdy zapada decyzja o kapitulacji stolicy 29 września 1939 roku Tokarzewski przedstawił gen. Rómmlowi plan zorganizowania w okupowanym kraju podziemia zbrojnego i zaproponował, by udający się do niewoli gen. Rómmel przelał na niego pełnomocnictwo dowodzenia w całym kraju, otrzymane od Naczelnego Wodza w celu zorganizowania zakonspirowanych agentur bądź delegatur wojskowo-politycznych państwa polskiego.Tego samego dnia, do broniącej się jeszcze Warszawy przyleciał samolotem z Rumunii specjalny wysłannik Rydza-Śmigłego, mjr Edmund Galinat, który znał przedwojenne przygotowania do tego rodzaju działań na wypadek obcej okupacji i miał się zająć organizacją podziemia z ramienia internowanego Wodza Naczelnego. Gen. Rómmel zdecydował jednak przekazać dowództwo gen.Tokarzewskiemu, oddając Galinata do pomocy jako zastępcę.[3] Efektem rozmów był rozkaz gen. Rómmla:

Dane mi przez Naczelnego Wodza w porozumieniu z Rządem pełnomocnictwo dowodzenia w wojnie z najazdem na całym obszarze Państwa, przekazuję gen. bryg. Michałowi Tadeuszowi Tokarzewskiemu-Karaszewiczowi z zadaniem prowadzenia dalszej walki o utrzymanie niepodległości i całości granic. – J. Rómmel, gen. dyw.

AK w dokumentach 1939-1945, t. 1, s. 2; SBN 950134805, Gryf Printers Ltd., London, 1970. Gen.Tokarzewski dysponował piętnastoma oficerami, którzy tworzyli zalążek jego sztabu. Następnie przeprowadził konsultacje z przedstawicielami głównych partii politycznych, przede wszystkim stronnictw opozycyjnych.10 października 1939 roku w Warszawie miało miejsce pierwsze posiedzenie Głównej Rady Politycznej przy SZP, będącej reprezentacją 4 przedwojennych stronnictw antysanacyjnych[4]. Zasady organizacyjne SZP, jak i personalny skład dowództwa, nie uzyskały akceptacji władz polskich na uchodźstwie[5]. 13 listopada 1939 roku SZP została przekształcona przez gen. Sikorskiego w Związek Walki Zbrojnej (ZWZ) dowodzony przez gen. Kazimierza Sosnkowskiego, podlegający Rządowi RP na uchodźstwie. W ten sposób zachowano ciągłość polityczno-wojskowej kontynuacji władz Rzeczypospolitej Polskiej i pośredni wpływ władz państwowych na sytuację w kraju. W lutym 1940 roku Główna Rada Polityczna przekształciła się w Polityczny Komitet Porozumiewawczy[6].

14 lutego 1942 roku generał Władysław Sikorski przekształcił ZWZ w Armię Krajową (AK). Jej komendantem głównym został generał Stefan Rowecki, w kampanii wrześniowej dowódca Warszawskiej Brygady Pancerno-Motorowej, autor wojskowego podręcznika walk ulicznych. Utworzenie AK miało służyć scaleniu wszystkich grup wojskowych, podległych do tej pory różnym, podziemnym ugrupowaniom politycznym, w jedną organizację podległą Rządowi RP na uchodźstwie.

Jesienią 1941 roku do ZWZ należało 40 tysięcy żołnierzy, pod koniec 1942 roku AK liczyła ich już około 200 tysięcy. Była jedną z największych podziemnych armii w okupowanej Europie. Jednakże większość żołnierzy nie przeszła regularnego szkolenia, a w dodatku mieli oni zaledwie 53 tysiące sztuk broni (z czego tylko 6% broni maszynowej). Początki formowania struktur militarnych nie były łatwe albowiem nastroje społeczne wobec kadry oficerskiej były niechętne (niektórzy ukrywali wręcz fakt, że są oficerami). Wojna obronna 1939 roku podważyła zaufanie społeczne wobec ich zdolności. Gen. Rowecki pisał w grudniu 1941 roku „Szybkość przegranej we wrześniu 1939 roku była poważnym ciosem dla samopoczucia wszystkich żołnierzy. (...) wrzesień stał się przyczyną zarzutów, że wojsko nie potrafiło oprzeć się uderzeniu niemieckiemu, że dowódcy uciekli, a żołnierze nie chcieli się bić, że wojsko po prostu załamało się, rozprzęgło i właściwie bez walki uszło z pola. (...) To uporczywe obarczanie nas odpowiedzialnością za wrzesień nie przyczynia się do stworzenia takiej atmosfery, która powinna otaczać wojsko w konspiracji (...)”[7].

Główne zadanie Armii Krajowej polegało na gromadzeniu sił, aby uderzyć w chwili załamania się Niemiec. Akcje zbrojne prowadziły bowiem do okrutnych represji – hitlerowcy rozstrzeliwali kilkudziesięciu Polaków za każdego zabitego Niemca. Dopiero pod koniec 1942 roku AK nasiliła działalność dywersyjną: atakowała niemieckie posterunki, wykolejała transporty wojskowe przeznaczone na front wschodni, wysadzała mosty, odbijała więźniów. Na tę zmianę wpłynęło zahamowanie sukcesów Wehrmachtu, osiągnięcie sprawności organizacyjnej przez AK.

Komendant Główny AK gen. Rowecki obawiał się, że bezpośrednio po wyzwoleniu dojdzie do anarchizacji i radykalizacji społecznej mas oraz wystąpień ludności niepolskiej zamieszkującej tereny II RP (zwłaszcza Ukraińców). W związku z tym planował utworzenie w konspiracji sprawnej administracji dysponującej oddziałami policyjno-wojskowymi przeznaczonymi do tłumienia siłą różnego rodzaju rozruchów i wystąpień społecznych. Zakładano, że w specjalnie utworzonych obozach przetrzymywani będą między innymi wszyscy cywilni Niemcy, przywódcy organizacji komunistycznych i nacjonaliści ukraińscy. Istotnym problemem miało też być zapewnienie bezpieczeństwa pozostałej ludności żydowskiej do której, zdaniem Roweckiego, dominowało wrogie nastawienie w społeczeństwie polskim[8].

Polska, choć znajdowała się pod okupacją, posiadała legalny i uznawany na arenie międzynarodowej rząd rezydujący początkowo w Paryżu i Angers, od czerwca 1940 w Londynie. Istniały Polskie Siły Zbrojne oraz podziemna Armia Krajowa. W Warszawie mianowano Delegata Rządu na Kraj w randze wicepremiera. Podlegały mu wydziały: wywiadu, dywersji, oświaty, sądownictwa i polityki. Działały konspiracyjne sądy, których wyroki nie tylko wykonywano, ale też ogłaszano w podziemnej prasie. Ta zaś była fenomenem w okupowanej Europie: ukazywało się około 1400 tytułów (z tego 17 wychodziło przez cały czas trwania okupacji). Istniały czasopisma polityczne, wojskowe, literackie, kobiece, humorystyczne. W podziemnych drukarniach wydawano też książki (Niemcy zezwalali tylko na poradniki, np. ogrodnicze). Na przełomie 1943 na 1944 łączny nakład prasy podziemnej wydawanej przez Tajne Wojskowe Zakłady Wydawnicze – koncern wydawniczo-poligraficzny Armii Krajowej wynosił blisko 250 tysięcy egzemplarzy czasopism, 65,5 tys. broszur i 120 tys. egzemplarzy ulotek. Przez całą okupację działały tajne komplety, tzn. podziemne szkoły. Tajna Organizacja Nauczycielska zapewniała im kadrę oraz przygotowywała i rozprowadzała podręczniki. Na terenie Generalnego Gubernatorstwa (GG) utworzono prawie 2 tysiące szkół średnich. Podziemne uczelnie kształciły polonistów, historyków, matematyków, lekarzy. W czasie wojny, studia ukończyło prawie 10 tysięcy studentów.

Ponieważ Niemcy zgodzili się jedynie na działalność podrzędnych teatrzyków i kabaretów (których repertuar miał ogłupiać Polaków), powstały podziemne teatry. W prywatnych mieszkaniach lub piwnicach wystawiano dramaty Słowackiego, Wyspiańskiego, Szekspira. Odbywały się też koncerty i wieczory poetyckie.