Walaupun tidak membuahkan kesepakatan, dari Kongres Pemuda I sudah ada pemahaman mengenai persatuan dari para pemuda. Akhirnya diselenggarakan Kongres Pemuda II di tahun 1928 setelah dua tahun berselang.
Kongres Pemuda II ini diinisiasi oleh PPPI (Persatuan Pemuda Pelajar Indonesia) yang mengadakan rapat dengan dihadiri oleh beberapa organisasi pemuda saat itu. Dari rapat tersebut, disepakati bahwa Kongres Pemuda II akan dilaksanakan pada bulan Oktober 1928 selama dua hari, yaitu tanggal 27 dan 28 Oktober 1928, dan terbagi dalam tiga kali rapat yang diselenggarakan di tempat yang berbeda-beda.
Rapat pertama diselenggarakan di Gedung Katholieke Jongenlingen Bond (KJB), Sabtu, 27 Oktober 1928, dengan agenda membahas arti penting persatuan untuk kebangsaan. Mohammad Yamin menguraikan bahwa ada beberapa faktor yang dapat menguatkan persatuan Indonesia, antara lain persamaan bahasa, kultur, dan hukum adat.
Rapat kedua diselenggarakan di Gedung Oost-Java Bioscoop, Minggu, 28 Oktober 1928. Dalam rapat kedua ini dibahas tentang bagaimana anak-anak Indonesia harus dididik agar memiliki karakter yang baik dan mencintai tanah air.
Rapat ketiga yang juga diselenggarakan hari Minggu, 28 Oktober 1928, bertempat di gedung Indonesische Clubgebouw Kramat, membahas pentingnya gerakan kepanduan bagi persatuan bangsa yang tidak dapat dilepaskan dari pergerakan nasional.