Rudy membawa Persebaya juara Perserikatan pada 1977. Keberhasilannya bersama Bajul Ijo  membuatnya dipanggil memperkuat Timnas Indonesia dan tampil di SEA Games 1979 dan 1983.

Selain Persebaya, Rudy juga pernah memperkuat Niac Mitra  dan jadi juara Galatama musim 1980-1982 dan 1982-1983. Pada akhir 1980, Rudy mulai menapaki karier sebagai pelatih.

Karier awal kepelatihannya pernah menangani tim-tim besar Indonesia seperti Persebaya, Persipura, dan PSM Makassar. Ia juga pernah menjadi pelatih Timnas Indonesia U-22 pada 2014.