Jol a connu un parcours modeste de joueur : FC La Haye (l'ancien ADO) , Bayern Munich (son seul grand club mais il n'y a joué que 9 matches en 1978-1979) , FC Twente , West Bromwich Albion , Coventry City et retour au FC La Haye).
Il débute également sa carriere d'entraineur au FC La Haye en 1991 , puis Scheveningen , Roda JC , RKC Waalwijk (pendant 6 ans , son plus long bail) , Tottenham , Hamburg et donc Ajax.