他的球员生涯并不顺利，一直都混迹在低级别联赛，这些时光中有12年都效力在一支叫美因茨的德乙球队。
起初他的位置是前锋，后来后撤为后卫。
在97年美因茨距离升级德甲只有一步之遥，但克洛普的一个意外滑倒改变了一切。
在00/01赛季，俱乐部距离降级一步之遥，当时美因茨的体育主管海德尔做了一个决定，他任命当时还没退役的克洛普充当救火教练，这是克洛普的执教生涯起点。