En del icke muslimer tror eller fås att tro att pilgrimsfärden till Kaba är en hednisk ritual eller någon form av avgudadyrkan, att det praktiserades av de arabiska avgudadyrkarna före Islams inträde och att Islam har lånat detta från dem.