قال ابن إسحاق: ويزعمون أن أول ما كانت عبادة الحجارة في بني إسماعيل، أنه كان لا يظعن من مكة ظاعن منهم، حين ضاقت عليهم، والتمسوا الفسح في البلاد، إلا حمل معه حجرا من حجارة الحرم تعظيما للحرم، فحيثما نزلوا وضعوه فطافوا به كطوافهم بالكعبة، حتى سلخ ذلك بهم إلى أن كانوا يعبدون ما استحسنوا من الحجارة، وأعجبهم، حتى خلف الخلوف ، ونسوا ما كانوا عليه، واستبدلوا بدين إبراهيم وإسماعيل غيره، فعبدوا الأوثان، وصاروا إلى ما كانت عليه الأمم قبلهم من الضلالات، وفيهم على ذلك بقايا من عهد إبراهيم يتمسكون بها، من تعظيم البيت، والطواف به، والحج والعمرة، والوقوف على عرفة
والمزدلفة، وهدي البدن، والإهلال بالحج والعمرة، مع إدخالهم فيه ما ليس منه. فكانت كنانة وقريش إذا أهلوا قالوا: «لبيك اللهم لبيك، لبيك لا شريك لك، إلا شريك هو لك، تملكه وما ملك» . فيوحدونه بالتلبية، ثم يدخلون معه أصنامهم، ويجعلون ملكها بيده. يقول الله تبارك وتعالى لمحمد صلى الله عليه وسلم: «وما يؤمن أكثرهم بالله إلا وهم مشركون» .
أي ما يوحدونني لمعرفة حقي إلا جعلوا معي شريكا من خلقي.