فلما دنوا من المدينة، ونزلوا قناة، ألفوا بها المغيرة بن شعبة، يرعى في توبته ركاب أصحاب رسول الله صلى الله عليه وسلم، وكانت رعيتها نوبا على أصحابه صلى الله عليه وسلم، فلما رآهم ترك الركاب عند الثقفيين، وضبر يشتد، ليبشر رسول الله صلى الله عليه وسلم بقدومهم عليه، فلقيه أبو بكر الصديق قبل أن يدخل على رسول الله صلى الله عليه وسلم، فأخبره عن ركب ثقيف أن قد قدموا يريدون البيعة والإسلام، بأن يشرط لهم رسول الله صلى الله عليه وسلم شروطا، ويكتتبوا من رسول الله صلى الله عليه وسلم كتابا في قومهم وبلادهم وأموالهم، فقال أبو بكر للمغيرة: أقسمت عليك بالله لا تسبقني إلى رسول الله صلى الله عليه وسلم، حتى أكون أنا أحدثه، ففعل المغيرة. فدخل أبو بكر على رسول الله صلى الله عليه وسلم.
فأخبره بقدومهم عليه، ثم خرج المغيرة إلى أصحابه، فروح الظهر معهم، وعلمهم كيف يحيون رسول الله صلى الله عليه وسلم، فلم يفعلوا إلا بتحية الجاهلية، ولما قدموا على رسول الله صلى الله عليه وسلم ضرب عليهم قبة في ناحية مسجده، كما يزعمون، فكان خالد بن سعيد بن العاص، هو الذي يمشي بينهم وبين رسول الله صلى الله عليه وسلم، حتى اكتتبوا كتابهم، وكان خالد هو الذي كتب كتابهم بيده، وكانوا لا يطعمون طعاما يأتيهم من عند رسول الله صلى الله عليه وسلم حتى يأكل منه خالد، حتى أسلموا وفرغوا من كتابهم، وقد كان فيما سألوا رسول الله صلى الله عليه وسلم أن يدع لهم الطاغية، وهي اللات، لا يهدمها ثلاث سنين، فأبى رسول الله صلى الله عليه وسلم ذلك عليهم فما برحوا يسألونه سنة سنة، ويأبى عليهم، حتى سألوا شهرا واحدا بعد مقدمهم، فأبى عليهم أن يدعها شيئا مسمى، وإنما يريدون بذلك فيما يظهرون أن يتسلموا بتركها من سفهائهم ونسائهم وذراريهم ويكرهون أن يروعوا قومهم بهدمها حتى يدخلهم الإسلام، فأبى رسول الله صلى الله عليه وسلم إلا أن يبعث أبا سفيان بن حرب والمغيرة بن شعبة فيهدماها، وقد كانوا سألوه مع ترك الطاغية أن يعفيهم من الصلاة، وأن لا يكسروا أوثانهم بأيديهم، فقال رسول الله صلى الله عليه وسلم: أما كسر أوثانكم بأيديكم فسنعفيكم منه، وأما الصلاة، فإنه لا خير في دين لا صلاة فيه: فقالوا: يا محمد، فسنؤتيكها، وإن كانت دناءة.