این قبیله پس از پیروزی و تسلط قبیله عربستانی «بنی خزاعه»، مجبور به ترک مکه شدند و این قبیله بت‌پرست که متعلق به جنوب عربستان بودند، کعبه را به محلی برای نگهداری بت‌هایشان تبدیل کردند، در این زمان آنها خود کلیددار کعبه بودند.
بعدها در اواسط قرن پنجم پنجم میلادی، خاندان قریش (خاندان پیامبر اعظم) بر مکه تسلط یافتند، «قصی بن کلاب» رئیس قبیله قریش مسئولیت نگهداری از مکه و کلیدهای این مکان مقدس را به عهده گرفتند.
«قصی‌‌بن کلاب» پیش از مرگ، وظایفش را به دو پسرش «عبد الدار» و «عبد مناف» سپرد. در این میان وظیفه نگهداری و مراقبت کعبه به «عبد الدار» رسید.
پس از پیروزی مسلمانان بر مکه به رهبری حضرت محمد (ص)، ایشان شخصاً این خدمات را به عهده گرفتند.