إذا كان سؤال الإمارة هو: من يحكم وكيف يحكم، وكان سؤال الفقه هو كيف ينبغي أداء العبادات والقيام بالمعاملات، فإن سؤال التصوف، هو كيف يمكن إحسان العبادة بتحقيق الانسجام بين الظاهر والباطن. ولطالما استشهد الصوفية بالحديث الذي رواه عمر رضي الله عنه، والذي شرح فيه جبريل معنى الإسلام والإيمان، وأن الإحسان يطابق حالة من الحضور مع الله، بأن تعبده كأنك تراه. وقد خرج التصوف أول ما خرج من طائفة أوائل الزهاد، والمحقق أن ذلك وقع قبل التقاء الفكر الإسلامي بفلسفة اليونان وروحانية الهنود، كانت حياة هؤلاء الزهاد وأحوالهم تقابل، وكأنها تحتج عليها، أحوالا حياتية أخرى تميزت بالتنافس في طلب الجاه، والتقاتل في طلب السلطان، وبالتهافت على كسب الثروة، وبالرياء في العلم والرضا منه بالقشور.فتاريخ الإسلام الديني إنما يزداد وضوحا في ضوء تاريخه الاجتماعي.
في سياق هذا التمهيد الزهدي ظهر المؤسسون، ومنهم أبو القاسم الجنيد الذي يستند المغاربة إلى مشربه في التصوف، منشؤه بالعراق. مات وهو يصلي عام 298 هـ على الأرجح. وهو بتعبير السبكي: سيد الطائفة، اجتمع له العلم والحال، وكل أقواله تأكيد على أن لا حقيقة بدون شريعة، وأن لا باطن بلا ظاهر، وأهم أركان التصوف عنده ثلاثة:
- ذكر مع اجتماع 2. ووجد مع سماع 3. وعمل مع اتباع.
وهو القائل: "الطريق مسدود على خلق الله عز وجل إلا على المقتفين أثر رسول الله والتابعين لسنته".