Secara genealogi, Habib Kazim merupakan keturunan ke-39 dari silsilah suci Rasulullah Shollallahu 'Alaihi Wasallam, dan keturunan ke-14 dari Imam Ahmad bin Muhammad Al-Kaff, orang yang pertama kali bergelar Al-Kaff, dan Imam Ahmad ini merupakan cicit dari Imam Abu Bakar bin Muhammad Al-Jufri, yakni orang yang pertama kali bergelar Al-Jufri. Jadi bisa dikatakan bahwa marga Al-Kaff merupakan cabang dari marga Al-Jufri.
Adapun dari Imam Alwi bin Muhammad Gahtmir, Habib Kazim berada dalam silsilah ke-8. Gathmir adalah salah satu cabang dari marga Al-Kaff, selain Al-Yusrain. Jadi marga lengkap Habib Kazim adalah Al-Kaff Gathmir, selanjutnya Al-Alawi Al-Husaini. Berikut susur galur lengkapnya :
1. Rasulullah Shollallahu ‘Alahi Wasallam
2. Fatimah Az-Zahra
3. Husein Asy-Syahid
4. Ali Zainal Abidin As-Sajjad
5. Muhammad Al-Bagir
6. Ja’far Ash-Shoddiq
7. Ali Al-Uraidhi
8. Muhammad An-Nagib
9. Isa Ar-Rumi
10. Ahmad Al-Muhajir
11. Ubaidillah
12. Alwi
13. Muhammad
14. Alwi
15. Ali Khali Qasam
16. Muhammad Shohib Marbath
17. Ali
18. Muhammad Al-Faqih Muqaddam
19. Ahmad
20. Muhammad
21. Ali
22. Muhammad
23. Abu Bakar Al-Jufri
24. Ahmad
25. Muhammad
26. Ahmad Al-Kaff
27. Muhammad
28. Ahmad
29. Muhammad
30. Ahmad
31. Muhammad
32. Alwi Gathmir
33. Abu Bakar
34. Ahmad
35. Ali
36. Ahmad
37. Abu Bakar
38. Abdullah
39. Luqman
40. Ahmad Kazim
Habib Kazim memiliki satu kakak dan tiga adik. Kakak sekaligus guru Futhuh (pembuka) beliau bernama Habib Muhammad Rafiq. Sedangkan adiknya secara berurutan bernama Habib Abdullah Fikri, Syarifah Khadijah dan Habib Ali Ridho.
