Evler genellikle iki katlı olarak tasarlanmıştır. Alt kat günümüzde pek kullanılmamakla beraber; ahır, at barınağı, kiler vb. amaçlarla kullanılmıştır. Giriş kapısından alt katın avlusuna girilir. Alt kattan üst kata kesme taştan yapılan bir merdiven ile çıkılır. Eski Mardin evleri harem ve selamlık denilen iki bölümden oluşur. Erkeğin konuklarını ağırladığı ana oda vardır. Taş işçiliği açısından bu oda genelde evin özen gösterilmiş odasıdır. Bu bölümde birde kahve ocağı vardırAyrıca ev sakinlerinin ikamet ettikleri yer vardır.

Büyük evler genelde U şeklinde olup Ltipi olanlarda vardır. Harem bölümünün odalarında işlevsel bir ayrım gözetilmemiştir. Tüm odalarda yemek yenilip, yatılıp ve oturulabilir durumdadır. Günümüzde odalardan biri konuk odası olarak düzenlenmiştir. Odalar avluya bakan revak eyvanın yanlarında sıralanmıştır. Yazları kesme taş döşeli eyvanda oturulur, geceleri yatılır. İklime bağlı olarak kapı ve pencereler küçük tutulmuştur. Mardin evlerinde mimariye uygun olarak trabzanlar kalker taşından yapılmaktadır.

Mardin evlerinde kullanılan malzeme taştır. Ancak kullanılan bu taş normal taştan farklıdır. Kalker taşı olarak adlandırılan açık renkli sarımsı yapıdadır. Bu taşların en büyük özelliği çok kolay kesilebilmesinden dolayı rahat bir şekilde işlenebilir özellikte olması zengin süslemelerin elde edilmesini sağlamıştır. Kolay işlenen ve ocaktan çıkartılan bir süre sonra sertleşen (iklim şartlarına dayanıklık kazanan) bu kireçli oluşum Mardin yapılarının her devrinde aynı rahatlıkla kullanılmış ve halen kullanılmaktadır. Bu evlerde herhangi bir sıva malzemesi kullanılmaz. Belirli   zaman dilimlerinde taşların temizlenmesi amacıyla, taş kırıntıları kum haline getirilerek ve bu kum ile duvarlar ovularak temizlenir. Duvarların örülme işleminde ise kireç ile karıştırılan bu kumdan harç elde edilir. Elde edilen bu harç ile duvar örülür.

Mardin’de ahşap malzemenin kullanılmamış olması ağacın yokluğundan değil, Mardinlilerin taşçı geleneğine sıkı sıkıya bağlı olmasından kaynaklanmaktadır. Bu gelenek o kadar yerleşmiştir ki bugün bile beton yapılar yadırganmaktadır. Mardin’i ve çevresini incelerken insanı en çok; mekân, mekânın varedilmesi, şehirde kullanılan malzemenin insana, doğaya ve iklime uygunluğu çeker. Kent tam bir taş yapı simgesidir. Yapılarda kullanılan kireçtaşı bölgedeki madenlerden çıkıyor. Bu taşa Midyat, Ömerli, Viranşehir ve hatta Antakya’ya kadar rastlamak mümkündür. Ocaktan çıktığında ahşap testeresiyle kesilecek kadar yumuşak olan taş, süryani taş ustalarının ellerinde şekillenir ve hava aldıkça sertleşir.

Mimari dehanın doruk noktasına ulaşan, bir oya gibi geometrik şekiller ve bitki desenleri ile işlenmiş ve bu şekilde adeta taşın dili meydana getirilmiştir. Bu durum ön yüzlerine oymalı taş sütunlar kemerli revaklarla devinimli bir görünüm kazandırılmıştır. Sanatkarca işlenmiş taş süslemelerin başlıca motifleri, burma, lale, üzüm salkımları ve karanfildir. Mardin evlerinin dış cephesini, sütunlar, kapı ve pencereler ve bunların üzerinde bulunan başlıca süslemeler oluşturur.

Sütunlar iki şekilde yapılmaktadır. Birincisinde sütun ayvanda bir taşıyıcı olarak ve üzerinde  çeşitli süslemeler yapılır. Bağımsız olarak yükselen sütunlar 50-60 cm yüksekliğe kadar kare prizmalar şeklinde yükselir. Sütunun kemer ile birleşen yerlerindeki kısım değişik çiçek ve bitki figürleri ile süslenmiştir. Diğer bir sütun şeklinde duvar ile birleşik olarak ayvanlarda yapılan sütunlar ile aynı figürleri taşımaktadırlar. Bu sütunlar genelde evlerin köşelerinde ve odaların ayrılan kısımlarında bulunur. Ayvanlarda yapılan sütunlara nazaran daha sadedir. Kat tavanının meydana getirilişinde çapraz tonozlar kullanılır. Tavanlar iki veya dört tonozlu tekilde olur.