Sağlık Hizmetlerinde Toplam Kalite Yönetimi |
Osman HAYRAN, Hulki UZ |
Toplam Kalite Yönetimi ve Kalite Kavramları
Toplam Kalite Yönetimi (TKY) kavramı 1990’lı yıllarla birlikte yaygınlaşan ve ilgi gören bir kavramdır. Yeni bir yönetim anlayışı olan bu kavram önce sanayide, üretim sektöründe ortaya çıkmış, üretilen malın kalitesinde artış sağlamanın yanısıra, kayıpları ve maliyetleri en aza indirmesi özelliği nedeniyle hızla diğer sektörlere yayılmıştır. Her yönetim biçiminde olduğu gibi TKY’nde de bir felsefe, farklı bir yönetim anlayışı ile yönetim için geliştirilmiş bir dizi teknik söz konusudur.
Diğer yönetim anlayışlarından farklı olarak TKY, mekanik bir yaklaşım olmayıp, çalışanların tümünün beyin gücü, yaratıcılık ve deneyimlerinden yararlanma şeklinde bir iş ahlakı anlayışına dayanmaktadır. Bu nedenle hemen her örgüt ve kültürde uygulanabilir bir yönetim biçimidir. Tam anlamıyla uygulanmasına her ne kadar Japonya’da rastlanmakta ise de bu anlayışın fikir babalarının Amerikalılar olduğu ve günümüzde Japonya’nın yanısıra Kuzey Amerika ve Avrupa’da yaygın olarak kullanıldığı dikkati çekmektedir.
TKY için tam bir tanım bulunmamakla birlikte mevcut yayınların incelenmesinden şu saptamaların geçerli olduğu görülmektedir:
.
Mal ya da hizmet üretiminde kalitenin dikkate alınması aslında yeni bir konu değildir. Geleneksel yönetim anlayışlarında, kalite konusu üst düzey yöneticilerinin sorumluluğunda olup, mal üretildikten sonra “kalite kontrolü” yapan görevliler bulunmaktadır. TKY’nde ise, üretimin başından itibaren her aşamada kalite standartlarının gerçekleşmesine özen gösterilir ve tüm çalışanların bu süreçte rolü ve sorumluluğu söz konusudur. Kaliteye ulaşmada rol ve sorumluluğu olanlar, kaliteyi kişisel olarak algılama ya da beğeni anlamında değerlendirme yerine, bilimsel verilere dayanarak değerlendirmek zorundadır. Bu konuda veri toplanması ve analizi eskiden olduğu gibi beyaz yakalı işçilerin tekelinde değil, üretim sürecinin her aşamasında yer alan tüm çalışanların sormluluğundadır.
Avrupa Kalite Kontrol Örgütü (EOQC) ile Amerikan Kalite Kontrol Derneğince benimsenen kalite tanımı şu şekildedir:
“Kalite, bir ürün ya da hizmetin, belirlenmiş bazı ihtiyaçları karşılamadaki yeterliliğine ilişkin özelliklerinin tümüdür.”
Kalite ile ilgili bazı hatalı görüş veya önyargılar ve neden yanlış olduğu aşağıda açıklanmıştır :
Kalite, lüks, gösteriş ve ağırlık anlamındadır.
ANCAK, bu görüş “tasarım kalitesi” ile ilgilidir. Ürün veya hizmet kendi özelliklerine uygunsa kalitelidir.
Kalite, “elle tutulmaz” ve bu nedenle de ölçülemez.
ANCAK, hizmet standartlarının her birine ait sayısal bilgiler veren kriterler sayesinde çok kolay ölçülebilir.
Kalitesizliğe sadece işçiler neden olur.
ANCAK, üretimin, tasarım, planlama, satın alma, üretim, denetim, yönetim vb. basamaklarının herbirinde çalışanların son ürünün kalitesi üzerinde ayrı ayrı ve birlikte sorumlulukları vardır.
Kalite, kalite kontrol bölümünün sorumluluğundadır.
ANCAK, kalite kontrol bölümü kendisine ulaşmadan önce ürün üzerinde çalışanların sorumluluklarından sorumlu tutulamaz.
Kalite, maliyet artırıcıdır ve bu nedenle de verimliliği düşürür.
ANCAK, benzeri bir ilişkinin yanlış olduğu bu gün herkes tarafından kabul edilen bir görüştür. Nitekim Şekil 8-1 ve Şekil 8-2, kalitesizlik ve verimsizlik arasındaki ilişkiyi yansıtmaktadır.
Kalite kavramını tanımlama konusunda güçlükler olmakla birlikte bu kavramın “üretim” ve “hizmetler” açısından ne ifade ettiği üzerinde durmak bir miktar netlik kazandırabilecektir.
Üretim Açısından Kalite
Üretim açısından kalite kavramı şu şekillerde ele alınabilmektedir:
Ürünün neleri, ne kadar içerdiği ile ilgilidir.
Üretilen ürün için belirlenmiş standartların ne ölçüde gerçekleştiği ile ilgilidir. Bu görüşü benimseyenlere göre “kalite, ihtiyaçlara uygunluktur.”
Kullanıcı ya da müşteri açısından ürünün “amaca uygunluğu”dur.
Üretime ve müşteriye dayanan tanımlamanın karışımıdır. Müşterinin, arzu ettiği standartlara sahip olan bir ürüne, kabul edilebilir bir fiyat ve maliyet ile sahip olabilmesi mantığına dayanır.
Üretim ve hizmet sektöründe, kalite kavramını farklı biçimlerde ele almak gerekmektedir. Çünkü, üretim sektöründe önce ürünler, mallar yapılmakta, müşteri son aşamada önem kazanmaktadır.
Oysa, hizmet sektöründe önce müşteri ile anlaşma yapılmakta, yani hizmet satılmakta, daha sonra ise üretim ve tüketim birlikte ve hemen hemen aynı anda gerçekleşmektedir.
Üretim sektöründe, ürünün belirlenen standartlara uyması önem kazanırken, hizmet sektöründe müşteri ya da kullanıcının beklentilerine yanıt vermesi önem taşımaktadır.
Hizmetler Açısından Kalite
Sağlık hizmetlerinde kalite ve kalite yönetimi kavramlarının açıklık kazanması için önce hizmet sektöründe kalite kavramına açıklık getirmek gerekir. Parasuraman ve Haywood-Farmer ve daha başka yazarlara göre, hizmetlerin başlıca üç özelliği bulunmaktadır,:
-Soyutluk
-Heterojenlik
-Bütünlük
1- Soyutluk:
Hizmetler soyuttur, çünkü, ölçülemez, sayılamaz ve test edilemezler. Herhangi bir hizmeti depolamak söz konusu olmadığından, üretim sektöründe yapıldığı gibi son aşamada kalite kontrolü yapmak ta mümkün değildir.
2- Heterojenlik:
Hizmetler, birbirinden çok farklı ihtiyaçları olan müşteriler içindir. Aynı hastalığa sahip farklı kişilerin, hastane ortamı, tedavi ve bakım konularında farklı beklentilere sahip olacağı ortadadır.
3- Bütünlük:
Üretim sektöründe olduğu gibi, ürüne fabrikada iken birtakım yöntemlerle kalite kazandırmak ve daha sonra müşteriye sunmak söz konusu değildir. Tersine, hizmet verilirken o anda kalite gerçekleşir ya da gerçekleşmez.
Şekil : Hizmet Kalitesinde Denge Üçgeni
İnsan |
|
Işlemler, süreçler |
Teknoloji ve profesyonel ve çevre özellikler |
Hizmetlerdeki kalite için “Hizmet Kalitesinde Denge Üçgeni”nin gözönünde tutulması gerekir .
Bu üçgen eşkenar bir üçgen olup kenarlar üç bileşeni ifade etmektedir:
-İnsan,
-İşlemler, çevre ve süreç,
-Teknoloji ve profesyonel özellikler,
Bunların herhangi birine ağırlık veya öncelik vermek kaliteyi etkileyecektir.
Örneğin, işlem ya da süreçlere ağırlık vermek, müşteriye şu mesajı verecektir: “Sen bizim için bir sayısın ve biz burada senin gibiler için uğraşıyoruz.”
Insan bileşenine ağırlık vermenin anlamı ise: “Biz seni seviyoruz ve senin için çalışıyoruz. Ancak, ne yaptığımızı tam olarak bilemiyoruz.” olabilecektir.
Teknik ve profesyonel konulara ağırlık vermenin vereceği mesaj da: “Biz ne yaptığımızı ve nasıl yapacağımızı çok iyi biliyoruz. Ancak, senin bir birey olarak bizim açımızdan fazlaca önemin yok.” şeklinde olacaktır.
Bu denge üçgeninin sağlık hizmetleri için de yaygın olarak kullanıldığı görülmektedir. Sağlıkta kalite konusunda uzman olan ABD’li Donabedian’a göre “sağlık hizmetlerinde kalite, teknik, kişiler ve çevresel etkenlerin bir ürünüdür.” Bu yaklaşım İngiltere’deki Ulusal Sağlık Hizmetleri sisteminin düzeltilmesi için de resmen kabul gören bir yaklaşımdır.
Kalite Güvencesi
Bir hizmetin sunumunda mevcut performansın ölçülmesi ve bunun beklenen performans ile karşılaştırılmasıdır. Temel olarak mevcut olan veya sahada çalışan ve bir hizmetin personelinin kalifikasyonu, binaların yeri ve büyüklüğü gibi komponentleri ile takip edilecek süreçleri (kurulacak komiteler, toplanacak veriler ve bunların analizi gibi) tanımlayan uzmanların üzerinde mutabık kaldığı standartlar üzerine kurulur. Standartların takip edilip edilmediği dışardan yapılan denetimlerle izlenir.
Kalite güvencesinin (KG) temel varsayımı şudur :
Önceden fikir birliğiyle doğru olarak saptanan standartlar ve süreçler takip edilirse bu sürecin çıktısı olarak üretilen hizmetin veya malın kalitesi de yüksek olacaktır .
Ancak KG, her zaman kalitenin iyileşmesi ile sonuçlanmayabilir, hatta karar verici ve uygulayıcıların kendi kendine tatmin olmalarını sağlayarak daha iyi kalitenin gelişimini de baskılayabilir.
Bu nedenle KG’nin ve saptanan standartların etkili olarak çalışması için şunların gerçekleştirilmesi gerekir 11 :
Özetle, KALİTE GÜVENCESİ, mevcut performansın ölçülmesi ve bu düzeyin istenilen veya normatif performansla karşılaştırılarak aradaki farklılığı yaratan nedenlerin ortadan kaldırılmasıyla, tekrar uygulamaya geçilmesidir.
Kalite Kontrolu
Muayeneye dayanan bir yöntem olup önceden saptanmış standartlara ulaşmayı hedefler.
Kalitenin Sürekli İyileştirilmesi
ve
Toplam Kalite Yönetimi
Japon mucizesinin temelinde yatan etkenlerin belki de en önemlilerinden biridir. Kalitenin Sürekli iyileştirilmesi (KSİ)’nde, KG’nde kullanılan yöntemlere başvurarak hizmet kalitesinin sürekli olarak iyileştirilmesi, geliştirilmesi amaçlanmaktadır.
Tanımdaki “sürekli” kavramının altını çizmek gerekir, çünkü üretimde görev alan sağlık personelin ve diğer ilgililerin sürekli olarak güncelleştirilen amaçlara ulaşmak için sürekli ve sistematik olarak bir süreci takip etmeleri şarttır10. Bu nedenle KSİ sağlık hizmetlerinin kalite düzeyinin yükseltilmesinde değerli bir araçtır.
1980’lerin başında sağlık hizmetlerinde kalite güvencesine bir alternatif olarak Toplam Kalite Yönetimi (TKY) modeli benimsenmeye başlanmıştır.
Bu, bir organizasyondaki her birimin ve çalışanın tam katılımı ve kendi çalışmalarını sürekli geliştirmek amacı ile düzenli ve sistemli olarak kalite güvencesi araçlarını ve metodlarını kullanmasını ifade eden ve hedefi gerek iç, gerekse dış müşteri memnuniyeti olan çağdaş bir yönetim anlayışıdır.
TKY, diğer yaklaşımlarla karşılaştırıldığında müşteri istek ve beklentilerini her zaman herşeyin üzerinde tutar. Ancak bu yaklaşımın tüm öğelerinin kabul edilmesi ve bunların bir bütün olarak uygulanması durumunda TKY'nin başarılı olacağı ve kendisinden beklenen sonuçları vereceği unutulmamalıdır.
Yani kalite güvencesi bir organizasyonda sadece seçilmiş bir grubu veya bölümü (örneğin, sadece sağlık ocaklarını veya AÇSAP merkezlerinin aile planlaması hizmetlerini veya sadece hastanenin polikliniklerini veya bu polikliniklerdeki şeker hastalıklarıyla ilgili teşhis ve tedavi hizmetlerini) kapsarken toplam kalite yönetimi bütün bir organizasyonu (örneğin, tüm temel sağlık hizmetleri sunum sistemini, hastanedeki otelcilik hizmetleri veya tüm sağlık hizmeti sunum sistemini) kapsamaktadır.
İşlevleri gözönünde tutulduğunda, eğer her üç kavram içiçe geçmiş halkalar olarak kabul edilirse, Kalitenin Sürekli İyileştirilmesi (KSİ), Kalite Güvencesinden (KG)daha geniş, fakat Toplam Kalite Yönetiminden (TKY) daha dar bir anlama ve uygulamaya sahip olduğu görülebilir (Şekil 8-4).
TKY, katılımcı ve paylaşımcı yönetici-liderler gerektiren bir uygulama, bir yönetim şekli daha da ötesi bir yaşam biçimidir .
Yukarıda belirtildiği gibi sürekli gelişimin olması temel şartlardandır. Bunun tıpkı Japonlarda olduğu gibi bir yaşam biçimi ve bir kültür olarak algılanması gerekir. Dolayısıyla Ankara’daki Sağlık Bakanı’ndan Ankara’ya en uzak yerdeki bir köy sağlık ocağının ambulansını kullanan şoföre kadar tam bir inancı ve katılımı gerektirir.
KSİ ve TKY yaklaşımlarını geliştirmek için iki temel güç olduğu kabul edilmektedir. Bunlar: “Çekme” ve “İtme” güçleridir.
“Çekme”,
“Müşteri vazgeçilmez bir hedeftir, kraldır” doğrusundan hareketle sadece iyi mal veya hizmet karşılığında satıcıya bağlılığını devam ettireceği anlamına gelir. Bu nedenle müşterinin (iç müşteri de dahil) beklentilerine ve ihtiyaçlarına cevap verecek hizmeti belirlemek ve bunların karşılanmasını sağlamak amaçlanır. Benzer şekilde müşterinin şikayetlerine savunma getirilmemeli, bunlar performansın yükseltilmesi için birer fırsat olarak değerlendirilmelidir 11.
“İtme”,
Kalite kontrolunu, hatalı ürünlerin azaltılmasını, atıkların ve gereksiz süreçlerin en aza indirilmesini ifade eder. Bunun için çeşitli istatistiksel kontrol yöntemleri, yöneylem araştırmaları ve veri/bilgi analizi gerektiğinden çalışanların yolunda gitmeyen durumlar, çıktı düzeyleri vb. konularda temel kayıtları tutması teşvik edilir. Ancak ideal olanı, çalışanları sadece kayıtları tutmaya değil, ama aynı zamanda uygulamaların ve ürünlerin geliştirilmesine katkıda bulunmaya yönlendirmek, teşvik etmektir.
Problem çözme stratejilerini geliştirmek amacıyla basit histogramlar ve grafikler kullanılır. Deming döngüsü (Planla - Uygula - Kontrol et - Harekete geç / Plan-Do-Check-Act), sıfır hata ve zamanında yönetim gibi kavram ve yaklaşımlar da kalitenin iyileştirilmesi çalışmalarında kullanılmaktadır 11.
Özetle, KALİTENİN SÜREKLİ İYİLEŞTİRİLMESİ, kalite güvencesinde kullanılan yöntemlerle hizmet kalitesinin sürekli olarak iyileştirilmesi, yükseltilmesi anlamına gelirken Toplam Kalİte Yönetİmİ organizasyonda her birimin/ çalışanın kendi çalışmalarını sürekli geliştirmek için düzenli ve sistemli olarak kalite güvencesi araçlarını ve yöntemlerini kullanmasıdır.
Daha önce uygulanan ve gelenekselleşmiş yöntemlerin kullanıldığı kalite anlayışı hızla değişmektedir. Geleneksel ile KSİ/TKY yaklaşımları arasındaki farklar Tablo da özetlenmiştir
Tablo : Geleneksel ile KSİ/TKY Yaklaşımları Arasındaki Farklar
GELENEKSEL YAKLAŞIM |
ksi/tky yAKLAŞIMI |
Kalite ve verimlilik birbirleriyle çelişir. |
Verimlilikte artış kalitenin geliştirilmesiyle sağlanır. |
| Kalite, standartlara / spesifikasyonlara uygunluktur. | Kalite, doğru tanımlanmış müşteri isteklerini tatmin eden şartlara uygunluktur. |
Kalite uygun olmama derecesi ile ölçülür. |
Kalite, kullanıcı tatmini ve devamlı süreç/ürün geliştirme çalışmaları ile ölçülür. |
Kalite yoğun denetim ile sağlanır. |
Kalite, ürün/hizmet tasarımı ile belirlenir ve etkili bir süreç kontrolu ile sağlanır. |
Ürün/hizmet minimum kalite standartlarını sağlıyorsa bazı hatalar kabul edilebilir. |
Hatalar süreç aşamasında önlenir. |
Kalite ayrı bir fonksiyondur ve üretimin değerlendirilmesiyle ilgilidir. |
Kalite ürünün/hizmetin tasarımından kullanıcı tarafından kullanılması hatta kullanımından çıkarılmasına kadar geçen süredeki tüm fonksiyonların ayrılmaz bir parçasıdır. |
Düşük kaliteden işi yapanlar sorumludur. |
Kaliteden yönetim sorumludur. |
Kamu Sektöründe Toplam Kalite Yönetimi
Sağlık hizmetleri genellikle kamuya ait bir hizmet türü olarak algılandığından toplam kalite yönetiminin kamu sektöründe de uygulanabilmesi gerekir. Bu konuda, kamu sektörünün yapısından kaynaklanan bir dizi uygulama güçlüğü söz konusudur.
Bu güçlükler şu başlıklar altında toplanabilir1:
-Toplam Kalite Yönetimi anlayışı, doğası gereği kamu sektörüne uygun değildir:
TKY esas olarak sanayi ve üretim sektöründe ortaya çıkmıştır. Pazar için üretilen fiziksel ürünlerin nitelikli olması temeline dayanmaktadır. Oysa, kamu sektörü fiziksel ürün üretmek yerine ağırlıklı olarak hizmet sunmaktadır ve pazar kavramı bu sektör için oldukça yenidir. Pazara mal olarak verilecek olan bir ürün sanayide üretilir iken saptanmış bazı standartlara uygun olması sağlanabilir. Oysa, kamunun sunduğu hizmetler, hizmeti alan müşterilerin beklentilerine göre farklılık gösterebilmektedir.
-Kamu sektörü, doğası gereği TKY uygulamalarına uygun değildir:
Bu görüşü savunanlara göre, kamu sektörü, değişime dirençli olması, sabit bütçesi nedeniyle performansa değer vermemesi, kamu yöneticilerinin performans nedeniyle ödüllendirilmemesi ve yöneticilerin yönetsel kararlarda özel sektör kadar özgür olmaması gibi yapısal özellikleri nedeniyle TKY uygulamalarına elverişli değildir.
-Kamu sektöründeki meslek gruplarının iş kültürü TKY’ne aykırıdır:
Kamu sektöründe iş tanımları yapılmış, yetki ve sorumlulukları düzenlenmiş çok sayıda meslek mensubu yer almakta ve her meslek kendi yetki alanını koruma konusunda tutucu davranmaktadır. Öte yandan, sağlık, eğitim gibi bazı kamu hizmetlerinin sunumu birebir ilişki gerektirdiğinden bireycilik ön plana çıkmakta ve TKY için gereken kollektivizmi gerçekleştirmek güçleşmektedir. Ayrıca, geleneksel hiyerarşik yapılanmaya bağlı olarak statü olarak daha yukarda ya da daha kıdemli olanların daha yetkili ve baskın olmaları, statüyü korumak için TKY’nin gerektirdiği değişimlere kapalı olmaları söz konusudur.
-Kamu sektörünün müşterisi daha sorunludur:
Kamunun sunduğu hizmetlerden yararlanan müşteri yelpazesi çok geniş olup birbirinden farklı, hatta birbirine ters düşebilen beklentilere sahiptir. Bu tür bir müşteri grubunun tatmini konusunda güçlüklerin olması kaçınılmazdır.
-Kamu sektörü yapı olarak daha karmaşıktır:
Kamu sektörünce sunulan hizmetlerde maliyeti arttırmadan kaliteyi iyileştirmenin mümkün olmadığı ileri sürülmektedir. Bu görüşü savunanlara göre, politik etkilerle atanan kamu yöneticilerinin rekabetten ve ödüllendirmeden yoksun olarak, çoğu zaman kendi görüşleri dışında belirlenmiş bir bütçe ile, beklentileri birbirinden oldukça farklı olan insan gruplarına kaliteli hizmet sunması oldukça güçtür.
Kamu sektöründe TKY uygulamalarının önünde engel olarak duran bu güçlüklere rağmen maliyetleri düşürmek, verimi ve kaliteyi arttırmak, müşteri memnuniyetini en üst düzeye çıkarmak gerekmekte ve tecrübeler bunun mümkün olduğunu göstermektedir.
Tarihsel süreç içerisinde önceleri sanayide ve özel sektörde ortaya çıkmış olan Toplam Kalite Yönetiminin, tüm güçlüklere rağmen kamu sektöründe de uygulanabilmesi için gözönünde bulundurulması gereken başlıca önemli noktalar şu şekilde sıralanmaktadır1:
TKY konusundaki bu 10 önemli noktanın kamu sektörü tarafından gözönünde tutulması halinde “devlet”in yeniden keşfedileceği söylenebilir1.
Toplam Kalite Yönetimi Anlayışının Gelişimi
Toplam Kalite Yönetimi anlayışı II. Dünya Savaşından sonra ortaya çıkan Japon mucizesi ile birlikte anılır olmuşsa da bunun temellerinin Amerikalılar tarafından atıldığı bilinmektedir.
II.Dünya savaşından bu yana geçen süre içerisinde Toplam Kalite Yönetimi kavramının gelişimine katkıda bulunanları üç grupta toplamak mümkündür :
Son 40 yılın en önemli yönetim anlayışı, onun da ötesinde bir felsefe olan Toplam Kalite Yönetimi konusunda çok sayıda düşünür, “guru” ortaya çıkmıştır.
Bu konuda görüş üretenler arasında en tanınmış guruların görüşlerini şu şekilde özetlemek mümkündür:
Deming’in 14 Maddesi:
Juran’ın “Kalite Planlama Haritası”:
Fiegenbaum’un toplam kalite başarısı için 10 kıyaslaması
Crosby’nin kaliteyi geliştirmek için 14 adımı:
Peters’in kalite devrimine ilişkin 12 saptaması:
Roemer ve Montoya-Aguilar sağlık hizmetlerinde kaliteyi “kullanılan kaynakların ve yapılan faaliyetlerin spesifik bir göstergesi” olarak tanımlamaktadır.
Uz’ a göre ise, kaliteli bir sağlık hizmetinden sözedebilmek için gereken kaynakların verimli bir şekilde dağıtılması ve kullanılması, hizmetin etkili biçimde verilmesi, gerek kaynak dağıtımında gerekse hedef kitlenin hizmetlere ulaşımında hakkaniyete özen gösterilmesi ve hizmet sunumu sırasında ve sonrasında hizmeti kullananların memnuniyetinin sağlanması gerekmektedir .
Kaliteli Bir Sağlık Hizmeti İçin Önkoşullar
Sunulan bir sağlık hizmetini pek çok etken etkilemektedir. Bu etkenlerden bazıları şunlardır :
Kaynak kullanım ve dağılımı politikaları
Hastane/toplum sağlık ve bireysel bakım hizmetlerinin nitelik ve niceliği
Genel sağlık politikaları
Halka karşı duyulan sorumluluklar
Halkın sağlık konusundaki bilgi, tutum ve uygulamaları
Sağlık sektörü dışındaki sektörlerin sağlığa yaklaşımları
Ulusal ve uluslararası etkiler
Basın/medya
Bunların yanısıra, başarılı bir kalite programının oluşturulması için gereken pek çok farklı koşulların bulunduğu akılda tutulmalıdır.
Bu koşulların bazıları şunlardır 22:
Mevcut Kalite Düzeyinin Ölçülmesi
Bir sağlık hizmetinin kalite düzeyinin belirlenebilmesi için çeşitli yöntemlere başvurulabilir. Mevcut kayıt ve raporların incelenmesi, özel değerlendirme çalışmalarının yapılması, kişiye ve topluma yönelik araştırmalar bunlardan bazılarıdır. Kalitesinin ölçülebilmesi için öncelikli olarak o hizmetin amacının, standartlarının ve bu standartları izlemek için kullanılacak kriterlerinin ortaya konması gerekir. Çünkü bunlara göre hizmetin mevcut kalite düzeyi tespit edilebilecektir ,.
Roemer ve Montoya-Aguilar’a göre kalite, sağlık hizmetlerinde kullanılan kaynakların ve yapılan faaliyetlerin spesifik bir göstergesidir21 ve klasik üretim şeması {Girdi--> Süreç--> Ara Çıktı--> Son Çıktı} gözönünde tutulduğunda iki şekilde ölçülebilir:
İlk yaklaşımda bir sağlık hizmetinin üretimi sırasında her bir basamakta kalite düzeyi ölçülmelidir. Örneğin, bir sağlık evindeki aşılama hizmetinin üretiminde gerekli olan kaynaklardan sağlık insangücünün kalitesinin iyileştirilebilmesi için ebe/hemşirenin eğitim, bilgi, beceri, tutum ve uygulamalarının tek tek kalitesinin ölçülüp geliştirilmesiyle ancak “Girdi”nin bir bölümünün kalitesi iyileştirilmiş olabilir. Benzer şekilde takibeden diğer üç basamakta da kalite düzeyi alt sistemlere inilerek ölçülmelidir.
İkinci yaklaşımda ise uygulanmasındaki güçlükler nedeniyle “Son Çıktı”, kalite düzeyinin bir komponenti yerine üretim sürecinin en son noktasındaki bir gösterge - “turnusol kağıdı” olarak ele alınmaktadır.
Kalite Düzeyinin Sürekli İyileştirilmesi
KSİ kavramının mantığı gereği mevcut kalite düzeyinin tespit edilmesinin ardından bu düzeyin korunması değil sürekli iyileştirilmesi, geliştirilmesi için problem belirleme (balık kılçığı gibi) ve çözme yöntemlerine ekip anlayışı içinde sıfır hata yaklaşımı ile başvurulmalıdır. Problemli alanlara yapılan müdahalelerin ve ortaya çıkan ya da çıkması beklenilen yeni kalite düzeyinin eski standart ve kriterlere göre tespitinin ardından mevcut standart ve kriterlerin gözden geçirilerek yeni kalite düzeyine göre daha da geliştirilerek yeniden belirlenmesi gerekmektedir. Böylece sürekli bir şekilde hizmetin kalitesi iyileştirilmiş olacaktır.
Bu aşamada “İyi Elmalar Teorisi - Theory of Good Apples” dan bahsetmekte fayda vardır . Teorinin amacı, bir uygulamanın ardından elde edilen kötü sonuçları saptayıp bunlara yol açan uygulamaları (kötü elmaları) bertaraf etmek yerine, en iyi sonuçların tanımlanması ve bunların bütün bir hizmet alanına uygulanması için kullanılmasını sağlamaktır.
Teorik olarak bir sepetteki elmaların % 5’inin çok iyi, % 90’ının iyi, geri kalan % 5’inin ise çok kötü olduğu varsayılmaktadır (Şekil 8-5). Buna göre bir sağlık hizmetinin alt uygulamalarından birisinde ortaya çıkan sonuçlardan en iyi % 5’e ulaştıran kaynaklar ve süreç belirlenmekte ve bu kaynakların ve sürecin hizmetin diğer alanlarına yaygınlaştırılması sağlanmaktadır.
Dinamik Bir Süreç
Seçilen bir sağlık hizmetinin, gerek kalite düzeyinin ölçülmesi, gerek bu düzeye göre müdahalelerin saptanıp uygulamaya konması, gerekse yeni kalite düzeyinin ve yeni hizmet hedeflerinin tespit edilmesi sürekli bir dinamizm gerektirmektedir. Bu devamlı süreç, planlamanın klasik spiralindeki uygulamalara da benzetilebilir.
Standart saptama
Kriter belirleme
Ölçme
Değerlendirme
Problem çözme (balık kılçığı vb)
Uygulama
Aynı işlevler (ölç, planla, uygula, değerlendir, yeniden planla) bir ahenk içinde biribiri ardına tekrarlanmakta, fakat ileriye doğru hareketliliği göstermek için kapalı bir halkanın etrafında aynı aktivitelerin tekrar edilmesi yerine bir spiralin her bir katı kullanılmaktadır (Şekil 8-6). Benzer bir döngüyü Deming de tanımlamıştır.
Aşağıdan Yukarıya Gelişen Faaliyetler ve Yukarıdan Aşağıya Tam Destek
KSİ yaklaşımının sahada çalışan kişi, kurum ve kuruluşların faaliyetlerinde başlatılması ve bunun durgun suya atılmış bir taşın oluşturduğu devamlı dalgalar (fakat ters yönde ilerleyen) gibi merkezdeki yönetime ulaşması çalışmanın başarısı için önemlidir. KSİ’de önemli olan sahadaki personelin yukarıdan güdümlü çeşitli kontrol ve mevzuat mekanizmaları tarafından değil bizzat kendileri tarafından değerlendirilmesi ve yönlendirilmesidir.
Ülkemizdeki yönetim anlayışı hala merkeziyetçi bir temele dayanmaktadır. Merkezin onayı ve tam desteği olmadan yapılacak bir KSİ çalışmasının olumsuz yönde etkilenmesi kaçınılmazdır. Her ne kadar KSİ uygulamalarının sahadan başlaması daha uygun olursa da öncelikle merkez yönetimin (bakanlık, sağlık müdürlükleri, hastane başhekimliği veya klinik şefliği) en üst kademesinden başlayarak ilgili tüm personelin konu hakkında bilgilendirilmesi, konunun gerekliliği açısından duyarlılaştırılması ve uygulamaları teşvik etmeleri sağlanmalıdır.
Bütün kalite programları hem yukarıdan aşağıya (top-down) (üst düzey çalışanların katılımı ve liderliğinde) hem de aşağıdan yukarıya (bottom-up) (daha fazla çalışanın katılması ve onların bireysel istekliliği ve uzmanlığında) doğru olmalıdır 5 .
Sorumluluk ve Aktivitelerin Paylaşımı
Sağlık hizmetlerinde bir kalite yaklaşımının benimsenmesi ve başarıyla uygulanabilmesi için, hizmetlerin sunumunda gerek karar verici, politika belirleyici ve program yapıcı konumdaki üst düzey yöneticilerin, gerekse hizmetlerin verilmesinde görevli personelin tüm sorumlulukları paylaşması ve kendilerinden beklenilen faaliyetleri önceden saptanmış standartlarda yapmaları şarttır.
Bunun için de çalışanların standart ve kriterlerin belirlenmesi sürecine katılımlarının sağlamanın yanısıra önerilen değişiklikleri ve bunların gerekçelerini de çok iyi anlamalıdır .
Bir kalite süreci üç aşamada başlatılabilir :
Bu şekilde geri bildirimlerle öğrenme süreci sayesinde sağlık çalışanları verdikleri hizmetin kalitesinden de sorumlu olabilirler. Sağlık çalışanlarının, verdikleri hizmetin kalitesini ve maliyetlerini sistematik olarak izleme, değerlendirme ve karşılaştırma yapmaları ve bunu rutin mesleki faaliyetlerinin bir parçası olarak algılamaları yapılan hataların kısa sürede saptanması ve düzeltilmesini sağlayacaktır.
İzleme ve değerlendirme yapabilmek için gerek kaynaklar gerekse süreçle ilgili çıktıların ölçülmesinde uygun veri tabanları ve istatistiksel analizlerin kullanılması gerekmektedir. Çalışanların kendiliklerinden motive olmaları ve kötü uygulamaların saptanmaya ve bunların cezalandırılmaya çalışılması yerine iyi uygulamaların teşvik edilmesi hizmetlerde kalitenin sürekli iyileşmesine yol açacaktır 1 .
Sağlık hizmetlerinin sunumunda başlatılan bir kalite çalışmasının başarısı ya da başarısızlığının sorumluluğunun yukarıdan aşağıya tüm personele ait olduğu akılda tutulmalıdır. Unutulmamalıdır ki, hiç bir mazeret başarısızlığın sebebi olamaz.
Hastanın, İç müşterinin ve Personelin Memnuniyeti
Kalite ile ilgili tüm yaklaşımların temel elementlerinden birisi de müşterinin tam memnuniyetidir. Sağlık hizmetlerin planlanmasında, uygulanmasında ve izlenmesinde hasta memnuniyeti mutlaka önemli bir adım olarak ölçülmeli ve sonuçları planlama, öncelik belirleme ve uygulamaların yeniden şekillendirilmesinde mutlaka dikkate alınmalıdır .
Ancak gerek sağlığın gerekse sağlık hizmetlerinin yapısından dolayı bazen memnuniyetsizlik yaratmak kaçınılmaz olmaktadır. Örneğin, kemoterapi alan bir hastanın veya aşı olan bir çocuğun müdahale süresince, bazen de sonrasında memnun kaldığı söylenemez. Benzer şekilde karantina altına alınan bir köy veya mahallede yaşayanların karantina süresince bu uygulamadan memnun olmaları mümkün değildir. Fakat hizmetin sunulmasından dolayı toplumun çoğunluğunun elde edeceği kazançlardan, özellikle pozitif dışsallıkları olan müdahalelerden (bağışıklama, bulaşıcı hastalıkların tedavisi gibi), dolayı bu tür memnuniyetsizliklerin ihmal edilerek diğer unsurların (verimlilik, etkililik ve benzeri) gerçekleştirilmesinin daha önemli olduğu açıktır. Bununla birlikte kabul edilmeyen bu durumlarda bile kişi/kişileri memnun etmeye çalışmak sağlık hizmeti sunanların en temel amaçlarından olmalıdır.
Ek olarak, hizmet sunan personelin de gerek yaptığı işten, gerek hastalarından gerekse diğer çalışma arkadaşlarıyla olan ilişkilerinden memnun olması şarttır.
Çalışma sırasında bir personel, diğerini, memnun edilmesi gereken bir hastası (iç müşteri) gibi görebilirse iş ortamında karşılıklı memnuniyet kendiliğinden doğabilecek bu da iş doyumunu artıracak, hizmetlerin daha verimli sunulmasını sağlayacaktır.
Toplumun Bilinçlenmesi
Sağlık hizmetlerinden faydalanacak kişilerin ve tüm toplumun hasta hakları, etik ve kalite yönünden sunulan hizmetlerin değerlendirilmesi ve gerektiğinde personelin ve yönetimin karşılaşılan aksaklıklar ve yaşanan memnuniyetsizliklerle ilgili olarak uyarılması teşvik edilmeli ve bu konuda eğitilmelidirler.
Bu da ancak onların daha hizmetlerin planlanması aşamasından başlanarak tüm hizmet sunumu sürecine aktif katılımının sağlanmasıyla gerçekleşebilir.
İşbirliği
Bilindiği gibi sağlık sadece sağlık sektörünün sorumluluğunda değildir. Bu nedenle sağlık hizmetlerinde kalite düzeyinin saptanması ve özellikle iyileştirilmesi aşamalarındaki tüm faaliyetlerde sadece bu hizmetleri planlayan ve sunanların değil aynı zamanda sağlık hizmeti sunan sektörün kendisi içinde (örneğin ikinci ve üçüncü basamak hizmet sunucuları, hizmeti finanse eden kurum ve kuruluşlar - SSK gibi) ve sağlığı ilgilendiren diğer sektörler (eğitim, ekonomi, iletişim, ulaşım gibi) arasında da işbirliği ve koordinasyonun sağlanması şarttır.
Böylece sağlık hizmetlerinin sunumunda daha az kaynak kullanılarak gerçekleştirilen küçük müdahalelerle daha büyük kazançlar elde edilebilir. Bu işbirliğinin kapsamına mutlaka politikacılar ve özellikle de sağlık meslek örgütleri dahil edilmelidir.
Bir Kalite Yönetimi Uygulaması
Mevcut kalite düzeyinin belirlenmesi, bu düzeyi geliştirmeyi engelleyen sorunların çözümü ve ulaşılan yeni kalite düzeyinin ölçülmesi birer dinamik süreçtir. Her biri kendi içinde sonu olmayan bir devinim gösteren bu aşamalarda yapılacaklar aşağıda özetlenmiştir:
* Standart saptama
Standartlar, aynı koşullar altında kabul edilebilir ve kabul edilemez kalite düzeyi arasındaki sınırı çizerler. Standartların temel bazı özellikleri şunlar olmalıdır 2,10,12, :
Ulusal sağlık hedefleri ve standartlarıyla paralel
Bölgenin şartlarına uygun
Özel durumlara uygulanabilir
Bilimsel, gerçekçi, uygulanabilir, ulaşılabilir ve ölçülebilir
Değişen şartlara adapte edilebilir
Duyarlı ve seçici
Organizasyonda çalışanların ortak görüşü ile belirlenebilir
İlk adım olarak bir sağlık kuruluşunda yürütülen hizmetlerle ilgili standartlar belirlenmelidir. Yukarıda da bahsedildiği gibi standartlar ulusal düzeyde saptanmış sağlık hedefleri ve standartlarıyla uyumlu olmalı, diğer taraftan da bölgenin veya kurumun sahip olduğu şartların gereklerine uygun olmalıdır. Bilimsel, gerçekçi, uygulanabilir, ulaşılabilir ve ölçülebilir olan standartlar değişen şartlara ve zaman kolaylıkla uyumlandırılabilmelidir.
Standartlar örgütte çalışanların ortak görüşü ile belirlenmeli ve açık, anlaşılabilir olmalıdır. Ayrıca uygulamalarda hiç bir boşluk bırakmayacak şekilde ilgilenilen konuyla ilgili tüm olasılıkları kapsamalıdır.
Kriter belirleme
Kriterler, bir faaliyet ya da hizmetin kalitesinin, ölçülebilir terimlerle kıyaslanmasının ifadesidir. Standartlar ve kriterler birbirinden ayrılamaz, bir bütünün parçalarıdır. Tek başlarına bir şey ifade etmezler. Standard, hizmetin etkililiğini sağlarken, hizmetin kalite düzeyi, önceden belirlenen sayısal kriterlerle izlenir.
İyi kalitede bir hizmetin ölçülebilir dört bileşeni olmalıdır 27 :
Her ne kadar tek bir kalite indeksi olmasa da bu bileşenleri ölçme girişimleri ile kalitenin sürekli iyileştirilmesinde gerekli olacak uygun bilginin toplanması sağlanmalıdır.
* Ölçme
Hizmetin mevcut kalite düzeyi, saptanan ve katılımcıların üzerinde fikir birliği yaptığı kriterlere göre ölçülmelidir. Bu ölçümlerde mümkün olduğunca objektif olunmalı ve kriterler üzerine kurulmuş bir sistematik içinde davranılmalıdır.
* Değerlendirme
Mevcut kalite düzeyinin standart ve kriterlerle belirlenmesinden sonra bu düzeyin yükseltilmesi için yapılması gerekenler de gözönünde tutularak bir değerlendirme yapılmalıdır. Bu değerlendirmede mevcut uygulamalardaki kalite düzeyi ile arzu edilen düzey arasındaki farklılıklar ortaya konulmalıdır. Bu değerlendirmelere örgütte çalışanların mümkün olduğunca geniş bir bölümü katılmalıdır. Her toplantıda tepeden en alttaki birime kadar çalışan herkesin aktif katılımı sağlanmalıdır.
* Problem çözme
Yapılan değerlendirmelerde mevcut ve arzu edilen kelite düzeyleri arasında bir farklılık tespit edildiğinde bu farkı yaratan mevcut uygulamalardaki aksaklıkların çözümlenmesi gerekir. Bu amaçla balık kılçığı ve/veya Pareto histogramı gibi yöntemlere başvurulabilir.
* Uygulama
Uygulamalardaki aksaklıkların nedenlerinin ve bunlara yönelik çözüm önerilerinin ardından sorunları ortadan kaldıracak ve böylece kalite düzeyini yükseltecek uygulamalara geçilmelidir. Ancak uygulamalardan önce kapsamlı bir eylem planı hazırlanmalıdır.
Yukarıda da belirtildiği gibi bu basamaklar hem kendi içinde hem de bir bütünün parçaları olarak sürekli bir devinim içinde belli bir amaca ulaşmak üzere bir sarmalın her bir halkasını/katını oluşturur (Şekil 8-6). Her bir basamak yukarıda verilen sıra içinde birbirini takip etmek zorunda değildir. Örneğin kriterlerin belirlenmesinin ardından hemen uygulamaya geçilebileceği gibi tekrar standartların gözden geçirilmesi de gerekebilir. Bu, örgütün o andaki durumuna, önceliklerine ve kaynaklarına göre farklılaşır.
Sağlık hizmetlerinde kalitenin yönetiminde takip edilecek tek bir teknik veya yaklaşım, daha doğrusu tek bir yol yoktur. Her kurum veya örgüt kendi içinde yapacağı değerlendirmelerin ışığında örgüt yapısına, çalışanlarının ve diğer kaynaklarının özelliklerine, yönetim biçimine, içinde bulunduğu çevreye göre kendisine en uygun olan bir yöntem veya yöntemlerin bileşimini seçip uygulamalıdır. Kaliteyle ilgili yaklaşımlar günü birlik, geçici, belli bir dönemi içine alan veya ek bir iş gibi değil, diğer yönetimsel işlevlerin temel bir parçası olarak ele alınmalıdır.
Kaliteyi sağlık hizmetinin yönetiminin doğal bir parçası olarak ele alan stratejiler, hem sağlık hizmet sunumu sisteminin her kademesindeki yöneticilerin tam katkı ve katılımını hem de sahada hizmeti bizzat sunanların bu işi sahiplenmesiyle istenilen uygulamalara dönüşebilir (yukarıdan aşağıya ve aşağıdan yukarıya yaklaşım). Bu nedenle ideal olanı yukarıdan veya merkezden yönlendirilmiş genel stratejiler doğrultusunda aşağıdan yukarıya doğru gelişen hizmet sunmu ve orta düzeydeki yöneticilerin (klinik şefleri, sorumlu hemşireler) yetkilerinin artırılmasının uyum içinde bir arada bulunmasıdır 11.
Kaliteyle ilgili sorunlara çalışanlarla birlikte teşhis koyup çözüm yolları aramak, paketler halinde hazırlanmış klişe kalite programlarının uygulanmasını sağlamaya çalışmaktan çok daha başarılı sonuçlar verecektir. Personelin çalıştığı yerden başlamak, kalite kavramını tartışmak, onların katılımını sağlamak ve gerçek hayatta karşılaştıkları problemler üzerinde çalışmak sağlık hizmetlerinde kalite yönetiminin kendiliğinden gelişmesini ve zamanla iyileşmesini sağlayacak temel adımlardır.
Bir bölümde çalışan personelin diğer bölümleri veya diğer hastaneleri ziyaret etmesi hem yeni bilgi ve beceriler kazanma, yeni yaklaşımlar ve deneyimlerle tanışma hem de diğerlerinin ve onların gözünde kendinin görev ve sorumluluklarını öğrenme fırsatı verecektir. Kendi gelişimlerini de sağlayacaklarına inandıkları sürece bir hastanedeki her seviyedeki ve her disiplindeki personelin içinde bulundukları örgütün gelişmesini isteyecekleri gerçeği her zaman akılda tutulmalıdır.
KAYNAKLAR |
. Morgan C, Murgatroyd S. Total Quality Management in the Public Sector. Open University Press, Buckingham-Philadelphia, 1997.
. Aselsan. Topyekün Kalite Yönetimi. Ankara, 1992.
. Open University. Course PMT605, Unit 6, Achieving Quality, s.6. Milton Keynes: Open University Press, !987.
. Crosby P. Quality is Free. New York:McGraw-Hill, 1979.
. Parasuraman A, Zeithamsi VA, Berry LL. A conceptual model of service quality and its implications for future research. Journal of Marketing, Fall, 1985, s.41-49.
. Haywood-Farmer J. A conceptual model of service quality. International Journal of Operations and Production Management, Vol.8, No.6, 1987, s.19-29.
. Lewis B. Customer care in service organisation. International Journal of Operations and Production Management, Vol.8, No.3, 1987, s.67-75.
. Donabedian A. Explorations in Quality Assessment and Monitoring, Vol.1: The Definition of Quality and Approaches to its Assessment. Ann Arbor, Mich.:Health Administration Press, 1980.
. Welsh Office. A Quality Health Service for Wales. Cardiff: NHS Directorate, 1990.
. WHO, Report of the WHO Working Group on Quality Assurance, WHO/SHS/DHS/94.5, Geneva 1994.
. Potter,C.,Morgan,P.,Thompson,A. Continous Quality Improvement in an Acute Hospital : A Report of an Action Research Project in Three Hospital Departments. Int.J. Health Care Quality Assurance,Vol.7 No.1,s.4-29,1995.
. Üstel,İ. Toplam Kalite Yönetimi Işığında Sağlık Hizmetleri (Özet). Sağlık Hizmetlerinde Kalibrasyonun Yeri ve Önemi Paneli, Ankara, 1995.
. Milakovich ME. Total quality management in the public sector. National Productivity Review, Vol.10, No.2, Spring, 1991, s.195-215.
. Şimşek M. Kalite Yönetimi. Marmara Üniversitesi Yayın No.584, Istanbul, 1996, s.64-65.
. Bendell T. The quality gurus. In Managing into the ‘90s. Department of Trade and Industry booklet. London:HMSO, 1991.
. Deming WE. Out of Crisis. Cambridge University Press, Cambridge, 1988.
. Juran JM. Juran on Planning For Quality. Free Press, New York, 1988.
. Fiegenbaum AV. Total Quality Control. McGraw-Hill, New York, 1983.
. Morgan C, Murgatroyd S. Total Quality Management in the Public Sector. Open University Press, Buckingham-Philadelphia, 1997.
. Aselsan. Topyeküm Kalite Yönetimi. Ankara, 1992.
. Open University. Course PMT605, Unit 6, Achieving Quality, s.6. Milton Keynes: Open University Press, !987.
. Crosby P. Quality is Free. New York:McGraw-Hill, 1979.
. Parasuraman A, Zeithamsi VA, Berry LL. A conceptual model of service quality and its implications for future research. Journal of Marketing, Fall, 1985, s.41-49.
. Haywood-Farmer J. A conceptual model of service quality. International Journal of Operations and Production Management, Vol.8, No.6, 1987, s.19-29.
. Lewis B. Customer care in service organisation. International Journal of Operations and Production Management, Vol.8, No.3, 1987, s.67-75.
. Donabedian A. Explorations in Quality Assessment and Monitoring, Vol.1: The Definition of Quality and Approaches to its Assessment. Ann Arbor, Mich.:Health Administration Press, 1980.
. Welsh Office. A Quality Health Service for Wales. Cardiff: NHS Directorate, 1990.
. WHO, Report of the WHO Working Group on Quality Assurance, WHO/SHS/DHS/94.5, Geneva 1994.
. Potter,C.,Morgan,P.,Thompson,A. Continous Quality Improvement in an Acute Hospital : A Report of an Action Research Project in Three Hospital Departments. Int.J. Health Care Quality Assurance,Vol.7 No.1,s.4-29,1995.
. Crosby PB. Quality is Free. McGraw-Hill, New York, 1979.
. Peters T. Thriving on Chaos. Macmillan, London, 1989.
. Roemer, MI. Montoya-Aguilar, C. Quality Assessment and Assurance in Primary Health Care. WHO Offset Publication, No:105, Geneva, 1988.
. Uz,M.H. Türkiye’de Temel Sağlık Hizmetlerinde Kalitenin Sürekli İyileştirilmesi İçin gereken Önkoşullar ve Bu Konudaki Danimarka Tecrübeleri. Başkent Üniversitesi, 1. Basamak Sağlık Hizmetleri’nde Toplam Kalite Yönetimi Sempozyumu Kitapçığı, s. 49-56, Kasım, 1995.
. Donabedian, A. The quality of care, How can it be assessed ? JAMA, Sep 23/30, Vol. 260, No:12, 1988.
. Maxwell, RJ. Quality Assessment in health, BMJ, Vol.288, s.1470-1, 1984.
. Roemer, MI. National Health Systems of the World. Volume II. OUP, 1993.
. WHO/EURO, Continous Quality Development: A Proposed National Policy. EUR/CLR 059, Copenhagen, 1993.
. Roger-France FH, Andersen JS, Johansen KS. Quality of Care Development in Clinical Settings. WHO/EURO, Copenhagen, 1994.. Uz,MH., Özbakır,D.,Ergin,C. Birinci Basamak Sağlık Hizmetlerinde Hasta Tatmini : Bir Saha Araştırması. Başkent Üniversitesi, Sağlık Hizmetleri’nde Toplam Kalite Yönetimi ve Performans Ölçümü Sempozyumu Kitapçığı. Ankara, 1996.
. TSE. Kalite Notları. Ankara, 1995.