Veri Madenciliği ve Makine Öğrenmesi Temel Kavramlar,Algoritmalar,Uygulamalar

Veri Madenciliği ve Makine Öğrenmesi Temel Kavramlar,Algoritmalar,Uygulamalar


Yazar Prof.Dr.M.Erdal Balaban, Dr. Elif Kartal
Yayınevi Çağlayan Kitabevi
ISBN 9789754361711
Baskı yılı 2019
Edisyon 1
Stok durumu Tükendi   

İÇİNDEKİLER
BÖLÜM 1: YAPAY ZEKÂ ve ETİK
Dr. Öğr. Üyesi Gülser ACAR DONDURMACI
1 YAPAY ZEKÂ .................................................................................................. 1
1.1 Yapay Zekâ Nedir? ................................................................................... 1
1.2 Yapay Zekânın Tarihçesi .......................................................................... 2
1.3 Yapay Zekâ Türleri ................................................................................... 4
1.3.1 Zayıf (Dar) Yapay Zekâ ............................................................... 4
1.3.2 Güçlü (Genel) Yapay Zekâ .......................................................... 5
1.3.3 Süper Yapay Zekâ ...................................................................... 6
2 ETİK ............................................................................................................... 7
2.1 Veri Etiği .................................................................................................. 7
2.2 Algoritma Etiği ......................................................................................... 8
2.3 Uygulama Etiği ....................................................................................... 10
3 YAPAY ZEKÂDA ETİK ................................................................................... 10
3.1 Yapay Zekâda Etik Değerler ................................................................... 12
3.1.1 Şeffaflık .................................................................................. 12
3.1.2 İşsizlik ..................................................................................... 12
3.1.3 Eşitsizlik .................................................................................. 13
3.1.4 İnsanlık ................................................................................... 13
3.1.5 Yapay Aptallık ......................................................................... 14
3.1.6 Irkçı Robotlar .......................................................................... 14
3.1.7 Güvenlik ................................................................................. 14
3.1.8 Karar Verme Yetkisi ................................................................. 15
3.1.9 Tekillik .................................................................................... 15
3.1.10 Robot Hakları .......................................................................... 16
3.2 Asilomer Yapay Zekâ İlkeleri.................................................................. 16
4 ROBOTLAR .................................................................................................. 18
4.1 Robotların Dünü, Bugünü ve Geleceği .................................................. 19
4.2 Üç Robot Yasası ..................................................................................... 20
5 DÜNYADA VE TÜRKİYE’DE YAPILAN ÇALIŞMALAR...................................... 21
6 SONUÇ ........................................................................................................ 22
7 KAYNAKLAR ................................................................................................ 24
8 ÖZGEÇMİŞ .................................................................................................. 28
Veri Madenciliği ve Makine Öğrenmesi Temel Kavramlar, Algoritmalar, Uygulamalar
vi
BÖLÜM 2: PYTHON İLE GÖRÜNTÜ İŞLEMEYE GİRİŞ
Öğr. Gör. Burcu BEKTAŞ ve Doç. Dr. Rüya ŞAMLI
1 ANACONDA VE PYCHARM KURULUMU ..................................................... 29
2 GENEL KAVRAMLAR ................................................................................... 35
2.1 Piksel ve Görüntü .................................................................................. 35
2.2 Görüntü Çeşitleri ................................................................................... 35
2.3 Python’da Görüntü Okuma ................................................................... 38
2.4 Python’da Görüntü Görüntüleme ......................................................... 39
2.5 Python’da Görüntü Yazdırma ................................................................ 40
2.6 Eşikleme (Thresholding) ........................................................................ 40
2.7 Görüntü İşleme ...................................................................................... 43
3 GÖRÜNTÜ İYİLEŞTİRME .............................................................................. 44
4 GÖRÜNTÜ ONARMA .................................................................................. 47
4.1 Ortalama Filtresi .................................................................................... 47
4.2 Medyan Filtre ........................................................................................ 49
5 MORFOLOJİK İŞLEMLER (MORPHOLOGICAL OPERATIONS) ....................... 50
5.1 Genişleme .............................................................................................. 51
5.2 Aşındırma .............................................................................................. 53
5.3 Kapama .................................................................................................. 55
5.4 Açma ...................................................................................................... 56
6 ÖZNİTELİK ÇIKARMA ................................................................................... 57
6.1 LBP - Yerel İkili Örüntü ........................................................................... 58
6.2 Örnek Uygulama .................................................................................... 61
6.3 Kod Açıklaması ...................................................................................... 62
7 KAYNAKLAR ................................................................................................ 64
8 ÖZGEÇMİŞLER ............................................................................................ 66
BÖLÜM 3: SAĞLIKTA BİLGİ YÖNETİMİ VE BÜYÜK VERİ
Araş. Gör. Zehra Nur CANBOLAT
1 BÜYÜK VERİ ................................................................................................ 67
1.1 Büyük Veri Kavramı ............................................................................... 69
1.2 Büyük Verinin Yapısı .............................................................................. 71
1.3 Büyük Veri Örnekleri ............................................................................. 73
1.4 Büyük Verinin Sunduğu Fırsatlar ........................................................... 74
1.5 Büyük Verinin Yarattığı Zorluklar .......................................................... 75
1.6 Büyük Veri Teknolojileri ........................................................................ 76
İçindekiler
vii
1.6.1 Hadoop .................................................................................. 78
1.6.2 MapReduce ............................................................................ 79
1.7 Büyük Veri ve Sağlık Sektörü ................................................................. 79
2 BİLGİ YÖNETİMİ .......................................................................................... 82
2.1 Açık ve Örtük Bilgi ................................................................................. 85
3 BİLGİ YÖNETİMİNİN ÖNEMİ VE SAĞLIK SEKTÖRÜNDE BİLGİ YÖNETİMİ .... 87
3.1 Bilgi Yönetiminin Sağlık Hizmetlerindeki Rolü ....................................... 90
3.2 Sağlık Alanında Bilgi Yönetiminin Avantaj ve Dezavantajları ................ 92
3.2.1 Bilgi Yönetiminin Avantajları .................................................... 92
3.2.2 Bilgi Yönetiminin Dezavantajları ............................................... 94
4 SONUÇ ........................................................................................................ 95
5 KAYNAKÇA .................................................................................................. 96
6 ÖZGEÇMİŞ ................................................................................................ 104
BÖLÜM 4: SINIFLANDIRMA ALGORİTMALARI ile BİR METİN MADENCİLİĞİ UYGULAMASI
Dr. Öğr. Üyesi Ayşe ÇINAR
1 GİRİŞ ......................................................................................................... 105
2 METİN MADENCİLİĞİ ................................................................................ 105
2.1 Metin Madenciliği Aşamaları .............................................................. 106
2.1.1 Metin Verisini Sözcüklerden Oluşan Niteliklere Dönüştürme .... 108
2.1.2 Analiz Modeli Elde Etme ........................................................ 109
3 SINIFLANDIRMA ALGORİTMALARI ve R DİLİ ile METİN MADENCİLİĞİ ..... 109
3.1 Metin Madenciliği İçin Başvurulan Sınıflandırma Algoritmaları .......... 110
3.2 Metin Sınıflandırma Algoritmaları ile Bilgi Keşfi .................................. 113
4 UYGULAMA .............................................................................................. 115
4.1 Metin Verisine Erişilmesi ..................................................................... 115
4.2 Metin Verisini Sözcüklerden Oluşan Niteliklere Dönüştürme ............. 116
4.3 Nitelik (Sözcük) Veritabanının Oluşturulması ...................................... 120
4.4 Sınıflandırma Algoritmaları ile Metin Madenciliği Uygulamaları ........ 121
4.5 Sınıflandırma Algoritması ile Model Kurulması ................................... 136
5 SONUÇLAR ................................................................................................ 137
6 KAYNAKLAR .............................................................................................. 139
7 ÖZGEÇMİŞ ................................................................................................ 140
Veri Madenciliği ve Makine Öğrenmesi Temel Kavramlar, Algoritmalar, Uygulamalar
viii
BÖLÜM 5: R PROGRAMLAMA DİLİ İLE MODEL PERFORMANSININ DEĞERLENDİRİLMESİ
Araş. Gör. İlkim Ecem EMRE
1 GİRİŞ ......................................................................................................... 141
2 K-EN YAKIN KOMŞU ALGORİTMASI .......................................................... 142
3 UYGULAMA .............................................................................................. 147
3.1 Dosya Yolunun Seçimi ve Veri Setinin Yüklenmesi .............................. 147
3.2 Veri Ön İşleme ..................................................................................... 147
3.3 Model Performans Değerlendirme Yöntemlerinin Uygulanması ........ 150
3.4 Modelin Kurulması .............................................................................. 152
3.5 Model Performans Değerlendirme Ölçütlerinin Hesaplanması .......... 152
3.6 Model Performanslarının Değerlendirilmesi ....................................... 155
3.7 Açıklamalı Kodlar ................................................................................. 156
3.8 Yararlanılan Paketler ........................................................................... 164
4 KAYNAKLAR .............................................................................................. 165
5 ÖZGEÇMİŞ ................................................................................................ 166
BÖLÜM 6: VERİ MADENCİLİĞİNDE BİRLİKTELİK YÖNTEMLERİ İLE DİNAMİK BİR SHINY UYGULAMASI GERÇEKLEŞTİRME
Dr. Öğr. Üyesi Gökçe KARAHAN ADALI ve Prof. Dr. M. Erdal BALABAN
1 GİRİŞ ......................................................................................................... 167
2 SHINY’YE GENEL BAKIŞ ............................................................................. 168
2.1 ui.R Dosyası ......................................................................................... 168
2.2 server.R Dosyası .................................................................................. 169
2.3 Shiny’nin Kurulması ............................................................................. 169
2.4 Kullanıcı Arayüzünün Oluşturulması ................................................... 171
2.5 Dinamik İçeriği Shiny Sayfalarına Entegre Etme .................................. 172
3 SHINY UYGULAMALARININ WEBE AKTARILMASI ..................................... 175
3.1 shinyapps.io ......................................................................................... 175
4 BİRLİKTELİK YÖNTEMLERİ İLE DİNAMİK BİR SHINY UYGULAMASI............ 180
4.1 Veri Seti ............................................................................................... 181
4.2 Apriori Algoritması .............................................................................. 184
4.3 Shiny Uygulaması ................................................................................ 185
4.3.1 Kullanıcı Arayüzü ve “ui.R” Dosyasının Oluşturulması .............. 186
4.3.2 “server.R” Dosyasının Oluşturulması ...................................... 192
5 SONUÇLAR ................................................................................................ 200
İçindekiler
ix
6 TEŞEKKÜRLER ........................................................................................... 201
7 KAYNAKLAR .............................................................................................. 202
8 ÖZGEÇMİŞLER .......................................................................................... 204
BÖLÜM 7: DESTEK VEKTÖR MAKİNELERİ: TEORİ VE R DİLİ İLE BİR UYGULAMA
Dr. Elif KARTAL ve Prof. Dr. M. Erdal BALABAN
1 GİRİŞ ......................................................................................................... 207
2 DESTEK VEKTÖR MAKİNELERİ .................................................................. 208
2.1 Doğrusal Olarak Ayrılabilen Durumlar ................................................ 209
2.1.1 Hard-Marjin Destek Vektör Makineleri ................................... 209
2.1.2 Soft-Marjin Destek Vektör Makineleri ..................................... 213
2.2 Doğrusal Olarak Ayrılamayan Durumlar .............................................. 214
2.2.1 Kernel Trick ........................................................................... 215
3 R DİLİ İLE BİR SVM UYGULAMASI: FUTBOL MAÇI SONUCU TAHMİNİ ...... 217
3.1 Problemin Tanımlanması ..................................................................... 217
3.2 Veriyi Anlama ...................................................................................... 218
3.3 Veri Hazırlama ..................................................................................... 221
3.4 Modelleme .......................................................................................... 223
3.5 Model Değerlendirme ve Seçimi ......................................................... 228
3.6 Destek Vektör Makinelerinde Parametrelerin Ayarlaması ................. 231
4 SONUÇLAR ................................................................................................ 235
5 KAYNAKLAR .............................................................................................. 237
6 ÖZGEÇMİŞLER .......................................................................................... 240
BÖLÜM 8: VERİ MADENCİLİĞİ KÜMELEME ALGORİTMALARININ BAŞARI GÖSTERGESİ OLARAK KÜMELEME İNDEKS DEĞERLERİNİN İNCELENMESİ
Dr. Fatma Önay KOÇOĞLU ve Prof. Dr. Şakir ESNAF
1 GİRİŞ ......................................................................................................... 243
2 VERİ MADENCİLİĞİ ................................................................................... 245
2.1 Sınıflandırma ....................................................................................... 248
2.2 Kümeleme ........................................................................................... 249
2.3 Birliktelik Kuralları ............................................................................... 249
2.4 Aykırı Durum Tespiti ............................................................................ 250
3 KÜMELEME ............................................................................................... 251
3.1 Hiyerarşik Kümeleme Yöntemleri ........................................................ 252
Veri Madenciliği ve Makine Öğrenmesi Temel Kavramlar, Algoritmalar, Uygulamalar
x
3.2 Hiyerarşik Olmayan Kümeleme Yöntemleri ........................................ 253
4 BENZERLİĞİN ÖLÇÜSÜ .............................................................................. 254
5 KÜMELEME BAŞARISI ............................................................................... 257
5.1 Dış İndeksler ........................................................................................ 258
5.2 İç İndeksler .......................................................................................... 259
5.2.1 Dunn İndeksi ......................................................................... 259
5.2.2 Silhouette İndeksi ................................................................. 260
5.2.3 Davies-Bouldin İndeksi .......................................................... 260
5.2.4 Xie-Beni İndeksi .................................................................... 261
6 UYGULAMA .............................................................................................. 261
6.1 Problemin Belirlenmesi ....................................................................... 261
6.2 Verinin Anlaşılması ve Hazırlanması .................................................... 262
6.3 Modelin Oluşturulması ........................................................................ 265
6.3.1 k-Ortalamalar Algoritması ...................................................... 266
6.3.2 k-Medoid Algoritması ............................................................ 268
6.3.3 Bulanık c-Ortalamalar Algoritması .......................................... 269
6.3.4 En Uzak Komşu Algoritması (Tam Bağlantı) ............................. 272
6.4 Performans Değerlendirme ................................................................. 274
6.4.1 Dış İndeksler ......................................................................... 274
6.4.2 İç İndeksler ........................................................................... 278
6.5 Bulgular ............................................................................................... 279
7 SONUÇ VE DEĞERLENDİRME .................................................................... 280
8 KAYNAKLAR .............................................................................................. 283
9 ÖZGEÇMİŞLER .......................................................................................... 288
BÖLÜM 9: TEK-SINIFLI SINIFLANDIRICI MODELİYLE TUŞ VURUŞ TABANLI KİMLİK DOĞRULAMA
Dr. Zeki ÖZEN, Prof. Dr. Sevinç GÜLSEÇEN ve Prof. Dr. Sushil K. SHARMA
1 GİRİŞ ......................................................................................................... 289
1.1 Kimlik Doğrulama Sistemleri ............................................................... 291
2 TUŞ VURUŞ DİNAMİKLERİ ........................................................................ 292
2.1 Tuş Vuruş Olayları ve Tuş Süreleri ....................................................... 292
2.1.1 Tuş Vuruş Olayları ................................................................. 293
2.1.2 Tuş Vuruş Süreleri ................................................................. 293
2.2 Tuş Vuruş Nitelikleri ............................................................................ 295
3 ÖZ-İLİŞKİLİ YAPAY SİNİR AĞI ..................................................................... 296
4 MODEL ..................................................................................................... 298
İçindekiler
xi
4.1 Problemin Tanımlanması ..................................................................... 301
4.2 Veriyi Anlama ...................................................................................... 301
4.3 Veri Hazırlama ..................................................................................... 303
4.4 Modelleme .......................................................................................... 304
4.5 Model Değerlendirme ve Seçimi ......................................................... 308
4.6 Modelin Uygulamaya Geçirilmesi ....................................................... 311
5 SONUÇLAR ................................................................................................ 311
6 TEŞEKKÜR ................................................................................................. 314
7 KAYNAKLAR .............................................................................................. 315
8 ÖZGEÇMİŞLER .......................................................................................... 319
BÖLÜM 10: PORTFÖY OPTİMİZASYONU ve R PROGRAMLAMA DİLİ İLE BİR UYGULAMA
Dr. Öğr. Üyesi Latife Sinem SARUL ve Prof. Dr. M. Erdal BALABAN
1 GİRİŞ ......................................................................................................... 321
1.1 Karar Verme Sürecindeki Adımlar ....................................................... 321
1.2 Matematik Model Örneği ve R ile Optimum Çözümün Bulunması ..... 323
2 OPTİMİZASYON VE PORTFÖY OPTİMİZASYONU....................................... 324
2.1 Doğrusal Programlama ........................................................................ 324
2.1.1 Bir ABC İşletmesi için Doğrusal Programlama Modeli Örneği .... 325
2.1.2 İki Boyutlu Örnek Problem (Kâr Maksimizasyonu) ................... 325
2.1.3 Üretim Planlama Örneği ........................................................ 327
2.1.4 Yatırım Örneği ....................................................................... 329
2.2 Portföy Optimizasyonu ........................................................................ 332
2.2.1 Markowitz Portföy Optimizasyon Modeli ................................ 332
3 R İLE PORTFÖY OPTİMİZASYON UYGULAMASI ......................................... 334
3.1 Veri Hazırlama ve Veriyi Anlama ......................................................... 334
3.2 Model Kurma (R Programlama Dili ile Çözüm) .................................... 338
4 SONUÇ VE ÖNERİLER ................................................................................ 342
5 KAYNAKLAR .............................................................................................. 343
6 EK: portfoy.csv.......................................................................................... 345
7 ÖZGEÇMİŞLER .......................................................................................... 347
Veri Madenciliği ve Makine Öğrenmesi Temel Kavramlar, Algoritmalar, Uygulamalar
xii
BÖLÜM 11: DENGESİZ VERİDEN ÖĞRENME: ÜSTÜN ZEKÂLI VE YETENEKLİ ÖĞRENCİLERİN SINIFLANDIRILMASI
Dr. Elif KARTAL, Dr. Zeki ÖZEN, Dr. Öğr. Üyesi Melodi ÖZYAPRAK, Dr. Öğr. Üyesi İrfan ŞİMŞEK, Dr. Öğr. Üyesi Sezer KÖSE BİBER, Dr. Öğr. Üyesi Mahir BİBER ve Dr. Öğr. Üyesi Tuncer CAN
1 GİRİŞ ......................................................................................................... 349
2 SINIF DENGESİZLİĞİ PROBLEMİ ................................................................ 351
2.1 Sınıflar-Arası ve Sınıf-İçi Dengesizlik .................................................... 352
2.2 İç ve Dış Dengesizlik ............................................................................. 353
2.3 İlişkili ve Nadir Örnekler Sebebiyle Dengesizlik ................................... 353
3 SINIF DENGESIZLIĞINI GİDERMEK İÇIN KULLANILAN YÖNTEMLER .......... 354
3.1 Yeni Veri Toplama ............................................................................... 354
3.2 Performans Değerlendirme Ölçütünün Değiştirilmesi ........................ 354
3.3 Yeniden Örnekleme Teknikleri ............................................................ 357
3.3.1 Undersampling Yöntemi ........................................................ 357
3.3.2 Oversampling Yöntemi .......................................................... 357
3.3.3 Sentetik Örneklerin Yaratılması – SMOTE ................................ 358
3.4 Tek-Sınıflı Sınıflandırma ....................................................................... 359
4 ÜSTÜN ZEKÂLI VE YETENEKLİ ÖĞRENCİLERİN SINIFLANDIRILMASI.......... 360
4.1 Veriyi Anlama ...................................................................................... 360
4.2 Veri Hazırlama ..................................................................................... 362
4.2.1 Oversampling Yöntemi (Eğitim Veri Seti Üzerinde) .................. 364
4.2.2 Undersampling Yöntemi (Eğitim Veri Seti Üzerinde) ................ 365
4.2.3 SMOTE Yöntemi (Eğitim Veri Seti Üzerinde) ............................ 366
4.3 Modelleme .......................................................................................... 368
4.4 Model Değerlendirme ve Seçimi ......................................................... 369
4.4.1 Undersampling Yöntemi (Tüm Veri Seti Üzerinde) ................... 374
4.4.2 SMOTE Yöntemi (Tüm Veri Seti Üzerinde) ............................... 377
5 SONUÇ ...................................................................................................... 379
6 TEŞEKKÜR ................................................................................................. 382
7 KAYNAKLAR .............................................................................................. 383
8 ÖZGEÇMİŞLER .......................................................................................... 385