SQL Server’da süper hızlı arama eklentisi


SQLServer’da bazen işler kolay olmaz. Çok fazla sayıda tablo,view, stored procedure ve fonksiyon olduğu zamanlarda şu kolon neredeydi diye aramak isteyebilirsiniz. Bunun için SQLServer herhangi bir araç sunmaz. Ancak bunun yerine bir ücrtesiz eklenti var. Bu eklenti ile tüm SQL veritabanınızda istediğiniz ifadeyi ‘şak’ diye blursunuz.

Eklentinin adı: SQLSearch
URL: http://www.red-gate.com/products/sql-development/sql-search/

Görüntü:

Reklamlar

Python ile Net Bugünkü Değer Hesaplama


Agah A.Ş. tesislerinde kullanmayı düşündüğü bir makine
için dönem başında 11.000 TL yatırım yapmayı
düşünmektedir. İskonto oranı %10 olarak kabul edilmiştir.
Makinenin yıllar itibariyle sağlayacağı nakit girişleri
aşağıda gösterilmektedir.


Y1=2500
Y2=2600
Y3=4000
Y4=6000

Bu durumda projenin Net Bugün değeri ne olur?
Python’da şöyle hesaplarız


import math

YM=11000

IO=0.1

NBD=Y1/(1+IO)+Y2/(math.pow((1+IO),2))+Y3/(math.pow((1+IO),3))+Y4/(math.pow((1+IO),4))-YM

print(NBD)

Sonuç olarak 524 değerini alırız ki bu projemizin net bugünkü değeridir.

R’da tüm korelasyonları toplu göstermek


Verisetiniz içerisinde kaç parametre varsa bunların birbirleri ile ilişkisi için teker teker korelasyonlara bakmanıza gerek yok. R’da bu işlemi topluca yaparak zaman kazanabilirsiniz.

Veri Amerika’nın Wyoming eyaletindeki suç verileri (2013)

  library(xlsx)
  a=xlsx::read.xlsx("wyoming.xls",sheetName = "13tbl8wy"
                    ,as.data.frame = T
                    ,stringAsFactors=F)
  #NA konları sil
  a=a[colSums(!is.na(a)) > 0]
  #correlation pairs
  panel.cor <- function(x, y, digits = 2, prefix = "", cex.cor, ...)
  {
    usr <- par("usr"); on.exit(par(usr))
    par(usr = c(0, 1, 0, 1))
    r <- abs(cor(x, y))
    txt <- format(c(r, 0.123456789), digits = digits)[1]
    txt <- paste0(prefix, txt)
    if(missing(cex.cor)) cex.cor <- 0.8/strwidth(txt)
    text(0.5, 0.5, txt, cex = cex.cor * r)
  }
  pairs(a[1:5], lower.panel = panel.smooth, upper.panel = panel.cor)

#corelation pairs fonksiyonundan sonraki kısımla aşağıdaki gibi koralasyon tablosu elde edebiliyorsunuz.

Gördüğünüz üzere hem korelasyonlar hem grafikler kolayca eşleştirilebiliyor. Bu grafikten ne anlıyoruz. Wyoming için 2013 yılında şehir bazında nüfus ile işlenen şiddet içeren suçlar arasında ciddi ilişki var. O zaman küçük yerler daha güvenli olabilir. Ama kumarbaz yanılgısına düşmeyin. Küçük ihtimaller gelip sizi bulabilir.

Veri Bilimcinin Yol Haritası


Öğrenilecek şeyler çok olunca sadece onların listesini bile düzenli bir yerde tutmak gerekiyor. Yüzlerce farklı kaynaktan, röportajdan ve listeden derlediğim bir kısmını da daha önceden kullandığım ‘şeyler’. İşte veri bilimciliğinde öğrenilmesi gereken şeylerin ‘canlı’ ve yapılandırılmış listesi:

  • Kullanılışlı API’ler:

    • Bu API’ler özellikle sosyal medya madenciliğinde yararlıdır:
    • Facebook API
    • Quandl API (Finansal veri API’si)
    • IBM Watson API
  • Sık kullanılan güncel algoritmalar / modeller / teknolojiler:

    • Bir çok yerde karşınıza çıkacak öğrenilmesi gereken konular:
    • Artificial Neural Network
    • eXtreme Gradient Boosing
    • Elastic Net
    • Vowpal Wabbit
    • Factorization Machines
    • LibFFM
    • Regualized Greedy Forest (RGF)
  • Değerli portaller:

    • Bu portallere ara sıra bakıp, okumalı:
    • AnalyticsVidhya: Hintliler bu işi de kimseye bırakmamış.

    • KDNuggets: Öğrenme kaynakları

    • Özellikle tasvsiye: Kaggle: Açık yarışmalar,StoryCV oluşturma
    • Springboard : Veri bilimciler için iş ilan sitesi
    • DataKind : Gerçek veri bilim problemleri ile uğraşın
  • Veri Kaynakları ve Kaynak Listeleri

  • Kurslar:

  • Veri Görselleştirme Araçları:

  • R /Python Paketleri

    • El altında bulunması gereken R/Python paketleri
    • RVest: Web’den metinsel veri derlemek için
    • Python için RAKE algoritması kütüphanesi. RAKE unsupervized yolla metin sınıflandırma imkanı sağlıyor. Python paketi burada
  • El altı sunumlar:

    ** Bir kaç slaytla dertlere deva olanlar**:

  • Makale Listeleri/ Makaleler:

(CopyPaste ya da ‘phrapase’ etmeden önce bir kez daha düşünün:)

Sapiens: İnsanlığın eğlenceli tarihi


İnsanlık tarihini tek oturuşta okumayı, okurken de hiç sıkılmamayı ister misiniz? İsrail’li tarihçi Harari’nin Sapiens adlı kitabı bu amaca matuf bir tarih kitabı olarak çoksatarlardan olmayı başarmış. Kitabın yazarı Yuval Noah Harari İsrai İbrani Üniversitesinden bir akademisyen. Tarihçi. Oxford’dan doktorası var.

Bu kitabı, muadili olan herhangi bir kitaptan ayıran temel unsur -içindeki teorileri beğenin veya beğenmeyin- kitabın sizi içine çekmesi. Bazı akademisyenler öyle iyi bir edebi güce sahip ki başkası yazsa okumaktan sıkıntıdan patlayacağınız konuları bile sizlere keyifle okutturabiliyor. Bu yönüyle bir akademisyen bir romancı kadar zor bir işle uğraşmış olmaktadır. Nitekim elinde kurgusal kahramanlar yoktur, yazar saf gerçekliği ve tatsız tuzsuz bir hipotezler ve teorileri size en okunur şekilde sunmaktadır.

Okuyup da “vay bee” dediğim anekdotları dost meclislerinde paylaşmayı uzun süredir bıraktım. Bu nedenle bu tür anekdotları blogumdan paylaşıyorum. İtiraf etmeliyim ki bu tür bilgilerin hali hazırdaki piyasa değeri maalesef futbol muhabbetleri, dedikodular, ülke kurtarmalar ve hatta “geyikten” daha az. Fildişi kulelerden inmezden evvel bu durumu anlamak yerine kızarken bugün insanları anlıyorum. “Şimdi, abi, yani bu yok efendim insanlık tarihinde Sümerler, evrim filan…yani…ne gerek var. Ne yani” Tamam, o yüzden bloguma not düşüyorum.

Biraz da sanki öğrendiğim bir şeyi kaydedip yaymazsam yok olacak şeklindeki tuhaf bir vehimle not alıyorum. Bilginin tabletlere kaydedildiği dönemde kimse bilginin bu kadar kalıcı olacağını düşünmüş olamaz. Bilginin bu kez dokunmatik tabletlere de kaydedilebildiği bu dönemde de kaydedilen bilginin bekası halen meçhul. Buna rağmen “yazanlar” genellikle “-sın diye” yazmazlar söyleyecekleri vardır diye yazarlar. O yüzden yazıyorum.

Kitaptan en ilgi çekici yerler aşağıda:

İnsan elinin değmediği yer yoktur

Amazonlar denilince sıfat olarak sıkça eklenen “insan elinin değmediği…” kalıbı gerçek değildir. Çalışmalar, avcı toplayıcı toplumların yayıldıkça gittikleri her yerde doğal bozulmaya hatta yıkıma neden olduğunu ortaya koyuyor. Avusturalya kıtasına bile ilk kez insan ayak bastıktan sonra daha bir kaç binyıl geçmeden, bu megafaunadaki bir çok tür yok oluyor. Öte yandan, yine de tek tük insan eli değmemiş sayılabilecek bir kaç yer var: Galapagos adaları bunlardan biri. Buradaki fauna büyük ölçüde korunmuş…

Savaş az, sonuçları çok öldürür.

Kitapta ilginç çalışmalardan bahsedilmiş. Bazı araştırmacılar bulunan insan kemiklerinde dışarıdan kaba şiddete dayalı ölümleri tespit etmeye çalışıyorlar. Buluntulara bakılarak şiddete dayalı ölümlerin oranı hesaplanmaya çalışılmış. Sonuçlar çarpıcı. Kabaca söylemek gerekirse: İnsanlık, tarih öncesinde de “dünya savaşları” yapmış. Mevcut olduğu tahmin edilen nüfusa göre ölüm oranları neredeyse çağımızdaki savaşlar kadar… Daha da önemlisi toplu ölümlerin kaynağı ise genellikle savaşın sonucu veya başka nedenlerden ortaya çıkan açlık, hastalık gibi nedenler. Kısaca: Savaş teğet geçmez.

Tarım çıktığındandır fıtık da var.

Araştırmalar, avcı-toplayıcı yaşamdan tarım toplumuna geçildikçe incelenen kemik kalıntılarına göre, geçmişte var olmayan bir takım hastalıklar ortaya çıkmış. Fıtık, disk kayması bu hastalıklardan en önde geleni. Öyle anlaşılıyor ki tarımla uğraşmak bize yaramıamış. Anlatılanara göre bu avcı-toplayıcı toplumun gıdasını aramak için sürekli hareket etmesi ve herhangi bir lokasyona bağımlı kalmaması onu sağlam kılmış.

Binyıllardır insanlık problemlerinin kaynağı: Lüks kapanı

Harari, tarım toplumuna geçişi yerden yere vurarken epik bazı değerlendirmelerde de bulunuyor. Bu kısım tabii ki “bilimse görüş”. Doğru veya yanlış olmasından öte çok bilgece… Harari’ye göre, tarım toplumu insanların daha rahat yaşaması merakından ötürü ortaya çıkmıştır. İklimsel koşullardan ötürü ilk tarım toplumu Mezopotamya’da ortaya çıkar. İnsanlar daha rahat yaşayalım derken daha az kaliteli gıdalara (otçul ağırlıklı beslenme) mahkum kalmışlar, öte yandan daha önce çok büyük coğrafi bölgelede sürekli hareket halinde olduklarından buraları “vatan” bellemiş iken, tarım yüzünden belli bölgelerden çıkamaz olmuşlardır. Yani Dimyat’a pirince giderken evdeki bulgurdan olmuşlar. Harari’nin duysa hoşuna gitmeyebilir ancak aklıma Kuran’dan okuduğum bir ayet geldi. Bilemiyorum, belki de tezini destekliyor diye beğenecekti… Harari tam bir pozitivist bu nedenle dini kaynakları ele alış biçimi “epey” farklı. Yine de aktarmadan edemeyeceğim:

“Hani siz bir vakitte demiştiniz ki: Ya Musa! biz bir çeşit yemeğe elbette sabredemeyiz. Bizim için Rabbine dua etde yerin bitirdiği tere, hıyar, buğday, mercimek, soğandan bizim için de çıkarsın. Musa da demişti ki: Siz bayağı olan şey ile hayırlı olan şeyi değiştirir misiniz? Öyle ise bir kasabaya ininiz sizin için istediğiniz şeyler orada vardır. Onların üzerlerine alçaklık, yoksulluk vuruldu ve Allah’ın gazabına uğradılar. (Bakara 61)

Bu ayet o güne değin bıldırcın eti ve bir kaç şeyle beslenen İsrailoğullarının yeni yemek merakından başına gelenleri aktarıyor. Harari’ de aynısını diyor. İnsanoğlunun tarım toplumuna geçişi aslında tam bir faciadır.

Daha etkilendiğim nokta ise insanın bu “lüks merakının” halen insanı “dimyata götürüyor olması” konusunu işlerken verilen örnekler. Harari, onca iyi eğitim aldıktan sonra aslında tam olarak hiç bir insani ihtiyaca tekabül etmeyen meraklarımız yüzünden girdiğimiz borçları ve sistematik olarak daha fazla çalışmaya mahkumiyetimizi tarım toplumunda atalarımızın başına gelenlere benzetiyor.

Tarım toplumu hayvanlara “zulmü” ortaya çıkarmıştır.

Harari tarım toplumun ortaya çıkışından bugünü ilk dönemlerde hayvanları evcillerştirmek için dah sonra ise hayvanlardan daha fazla verim elde edebilmek ve sabit yerde yetişitiricilğe devam etmek için yapılan zalimce uygulamaları da aktarıyor. Bunlardan en ilginci Sudan’da bazı kabilelerin süt buzağılarının daha fazla anne sütü emmelerini engellemek için dillerinin uçlarının kesilmesi, domuzların evcilleştirilmesi için burunlarının kesilmesi ve koku alma duyularının bloke edilmesi… Günümüzde ise süt buzağılarının küçücük kabinlere hapsedilerek anne sütünden mahrum bırakılması da bu örneklerden. Bu buzağılar saha sonra yumuşacık etlere dönüşsünler ve sertleşmesinler diye gezdirilmiyor. Öyle ki bu buzağıların hayatlarındaki adam akıllı ilk yürüyüşleri daha büyümeden kesilecekleri yere götürüldüklerinde oluyor. Zalimce…

Tarım toplumu ve yerleşik düzen elitleri ortaya çıkarmıştır.

Kitaba göre insanlar avcı-toplayıcı durumda iken sürekli hareket etmelerinden ve küçük gruplar halinde yaşadıklarından hiyerarşi ve toplumsal sınıflar oluşmamıştı. Bu nedenle krallıklar, kastlar, sınıflar henüz yoktu. Ancak yerleşik düzene geçtikten sonra insanlar bir arada yaşamak ve düzeni sağlamak için bir takım kavramlar geliştirdikler. Harari bu kavramları “imagined order” olarak tanımlıyor. Bu kavramlar yazılı veya yazısız olabiliyor. Hindistandaki kast sisteminden, yakın tarihteki siyahi ayrımcılığına tüm sınıfların kaynağı böylece açıklanıyor. Harari’ye göre bu günümüzde de geçerli: Zenginler üst düzey bir sınıf oluşturuyor ve bu da “bilimsel olarak ıspatlandığı üzere” babadan oğula genellikle geçiyor. Zenginler ve diğerleri hiç bir zaman eşit olamıyor…

Harari dinlerin, hukuk kurallarının hatta insan haklarının da gerçekte var olmadığını ve insanların ortaya çıkardıkları “ortak çalışmayı kolaylaştıran” unsurlar olarak var olduklarını değerlendiriyor. Bu kavramların var oluş şekillerini ise ne objektif ne de sübjektif olarak nitelendiriyor. Bunun yerine inter-sübjektif diye adlandırdığı kavramı ortaya atıyor. Bu kavram sübjejtif olduğu halde insanlar arasındaki yaygınlığından ötürü neredeyse objektif kabul edilen kavramlara gönderme yapıyor. Ancak kaçırdığı bir nokta da yok değil: Dinle ilgili fonksiyonel tanımlar doğru olsa da dinin teolojik düzlemdeki ontolojik tartışması açıkçası biraz tartışmalı. Yani din gerçekten de toplumsal iletken görevi görebilir ancak buradan yola çıkarak “din yapaydır” demek dini sıkıldıkça üretilebilen kurgusal bir olguya dönüştürüyor. Öte yandan Tanrı’nın ve dinlerin varlığı matematiksel olarak ıspatlamak zorunda olmadığı gibi (Kuran’da zaten sistemin böyle kurgulandığı, yani herşeyin açık olduğu takdirde herkesin zaten inancağı ifade ediliyor) yokluğunu düşünen birinin yokluk ıspatı da öyle kolay değil. Bir şeyin varlığını ıspat edemiyorsak o şey kesin yok mudur?

Neyse bu güzel kitabı din ve evrim tarışmaları içine karıştırmak haksızlık olur. Neticede kitap ateist amentüsü veya din eleştirisi kitabı değil… Böyle güzel bir kitaptan daha fazlasını anlamaya devam:

Cinsel Roller de “imagined order” kabilindendir.

Fransız Kralı 14. Louis’in etekli, topuk ayakkabılı bir resminin yanındaki “errrrkekkk” Obama resmi iki karede sayfalarca bilgiyi sunuyor. Geçmişte erilliğin sembolleri ile bugünkü hali arasındaki fark dikkat çekici. Buradan cinsel rollerin de yüzlerce yıl içinde değişim geçirdiğini anlıyoruz…

Avrupa nasıl dünyanın kalbi oldu?

1775’te Asya tüm dünya ekonomisinin %80’inin yönetiyordu. O dönemde Avrupa ekonomik olarak sadece bir cüce idi. 1880’de ise Avrupa’da toplam 350.000km demiryolu hattı varken dünyanın geri kalanında sadece 35.000 km demiryolu hattı vardı. Harari o dönemde Avrupa dışındaki dünyanın da aslında teknolojik olarak geri olmadığını ancak bir takım değerleri içselleştirmediği için geri kaldığını söylüyor.