SQL Server’da çok fazla sayıda tablo ile uğraşıyorsanız bu tabloları aramak bazen zor olabilir. SQL Server içinde tabloları aramak için bir araç yok. Bunun için SQL Server Search adlı bir eklenti mevcut. Bu eklenti ile yazdığınız bir terimi tüm tablo adlarında ve tabloların içindeki kolon adlarında bulup isterseniz sizi direkt o tabloya yönlendiriyor.
SQL Search Eklentisinin adresi: https://www.red-gate.com/products/sql-development/sql-search/
Web sayfanıza aynı anda çok fazla sayıda kullanıcı girdiğinde ne olacağını simüle mi etmek istiyorsunuz? Buyrun buradan: Locust.
Bu araç python ile yazılmış. Bunu kullanabilmek için bilgisayarınıza Python kurulmuş olmalıdır. Python kurulumu için: buradan.
Python’u kurduktan sonra konsoldan
pip install locustio
dediğinide Locust kurulmuş olur. Daha sonra test dosyanızı yazarsınız. En ilkel versiyonu burada. Bu dosyayı locustfile.py olarak adlandırın. Bu dosya sadece o sayfaya girmek içindir. Login olmak ve form doldurtmak gibi fonksiyonlar da mümküdür:
from locust import HttpLocust, TaskSet, task
class UserBehavior(TaskSet):
def on_start(self):
self.diger_sayfa()
@task(1)
def diger_sayfa(self):
response = response = self.client.get("/authentication/register")
class WebsiteUser(HttpLocust):
task_set = UserBehavior
min_wait = 0
max_wait = 0
Son olarak bu kodların bulunduğu klasöre konsoldan gidin ve aşağıdaki komutu çalıştırın:
locust -f locustfile.py --host=http://testedeceginizadres.com
Bu komutu çalıştırdıktan sonra http://localhost:8089 sayfasını açın. Bu sayfa şöyledir:
Bu komutu çalıştırdıktan sonra http://localhost:8089 sayfasını açın. Bu sayfa şöyledir:
Bu alana aynı anda 100 kullanıcının 10 “hatch rate”si ile gireceğimizi simüle edeceğimizi söyledik. “Start swarming’ butona basınca ekran şöyle olur:
Burada sayfanın bu strese nasıl cevap verdiği, cevap verme süreleri ve eğer erişim durdu ise erişimin kesilmesi gibi bilgiler görüntülenir.
Charts ekranından da sayfanın tepkilerini canlı izleyebiliriz.
Bu araç sayesinde ilk stres testimizi yapmış olduk. Daha ileri testler için Locust dokümantasyonunu okuyabilirsiniz.: https://docs.locust.io/en/stable/
Kolay gelsin
Adli bilişimcilik sadece uzmanlarına yarar sağlamaz. Bu bilim özellikle kötü günlerinizde de işe yarayabilir. Diyelim ki tezinizi yanlışlıkla sildiniz. Çöp kutusunda da yok. Bu durumda debian tabanlı linux sürümlerinde (Ubuntu, ElementaryOS gibi) aşağıdaki komutu kullanarak silinmiş dosyayı komut satırında geri getirebilirsiniz. Tabii bu text dosyaları için işe yarıyor. Eğer diğer dosyalar için de tam bir araştırma yapmak isterseniz “photoscan” adlı komutu kullanın.
Gelelim bizim diğer komuta:
grep -a -C 200 -F 'sildiğiniz dosyada geçen özel bir kelime' /dev/sda1
Bu komutu şöyle kullancaksınız. Sildiğiniz dosyada hatırladığınız bir kelime varsa bunu yukarda ilgili alana yazın. En sonda ise ‘sda1’ yazan yere disk adını yazın.
Komut eğer bulabilirse tamamen silinmiş dosya veya dosyaları geri getirip içeriğini komut satırında gösteriyor.
PCA ile ilgili olarak unuttuklarımızı gözden gözgen geçirmek için basit bir egzersiz tasarladım. Bu örnek hipotetik bir veri seti üzerinde tasarlanmıştır. Durumu tam kavradıktan sonra bunu gerçek veri seti üzerinde uygulayacağız.
Diyelim ki bir grup öğrencinin farazi bir okulda Türkçe, Farsça, Arapça ve Süryanice dillerinden aldıkları dil puanları ve memleket bilgileri yer alsın. Bu veri setinde özellikle Van’lı olanları Türkçe ve İngilizcelerinin iyi Farsçalarının da azıcık iyi olmasına özen gösterdik. Mardinlilerin ise Arapçalarının iyi, Türkçe e İngilizcelerinin ise Van’lılara göre kötü olacağını düşündük. Daha sonra Siirtlileri ise Türkçe ve İngilizcelerinin kötü ancak Arapça’da en az Mardinliler kadar iyi olmalarını sağladık. Son olarak Süryanice’de en usta olanların Siirt’liler, Mardinliler ise azıcık Süryaniceye hakim olsun.
Şimdi PCA yaparak bu 5 dil yerine tek bir gösterge ortaya çıkararak tüm veri setinde memleket değişkenini en yüksek ölçüde açıklamayaçalışacağız.
Veri setimiz şuydu:
data = read.csv("ornek2.csv")
rownames(data) <- data$student
data[2:7]
## memleket turkce farsca arapca ingilizce suryanice ## suat van 90 60 10 90 0 ## garb van 88 70 11 88 0 ## vahi van 89 71 13 93 0 ## mahi mrd 70 10 90 66 11 ## meli mrd 65 11 98 67 7 ## fahro srt 40 40 89 60 90 ## abdo srt 40 40 89 60 90 ## hako srt 40 40 89 60 90
data.pca <- prcomp(data[3:7]) data.pca
## Standard deviations (1, .., p=5): ## [1] 62.697451 32.779140 3.550695 1.399083 0.912195 ## ## Rotation (n x k) = (5 x 5): ## PC1 PC2 PC3 PC4 PC5 ## turkce -0.3574760 0.11677660 -0.2578622 0.1165373 -0.8823267 ## farsca -0.2328702 -0.56494423 0.7378478 -0.1834692 -0.2202935 ## arapca 0.6056701 0.49571857 0.5167242 0.1554323 -0.3102639 ## ingilizce -0.2295579 -0.07426912 0.1540874 0.9442049 0.1628538 ## suryanice 0.6312284 -0.64494065 -0.3135936 0.1925512 -0.2240209
PC1 adlı komponentimizin %62 oranında tüm veri setini açıkladığını görüyoruz, PC2 adlı komponent ise %32 oranında açıklıyor. Sadece bu iki komponenti kullarak tüm veri setini 62+32 = %94 oranında açıklayabiliriz. Bunun için 5 dille ilgili parametrelere gerek kalmaz.
#library("devtools")
#install_github("vqv/ggbiplot")
data.pca adlı değişkenimize tanımladığımız komponentlerden en güçlü iki komponentimizi grafiğe yerleştiriyoruz. Görülen okun yönü ise her bir parametrenin (dil) ekseninde yer aldığı komponente hizmet ettiğini gösteriyor, ok ne kadar uzunsa o parametre o komponente o kadar hizmet ediyor (açıklıyor). Buna göre yatay eksende PCA1 komponentini en çok arapça ve süryanice açıklıyor. Aynı komponenti Türkçe, İngilize ve Farça bilgisi de açıklıyor ancak ters yönde.
Öte yandan Süryanic bilgisi ile Farsça bilgisi ise PCA2’yi açıklıyor bu bilgilerin aksi istikamete ise Arapça yer alıyor. Tüm bu ilişkiler yani hangi komponentin hangi parametre ile ne kadar ilgili olduğu zaten PCA tablosunda görülebiliyor.
library("ggbiplot")
ggbiplot::ggbiplot(data.pca,labels= rownames(data),groups = data$memleket)
Bu grafiğe isimleri de eklediğimizde memleketlerine göre de renklendirdiğimizde sağ alt köşede üç mardinli arkadaşın da aybı yerde yer aldığını ve bu arkadaşların da bir küme olma nedeninin Süryanice bilgisi olduğunu başka bir şeye bakmaksızın anlıyoruz. Yani memlekete bilgisi olmasaydı dahi PCA bize bu arkadaşların ortak bir özelliğinin var olduğunu söylemiş oluyor. Aynı durum grafiğin üstünde siirtiler kaar olmasa da yine ayrı bir grubun var olduğunu gösteriyor. Solda is Van’lılar yer alıyor onlar ise Türkçe, İngilizce ve Farsça bilgisi ile göz dolduruyor 🙂
Metin madenciliğinde sınıflandırma için kullanılacak algoritmalarda eğer gözetimli algoritma (supervised) kullanırsak dışarıdan eğitim verisine ihtiyaç duyarız. Dışarıdan gözetim gerektirmeyen (unsupervized) algoritmalarda ise metin içinde yapılar “cluster” adı verilen yapılara göre otomatik olarak algılanabilir.
Aşağıdaki kodlarla TF.IDF metriği üzerinden K-Means algoritması kullanılarak basit 6 cümleden oluşan bir korpus içinde 2 sınıf otomatik olarak ortaya çıkarılmıştır.
In [19]:
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
all_text = """
Ekonomik kriz insanları etkiledi
Ekonomik krizde çözüm aranıyor
Ekonominin patronlarından parasal çözümler
Mide ağrısı nasıl geçirilir
Mide ağrısı için hangi ilaçlar iyidir
Mideniz ağrıdığında ne yapmalısınız?
""".split("\n")[1:-1]
# Preprocessing and tokenizing
def preprocessing(line):
line = line.lower()
line = re.sub(r"[{}]".format(string.punctuation), " ", line)
return line
In [20]:
all_text
Out[20]:
[' Ekonomik kriz insanları etkiledi', ' Ekonomik krizde çözüm aranıyor', ' Ekonominin patronlarından parasal çözümler', ' Mide ağrısı nasıl geçirilir', ' Mide ağrısı için hangi ilaçlar iyidir', ' Mideniz ağrıdığında ne yapmalısınız?']
In [21]:
import re import string tfidf_vectorizer = TfidfVectorizer(preprocessor=preprocessing) tfidf = tfidf_vectorizer.fit_transform(all_text) sinif_sayisi =2 kmeans = KMeans(n_clusters=sinif_sayisi).fit(tfidf)
In [23]:
suat_order_centroids = kmeans.cluster_centers_.argsort()[:, ::-1] suat_terms = tfidf_vectorizer.get_feature_names()
In [24]:
for i in range(sinif_sayisi):
print("Cluster %d:" % i),
for ind in suat_order_centroids[i, :10]:
print(" %s" % suat_terms[ind])
Cluster 0: ekonomik aranıyor krizde etkiledi insanları çözüm kriz ağrıdığında ekonominin çözümler Cluster 1: ağrısı mide nasıl geçirilir için hangi ilaçlar iyidir insanları ağrıdığında
In [25]:
#hangi metin hangi cluster'da # mide ağrısı Cluster'i 1 olduğundan aşağıda ilk sonuç 1 döner lines_for_predicting = ["mide ağrısı", "ekonomi","kriz"] kmeans.predict(tfidf_vectorizer.transform(lines_for_predicting)) # array([0, 1], dtype=int32)
Out[25]:
array([1, 0, 0], dtype=int32)
Bonjour. Cette mon premier article de blog en français. Je veux parler le Français. Je veux essayer d’utiliser les méthodes dans le livre “Fluent Forever“. Lorsque j’écris je ne regarde du lexicon. Cette ne facile pas mais nécessite. J’utilise l’application “Anki” pour développement mon lexicon. Je repete. J’aime journal en français. J’aime Le Monde. J’écris ce pour moi. Peut-être tu penses cette ne parfait pas. Vrai. Je ne parfait pas mais je pense les plus rationale route et essayé. Salut 🙂
import networkx as nx
G = nx.Graph()
G.add_node("kids",repeat=2)
G.add_node("netflix",repeat=4)
G.add_node("strategy",repeat=1)
G.add_node("app",repeat=1,)
G.add_node("chinese",repeat=2)
G.add_node("movie",repeat=1)
G.add_node("language",repeat=2)
G.add_node("alibaba",repeat=1)
G.add_edges_from([
('kids','netflix'),
('kids','suat'),
('kids','app'),
('netflix','app'),
('netflix','movie'),
('netflix','strategy'),
('strategy','movie'),
('chinese','language'),
('netflix','language'),
('strategy','chinese'),
('netflix','alibaba')
])
#colorizing according to the frequency
#https://stackoverflow.com/questions/27030473/how-to-set-colors-for-nodes-in-networkx-python
color_map = []
for node in G:
#https://stackoverflow.com/questions/13698352/storing-and-accessing-node-attributes-python-networkx
node_repeat = G.node[node]['repeat']
if node_repeat > 2:
color_map.append('red')
else: color_map.append('orange')
import matplotlib.pyplot as plt
pos=nx.circular_layout(G)
nx.draw(G,node_color = color_map,with_labels = True , pos = pos)
plt.show()
