Yakla\u015f\u0131k bir y\u0131l\u0131 a\u015fk\u0131n s\u00fcredir ElasticSearch \u00fczerinde \u00e7al\u0131\u015fmaktay\u0131m. Search Engine \u00fczerine olan makale serilerimde\u00a0ise art\u0131k zaman zaman sizlere ElasticSearch \u00fczerinde bulunan deneyimleri aktarmaya \u00e7al\u0131\u015faca\u011f\u0131m.<\/p>\n
Dilerseniz \u00f6ncelikle ElasticSearch nedir? sorusundan ba\u015flayarak, mimari\u00a0\u00f6zelliklerine do\u011fru inelim.<\/p>\n ElasticSearch daha \u00f6nce de bahsetti\u011fim gibi Lucene alt\u00a0yap\u0131s\u0131 \u00fczerine kurulmu\u015f, Java programlama dili ile ve open-source olarak geli\u015ftirilmi\u015f,\u00a0\u00f6l\u00e7eklenebilir(scalable), full text search tabanl\u0131 bir search engine’dir.<\/p><\/blockquote>\n Sa\u011flad\u0131\u011f\u0131 en b\u00fcy\u00fck avantajlardan biri\u00a0ise distributed(da\u011f\u0131t\u0131k) olu\u015fudur. Bunun yan\u0131 s\u0131ra scalable olmas\u0131 ve highly available’a sahip olmas\u0131 da en b\u00fcy\u00fck yetenekleri aras\u0131ndad\u0131r. B\u00fcy\u00fck verilerle\u00a0\u00e7al\u0131\u015f\u0131yor\u00a0oldu\u011fumuzda RDBMS’lerin bizlere sa\u011flamakta zorland\u0131\u011f\u0131 full text search i\u015flemlerini, daha h\u0131zl\u0131 ve performansl\u0131 bir \u015fekilde sa\u011flayabilmektedir.\u00a0G\u00fcn\u00fcm\u00fcz devlerine bakt\u0131\u011f\u0131m\u0131zda “LinkedIn,\u00a0Stack Overflow,\u00a0FourSquare ve\u00a0Amazon” gibi firmalar arkaplanlar\u0131nda ElasticSearch’\u00fc kullanmaktad\u0131rlar.<\/p>\n Bu makale kapsam\u0131nda ise ElasticSearch’\u00fc tan\u0131y\u0131p\u00a0kurulum i\u015flemini ger\u00e7ekle\u015ftirece\u011fiz. Kurulum i\u015fleminin ard\u0131ndan Kibana, Sense ve Marvel gibi plugin’leri ekleyip, inceliyor olaca\u011f\u0131z.\u00a0\u0130lk olarak\u00a0kurulum i\u015flemlerine\u00a0ba\u015flamadan \u00f6nce ad\u0131m ad\u0131m baz\u0131 kavramlardan bahsedelim ve ar\u0131ndan kurulum a\u015famalar\u0131na ge\u00e7elim.<\/p>\n ElasticSearch “document oriented” bir yap\u0131ya\u00a0sahip oldu\u011fu i\u00e7in \u00fczerindeki\u00a0her bir data, indexlenerek bir JSON belgesi niteli\u011finde tutulmaktad\u0131r.\u00a0RDBMS’leri baz alarak bakt\u0131\u011f\u0131m\u0131zda ise her bir index’i bir catalog’a\u00a0benzetebiliriz. Index’lerin isimleri ise “unique” ve “lowercase” olmak zorundad\u0131r. Toparlamak gerekirse: ElasticSearch index’leri, JSON dok\u00fcman y\u0131\u011f\u0131n\u0131d\u0131r da diyebiliriz.<\/p>\n Type’lar olduk\u00e7a basittir. Ayn\u0131 RDBMS’lerde oldu\u011fu gibi catalog’lar i\u00e7erisindeki\u00a0tablolar’a benzetebiliriz. Type isimleri ilgili index i\u00e7erisinde olu\u015fturulurken “unique” olmal\u0131d\u0131r ve yine “lowercase” olarak tan\u0131mlanmal\u0131d\u0131r.<\/p>\n Bir data’n\u0131n\u00a0ElasticSearch’e nas\u0131l aktar\u0131lmas\u0131 gerekti\u011finin yap\u0131land\u0131r\u0131ld\u0131\u011f\u0131 yerdir. Type’lar olu\u015fturulurken daha \u00f6nceden yap\u0131land\u0131r\u0131lm\u0131\u015f olan bu Mapping bilgileri ile olu\u015fturulmaktad\u0131r. Burada ilgili Type’lar\u0131n nas\u0131l field<\/strong>‘lara sahip olaca\u011f\u0131, bu field’lar\u0131n indexleme ve search i\u015flemleri s\u0131ras\u0131nda nas\u0131l\u00a0“Analyze” ve “Tokenize” edilece\u011fi, hen\u00fcz bahsetmemi\u015f olsak bile ilgili index’in ka\u00e7 adet replica<\/strong>‘ya ve shard<\/strong>‘a sahip olaca\u011f\u0131\u00a0gibi spesifik bilgiler yap\u0131land\u0131r\u0131lmaktad\u0131r.<\/p>\n ElasticSearch’\u00fcn en \u00f6nemli \u00f6zelliklerinden birtanesi de esnek ve g\u00fc\u00e7l\u00fc bir yap\u0131ya sahip olan REST mimarisi \u00fczerine kurulu\u00a0olmas\u0131d\u0131r.\u00a0Esnek ve lightweight<\/strong> pipeline’\u0131 sayesinde kolayl\u0131kla\u00a0HTTP protokol\u00fc \u00fczerinden JSON g\u00f6nderilip,\u00a0al\u0131nabilmektedir.<\/p>\n Structural olarak \u00f6nemli kavramlardan bahsetti\u011fimize g\u00f6re kurulum i\u015flemlerine ba\u015flayabiliriz. Ben\u00a0\u00f6rnek gere\u011fi kurulum i\u015flemlerini Windows \u00fczerinde ger\u00e7ekle\u015ftirece\u011fim. Kurulum dosyas\u0131na buraya <\/a>t\u0131klayarak eri\u015febilirsiniz. Ben ilgili link \u00fczerinden “2.3.4” versiyonuna ait ZIP dosyas\u0131n\u0131 indiriyorum.<\/p>\n \u0130ndirmi\u015f oldu\u011fumuz dosyay\u0131 ZIP i\u00e7erisinden \u00e7\u0131kartal\u0131m ve klas\u00f6r isminden versiyon numaras\u0131n\u0131 silerek “C” root dizini alt\u0131na koyal\u0131m.<\/p>\n Gelen dosyalara h\u0131zl\u0131ca bir g\u00f6z att\u0131\u011f\u0131m\u0131zda ise:<\/p>\n Konfigurasyon i\u015flemlerini daha \u00f6nce download i\u015flemini ger\u00e7ekle\u015ftirip “C” root dizini alt\u0131nda “elasticsearch” path’i i\u00e7erisinde bulunan, “config” dosyas\u0131 alt\u0131ndaki “elasticsearch.yml” dosyas\u0131n\u0131 d\u00fczenleyerek ger\u00e7ekle\u015ftirece\u011fiz. Konfigurasyon s\u0131ras\u0131nda ger\u00e7ekle\u015ftirecek oldu\u011fumuz i\u015flemler ise s\u0131ras\u0131yla, cluster<\/strong> ve node <\/strong>ismini belirlemek olacakt\u0131r.<\/p>\n “elasticsearch.yml” dosyas\u0131n\u0131 herhangi bir metin edit\u00f6r\u00fc ile a\u00e7arak a\u015fa\u011f\u0131daki iki de\u011fi\u015fikli\u011fi ger\u00e7ekle\u015ftirelim.<\/p>\n Konfigurasyon i\u015flemleri \u015fimdilik bu kadar.<\/p>\n Gerekli konfigurasyon i\u015flemlerini ger\u00e7ekle\u015ftirdikten sonra ElasticSearch kurulumuna komut sat\u0131r\u0131 (Command Prompt) \u00fczerinden devam edece\u011fiz. Kurulumu olduk\u00e7a basit. Kurulum i\u00e7in komut sat\u0131r\u0131 ekran\u0131nda a\u015fa\u011f\u0131daki komutu\u00a0\u00e7al\u0131\u015ft\u0131rmam\u0131z yeterlidir.<\/p>\n Not<\/strong>: Kurulumu ger\u00e7ekle\u015ftirmeden \u00f6nce Windows \u00fczerinde Java’n\u0131n kurulu olmas\u0131 gerekmektedir.<\/p><\/blockquote>\n Yukar\u0131daki komut sat\u0131r\u0131n\u0131n\u00a0\u00e7al\u0131\u015ft\u0131r\u0131lmas\u0131n\u0131n\u00a0ard\u0131ndan “The service ‘elasticsearch-service-x64’ has been installed.” mesaj\u0131 ile kurulumun ger\u00e7ekle\u015fti\u011fini anlayabilmekteyiz. \u015eimdi s\u0131ra geldi servisimizi \u00e7al\u0131\u015ft\u0131rmaya. Bu i\u015flem de ayn\u0131 kurulumda oldu\u011fu kadar basit. Tek yapmam\u0131z gereken:<\/p>\n komutunu \u00e7al\u0131\u015ft\u0131rmakt\u0131r.<\/p>\n \u0130\u015fte bu kadar. ElasticSearch servisimiz Windows \u00fczerinde haz\u0131r durumdad\u0131r. Default olarak konfigurasyon i\u00e7erisinde “9200” portunu kullanmaktad\u0131r.<\/p>\n Olu\u015fturmu\u015f oldu\u011fumuz test elastic cluster adresine\u00a0eri\u015febilmek\u00a0i\u00e7in “http:\/\/localhost:9200″<\/em>\u00a0URL’ini kullanabiliriz.<\/p>\n Yukar\u0131da g\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi ilgili URI \u00fczerinden response olarak JSON\u00a0\u00e7\u0131kt\u0131s\u0131 d\u00f6nmektedir ve ilgili\u00a0cluster \u00fczerindeki elastic\u00a0bilgilerini vermektedir.<\/p>\n Kurulum i\u015flemlerini tamamen bitirdi\u011fimize g\u00f6re C# provider’\u0131 ile kullan\u0131mlara ge\u00e7meden \u00f6nce dilerseniz, sorgulama\u00a0a\u015famalar\u0131nda\u00a0i\u015fimize \u00e7ok yarayacak olan Sense\u00a0<\/strong>plugin’ini\u00a0kural\u0131m ve inceleyelim.<\/p>\n ElasticSearch’\u00fcn sunmu\u015f oldu\u011fu Marvel aray\u00fcz\u00fc\u00a0ile t\u00fcm node’lar\u0131n durumlar\u0131n\u0131 g\u00f6rebilir, dok\u00fcman say\u0131lar\u0131n\u0131 takip edebilir ve hatta\u00a0t\u00fcm request’lerin rate bilgilerine ula\u015fabiliriz. Birba\u015fka de\u011fi\u015fle\u00a0ElasticSearch’\u00fc monit\u00f6r edebilmemizi\u00a0sa\u011flamaktad\u0131r. Sense plugin’i\u00a0ise herhangi bir ElasticSearch query’sini\u00a0browser \u00fczerinden direkt olarak execute edebilmemizi sa\u011flayan bir ara\u00e7t\u0131r. Bu sayede herhangi bir tool’a\u00a0ihtiya\u00e7 duymadan Sense \u00fczerinden bu tarz sorgulama i\u015flemlerini ger\u00e7ekle\u015ftirebilmekteyiz. Sorgulama i\u015flemlerinin ger\u00e7ekle\u015ftirilebilmesinin yan\u0131 s\u0131ra Index<\/strong>, Mapping<\/strong> ve Document<\/strong> ekleme\/silme gibi i\u015flemleri de yapabilmekteyiz.<\/p>\n Sense kullanabilmek i\u00e7in \u00f6ncelikle Kibana ‘y\u0131 kurmam\u0131z gerekmektedir. Kibana data visualization<\/strong> platform’udur.\u00a0Kurulum i\u015flemi olduk\u00e7a basittir. Kurulumu ger\u00e7ekle\u015ftirebilmek i\u00e7in buraya\u00a0<\/a>t\u0131klayarak, i\u015fletim sisteminize uygun Kibana dosyas\u0131n\u0131 indirin. Kurulum ad\u0131mlar\u0131na “Installation Steps” ba\u015fl\u0131\u011f\u0131 alt\u0131ndan da g\u00f6z atabilirsiniz. \u0130ndirmi\u015f oldu\u011fumuz\u00a0Kibana ZIP ar\u015fivini bir dosyaya \u00e7\u0131kartal\u0131m. Ben bu i\u015flem i\u00e7in ElasticSearch’\u00fc kurarken olu\u015fturmu\u015f\u00a0oldu\u011fumuz “C:\\elasticsearch<\/em>” path’i\u00a0gibi, “C:\\kibana<\/em>” path’ini olu\u015fturuyorum ve ilgili Kibana dosyalar\u0131n\u0131\u00a0buraya koyuyorum.<\/p>\n Not<\/strong>: E\u011fer ElasticSearch kurulumu s\u0131ras\u0131nda farkl\u0131 bir port adresi set etti isek,\u00a0Kibana’n\u0131n i\u00e7erisindeki “config” klas\u00f6r\u00fcne girerek, “config\/kibana.yml<\/em>” i herhangi bir edit\u00f6r ile a\u00e7\u0131p “elasticsearch.url<\/em>” de\u011ferini\u00a0ilgili elastic port’una sahip URL ile de\u011fi\u015ftirelim. Zaten herhangi bir de\u011fi\u015fim yapmad\u0131 isek, default olan port ge\u00e7erli olacakt\u0131r.<\/p><\/blockquote>\n Bu i\u015flemlerin ard\u0131ndan art\u0131k geriye Kibana’y\u0131 \u00e7al\u0131\u015ft\u0131rmak kal\u0131yor. Bunun i\u00e7in ise, “bin” dosyas\u0131 i\u00e7erisindeki “kibana.bat” dosyas\u0131n\u0131 \u00e7al\u0131\u015ft\u0131rmam\u0131z yeterli olacakt\u0131r.<\/p>\n Yukar\u0131da g\u00f6rd\u00fc\u011f\u00fcm\u00fcz gibi Kibana \u015fuan haz\u0131r durumdad\u0131r. E\u011fer Kibana aray\u00fcz\u00fcn\u00fc incelemek isterseniz “http:\/\/localhost:5601\/app\/kibana<\/em>” URL’ini kullanabilirsiniz. Kibana’n\u0131n aray\u00fcz\u00fcn\u00fcn detaylar\u0131na\u00a0daha sonraki yaz\u0131lar\u0131mda de\u011finmeyi planl\u0131yorum. \u015euan Kibana’y\u0131 sadece Sense ve Marvel plugin’lerini kullanabilmek i\u00e7in\u00a0kurulum i\u015flemini ger\u00e7ekle\u015ftirdik. \u00c7\u00fcnk\u00fc Sense bir Kibana plugin’idir.<\/p>\n Art\u0131k\u00a0Kibana \u00fczerine Sense kurulumuna ge\u00e7ebiliriz. Bunun i\u00e7in komut sat\u0131r\u0131ndan yine yapmam\u0131z gereken tek \u015fey, a\u015fa\u011f\u0131daki komutlar\u0131 execute etmektir.<\/p>\n <\/p>\n Sense kurulumu da ba\u015far\u0131yla ger\u00e7ekle\u015ftirdik. Dilerseniz hemen Sense aray\u00fcz\u00fcne bir g\u00f6z atal\u0131m. Sense aray\u00fcz\u00fcne eri\u015febilmek i\u00e7in “http:\/\/localhost:5601\/app\/sense<\/em>” adresini browse etmemiz\u00a0yeterli olacakt\u0131r. Browse etti\u011fimizde kar\u015f\u0131m\u0131za \u00e7\u0131kacak olan ilk ekran g\u00f6r\u00fcnt\u00fcs\u00fc a\u00e7a\u011f\u0131daki gibi olacakt\u0131r.<\/p>\n Bu ekran\u0131n sol taraf\u0131ndaki b\u00f6l\u00fcmden JSON syntax’\u0131n\u0131 ElasticSearch komutlar\u0131na uygun kullanarak, diledi\u011fimiz sorgulama i\u015flemlerini yapabilmekteyiz.\u00a0Geriye gelecek olan response’lar ise yine JSON syntax’\u0131nda gelerek, sol k\u0131s\u0131mda yer alacakt\u0131r. ElasticSearch komutlar\u0131na buraya<\/a> t\u0131klayarak eri\u015febilirsiniz.\u00a0Bu komut\u00a0referans b\u00f6l\u00fcmleri aras\u0131ndan\u00a0\u00f6ncelikle\u00a0Document APIs<\/strong>, Query DSL<\/strong> ve Mapping\u00a0<\/strong>ba\u015fl\u0131klar\u0131na bir g\u00f6z\u00a0atmam\u0131z yararl\u0131 olacakt\u0131r.<\/p>\n Sense plugin’ini tan\u0131d\u0131k ve komutlar\u0131na nas\u0131l eri\u015febilece\u011fimizi g\u00f6rd\u00fck. Dilerseniz \u015fimdi Marvel kurulumu ile devam edelim. Marvel kurulumu da olduk\u00e7a basittir. Komut sat\u0131r ekran\u0131ndan kurmu\u015f oldu\u011fumuz Kibana path’inin “bin” klas\u00f6r\u00fcne gelerek s\u0131ras\u0131yla a\u015fa\u011f\u0131daki komutlar\u0131 \u00e7al\u0131\u015ft\u0131ral\u0131m.<\/p>\n Yukar\u0131daki\u00a0komutlar\u0131 \u00e7al\u0131\u015ft\u0131rd\u0131\u011f\u0131n\u0131zda\u00a0a\u015fa\u011f\u0131daki gibi bir komut ekran\u0131 ile\u00a0i\u015flem sonu\u00e7lanacakt\u0131r.<\/p>\n Marvel kurulum i\u015flemi de bu kadard\u0131r. Marvel aray\u00fcz\u00fcne erilebilmek i\u00e7in ise “http:\/\/localhost:5601\/app\/marvel<\/em>” URL’ini kullanabiliriz. Browse etti\u011fimizde kar\u015f\u0131m\u0131za a\u015fa\u011f\u0131daki gibi ilk olarak Cluster’lar\u0131m\u0131z\u0131 listeleyen bir ekran \u00e7\u0131kacakt\u0131r.<\/p>\n Makalenin ba\u015flang\u0131\u00e7 k\u0131s\u0131mlar\u0131nda hat\u0131rlarsak, cluster ismi olarak “elastic_gokalp_test<\/em>” vermi\u015ftim. Bu cluster’a t\u0131klayarak Overview\u00a0ekran\u0131na h\u0131zl\u0131ca bir ge\u00e7i\u015f yapabiliriz.<\/p>\n Bu ekrandan genel olarak cluster ile ilgili stat\u00fcs durumunu, ka\u00e7 adet node’a sahip oldu\u011funu ve ne kadar\u0131 kullan\u0131ld\u0131\u011f\u0131n\u0131, ne kadar index oldu\u011funu ve dok\u00fcman say\u0131lar\u0131na kadar olan bilgilere eri\u015febiliriz. Bunlar\u0131n yan\u0131s\u0131ra, Search<\/strong> ve Latency Rate<\/strong>‘lerine de eri\u015febiliriz.\u00a0K\u0131sacas\u0131 b\u00fcy\u00fck verilerle ve y\u00fcksek bir y\u00fck alt\u0131nda \u00e7al\u0131\u015f\u0131yorsak, Scale <\/strong>etmeye y\u00f6nelik her t\u00fcrl\u00fc bilgiyi Real-Time<\/strong> olarak monit\u00f6r edebilmemizi sa\u011flamaktad\u0131r. Marvel hakk\u0131ndaki detayl\u0131 bilgilere de buradan<\/a> eri\u015febilirsiniz.<\/p>\n Makalemiz i\u00e7erisinde genel olarak ElasticSearch’\u00fc tan\u0131d\u0131k, kurulumunu ger\u00e7ekle\u015ftirdik ve ard\u0131ndan Kibana, Sense ve Marvel plugin’lerine bir g\u00f6z att\u0131k. Bir sonraki makale serisinde ise, ElasticSearch’\u00fcn C# Provider’\u0131n\u0131 kullanarak bir mapping ve index olu\u015fturaca\u011f\u0131z. Bu i\u015flemler ard\u0131ndan da olu\u015fturacak oldu\u011fumuz index’e dok\u00fcmanlar\u0131m\u0131z\u0131 ekleyip basic olarak bir Search i\u015flemini ger\u00e7ekle\u015ftirece\u011fiz.<\/p>\n \u015eimdilik takipte ve\u00a0esenle kal\u0131n.<\/p>\n","protected":false},"excerpt":{"rendered":" Merhaba arkada\u015flar, bir ba\u015fka makale konusu ile kar\u015f\u0131n\u0131zday\u0131m. Search Engine konusuna daha \u00f6nceki\u00a0makalelerimden birisi olan Lucene.Net Search Engine K\u00fct\u00fcphanesi Kullan\u0131m\u0131 konusu ile bir giri\u015f yapm\u0131\u015ft\u0131m. Lucene’in \u00f6zellikle distributed indexleme ve search i\u015flemlerinde pure hali ile yetersiz kald\u0131\u011f\u0131n\u0131\u00a0ve daha kompleks\u00a0i\u015flemler i\u00e7in ise “Scoring i\u015flemleri, Facets\u2019ler, Auto…<\/p>\n![\"Elasticsearch\"](\"\/wp-content\/uploads\/2016\/07\/Elasticsearch.png\")
<\/a><\/p>\n1) S\u0131k Kullan\u0131lan Kavramlar<\/h2>\n
Index<\/h4>\n
Type<\/h4>\n
Mapping<\/h4>\n
API Structure<\/h4>\n
2) Kurulum<\/h2>\n
![\"elasticsearch-kurulum-1\"](\"\/wp-content\/uploads\/2016\/07\/elasticsearch-kurulum-1.jpg\")
<\/a><\/p>\n\n
3) Konfigurasyon<\/h2>\n
# Use a descriptive name for your cluster:\r\n#\r\ncluster.name: elastic_gokalp_test\r\n#\r\n# ------------------------------------ Node ------------------------------------\r\n#\r\n# Use a descriptive name for the node:\r\n#\r\nnode.name: gokalp_test_01\r\n#<\/pre>\n
4)\u00a0Ba\u015flatmak<\/h2>\n
C:\\elasticsearch\\bin\\>service install<\/pre>\n
\n![\"elasticsearch-kurulum-2\"](\"\/wp-content\/uploads\/2016\/07\/elasticsearch-kurulum-2.jpg\")
<\/a><\/p>\nC:\\elasticsearch\\bin>service start<\/pre>\n
![\"elasticsearch-kurulum-3\"](\"\/wp-content\/uploads\/2016\/07\/elasticsearch-kurulum-3.jpg\")
<\/a><\/p>\n{\r\n \"name\" : \"gokalp_test_01\",\r\n \"cluster_name\" : \"elastic_gokalp_test\",\r\n \"version\" : {\r\n \"number\" : \"2.3.4\",\r\n \"build_hash\" : \"e455fd0c13dceca8dbbdbb1665d068ae55dabe3f\",\r\n \"build_timestamp\" : \"2016-06-30T11:24:31Z\",\r\n \"build_snapshot\" : false,\r\n \"lucene_version\" : \"5.5.0\"\r\n },\r\n \"tagline\" : \"You Know, for Search\"\r\n}<\/pre>\n5) Kibana & Sense & Marvel<\/h2>\n
![\"kibana-server\"](\"\/wp-content\/uploads\/2016\/07\/kibana-server.jpg\")
<\/a><\/p>\nC:\\kibana\\bin>kibana plugin --install elastic\/sense\r\nC:\\kibana\\bin>kibana<\/pre>\n
![\"sense-kurulum\"](\"\/wp-content\/uploads\/2016\/07\/sense-kurulum1.jpg\")
<\/a><\/p>\n![\"sense-arayuz\"](\"\/wp-content\/uploads\/2016\/07\/sense-arayuz.jpg\")
<\/a><\/p>\nC:\\kibana\\bin>kibana plugin --install elasticsearch\/marvel\r\nC:\\kibana\\bin>kibana<\/pre>\n
![\"\"](\"\/wp-content\/uploads\/2016\/07\/marvel-kurulum.jpg\")
<\/a><\/p>\n![\"marvel-home\"](\"\/wp-content\/uploads\/2016\/07\/marvel-home.jpg\")
<\/a><\/p>\n![\"marvel-overview\"](\"\/wp-content\/uploads\/2016\/07\/marvel-overview.jpg\")
<\/a><\/p>\n