Doğal dil işleme ( naturel language processing ) dediğimiz kavram aslına bakarsanız bilgisayarlarımızın konuşurken kullandığımız dili anlamasıdır. Bilgisayarımızın konuştuğumuz dili anlayabilmesi , anladığı şeyler hakkında yorum yapması ve hatta kendi başına sıfırdan bir cümle üretmesine doğal dil işleme adını veriyoruz. Özellikle yapay zeka ve makine öğreniminde kullanılan doğal dil işleme dil biliminin ortak kullanıldığı bir disiplindir. Günümüzde telefonumuzda çoğumuzun kullandığı asistanlar (siri, google asistan) ve onlara verdiğimiz komutlar, çeviri uygulamaları, mesaj yazarken çoğunlukla işimize yarasada bazen baş belası olan kelime tahminler (t9) gibi birçok teknoloji doğal dil işleme teknolojisinin birer sonucudur. Bunun yanı sıra son zamanlarda çokça karşımıza çıkan ve gelişmekte olan metin madenciliği (text mining) de bir doğal dil işleme ürünüdür. Doğal dil işleme ile ilgili kısa bir giriş yaptık gelin şimdi doğal dil işleme nasıl kullanılır onu inceleyim.
Doğal Dil İşlem Nasıl Kullanılır?
Doğal dil işleme kullandığınız diller arasında farklılıklar gösterebilir. Kullandığımız bilgisayar öncelikle verdiğimiz kelimenin kökü üzerine gelen eklerle birlikte yeni anlamını inceler, bu yaptığı işleme kelime bilimi (lexical) adı verilir. Kelimenin kökünü köke gelen yeni ekler ile birlikte inceledikten sonra kelimelerin sıralamasını dikkate alarak ne anlama geldiğini anlamaya çalışır bu olaya da söz dizimi (syntactic) adı verilmektedir. Son işlem olarak cümlelerin bütününe bakarak ne ifade ettiklerini anlamaya çalışır buna da söylev (pragmatics) adı verilir. Kısaca nasıl kullanıldığını özetleyecek olursak bilgisayar kelime kökünü ayrı bir şekilde, kelimelerin sıralamasına bakarak ayrı, cümlenin ve söylevin (pragmatics) anlamına bakarak ayrı bir şekilde inceleme altına alıyor. Bu sayede konuşmanın bağlamını öğrenerek konuşmadan bir anlam çıkarıyor.
Doğal Dil İşleme Duygu Analizini Nasıl Yapar?
Doğal dil işleme çalışmalarının bir alt dalı olan duygu analizi( Sentiment Analysis) bir konu hakkındaki sözlü ya da yazılı olarak verilerin verilerin içerisinden öznel dil ögelerini anlamlandırılabilmektedir. Diğer bir adıyla Fikir madenciliği (Opinion Mining) doğal dil işleme alanında sık sık kullanılan bir metottur. Herhangi bir ses, resim ya da metin dosyalarının görüş ve duygularının analiz edilmesidir. Genellikle şirketlerin zor kararlarda karar verme süreçlerinde ciddi olarak yardım aldıkları bir teknolojidir. Duygu analizi yapmak isterseniz kaynak olarak halkla yapılan röportajlar, anketler, Facebook, Twitter gibi sosyal medya platformalarından bolca analiz yapabileceğiniz kaynak toplayabilirsiniz. Duygu analizi kısaca şu süreçlerle yapılır:
- Kütüphanelerin yüklenmesi
- Verilerin görselleştirilmesi
- Verilerin temizliğinin yapılması
- Kategorik olan verilerin sayısal veriler çevrilmesi
- Makine öğrenimi modeli ve test verilerinin tahminin yapılması
Yukarıda belirttiği adımlar yapılarak doğal dil işleme duygu analizin sizlerde gerekli bilgiyi edindikten sonra yapabilirsiniz.
Doğal Dil İşleme Yöntemleri
Yapay Zeka ve Doğal Dil İşleme
Günümüzde yavaş yavaş başlayan ve ilerleyen zamanlarda daha çok olacağına inandığımız insanın makinelerden olan beklentisi, konuşma sentezleyiciler ve konuşma – anlama gibi alanlarda gerçekleşen gelişmeler ve son olarak makine-insan arasındaki iletişimin daha da gelişmesi sonucunda insanların makinelerden olan beklentisi daha da artacaktır. Gelecekte günümüzde olduğu gibi insanlar makinelerin kendilerini anlamalarını isteyecek ve anlaşılması ve kullanılması zor olan makineler Pazar bulamayacaktır. Giderek gelişen teknolojiler ve doğal dil işleme gibi metotlar sayesinde gelecekteki makinelerin günümüzdekilerden çok daha fazla derecede zeki olacağı ve bu zeki makine kavramının kesinlikle insan hayatını daha verimli bir hale getireceği düşünülmekte. Bu zeki makine hayali ve düşüncesi günümüzde yapay zeka çalışmalarını büyük derecede hızlandırmış bu alana daha çok yatırım yapılmasını sağlamış kısacası yapay zeka teknolojisinin önünü açmıştır.
Python ile Doğal Dil İşleme (NLP) Nasıl Yapılır?
Python kolay söz dizilimi , açık kaynak kodlu olması gibi birçok özelliğinden dolayı doğal dil işleme alanında da kullanılmaktadır. Python makine öğrenimi ve derin öğrenme gibi doğal dil işleme ile bir bağlantısı olan işlemler için ve kullanılacak araçlar için mükemmel bir biçilmiş kaftandır. Pythonun bir adım öne çıkmasının bir sebebi ise çok sayıda teknoloji ile uyumlu bir şekilde çalışabilmesi ve öğrenim kolaylığıdır. Python çeşitli kütüphaneleri sayesinde kullanıcılara birçok seçenek sunmaktadır. Bunlardan örnek verecek olursak:
- SpaCy
- Nltk
- Gensim
- Numpy
SPACY
Doğal dil işlemenin son teknolojilerinden biridir. Pythona bağlı olarak çalışan fakat C programlama diline benzer yapıda olan SpaCy, Pythondan hızlı olması için tasarlanmış Cython ile kullanıldığı zaman epey hızlıdır. Bu özellik sayesinde büyük verilerle çalışmayı hızlandırır . SpaCy için şu anda piyasada var olan en hızlı doğal dil işleme teknoloji diyebiliriz.
NTLK (NATUREL LANGUAGE TOOLKIT)
NLTK ’yı Türkçede ki karşılığı Doğal Dil Araç Setidir . Doğal dil işleme alanında en çok bilinen ve en çok kullanılan kütüphanedir. İngilizce için geliştirilmiş sembolik ve istatistiksel bilgileri içinde barındıran bir doğal dil işleme kütüphanesidir. Doğal dil işleme üzerinde yeni çalışmaya başlayanların kullandığı güzel bir kütüphanedir. NLTK ile cümle kurma, kök bulma gibi birçok işlemi hızlı ve kolay bir şekilde gerçekleştirilmesi mümkündür.
GENSİM
Gensim Python’da içe aktarılarak kullanılan bir kütüphanedir. Aslında bizim için bir kütüphaneden çok daha fazlası. Veri madenciliği konusunda oldukça verimli ve kullanışlı olması işimizi çoğu zaman büyük ölçüde kolaylaştırır. Aynı zamanda modellemede ve vektör uzay modelleme de kullanılan bir doğal dil işleme teknolojisidir. Numpy kütüphanesinin de yardımıyla birlikte yüksek bir işlem kapasitesine ve hızına sahiptir. Gözetimsiz öğrenme alanında sık sık kullanılmaktadır.
Türkçe Doğal Dil İşleme Yöntemleri
Türkçe doğal dil işleme çözümleri ile yazı formatındaki verilerinizi yapılandırarak , büyük hacimli verilerinizin analizlerini yapabilir, işinizin verimin arttırmakla kalmayıp aynı zamanda hızlandırabilirsiniz. Düşündüğümüzde doğal dil işleme günlük hayatta çokça kullanmadığımız bir kelime olsa dahi günlük hayatta kullandığımız teknolojilerde yer edinmekte. Bu doğal dil işleme teknolojilerine örnek verecek olursak:
Google asistam, tüm apple kullanıcların severek kullandığı Siri, akıllı evlerde bolca kullanılan Cortana ve Alexa gibi kişisel asistan uygulamaları
Çoğumuzun diller arasında çeviri yapabilmesi için kullandığı Google, Yandex Çeviri gibi dil çeviri uygulamaları
Paraphrasing, Word Spinner gibi metinlerde anlamı bozmadan farklı kelimelerin nasıl kullanacağını gösteren programlar.
Yazdığımız metinlerde dil bilgisi hatalarını ve doğrularını gösteren Microsoft Word ve Grammarly gibi uygulamalar
Varlık tanıma ve bilgi çıkarma bu teknoloji genellikle insan kaynaklarında kullanılıyor.
( Named Entity Recognition) tekniği kullanmaktadır.
Sesli Yanıt (IVR) genellikle çağrı merkezlerinde kullanılan sesli yanıt uygulamaları gibi pek çok uygulama, doğal dil işleme örnekleri olarak verilebilir.
