Firebase ve ML Kit ile Görsel üzerindeki metinlerin tanınması – CodeLab

Google’ın I/O 18 etkinliğinde Mobil uygulamalar icin ML Kit API’yı duyurmasının ardından, etkinlik sitesinde ML Kit ile alistirmalar yapabileceğimiz ornek projeler duyuruldu. Bu yazıda, ilgimi çeken Recognize text in images with ML Kit for Firebase: iOS codelab alistirmasi uzerinden giderek, yorumlarımı paylasacagim.

Yukarida paylastigim site uzerinden codelab adimlarini takip ettiginizde size Google tarafından hazirlanmis proje klasörünü indirmenizi isteniyor. Klasor içersinde iki adet proje yer alıyor. Ilki final, ikincisi ise starter. Starter proje ile ilerleyip, talimatları adim adim takip edecegiz.

Projeyi indirdikten sonra Xcode 9 ve uzerin versiyonlardan birinde acmalisiniz. Kirimizi ile işaretli ve henüz projede eksik olan GoogleService-Info.plist dosyasını farkedeceksiniz. Bu dosya Firebase ile projemiz arasındaki tanımları içeren dosya olacak. Bu dosyayı oluşturmak ve mobil uygulamamızla birlikte calisacak Firebase projesini oluşturmak icin Firebase Console‘a gidiyoruz ve Proje Ekle ile kendimize ML Kit Codelab adinda bir proje oluşturuyoruz.

Projemiz icin anasayfa hazırlandıktan sonra, Firebase’i hangi uygulama icin kullanacaksak entegrasyon icin verilen öneriyi takip ediyoruz. Yani bu ekranda iOS seçerek ilerliyoruz.

Codelab adiminda da yazdigi gibi burada iOS Paket ismi olarak com.google.firebase.codelab.mlkit yaziyoruz ve diger kisimlari boş bırakarak devam ediyoruz.  

Bu bilgiler sonunda, iOS projemiz icin Firebase ayarlarimizi içeren GoogleService-Info.plist dosyasını indiriyoruz.

Firebase Core kütüphanesi ve ML Kit kütüphanelerini iOS projemize Cocoapods ile alıyoruz. Bilgisayarinizda cocoapods kurulu degilse, sudo gem install cocoapods komutu ile yükleyebilirsiniz.

Cocoapods yükledikten sonra, terminal uzerinden projenizdeki ana dizinin içerisine gidip, pod init komutunu calistirmalisiniz. Bu komutla birlikte, bulunduğunuz dizinde projenizde kullanacaginiz yani bagimli oldugunuz pod’lari – kütüphanelerini- ekleyeceğiniz bir Podfile oluştuğunu goreceksiniz.

 

 

Podfile’i herhangi bir text editor ile açıp; use frameworks keywordu sonrasına Firebase Core, ML Vision ve ML Vision Text Model pod’larini almak icin aşağıdaki 3 satırı  ekliyoruz ve pod’lari almak icin yine terminal uzeriden pod install komutunu calistiriyoruz.

Source : Google

Bu komut tamamlandiginda, starter projemiz ve bagimli oldugumuz pod kütüphanelerini içeren bir workspace dosyası oluşturmuş olacak. xcworkspace uzantılı dosyayi çift tiklayarak Xcode ile açıyoruz.

pod install komutu sonrası projemizin klasör görünümü

Projemizi yeni bağımlılıkları ile birlikte calistirip seçtiğimiz herhangi bir simülatöre gönderiyoruz.  Scroll uzerinde iki farklı resimi görüntüleyebiliyoruz ve Find Text ve Find Text (Cloud) butonlarının arkasına henüz herhangi bir kod yazmadık.

Uygulamayi ilk defa simülatöre attigimizda.

Hadi kod yazmaya başlayalım, codelab tutorialinda olduğu gibi öncelikle görüntü üzerindeki metinleri tanımak icin Vision Api içerisinde bulunan VisionTextEditor sinifina ait bir textDetector objesi olusturacagiz. Bunu asagida yeşille işaretlediğim kod bloklarındaki satırları ornek projeye ekleyelim.

 

Daha sonrasında runTextRecognition metodunu textDetector’umuzun imaj uzerinde calismasini ve tanıdığı metinleri kare icine alması icin kod yazacağız. Imajimizi Vision Api’da yer alan VisionImage sinifindan bir visionImage objesi oluşturup, TextDetector objesine detect etmesi için bu objeyi veriyoruz.

Detect metodu sonrasında, metod callback’inde bize features ve  hata oluştuysa error değişkenlerini dönüyor ve processResult metodu ile bulunan her bir özelliği/texti VisionTextBlock olarak ele alip, bulunan metni, frame -yer- bilgisini addFrameView kullanarak imajın üzerinde gösteriyoruz.

Tada! Vision kütüphanesi Find Text dediğimizde bizim icin görüntü uzerinde metinleri cikardi ve bizde sonrasında bunları çerçeve içerisine alıp gösterdik. 

Fakat ilk görüntü için deneme yaptigimizda latin alfabesi kullanılmayan kelimeler için sonuç getirmediği / doğru sonuç çıkarmadığını göreceksiniz. Vision API ile cihaz üzerinde latin alfabesiyle sonuçlar üretebileceğiz. Diğer kelimelerin de tanınması için API’in Cloud özelliklerini kullanmalıyız.

Text Recognition – Kelime tanıma – için Cloud tarafında aylık ilk 1000 kelime ücretsiz olacak sekilde kullanım yapabiliyoruz.

Spark Plan‘dan Blaze Plan‘a yani kullandığın kadar ode planına geçerek Vision Api uzerinde denemeler yapmaya baslayabilirsiniz.

Google Cloud uzerinden Cloud Vision API’yi aktif hale getiriyoruz.

Gelelim, kod kısmına: Cloud uzerinde kelime tanıma icin bu sefer VisionCloudDocumentTextDetector asagidaki sekilde tanımlıyoruz.

Cihaz uzerinde calismasi için yazdigimiza benzer bir sekilde detect metodu çağrımını yapıyoruz, bu sefer CloudTextDetector için.

Cloud uzerinde daha fazla özellik yer aldiginda tanidigi metinleri, paragraflar hatta içerisindeki kelimeler ve semboller olarak tanıyabiliyorsunuz. Asagida bu özelliklere bakarak görüntü uzerine çerçeveler çizen metodu oluşturuyoruz.

Ve sonuç, beklendiği gibi cihazdaki API kadar hızlı çalışmasa da kelimeleri yakalama açısından oldukça başarılı buldum. Önümüzdeki yazılarda farklı imajlarla karsilastirmali bir uygulama yapmayı düşünüyorum.

ML Kit‘in diger özellikleri ve kullanımlar icin firebase üzerindeki dokümanlardan  yararlanabilirsiniz. Yeni ve daha farklı çalısmalarda görüşmek üzere 👋

 

 

 

Google I/O 18 – Makine Öğrenmesi

Mobil çözümler için yazılım yapsam da bu yıl bir farklılık yapıp, uzmanlık alanımı genişletecek ve mobil uygulamalarla entegre kullanabileceğim diğer teknolojiler icin bir hafta ayırdım. Ve Google I/O 18 etkinliği icin, Firebase ve Machine Learning ağırlıklı bir programı oluşturdum. Sektörün bulut teknolojileri ve yapay zeka odaklı çözümleri içerecek şekilde evrildiğini görmek hiç de zor değil.

Google IO 18 acilis konuşması, beklediğim şekilde Google AI ile başladı. Yapay Zeka’nın diğer Google ürünlerine getirdiği yeniliklere kısaca bakarsak;

Gmail uygulaması, Smart Compose özelliği ile basladiginiz cümleyi hizli bir sekilde bitirebilmenizi saglayacak. Özelliğin hangi dilleri desteklediğini göreceğiz bakalım Türkçe’de olacak mı?

Source : Google

 

Google Asistan, her seferinde Hey Google ya da Ok Google diye seslenmenize gerek kalmadan, birden çok komutunuza yanıt verebilecek ve sonraki komutlarınızı dinleyebilecek. Google bu özelliğe multiple actions ismini veriyor.

Robotik seslerden sıkılanlar icin bir güzel haber: Google Asistan AI kullanılarak, vurgu ve tonlamaları ile insan sesine yakin – John Legend’in sesi de dahil olmak üzere – 6 farklı ses seçeneği ile kullanılabilecek. (Google bu tekniği Deep Mind şirketinin çalışması olarak tanıttı.)

Ayrıca, Asistanınız sizin yerinize arama yaparak, randevu alabilecek! Asistan teknolojisinin arkasında, conversation – iletişimin doğru bir sekilde sürdürülmesi – için AI uygulamaları yapıldığı keynote’da özellikle vurgulandı.

Mobil uygulama geliştiriciler için güzel haber makine öğrenmesi için ML Kit kütüphanesini duyurdu. Kütüphane içerisinde imaj, kelime, yüz tanıma, barkod okuma, önemli yerlerin tanınması gibi özellikleri barındıracak, ayni zamanda kendi modelleriniz ile de calisabilecek. Google bu hamle ile, yapay zekaya ilgi duyan ancak nereden başlayacağını bilmeyen yazilimcilar icin giriş seviyesinde temel bazı fonksiyonları sundu ve bunu iOS ve Android platform farki gözetmeden yaptı diyebiliriz. Yapay Zeka’ya daha aşina bir yazilimciysaniz ve Cloud’da TensorFlow uzerinde calisan modelleriniz varsa, mobilde modellerinizi TensorFlow Lite modeline dönüştürmek kısaca, modellerin sıkıştırılmış  versiyonunu kullanmanız gerekiyor. Google sonuçların daha hızlı alınabilmesi icin bu yöntemi seçmiş görünüyor.

Önümüzdeki günlerde ML Kit API’yını kullanarak mobilde neler yapabileceğimizi test edebileceğimiz örnek uygulamalar yazmayı planlıyorum.

Tartışmasız ML Kit‘in özelliklerini en güzel gösterebilen uygulama Google Lens. Mağazalar, binalar, objeler hakkında bilgi alabilmek, afişler üzerinden etkinlik bilgisine ulaşmak gibi hayat kolaylaştırıcı özelliklere sahip.

Source: Google

ML Kit, Cloud ürünü olan ve geliştiricilerin hayatını kolaylaştıran Firebase platformunun içerisine eklenmiş olarak tanıtıldı. Firebase’in prediction yani kullanıcı  davranışını görebileceğiz tahminleme araçları vardı. Bununla birlikte konsol üzerinden ML Kit kullanımına başlayabileceğiz. Özellik henüz Beta’da, deneyip yorumlarınızı iletmenizi bekliyor.

Bir başka, hatta güzel olduğu için sona bıraktığım özellik text-to-speech. Ve bu özellik Türkçe de dahil olmak üzere 12 dil için Google Cloud üzerinden denemeye açıldı. Bu bağlantıdan deneyebilirsiniz.

Source: Google

Keynote ve I/O’da haftanın geri kalan oturumlarında Google Brain takımının ortaya çıkardığı yapay zeka calışmalarının diğer Google ürünleri ve teknolojilerini nasıl daha iyi yaptığı üzerine bir çok konuşma yapıldı. Yapay Zeka ile ilgili çok daha kapsamlı ve daha hızlı gelişmeler olacağı kesin. ML Kit ile birlikte ortaya çıkacak yeni ürünleri ve uygulamaları merakla bekliyoruz.

Yeni yazılarda ML Kit incelemesiyle görüşmek üzere 👋