Axtarış sistemləri və BIG data

Axtarış sistemləri və Böyük Verilənlər (BIG data)

Axtarış sistemləri (search engine)

• İnternetda lazım olan informasiyanın əldə edilməsi üçün axtarış sistemlərindən istifadə edilir. Bu sistemlər axtarışı açar sözlərə (keywords) görə həyata keçirir.
• Məşhur axtarış sistemlərinə google, yandex, yahoo, bing, arama.com,  Archie (ilk axtarış sistemi hesab edilir) misal ola bilər

Axtarış sistemlərinin işləmə qaydası

• Axtarış sisteminin proqramı – internetdə olan milyonlarla yazı içərisində axtarış aparır;
• Hörümçək (spider) və ya soxulcan (crawler) – internetdə daim «sürünərək» yeni məlumatlar haqqında informasiyanı indeksləyiciyə çatdırır;
• İndeksləyici – soxulcanın ötürdüyü məlumatları indeksləyir, nəticədə həmin məlumatlar axtarış sistemində görünə bilir.

Adətən axtarış nəticəsində tapılan məlumatlar axtarışa uyğunluq dərəcəsinə - relevantlığa görə sıralanır. Yəni, əvvəlcə axtarışa ən uyğun olan nəticələr göstərilir.

Əlverişlı axtarış

• Fraza üzrə axtarış – daha dəqiq nəticələr almaq üçün dırnaq işarələrindən ("") istifadə etmək olar. Məsələn googl-da informatika dərsləri yazaraq axtarış etdikdə tərkibində informatika dərsləri, informatika və ya dərsləri olan məlumatlar tapılacaq. Bu ifadəni dırmaqda yazdıqda isə konkret olaraq tərkibində informatika dərsləri ifadəsinin olduğu səhifələr (ardıcıllıq nəzərə alınmaqla) tapılacaq və nəticələrin sayı daha az olacaq.
• Riyazi əməllər vasitəsi ilə axtarış – axtarışın daha dəqiq nəticələnməsi üçün + və - işarələrindən də istifadə etmək olar.
• Məntiqi əməllər vasirəsi ilə axtarış – axtarış zamanı AND, OR, NOT məntiqi əməllərindən də istifadə edilə bilər.

Axtarışlar formaları

_______________________________

BIG DATA – böyük verilənlər

• Kompüterlərin yarandığı vaxdan etibarən rəqəmsal informasiyanın həcmi davamlı şəkildə artır. İnternetin geniş yayılmasından sonra isə bu artım daha da kəskinləşmişdir. Səthi yanaşdıqda demək olar ki, rəqəmsal informasiyanın çoxluğu faydalıdır – istədiyimiz məlumatı tapa bilərik. Lakin məlumat çoxluğu lazım olan informasiyanın tapılmasını çətinləşdirir. Eyni zamanda internetdə reallığı əks etdirməyən məlumatlar da yayılır.
• Çoxsaylı verilənlər toplusunu ifadə etmək üçün Big Data (böyük verilənlər) termini istifadə edilir.

Big data ilə bağlı üç anlayış – 3V

1. Volume (həcm) – verilənlərin həcmini ifadə edir;
2. Velocity (sürət) – informasiyanın hansı sürətlə emal edilə bilməsini xarakterizə edir;
3. Variety (çeşidlilik) – verilənlərin çeşidliliyinin (müxtəlifliyinin) nə səviyyədə olmasın.

Ümumiləşdirsək, böyük verilənləri bu 3 xüsusiyyətlə xarakterizə etmək olar: verilənlərin həcmi nə qədərdir, verilənləri hansı sürətlə emal etmək mümkündür və verilənlərin müxtəlifliyi nə sviyədədir.

Böyük verilənlərin istifadə sahələri

• Elmi araşdırmalar, dövlət idarəçiliyi, rabitə, istehsal və s.
• Sosial şəbəkələr – sosial şəbəkə istifadəçiləri haqqında şəxsi məlumat, onların nəyi bəyənməsi, maraq dairələri (hansı tip videolara baxdıqlar)...

Sosila şəbəkələr üçün Big data analizində süni intellektdən də istifadə edilir. Süni intellekt sizin maraq dairənizə uyğun videoları, reklamları, paylaşımları sizə göstərərək, sizi sosial şəbəkələrə «bağlayır».

Big data saxlama və emal texnologiyaları

• Verilənlərin intellektual analizi (data mining) – verilənlərin süni intellekt və qərar qəbuletmə sistemləri ilə analizi.
• NoSQL (Not Only SQL) – daimi dəyişən verilənlərin (məsələn sosial şəbəkələrdə olan məlumatların) analizi.
• MapReduce – paylanmış hesablamalar modelidir. Verilənlər üzərində paralel hesablamalar aparır. Map lazım olan verilənləri «xəritədən» tapır, Reduce isə onları toplayıb analiz edir.
• Hadoop – informasiya həcmi çox olan saytlarda (facebook, eBay, Amazon ...) axtarışları həyata keçirmək üçün istifadə olunur.

_______________________________

QEYD: materialın hazırlanması zamanı əsasən orta məktəb İnformatika dərsliklərindən istifadə edilmişdir.