Marketinq Ensiklopediyası. Big Data nədir? Böyük verilənlərin xüsusiyyətlərində sürət xarakterizə edir

Böyük verilənlər – İngilis dili "böyük məlumat". Termin DBMS-ə alternativ olaraq meydana çıxdı və əksər sənaye nəhəngləri - IBM, Microsoft, HP, Oracle və başqaları bu konsepsiyadan öz strategiyalarında istifadə etməyə başlayanda İT infrastrukturunun əsas tendensiyalarından birinə çevrildi. Big Data ənənəvi üsullarla emal edilə bilməyən nəhəng (yüzlərlə terabaytlıq) məlumat massivinə aiddir; bəzən – bu məlumatların işlənməsi üçün alətlər və üsullar.

Böyük məlumat mənbələrinə nümunələr: RFID hadisələri, sosial şəbəkələrdəki mesajlar, meteoroloji statistika, mobil şəbəkə abunəçilərinin yeri haqqında məlumat mobil rabitə və audio/video qeyd cihazlarından alınan məlumatlar. Buna görə də, "böyük məlumat" istehsalda, səhiyyədə, dövlət idarəçiliyində, internet biznesində, xüsusən də təhlildə geniş istifadə olunur. hədəf auditoriyası.

Xarakterik

Böyük verilənlərin əlamətləri “üç V” kimi müəyyən edilir: Həcm – həcm (həqiqətən böyük); müxtəliflik – heterojenlik, çoxluq; velocity – sürət (çox sürətli emal ehtiyacı).

Böyük verilənlər çox vaxt struktursuz olur və onu emal etmək üçün xüsusi alqoritmlər tələb olunur. Böyük məlumatların təhlili üsullarına aşağıdakılar daxildir:

(“məlumatların əldə edilməsi”) – standart üsullarla əldə edilə bilməyən gizli faydalı biliklərin aşkar edilməsi üçün yanaşmalar toplusu;
Crowdsourcing (crowd - "crowd", sourcing - mənbə kimi istifadə) - məcburi əmək müqaviləsi və ya münasibətdə olmayan könüllülərin birgə səyləri ilə mühüm problemlərin həlli, İT alətlərindən istifadə etməklə fəaliyyətlərin əlaqələndirilməsi;
Data Fusion & Integration (“məlumatların qarışdırılması və tətbiqi”) – dərin təhlilin bir hissəsi kimi çoxsaylı mənbələri birləşdirmək üçün metodlar toplusu;
Machine Learning (“maşın öyrənməsi”) – tədqiqatın alt bölməsi süni intellekt statistik analizdən istifadə və əsas modellər əsasında proqnozlar vermək üsullarını öyrənən;
təsvirin tanınması (məsələn, kamera və ya video kameranın vizöründə üzlərin tanınması);
məkan təhlili - verilənlərin qurulması üçün topologiya, həndəsə və coğrafiyadan istifadə etməklə;
verilənlərin vizuallaşdırılması – nəticələri izləmək və sonrakı monitorinq üçün zəmin yaratmaq üçün interaktiv alətlər və animasiyadan istifadə edərək illüstrasiyalar və diaqramlar şəklində analitik məlumatın çıxışı.

Məlumat çoxlu sayda yüksək performanslı serverlərdə saxlanılır və təhlil edilir. Əsas texnologiya açıq mənbə olan Hadoop-dur.

İnformasiyanın həcmi yalnız zaman keçdikcə artacağından, çətinlik məlumatların əldə edilməsində deyil, onu maksimum fayda ilə necə emal etməkdədir. Ümumiyyətlə, Big Data ilə işləmə prosesinə aşağıdakılar daxildir: məlumatın toplanması, onun strukturlaşdırılması, anlayışlar və kontekstlərin yaradılması, fəaliyyət üçün tövsiyələrin hazırlanması. İlk mərhələdən əvvəl də işin məqsədini dəqiq müəyyən etmək vacibdir: məlumatların dəqiq nə üçün lazım olduğunu, məsələn, məhsulun hədəf auditoriyasını müəyyən etmək. Əks halda, dəqiq necə istifadə oluna biləcəyini anlamadan çoxlu məlumat almaq riski var.

2011-ci ildə yaradılan və təkrarlanan məlumatların ümumi qlobal həcminin təxminən 1,8 zettabayt (1,8 trilyon giqabayt) ola biləcəyi proqnozlaşdırılırdı ki, bu da 2006-cı ildə yaradılandan təxminən 9 dəfə çoxdur.

Daha mürəkkəb tərif

Lakin` böyük məlumat` böyük miqdarda məlumatı təhlil etməkdən daha çoxunu əhatə edir. Problem təşkilatların böyük həcmdə məlumat yaratmasında deyil, onların əksəriyyətinin ənənəvi strukturlaşdırılmış verilənlər bazası formatına uyğun gəlməyən formatda təqdim olunmasıdır - veb jurnallar, videolar, mətn sənədləri, maşın kodu və ya, məsələn, coğrafi məlumat. Bütün bunlar bir çox müxtəlif depolarda, bəzən hətta təşkilatdan kənarda saxlanılır. Nəticə etibarı ilə korporasiyalar öz məlumatlarının böyük miqdarına çıxış əldə edə bilər və bu məlumatlar arasında əlaqələr qurmaq və ondan mənalı nəticələr çıxarmaq üçün lazımi alətlərə malik ola bilməzlər. Buna əlavə edin ki, verilənlər indi getdikcə daha tez-tez yenilənir və siz elə bir vəziyyət əldə edirsiniz ki, ənənəvi məlumat təhlili üsulları daim yenilənən böyük həcmli məlumatlarla ayaqlaşa bilmir və nəticədə texnologiyaya yol açır. böyük məlumat.

Ən yaxşı tərif

Əslində konsepsiya böyük məlumatəməliyyat səmərəliliyini artırmaq, yeni məhsullar yaratmaq və rəqabət qabiliyyətini artırmaq üçün çox vaxt yenilənən və müxtəlif mənbələrdə yerləşən böyük həcmli və müxtəlif tərkibli məlumatlarla işləməyi əhatə edir. Forrester konsaltinq şirkəti qısa bir düstur verir: ` Böyük verilənlər praktikliyin son həddində verilənlərdən məna çıxaran texnika və texnologiyaları bir araya gətirir.

Biznes analitikası ilə böyük məlumat arasındakı fərq nə qədər böyükdür?

Fujitsu Avstraliyanın marketinq üzrə icraçı direktoru və baş texnologiya direktoru Craig Bathy qeyd etdi ki, biznes təhlili bir işin müəyyən bir müddətdə əldə etdiyi nəticələrin təhlili üçün təsviri bir prosesdir. böyük məlumat gələcək üçün biznes tövsiyələri təklif edə bilən təhlili proqnozlaşdırmağa imkan verir. Böyük verilənlər texnologiyaları həmçinin biznes kəşfiyyatı alətlərindən daha çox məlumat növlərini təhlil etməyə imkan verir ki, bu da yalnız strukturlaşdırılmış depolardan daha çoxuna diqqət yetirməyə imkan verir.

O'Reilly Radardan Matt Slocum buna baxmayaraq inanır böyük məlumat və biznes analitikasının məqsədi eynidir (bir suala cavab tapmaq), onlar bir-birindən üç aspektdə fərqlənirlər.

Big data biznes analitikasından daha böyük həcmdə məlumatı idarə etmək üçün nəzərdə tutulmuşdur və bu, şübhəsiz ki, böyük verilənlərin ənənəvi tərifinə uyğun gəlir.
Böyük verilənlər daha sürətli, daha sürətli dəyişən məlumatları idarə etmək üçün nəzərdə tutulmuşdur ki, bu da dərin kəşfiyyat və interaktivlik deməkdir. Bəzi hallarda nəticələr veb səhifənin yüklənməsindən daha sürətli yaradılır.
Böyük verilənlər strukturlaşdırılmamış məlumatları emal etmək üçün nəzərdə tutulmuşdur ki, biz onları toplayıb saxlaya bildikdən sonra necə istifadə edəcəyimizi tədqiq etməyə başlayırıq və bu məlumat dəstlərində olan tendensiyaları tapmağı asanlaşdırmaq üçün alqoritmlərə və danışıq imkanlarına ehtiyacımız var.

Oracle tərəfindən nəşr olunan "Oracle İnformasiya Memarlığı: Böyük Məlumatlar üçün Memar Bələdçisi" adlı ağ sənədə əsasən, böyük verilənlərlə işləyərkən biz məlumatlara biznes təhlili aparandan fərqli yanaşırıq.

Böyük verilənlərlə işləmək adi biznes kəşfiyyatı prosesinə bənzəmir, burada sadəcə məlum dəyərlərin toplanması nəticə verir: məsələn, ödənilmiş fakturaların əlavə edilməsi il üçün satışa çevrilir. Böyük verilənlərlə işləyərkən onun ardıcıl modelləşdirmə yolu ilə təmizlənməsi prosesində nəticə əldə edilir: əvvəlcə fərziyyə irəli sürülür, statistik, vizual və ya semantik model qurulur, onun əsasında irəli sürülən fərziyyənin düzgünlüyü yoxlanılır. , və sonra növbəti irəli sürülür. Bu proses tədqiqatçıdan ya vizual mənaları şərh etməyi, ya da biliyə əsaslanan interaktiv sorğular qurmağı, ya da istənilən nəticəni verə bilən adaptiv “maşın öyrənməsi” alqoritmlərini inkişaf etdirməyi tələb edir. Üstəlik, belə bir alqoritmin ömrü olduqca qısa ola bilər.

Böyük məlumatların təhlili üsulları

Məlumat dəstlərini təhlil etmək üçün statistika və kompüter elmlərindən (məsələn, maşın öyrənməsindən) götürülmüş vasitələrə əsaslanan bir çox müxtəlif üsullar mövcuddur. Siyahı tam olduğunu iddia etmir, lakin müxtəlif sənaye sahələrində ən populyar yanaşmaları əks etdirir. Anlamaq lazımdır ki, tədqiqatçılar yeni texnikalar yaratmaq və mövcud olanları təkmilləşdirmək üzərində işləməyə davam edirlər. Bundan əlavə, sadalanan bəzi üsullar mütləq böyük verilənlərə şamil edilmir və daha kiçik massivlər üçün uğurla istifadə edilə bilər (məsələn, A/B testi, reqressiya təhlili). Təbii ki, massiv nə qədər həcmli və şaxələndirilmiş təhlil edilərsə, nəticədə bir o qədər dəqiq və müvafiq məlumatlar əldə edilə bilər.

A/B testi. Nəzarət nümunəsinin alternativ olaraq digərləri ilə müqayisə edildiyi texnika. Beləliklə, məsələn, marketinq təklifinə ən yaxşı istehlakçı reaksiyasına nail olmaq üçün göstəricilərin optimal birləşməsini müəyyən etmək mümkündür. Böyük verilənlərçox sayda iterasiya həyata keçirməyə və bununla da statistik cəhətdən etibarlı nəticə əldə etməyə imkan verir.

Assosiasiya qaydalarının öyrənilməsi. Əlaqələri müəyyən etmək üçün bir sıra texnikalar, yəni. böyük verilənlər dəstlərində dəyişənlər arasında assosiasiya qaydaları. -də istifadə olunub data mining.

Təsnifat. Müəyyən bir bazar seqmentində istehlakçı davranışını proqnozlaşdırmağa imkan verən texnikalar toplusu (satınalma qərarları, itki, istehlak həcmi və s.). -də istifadə olunub data mining.

Klaster təhlili. Əvvəlcədən məlum olmayan ümumi xüsusiyyətləri müəyyən etməklə obyektləri qruplara ayırmaq üçün statistik üsul. -də istifadə olunub data mining.

Crowdsourcing. Çoxlu sayda mənbələrdən məlumat toplamaq üçün metodologiya.

Məlumatların birləşdirilməsi və məlumatların inteqrasiyası. İstifadəçi şərhlərini təhlil etməyə imkan verən texnikalar toplusu sosial şəbəkələr və real vaxtda satış nəticələri ilə müqayisə edin.

Data mining. Təqdim olunan məhsul və ya xidmətə ən çox həssas olan istehlakçıların kateqoriyalarını müəyyən etməyə, ən uğurlu işçilərin xüsusiyyətlərini müəyyənləşdirməyə və istehlakçıların davranış modelini proqnozlaşdırmağa imkan verən üsullar toplusu.

Ansambl öyrənməsi. Bu üsul bir çox proqnozlaşdırıcı modellərdən istifadə edir və bununla da verilən proqnozların keyfiyyətini artırır.

Genetik alqoritmlər. Bu texnikada mümkün həllər birləşə və mutasiya edə bilən "xromosomlar" kimi təmsil olunur. Təbii təkamül prosesində olduğu kimi, ən güclü fərd sağ qalır.

Maşın öyrənməsi. Empirik məlumatların təhlili əsasında öz-özünə öyrənmə alqoritmlərinin yaradılması məqsədini güdən kompüter elmində bir istiqamət (tarixən ona “süni intellekt” adı verilmişdir).

Təbii dil emalı (NLP). Kompüter elmləri və dilçilikdən götürülmüş təbii insan dilini tanımaq üçün bir sıra üsullar.

Şəbəkə təhlili. Şəbəkələrdəki qovşaqlar arasındakı əlaqələri təhlil etmək üçün bir sıra üsullar. Sosial şəbəkələrə münasibətdə o, ayrı-ayrı istifadəçilər, şirkətlər, icmalar və s. arasında münasibətləri təhlil etməyə imkan verir.

Optimallaşdırma. Bir və ya daha çox ölçüləri təkmilləşdirmək üçün mürəkkəb sistemləri və prosesləri yenidən dizayn etmək üçün ədədi üsullar toplusu. Strateji qərarların qəbuluna kömək edir, məsələn, bazara çıxarılacaq məhsul xəttinin tərkibi, investisiya təhlilinin aparılması və s.

Nümunə tanınması. İstehlakçıların davranış modelini proqnozlaşdırmaq üçün öz-özünə öyrənmə elementləri olan texnikalar toplusu.

Proqnoz modelləşdirmə. Hadisələrin inkişafı üçün əvvəlcədən müəyyən edilmiş ehtimal ssenarisinin riyazi modelini yaratmağa imkan verən texnikalar toplusu. Məsələn, abunəçiləri provayderləri dəyişməyə sövq edəcək mümkün şərtlər üçün CRM sisteminin məlumat bazasının təhlili.

Reqressiya. Asılı dəyişən və bir və ya bir neçə müstəqil dəyişəndəki dəyişikliklər arasındakı nümunəni müəyyən etmək üçün statistik üsullar toplusu. Tez-tez proqnozlar və proqnozlar üçün istifadə olunur. Data mining-də istifadə olunur.

Sentiment təhlili. İstehlakçı əhval-ruhiyyəsini qiymətləndirmək üsulları təbii dilin tanınması texnologiyalarına əsaslanır. Onlar sizi generaldan təcrid etməyə imkan verir məlumat axını maraq mövzusu ilə əlaqəli mesajlar (məsələn, istehlak məhsulu). Sonra mühakimənin polaritesini (müsbət və ya mənfi), emosionallıq dərəcəsini və s.

Siqnal emalı. Səs-küy fonunda siqnalın tanınması və onun sonrakı təhlili üçün radiotexnikadan götürülmüş texnikalar toplusu.

Məkan təhlili. Qismən statistikadan götürülmüş məkan məlumatlarını təhlil etmək üçün metodlar toplusu - ərazi topologiyası, coğrafi koordinatlar, obyekt həndəsəsi. Mənbə böyük məlumat bu halda onlar tez-tez görünür coğrafi informasiya sistemləri(GIS).

Revolution Analytics (riyazi statistika üçün R dilinə əsaslanır).

Bu siyahıda xüsusi maraq doğuran Apache Hadoop, son beş il ərzində əksər səhm izləyiciləri tərəfindən məlumat analizatoru kimi sübut edilmiş açıq mənbə proqramıdır. Yahoo Hadoop kodunu açıq mənbə ictimaiyyətinə açan kimi, İT sənayesində dərhal Hadoop əsasında məhsullar yaratmaq hərəkatı meydana çıxdı. Demək olar ki, bütün müasir analiz alətləri böyük məlumat Hadoop inteqrasiya alətləri təmin edir. Onların tərtibatçıları həm startaplar, həm də tanınmış qlobal şirkətlərdir.

Big Data Management Solutions üçün bazarlar

Big Data Platforms (BDP, Big Data Platform) rəqəmsal hordinqlə mübarizə vasitəsi kimi

Analiz etmək bacarığı böyük məlumat, danışıq dilində Big Data adlanır, bir fayda kimi qəbul edilir və birmənalı olaraq. Amma bu həqiqətən belədirmi? Məlumatların geniş toplanması nəyə səbəb ola bilər? Çox güman ki, yerli psixoloqlar insanlara münasibətdə patoloji yığılma, silloqomaniya və ya məcazi mənada "Plyushkin sindromu" adlandırırlar. İngilis dilində hər şeyi toplamaq üçün şiddətli ehtiras hordinq adlanır (ingiliscə hoard - "stock"). Psixi xəstəliklərin təsnifatına görə, hordinq psixi pozğunluq kimi təsnif edilir. Rəqəmsal erada rəqəmsal yığım həm fiziki şəxslərə, həm də bütün müəssisə və təşkilatlara təsir göstərə bilər ().

Dünya və Rusiya bazarı

Big data Landscape - Əsas təchizatçılar

Toplama, emal, idarəetmə və təhlil alətlərinə maraq böyük məlumat Bunu demək olar ki, bütün aparıcı İT şirkətləri göstərdi ki, bu da təbiidir. Birincisi, onlar bu fenomenlə birbaşa öz işlərində qarşılaşırlar, ikincisi, böyük məlumat yeni bazar nişlərinin inkişafı və yeni müştərilərin cəlb edilməsi üçün əla imkanlar açır.

Bazarda çoxlu sayda məlumatı emal edərək biznes quran bir çox startap peyda oldu. Onlardan bəziləri Amazon kimi böyük oyunçuların təqdim etdiyi hazır bulud infrastrukturundan istifadə edir.

Sənayedə Big Data nəzəriyyəsi və təcrübəsi

İnkişaf tarixi

2017

TmaxSoft proqnozu: Big Datanın növbəti “dalğası” DBMS-nin modernləşdirilməsini tələb edəcək

Müəssisələr bilirlər ki, topladıqları böyük həcmdə məlumat var mühim informasiya onların biznesi və müştəriləri haqqında. Əgər şirkət bu məlumatı uğurla tətbiq edə bilsə, o, rəqibləri ilə müqayisədə əhəmiyyətli üstünlüyə malik olacaq və onlarınkından daha yaxşı məhsul və xidmətlər təklif edə biləcək. Bununla belə, bir çox təşkilat hələ də səmərəli istifadə edə bilmir böyük məlumat TmaxSoft qeyd edib ki, onların köhnə İT infrastrukturu lazımi yaddaş tutumunu, məlumat mübadiləsi proseslərini, kommunal proqramları və onlardan qiymətli məlumat çıxarmaq üçün strukturlaşdırılmamış böyük həcmdə məlumatların işlənməsi və təhlili üçün tələb olunan proqramları təmin edə bilmir.

Bundan əlavə, daim artan məlumat həcmlərini təhlil etmək üçün tələb olunan artan emal gücü təşkilatın köhnə İT infrastrukturuna əhəmiyyətli investisiyalar, həmçinin yeni proqramlar və xidmətlərin hazırlanması üçün istifadə oluna biləcək əlavə texniki xidmət resursları tələb edə bilər.

5 fevral 2015-ci ildə Ağ Ev şirkətlərin necə istifadə etdiyini müzakirə edən hesabat yayımladı. böyük məlumat» fərqli müştərilərə fərqli qiymətlər tətbiq etmək, bu təcrübə “qiymət ayrı-seçkiliyi” və ya “fərdi qiymət” kimi tanınır. Hesabatda böyük verilənlərin həm satıcılar, həm də alıcılar üçün faydaları təsvir edilir və onun müəllifləri belə qənaətə gəlirlər ki, böyük verilənlər və diferensial qiymətlər tərəfindən qaldırılan bir çox məsələlər istehlakçı hüquqlarını qoruyan mövcud ayrı-seçkiliyə qarşı qanunlar və qaydalar vasitəsilə həll edilə bilər.

Hesabatda qeyd edilir ki, hazırda şirkətlərin fərdiləşdirilmiş marketinq və fərqli qiymətlər kontekstində böyük verilənlərdən necə istifadə etdiyinə dair yalnız anekdot sübutları mövcuddur. Bu məlumat satıcıların üç kateqoriyaya bölünə bilən qiymət üsullarından istifadə etdiyini göstərir:

tələb əyrisinin öyrənilməsi;
Demoqrafik məlumatlara əsaslanan qiymətlərin idarə edilməsi və fərqləndirilməsi; Və
hədəflənmiş davranış marketinqi (davranış hədəfləmə) və fərdiləşdirilmiş qiymət.

Tələb əyrisinin öyrənilməsi: Tələbi müəyyən etmək və istehlakçı davranışını öyrənmək üçün marketoloqlar tez-tez müştərilərin iki mümkün qiymət kateqoriyasından birinə təsadüfi olaraq təyin olunduğu bu sahədə eksperimentlər aparırlar. “Texniki olaraq, bu təcrübələr diferensial qiymətlərin bir formasıdır, çünki onlar müştərilər üçün fərqli qiymətlərlə nəticələnir, hətta bütün müştərilərin daha yüksək qiymət “alacaqları” mənasında “ayrı-seçkilik yaratmayan” olsalar belə. yüksək qiymət eyni."

Sükan idarəsi: Müəyyən bir demoqrafik qrupa üzvlüyünə əsaslanaraq məhsulları istehlakçılara təqdim etmək təcrübəsidir. Məsələn, kompüter şirkətinin veb-saytı eyni noutbuku müxtəlif növ müştərilərə öz məlumatlarına əsasən fərqli qiymətlərlə təklif edə bilər (məsələn, istifadəçinin dövlət, akademik və ya kommersiya istifadəçisi və ya fərdi şəxs olmasından asılı olaraq) və ya onların coğrafi mövqeyinə görə (məsələn, kompüterin IP ünvanı ilə müəyyən edilir).

Məqsədli davranış marketinqi və fərdiləşdirilmiş qiymət: Bu hallarda müştərilərin şəxsi məlumatları reklamı hədəfləmək və müəyyən məhsullar üçün qiymətləri fərdiləşdirmək üçün istifadə olunur. Məsələn, onlayn reklamçılar öz reklamlarını hədəfləmək üçün reklam şəbəkələri və üçüncü tərəf kukiləri vasitəsilə onlayn istifadəçi fəaliyyəti haqqında toplanan məlumatlardan istifadə edirlər. Bu yanaşma, bir tərəfdən, istehlakçılara onları maraqlandıran malların və xidmətlərin reklamını almağa imkan verir, lakin bu, öz şəxsi məlumatlarının müəyyən növlərini (məsələn, vebsaytlara daxil olmaq barədə məlumat) istəməyən istehlakçılar üçün narahatlıq yarada bilər. tibbi və maliyyə məsələləri ilə bağlı) onların razılığı olmadan toplanmışdır.

Məqsədli davranış marketinqi geniş yayılsa da, onlayn mühitdə fərdiləşdirilmiş qiymətlərə dair nisbətən az dəlil var. Hesabatda bunun, üsulların hələ də işlənib hazırlanması və ya şirkətlərin xüsusi qiymətlərdən istifadə etməkdə tərəddüd etmələri (yaxud bu barədə susmağa üstünlük vermələri) - bəlkə də istehlakçıların reaksiyasından qorxmaları ilə bağlı ola biləcəyi ehtimal edilir.

Hesabatın müəllifləri təklif edirlər ki, "fərdi istehlakçı üçün böyük məlumatların istifadəsi həm potensial mükafatlar, həm də risklər təqdim edir". Böyük verilənlərin şəffaflıq və ayrı-seçkilik problemlərini qaldırdığını etiraf etməklə yanaşı, hesabatda qeyd edilir ki, ayrı-seçkiliyə qarşı mövcud qanunlar və istehlakçıların hüquqlarının müdafiəsi onları həll etmək üçün kifayətdir. Bununla belə, hesabatda həmçinin şirkətlər həssas məlumatlardan şəffaf olmayan və ya mövcud tənzimləyici çərçivələrlə əhatə olunmayan üsullarla istifadə etdikdə “davamlı nəzarət” ehtiyacını vurğulayır.

Bu hesabat Ağ Evin internetdə böyük məlumatların istifadəsini və ayrı-seçkilikçi qiymətləri və bunun Amerika istehlakçıları üçün nəticələrini araşdırmaq səylərini davam etdirir. Bu barədə daha əvvəl məlumat verilmişdi işçi qrupu Ağ Evin Big Data Office bu məsələ ilə bağlı hesabatını 2014-cü ilin mayında dərc edib. Federal Ticarət Komissiyası (FTC) 2014-cü ilin sentyabrında böyük verilənlərin ayrı-seçkiliyi ilə bağlı seminarı zamanı da bu məsələlərə toxundu.

2014

Gartner Big Data haqqında mifləri dağıtır

Gartner-dən 2014-cü ilin payız tədqiqat qeydi İT liderləri arasında bir sıra ümumi Big Data miflərini sadalayır və onlara təkzib verir.

Hər kəs Big Data emal sistemlərini bizdən daha sürətli tətbiq edir

Big Data texnologiyalarına maraq ən yüksək səviyyədədir: Gartner analitikləri tərəfindən bu il sorğuda iştirak edən təşkilatların 73%-i artıq investisiya yatırır və ya bunu etməyi planlaşdırır. Lakin bu təşəbbüslərin əksəriyyəti hələ çox ilkin mərhələdədir və respondentlərin yalnız 13%-i artıq belə həlləri həyata keçirib. Ən çətini Big Data-dan necə gəlir əldə edəcəyinizi müəyyən etmək, haradan başlayacağınıza qərar verməkdir. Bir çox təşkilatlar öhdəliyi yerinə yetirə bilmədiklərinə görə pilot mərhələdə ilişib qalırlar yeni texnologiya xüsusi iş proseslərinə.

Bizdə o qədər çox məlumat var ki, oradakı kiçik səhvlərdən narahat olmağa dəyməz

Bəzi İT menecerləri hesab edirlər ki, kiçik məlumat qüsurları böyük həcmlərin təhlilinin ümumi nəticələrinə təsir etmir. Çox məlumat olduqda, hər bir fərdi səhv əslində nəticəyə daha az təsir göstərir, analitiklər qeyd edirlər, lakin səhvlərin özləri də daha çox olur. Bundan əlavə, təhlil edilən məlumatların əksəriyyəti xaricidir, strukturu və ya mənşəyi naməlumdur, buna görə də səhvlərin baş vermə ehtimalı artır. Beləliklə, Big Data dünyasında keyfiyyət əslində daha vacibdir.

Big Data texnologiyaları verilənlərin inteqrasiyasına ehtiyacı aradan qaldıracaq

Big Data məlumatları oxunduqca avtomatik sxem yaratmaqla orijinal formatında emal etmək imkanı vəd edir. Hesab edilir ki, bu, eyni mənbələrdən alınan məlumatların birdən çox məlumat modelindən istifadə edərək təhlil edilməsinə imkan verəcək. Çoxları hesab edir ki, bu, həm də son istifadəçilərə istənilən məlumat toplusunu uyğun gördükləri kimi şərh etməyə imkan verəcək. Əslində, əksər istifadəçilər tez-tez ənənəvi üsula ehtiyac duyurlar hazır dövrə, məlumatların düzgün formatlaşdırıldığı və məlumatın bütövlüyünün səviyyəsi və onun istifadə halına necə aid edilməsi ilə bağlı razılaşmalar olduqda.

Mürəkkəb analitika üçün məlumat anbarlarından istifadə etməyin mənası yoxdur

İnformasiya idarəetmə sisteminin bir çox inzibatçıları hesab edirlər ki, mürəkkəb analitik sistemlər yeni növ verilənlərə əsaslandığını nəzərə alsaq, məlumat anbarının yaradılmasına vaxt sərf etməyin mənası yoxdur. Əslində, bir çox mürəkkəb analitik sistemlər məlumat anbarındakı məlumatlardan istifadə edir. Digər hallarda, Big Data emal sistemlərində təhlil üçün əlavə olaraq yeni məlumat növləri hazırlanmalıdır; məlumatların uyğunluğu, yığılma prinsipləri və tələb olunan keyfiyyət səviyyəsi barədə qərarlar qəbul edilməlidir - belə hazırlıq anbardan kənarda baş verə bilər.

Məlumat anbarları məlumat gölləri ilə əvəz olunacaq

Reallıqda satıcılar məlumat göllərini saxlama yerini əvəz edən və ya analitik infrastrukturun kritik elementləri kimi yerləşdirməklə müştəriləri çaşdırırlar. Əsas verilənlər gölü texnologiyaları anbarlarda tapılan funksionallığın yetkinliyinə və genişliyinə malik deyil. Buna görə də, məlumatların idarə edilməsinə cavabdeh olan menecerlər Gartner-ə görə göllərin eyni inkişaf səviyyəsinə çatmasını gözləməlidirlər.

Accenture: Böyük məlumat sistemlərini tətbiq edənlərin 92%-i nəticələrdən razıdır

Respondentlər böyük verilənlərin əsas üstünlükləri arasında:

“yeni gəlir mənbələrinin axtarışı” (56%),
“müştəri təcrübəsinin yaxşılaşdırılması” (51%),
“yeni məhsullar və xidmətlər” (50%) və
“yeni müştərilərin axını və köhnələrin sədaqətini qorumaq” (47%).

Yeni texnologiyalar tətbiq edərkən bir çox şirkət ənənəvi problemlərlə üzləşir. 51% üçün büdrəmə təhlükəsizlik, 47% üçün büdcə, 41% üçün zəruri kadr çatışmazlığı, 35% üçün isə inteqrasiyada çətinliklər olub. mövcud sistem. Sorğuda iştirak edən demək olar ki, bütün şirkətlər (təxminən 91%) kadr çatışmazlığı problemini tezliklə həll etməyi və böyük data mütəxəssislərini işə götürməyi planlaşdırır.

Şirkətlər böyük məlumat texnologiyalarının gələcəyinə nikbin baxırlar. 89% internet qədər biznesini dəyişəcəklərinə inanır. Respondentlərin 79%-i qeyd edib ki, böyük data ilə məşğul olmayan şirkətlər rəqabət üstünlüklərini itirəcəklər.

Bununla belə, respondentlər nəyin böyük məlumat hesab edilməli olduğu ilə bağlı fikir ayrılığına düşmüşlər. Respondentlərin 65%-i bunun “böyük məlumat faylları”, 60%-i bunun “qabaqcıl analitika və təhlil” və 50%-i bunun “məlumatların vizuallaşdırılması alətləri” olduğuna inanır.

Madrid böyük məlumatların idarə edilməsinə 14,7 milyon avro xərcləyir

2014-cü ilin iyul ayında Madridin şəhər infrastrukturunu idarə etmək üçün böyük məlumat texnologiyalarından istifadə edəcəyi məlum oldu. Layihənin dəyəri 14,7 milyon avro təşkil edir, həyata keçirilən həllərin əsasını böyük verilənlərin təhlili və idarə edilməsi texnologiyaları təşkil edəcək. Onların köməyi ilə şəhər rəhbərliyi hər bir xidmət təminatçısı ilə işi idarə edəcək və xidmətlərin səviyyəsindən asılı olaraq müvafiq olaraq ödəniş edəcək.

Söhbət küçələrin vəziyyətinə, işıqlandırmaya, suvarma, yaşıllıqlara nəzarət edən, ərazini təmizləyən və daşıyan, həmçinin tullantıların təkrar emalı ilə məşğul olan podratçılardan gedir. Layihə zamanı xüsusi təyin edilmiş müfəttişlər üçün şəhər xidmətlərinin 300 əsas fəaliyyət göstəricisi hazırlanmışdır ki, bu göstəricilər əsasında gündəlik 1,5 min müxtəlif yoxlama və ölçmə aparılacaqdır. Bundan əlavə, şəhər Madrid iNTeligente (MiNT) - Smarter Madrid adlı innovativ texnologiya platformasından istifadə etməyə başlayacaq.

2013

Ekspertlər: Big Data dəbdədir

İstisnasız olaraq, məlumatların idarə edilməsi bazarındakı bütün təchizatçılar hazırda Big Datanın idarə edilməsi üçün texnologiyalar inkişaf etdirirlər. Bu yeni texnoloji tendensiya həm tərtibatçılar, həm sənaye analitikləri, həm də bu cür həllərin potensial istehlakçıları olan peşəkar ictimaiyyət tərəfindən fəal şəkildə müzakirə olunur.

Datashift-in tapdığı kimi, 2013-cü ilin yanvar ayından etibarən " ətrafında müzakirələr dalğası var idi. böyük məlumat"Təsəvvür edilən bütün ölçüləri aşdı. Sosial şəbəkələrdə Big Data haqqında qeydlərin sayını təhlil edən Datashift hesablayıb ki, 2012-ci ildə bu termin dünya üzrə 1 milyona yaxın müxtəlif müəllif tərəfindən yaradılan yazılarda təxminən 2 milyard dəfə istifadə olunub. Bu, saatda 260 yazıya bərabərdir, pik saatda 3070 qeyddir.

Gartner: Hər ikinci CIO Big dataya pul xərcləməyə hazırdır

Böyük verilənlər texnologiyaları ilə bir neçə illik təcrübədən və 2013-cü ildə ilk tətbiqlərdən sonra bu cür həllərin uyğunlaşdırılması əhəmiyyətli dərəcədə artacaq, Gartner proqnozlaşdırır. Tədqiqatçılar dünya üzrə İT liderləri arasında sorğu keçirib və müəyyən ediblər ki, respondentlərin 42%-i artıq Big data texnologiyalarına sərmayə qoyub və ya gələn il ərzində belə investisiyalar etməyi planlaşdırır (2013-cü ilin mart ayına olan məlumatlar).

Şirkətlər emal texnologiyalarına pul xərcləməyə məcbur olurlar böyük məlumat, informasiya landşaftı sürətlə dəyişdiyi üçün informasiyanın emalına yeni yanaşmalar tələb olunur. Bir çox şirkətlər artıq başa düşüblər ki, böyük həcmli məlumat kritikdir və onlarla işləmək onlara ənənəvi məlumat mənbələrindən və onların emalı üsullarından istifadə etməklə əldə olunmayan faydaları əldə etməyə imkan verir. Bundan əlavə, mediada “böyük məlumat” mövzusunun daimi müzakirəsi müvafiq texnologiyalara marağı artırır.

Gartner-in vitse-prezidenti Frank Buytendijk hətta şirkətləri səylərini azaltmağa çağırdı, çünki bəziləri Big Datanın mənimsənilməsində rəqiblərindən geri qaldıqlarından narahatdırlar.

“Narahat olmağa ehtiyac yoxdur, böyük məlumat texnologiyalarına əsaslanan ideyaların həyata keçirilməsi imkanları faktiki olaraq sonsuzdur” dedi.

Gartner proqnozlaşdırır ki, 2015-ci ilə qədər Qlobal 1000 şirkətlərinin 20%-i “informasiya infrastrukturuna” strateji diqqət yetirəcək.

Böyük verilənlərin emalı texnologiyalarının gətirəcəyi yeni imkanlar ərəfəsində bir çox təşkilatlar artıq müxtəlif növ məlumatların toplanması və saxlanması prosesini təşkil edirlər.

Təhsil və hökumət təşkilatları, eləcə də sənaye şirkətləri üçün biznesin transformasiyası üçün ən böyük potensial toplanmış məlumatların qaranlıq məlumatlar (sözün əsl mənasında “qaranlıq məlumat”) ilə birləşməsindədir, sonuncuya mesajlar daxildir. E-poçt, multimedia və digər oxşar məzmun. Gartner-ə görə, data yarışında qaliblər müxtəlif informasiya mənbələri ilə məşğul olmağı öyrənənlər olacaq.

Cisco sorğusu: Big Data İT büdcələrini artırmağa kömək edəcək

Müstəqil araşdırma şirkəti InsightExpress tərəfindən 18 ölkədə həyata keçirilən 2013-cü ilin Bahar Cisco Connected World Technology Report hesabatında 1800 kollec tələbəsi və 18-30 yaş arasında bərabər sayda gənc mütəxəssis arasında sorğu aparılıb. Sorğu İT departamentlərinin layihələrin həyata keçirilməsinə hazırlıq səviyyəsini öyrənmək məqsədilə keçirilib Böyük verilənlər və bununla bağlı problemlər, texnoloji çatışmazlıqlar və bu cür layihələrin strateji dəyəri haqqında fikir əldə etmək.

Əksər şirkətlər məlumatları toplayır, qeyd edir və təhlil edirlər. Bununla belə, hesabatda deyilir ki, bir çox şirkətlər Big Data ilə bağlı bir sıra mürəkkəb biznes və informasiya texnologiyaları problemləri ilə üzləşirlər. Məsələn, respondentlərin 60 faizi Big Data həllərinin qərar qəbuletmə proseslərini təkmilləşdirə və rəqabət qabiliyyətini artıra biləcəyini etiraf etsə də, yalnız 28 faiz toplanmış məlumatdan artıq real strateji fayda əldə etdiyini bildirib.

Sorğuda iştirak edən İT rəhbərlərinin yarıdan çoxu hesab edir ki, Big Data layihələri onların təşkilatlarında İT büdcələrini artırmağa kömək edəcək, çünki texnologiya, kadr və peşəkar bacarıqlara tələblər artacaq. Eyni zamanda, respondentlərin yarıdan çoxu belə layihələrin 2012-ci ildə şirkətlərində İT büdcələrini artıracağını gözləyir. 57 faiz Big Data-nın növbəti üç il ərzində büdcələrini artıracağına əmindir.

Respondentlərin 81 faizi bildirib ki, bütün (və ya ən azı bəzi) Big Data layihələri bulud hesablamalarından istifadəni tələb edəcək. Beləliklə, bulud texnologiyalarının yayılması Big Data həllərinin qəbulu sürətinə və bu həllərin biznes dəyərinə təsir göstərə bilər.

Şirkətlər ən çox məlumat toplayır və istifadə edirlər fərqli növlər, həm strukturlaşdırılmış, həm də strukturlaşdırılmamış. Sorğu iştirakçılarının məlumatlarını aldıqları mənbələr bunlardır (Cisco Connected World Technology Report):

İT liderlərinin təxminən yarısı (48 faiz) yaxın iki il ərzində onların şəbəkələrindəki yükün iki dəfə artacağını proqnozlaşdırır. (Bu, respondentlərin 68 faizinin, Almaniyada isə 60 faizinin bu fikri bölüşdüyü Çində xüsusilə doğrudur). Respondentlərin 23 faizi növbəti iki il ərzində şəbəkə yükünün üç dəfə artacağını gözləyir. Eyni zamanda, respondentlərin yalnız 40 faizi şəbəkə trafikinin həcmində kəskin artıma hazır olduqlarını bəyan ediblər.

Respondentlərin 27 faizi daha yaxşı İT siyasətlərinə və informasiya təhlükəsizliyi tədbirlərinə ehtiyac duyduğunu etiraf edib.

21 faiz daha çox bant genişliyinə ehtiyac duyur.

Big Data İT departamentlərinə dəyər əlavə etmək və biznes bölmələri ilə güclü əlaqələr qurmaq üçün yeni imkanlar açır, onlara gəlirləri artırmağa və şirkətin maliyyə vəziyyətini gücləndirməyə imkan verir. Big Data layihələri İT departamentlərini biznes departamentləri üçün strateji tərəfdaş edir.

Respondentlərin 73 faizinin fikrincə, İT departamenti Big Data strategiyasının həyata keçirilməsində əsas hərəkətverici qüvvəyə çevriləcək. Eyni zamanda, respondentlər bu strategiyanın həyata keçirilməsində digər şöbələrin də iştirak edəcəyinə inanırlar. İlk növbədə, bu, maliyyə (respondentlərin 24 faizi adlarını çəkir), tədqiqat və inkişaf (20 faiz), əməliyyatlar (20 faiz), mühəndislik (19 faiz), o cümlədən marketinq (15 faiz) və satış şöbələrinə aiddir. 14 faiz).

Gartner: Böyük məlumatları idarə etmək üçün milyonlarla yeni iş lazımdır

2013-cü ilə qədər qlobal İT xərcləri 3,7 milyard dollara çatacaq ki, bu da 2012-ci ildə informasiya texnologiyalarına (ilin sonuna proqnoz 3,6 milyard dollar) ayrılan xərclərdən 3,8% çoxdur. Seqment böyük məlumat(böyük məlumat) daha sürətli inkişaf edəcək, Gartner hesabatında deyilir.

2015-ci ilə qədər bu sahədə 4,4 milyon iş yeri informasiya texnologiyaları böyük verilənlərə xidmət etmək üçün yaradılacaq, bunlardan 1,9 milyon iş yeri . Üstəlik, hər biri iş yeriİT sektorundan kənarda üç əlavə iş yerinin yaradılmasına səbəb olacaq ki, təkcə ABŞ-da növbəti dörd ildə 6 milyon insan informasiya iqtisadiyyatını dəstəkləmək üçün çalışacaq.

Gartner ekspertlərinin fikrincə, əsas problem sənayedə bunun üçün kifayət qədər istedadın olmamasıdır: həm özəl, həm də dövlət təhsil sistemləri, məsələn, ABŞ-da sənayeni kifayət qədər ixtisaslı kadrlarla təmin edə bilmir. . Beləliklə, qeyd olunan yeni İT işlərindən yalnız üç nəfərdən biri işçi olacaq.

Analitiklər hesab edirlər ki, ixtisaslı İT kadrlarının yetişdirilməsi rolunu bilavasitə onlara təcili ehtiyacı olan şirkətlər götürməlidir, çünki belə işçilər onların yeni işə bileti olacaq. informasiya iqtisadiyyatı gələcək.

2012

"Big Data" ilə bağlı ilk skeptisizm

Ovum və Gartner analitikləri bunu 2012-ci ildə dəbdə olan mövzu üçün təklif edirlər böyük məlumatÖzünüzü illüziyalardan azad etməyin vaxtı gələ bilər.

Hazırda “Böyük məlumat” termini adətən daxil olan məlumatın daim artan həcmini ifadə edir əməliyyat rejimi sosial mediadan, sensor şəbəkələrdən və digər mənbələrdən, eləcə də məlumatları emal etmək və ondan mühüm biznes tendensiyalarını müəyyən etmək üçün istifadə olunan alətlərin geniş spektri.

Ovum-un analitiki Tony Bayer, "Böyük məlumat ideyası ətrafında şırıngaya görə (və ya buna baxmayaraq) 2012-ci ildə istehsalçılar bu tendensiyaya böyük ümidlə baxdılar" dedi.

Bayer, DataSift-də qeyd olunan böyük məlumatların retrospektiv təhlilini apardığını bildirdi

"Böyük məlumat" termini bu gün tanınır, lakin əslində nə demək olduğu ilə bağlı hələ də bir az qarışıqlıq var. Əslində, konsepsiya daim inkişaf edir və yenidən müəyyən edilir, çünki o, süni intellekt, məlumat elmi və əşyaların interneti də daxil olmaqla bir çox davam edən rəqəmsal transformasiya dalğalarının arxasında hərəkətverici qüvvə olaraq qalır. Bəs Big-Data texnologiyası nədir və dünyamızı necə dəyişir? Gəlin Big Data texnologiyasının mahiyyətini və sadə sözlərlə nə demək olduğunu anlamağa çalışaq.

Böyük verilənlərin heyrətamiz artımı

Hər şey əvvəldən yaratdığımız məlumatların həcmində partlayışla başladı rəqəmsal yaş. Bu, böyük ölçüdə kompüterlərin, internetin və ətrafımızdakı dünyadan məlumatları “qopara” bilən texnologiyaların inkişafı ilə bağlıdır. Məlumat özlüyündə yeni ixtira deyil. Hətta kompüterlər və verilənlər bazaları dövründən əvvəl biz kağız əməliyyat qeydlərindən, müştəri qeydlərindən və məlumatları təşkil edən arxiv fayllarından istifadə edirdik. Xüsusilə kompüterlər elektron cədvəllər və verilənlər bazaları bizə məlumatları böyük miqyasda asanlıqla və asanlıqla saxlamağa və təşkil etməyə imkan verdi. Birdən məlumat yalnız bir kliklə əldə edildi.

Bununla belə, biz orijinal cədvəllərdən və verilənlər bazalarından xeyli irəli getmişik. Bu gün biz hər iki gündən bir əvvəldən 2000-ci ilə qədər əldə etdiyimiz qədər məlumat yaradırıq. Düzdür, iki gündən bir. Yaratdığımız məlumatların miqdarı eksponent olaraq artmağa davam edir; 2020-ci ilə qədər mövcud rəqəmsal məlumatın həcmi təxminən 5 zettabaytdan 20 zettabayta qədər artacaq.

İndiki vaxtda demək olar ki, hər bir hərəkətimiz öz izini qoyur. Biz hər dəfə internetə girəndə, axtarış sistemi ilə təchiz olunmuş smartfonlarımızı daşıyanda, sosial şəbəkələr və ya söhbətlər vasitəsilə dostlarımızla danışanda və s. məlumatlar yaradırıq. Bundan əlavə, maşın tərəfindən yaradılan məlumatların miqdarı da sürətlə artır. Ağıllı ev cihazlarımız bir-biri ilə və ya onların ev serverləri ilə əlaqə saxladıqda məlumat yaradılır və paylaşılır. Zavod və fabriklərdəki sənaye avadanlıqları getdikcə məlumat toplayan və ötürən sensorlarla təchiz olunur.

"Böyük məlumat" termini bütün bu məlumatların toplanmasına və biznes də daxil olmaqla, geniş sahələrdə bizim üstünlüklərimiz üçün istifadə etmək qabiliyyətimizə aiddir.

Big-Data texnologiyası necə işləyir?

Big Data prinsipi üzərində işləyir: müəyyən bir mövzu və ya fenomen haqqında nə qədər çox bilsəniz, bir o qədər etibarlı şəkildə yeni anlayışa nail ola və gələcəkdə nə olacağını proqnozlaşdıra bilərsiniz. Daha çox məlumat nöqtəsini müqayisə etdikcə, əvvəllər gizlədilən əlaqələr ortaya çıxır və bu əlaqələr öyrənməyə və daha yaxşı qərarlar qəbul etməyə imkan verir. Çox vaxt bu, toplaya bildiyimiz məlumatlar əsasında modellər qurmağı və sonra hər dəfə məlumat nöqtələrinin dəyərlərini dəyişdirən və onların nəticələrimizə necə təsir etdiyini izləyən simulyasiyaları işə salan bir proses vasitəsilə həyata keçirilir. Bu proses avtomatlaşdırılıb – müasir analitik texnologiya milyonlarla bu simulyasiyaları işlədəcək, onlar üzərində işlədikləri problemi həll etməyə kömək edən model və ya ideya tapana qədər hər bir mümkün dəyişəni düzəldəcək.

Bill Gates bir CD-nin kağız məzmununu asır

Son vaxtlara qədər məlumatlar elektron cədvəllər və ya verilənlər bazası ilə məhdudlaşırdı - və hər şey çox mütəşəkkil və səliqəli idi. Satır və sütunlarda asanlıqla təşkil edilə bilməyən hər şey işləmək üçün çox mürəkkəb hesab olunurdu və nəzərə alınmadı. Bununla belə, saxlama və analitika sahəsində irəliləyişlər o deməkdir ki, biz böyük həcmdə məlumatı tuta, saxlaya və emal edə bilərik müxtəlif növlər. Nəticədə, bu gün “məlumatlar” verilənlər bazasından tutmuş fotoşəkillərə, videolara, səs yazılarına, yazılı mətnlərə və sensor məlumatlarına qədər hər şeyi ifadə edə bilər.

Bütün bu qarışıq məlumatları anlamlandırmaq üçün Big Data əsaslı layihələr tez-tez süni intellekt və kompüter öyrənməsindən istifadə edərək qabaqcıl analitikadan istifadə edir. Tədris hesablama maşınları spesifik məlumatların nə olduğunu müəyyən etmək üçün - məsələn, nümunənin tanınması və ya təbii dilin işlənməsi vasitəsilə biz onlara nümunələri özümüzdən daha sürətli və daha etibarlı şəkildə müəyyən etməyi öyrədə bilərik.

Big Data necə istifadə olunur?

Sensor məlumatlarının, mətn, səs, foto və video məlumatlarının bu getdikcə artan axını o deməkdir ki, biz indi məlumatları cəmi bir neçə il əvvəl ağlasığmaz şəkildə istifadə edə bilərik. Bu, demək olar ki, hər bir sənayedə iş dünyasına inqilabi dəyişikliklər gətirir. Bu gün şirkətlər müştərilərin hansı kateqoriyalarının və nə vaxt alış-veriş etmək istəyəcəklərini inanılmaz dəqiqliklə proqnozlaşdıra bilirlər. Big Data həmçinin şirkətlərə öz fəaliyyətlərini daha səmərəli həyata keçirməyə kömək edir.

Hətta biznesdən kənarda Big Data ilə bağlı layihələr artıq dünyamızı müxtəlif yollarla dəyişməyə kömək edir:

Səhiyyənin Təkmilləşdirilməsi – Məlumata əsaslanan tibb, xəstəliyin erkən mərhələdə aşkarlanmasına və yeni dərmanların hazırlanmasına kömək edə biləcək böyük miqdarda tibbi məlumat və təsvirləri modellərə təhlil etmək qabiliyyətinə malikdir.
Təbii və texnogen fəlakətləri proqnozlaşdırmaq və onlara cavab vermək. Sensor məlumatları zəlzələlərin harada baş verə biləcəyini proqnozlaşdırmaq üçün təhlil edilə bilər və insan davranış nümunələri təşkilatların sağ qalanlara yardım göstərməsinə kömək edən ipuçları verir. Big Data texnologiyası həm də dünyada müharibə zonalarından qaçqın axını izləmək və qorumaq üçün istifadə olunur.
Cinayətin qarşısının alınması. Polis qüvvələri getdikcə daha çox məlumatlara əsaslanan strategiyalardan istifadə edir ki, bu da öz kəşfiyyat məlumatlarını və məlumatlarını özündə birləşdirir. açıq giriş resurslardan daha səmərəli istifadə etmək və zəruri hallarda çəkindirici tədbirlər görmək.

Big-Data texnologiyası haqqında ən yaxşı kitablar

Hamı yalan danışır. Axtarış motorları, Big Data və İnternet sizin haqqınızda hər şeyi bilir.
BÖYÜK DATA. Bütün texnologiya bir kitabda.
Xoşbəxtlik sənayesi. Big Data və yeni texnologiyalar məhsul və xidmətlərə emosiya əlavə etməyə necə kömək edir.
Analitikada inqilab. Əməliyyat analitikasından istifadə edərək Big Data dövründə biznesinizi necə təkmilləşdirmək olar.

Big Data ilə bağlı problemlər

Big Data bizə görünməmiş ideyalar və imkanlar verir, eyni zamanda həll edilməli olan problemlər və suallar yaradır:

Məlumat Məxfiliyi – Bu gün yaratdığımız Böyük Məlumat şəxsi həyatımıza dair çoxlu məlumatı ehtiva edir, onların məxfiliyinə tam hüququmuz var. Getdikcə daha çox bizdən açıqladığımız şəxsi məlumatların miqdarını Big Data əsaslı tətbiq və xidmətlərin təklif etdiyi rahatlıqla tarazlaşdırmağı tələb edirlər.
Məlumatların Təhlükəsizliyi - Kiminsə müəyyən bir məqsəd üçün məlumatımıza sahib olmasından məmnun olduğumuza qərar etsək belə, məlumatlarımızı təhlükəsiz və təhlükəsiz saxlamağa onlara etibar edə bilərikmi?
Məlumatların ayrı-seçkiliyi - bütün məlumatlar məlum olduqdan sonra, insanların şəxsi həyatından məlumatlara əsaslanaraq ayrıseçkilik etmək məqbul olacaqmı? Biz artıq kimin pul götürə biləcəyinə qərar vermək üçün kredit ballarından istifadə edirik və sığorta da ciddi şəkildə məlumatlara əsaslanır. Biz daha təfərrüatlı təhlil və qiymətləndirilməyi gözləməliyik, lakin bunun daha az resursu olan və məlumat əldə etmək imkanı məhdud olanların həyatını çətinləşdirməməsinə diqqət yetirilməlidir.

Bu vəzifələrin yerinə yetirilməsi Big Data-nın vacib komponentidir və bu cür məlumatlardan istifadə etmək istəyən təşkilatlar tərəfindən həll edilməlidir. Bunun edilməməsi biznesi təkcə öz reputasiyası baxımından deyil, həm də hüquqi və maliyyə baxımından həssas vəziyyətə sala bilər.

Gələcəyə baxaraq

Data dünyamızı və həyatımızı görünməmiş sürətlə dəyişir. Əgər Big-Data bu gün bütün bunlara qadirdirsə, onun sabah nəyə qadir olacağını təsəvvür edin. Bizim əlimizdə olan məlumatların miqdarı yalnız artacaq və analitik texnologiya daha da təkmilləşəcək.

Bizneslər üçün Big Data tətbiq etmək bacarığı qarşıdakı illərdə getdikcə daha vacib olacaq. Yalnız dataya strateji aktiv kimi baxan şirkətlər sağ qalacaq və inkişaf edəcək. Bu inqilaba məhəl qoymayanlar geridə qalmaq riski ilə üzləşirlər.

Məlumat artımının daimi sürətlənməsi müasir reallıqların ayrılmaz elementidir. Sosial şəbəkələr, mobil qurğular, ölçmə cihazlarından alınan məlumatlar, biznes məlumatları nəhəng həcmdə məlumat yarada bilən mənbələrin yalnız bir neçə növüdür.

Hal-hazırda Big Data termini olduqca geniş yayılmışdır. Böyük həcmdə məlumatların işlənməsi texnologiyalarının cəmiyyətin ən müxtəlif aspektlərini necə sürətlə və dərindən dəyişdirdiyini hələ hamı bilmir. Müxtəlif sahələrdə, o cümlədən sahədə yeni problemlər və çağırışlar doğuran dəyişikliklər baş verir informasiya təhlükəsizliyi, burada onun məxfilik, tamlıq, əlçatanlıq və s. kimi ən mühüm aspektləri ön planda olmalıdır.

Təəssüf ki, bir çox müasir şirkətlər bunun üçün müvafiq infrastruktur yaratmadan Big Data texnologiyasına müraciət edirlər. təhlükəsiz saxlama topladıqları və saxladıqları böyük miqdarda məlumat. Digər tərəfdən, bu və bir çox digər problemlərin həlli üçün nəzərdə tutulmuş blokçeyn texnologiyası hazırda sürətlə inkişaf edir.

Big Data nədir?

Əslində, terminin tərifi sadədir: “böyük məlumat” çox böyük həcmli məlumatların idarə edilməsi, eləcə də onların təhlili deməkdir. Daha geniş şəkildə baxsaq, bu, böyük həcmdə olduğuna görə klassik üsullarla emal edilə bilməyən informasiyadır.

Big Data termininin özü nisbətən yaxınlarda ortaya çıxdı. Google Trends-ə görə, terminin populyarlığının aktiv artımı 2011-ci ilin sonunda baş verib:

2010-cu ildə böyük verilənlərin emalı ilə birbaşa əlaqəli ilk məhsullar və həllər ortaya çıxmağa başladı. 2011-ci ilə qədər ən böyük İT şirkətlərinin əksəriyyəti, o cümlədən IBM, Oracle, Microsoft və Hewlett-Packard öz biznes strategiyalarında Big Data terminindən fəal şəkildə istifadə edirlər. Tədricən, informasiya texnologiyaları bazarının analitikləri bu konsepsiya ilə bağlı aktiv araşdırmalara başlayırlar.

Hazırda bu termin əhəmiyyətli dərəcədə populyarlıq qazanıb və müxtəlif sahələrdə fəal şəkildə istifadə olunur. Bununla belə, əminliklə demək olmaz ki, Big Data bir növ prinsipial olaraq yeni bir fenomendir - əksinə, böyük bulaqlar məlumatlar uzun illərdir mövcuddur. Marketinqdə bunlara müştəri alışları, kredit tarixçələri, həyat tərzləri və sair daxildir.

Hazırda vəziyyət iki aspektdə dəyişib:

— müxtəlif məlumat dəstlərinin təhlili və müqayisəsi üçün daha mürəkkəb alətlər və üsullar yaranmışdır;
— rəqəmsal texnologiyalara geniş keçid, həmçinin məlumatların toplanması və ölçülməsinin yeni üsulları ilə əlaqədar təhlil alətləri bir çox yeni məlumat mənbələri ilə tamamlandı.

Tədqiqatçılar Big Data texnologiyalarının istehsal, səhiyyə, ticarət, dövlət idarəçiliyi və digər müxtəlif sahələrdə və sənayelərdə ən fəal şəkildə istifadə ediləcəyini proqnozlaşdırırlar.

Big Data müəyyən bir məlumat massivi deyil, onun emalı üçün metodlar toplusudur. Böyük verilənlərin müəyyənedici xüsusiyyəti təkcə onun həcmi deyil, həm də əmək tutumlu verilənlərin emalı və təhlili proseslərini xarakterizə edən digər kateqoriyalardır.

Emal üçün ilkin məlumatlar ola bilər, məsələn:

— İnternet istifadəçi davranışının qeydləri;
- əşyaların interneti;
- sosial Mediya;
— meteoroloji məlumatlar;
— əsas kitabxanalardan rəqəmsallaşdırılmış kitablar;
— Nəqliyyat vasitələrindən gələn GPS siqnalları;
— bank müştərilərinin əməliyyatları haqqında məlumat;
— abunəçilərin yeri haqqında məlumatlar mobil şəbəkələr;
— iri pərakəndə satış şəbəkələrində alışlar haqqında məlumat və s.

Zaman keçdikcə verilənlərin həcmi və onun mənbələrinin sayı durmadan artır və bunun fonunda informasiyanın emalının yeni üsulları yaranır və mövcud olanlar təkmilləşdirilir.

Böyük verilənlərin əsas prinsipləri:

— Üfüqi miqyaslılıq – verilənlər massivləri nəhəng ola bilər və bu o deməkdir ki, böyük verilənlərin emalı sistemi onların həcmi artdıqca dinamik şəkildə genişlənməlidir.
— Arızaya dözümlülük – bəzi avadanlıq elementləri sıradan çıxsa belə, bütün sistem işlək qalmalıdır.
- Məlumatın yerləşdiyi yer. Böyük olaraq paylanmış sistemlər məlumatlar adətən xeyli sayda maşın arasında paylanır. Bununla belə, mümkün olduqda və resurslara qənaət etmək üçün məlumatlar çox vaxt saxlandığı serverdə işlənir.

Hər üç prinsipin sabit işləməsi və buna uyğun olaraq böyük məlumatların saxlanması və emalının yüksək effektivliyi üçün, məsələn, blokçeyn kimi yeni irəliləyiş texnologiyalarına ehtiyac var.

Niyə bizə böyük data lazımdır?

Big Data-nın əhatə dairəsi daim genişlənir:

— Böyük verilənlər tibbdə istifadə edilə bilər. Beləliklə, bir xəstə üçün diaqnoz yalnız xəstənin xəstəlik tarixinin təhlili məlumatlarına əsaslanaraq deyil, həm də digər həkimlərin təcrübəsini, xəstənin yaşayış sahəsinin ekoloji vəziyyəti haqqında məlumatları və bir çox başqa amillər.
— Böyük məlumat texnologiyaları pilotsuz nəqliyyat vasitələrinin hərəkətini təşkil etmək üçün istifadə edilə bilər.
— Böyük həcmdə məlumatı emal etməklə siz foto və videolarda üzləri tanıya bilərsiniz.
— Big Data texnologiyaları pərakəndə satıcılar tərəfindən istifadə edilə bilər - ticarət şirkətləri sosial şəbəkələrdən məlumat massivlərindən fəal şəkildə istifadə edə bilərlər. səmərəli quraşdırma onların reklam kampaniyaları, maksimum olaraq müəyyən bir istehlak seqmentinə yönəldilə bilər.
— Bu texnologiya seçki kampaniyalarının təşkilində, o cümlədən cəmiyyətdəki siyasi üstünlüklərin təhlilində fəal istifadə olunur.
— Big Data texnologiyalarının istifadəsi uyğunsuzluqların aşkarlanması və məlumatların dərin təhlili alətlərini özündə cəmləşdirən, ehtimal olunan itkiləri və ya məlumatın təhrifini vaxtında müəyyən etməyə imkan verən gəlir təminatı (RA) sinfinin həlli üçün aktualdır. maliyyə nəticələri.
— Telekommunikasiya provayderləri geolokasiya da daxil olmaqla böyük məlumatları birləşdirə bilər; öz növbəsində bu məlumat reklam agentliklərinin kommersiya marağına səbəb ola bilər ki, onlar ondan ünvanlı və yerli reklamları nümayiş etdirmək üçün istifadə edə bilərlər, həmçinin pərakəndə satıcılar və banklar üçün.
— Böyük verilənlər güclü hədəflənmiş insan axınının mövcudluğu haqqında məlumatlara əsaslanaraq müəyyən bir yerdə pərakəndə satış məntəqəsi açmaq qərarına gəlməkdə mühüm rol oynaya bilər.

Beləliklə, Big Data texnologiyasının ən bariz praktik tətbiqi marketinq sahəsindədir. İnternetin inkişafı və hər cür yayılması sayəsində rabitə cihazları Davranış məlumatları (zəng həcmi, alış-veriş vərdişləri və alışlar kimi) real vaxt rejimində əlçatan olur.

Böyük məlumat texnologiyaları maliyyə, sosioloji tədqiqatlar və bir çox başqa sahələrdə də effektiv şəkildə istifadə edilə bilər. Mütəxəssislər iddia edirlər ki, böyük verilənlərdən istifadə üçün bütün bu imkanlar aysberqin yalnız görünən hissəsidir, çünki bu texnologiyalar kəşfiyyat və əks-kəşfiyyatda, hərbi işlərdə, eləcə də ümumiyyətlə informasiya müharibəsi adlandırılan hər şeydə daha böyük həcmdə istifadə olunur.

Ümumiyyətlə, Big Data ilə işləmə ardıcıllığı məlumatların toplanmasından, hesabatlar və idarə panellərindən istifadə edərək alınan məlumatların strukturlaşdırılmasından və sonra fəaliyyət üçün tövsiyələrin formalaşdırılmasından ibarətdir.

Marketinqdə Big Data texnologiyalarından istifadə imkanlarını qısaca nəzərdən keçirək. Bildiyiniz kimi, marketoloq üçün məlumat proqnozlaşdırma və strategiyanın hazırlanması üçün əsas vasitədir. Böyük verilənlərin təhlili uzun müddətdir ki, istehlakçıların hədəf auditoriyasını, maraqlarını, tələbatını və aktivliyini müəyyən etmək üçün uğurla istifadə olunur. Böyük məlumatların təhlili, xüsusən də reklamı (RTB auksion modeli əsasında - Real Time Bidding) yalnız məhsul və ya xidmətlə maraqlanan istehlakçılara göstərməyə imkan verir.

Böyük verilənlərin marketinqdə istifadəsi iş adamlarına aşağıdakıları etməyə imkan verir:

— istehlakçılarınızı daha yaxından tanımaq, İnternetdə oxşar auditoriyanı cəlb etmək;
— müştəri məmnuniyyətinin dərəcəsini qiymətləndirmək;
— təklif olunan xidmətin gözləntilərə və ehtiyaclara cavab verib-vermədiyini anlamaq;
— müştərilərin etibarını artırmaq üçün yeni yollar tapmaq və həyata keçirmək;
— tələbat olan layihələrin yaradılması və s.

Məsələn, Google.trends xidməti marketoloqa konkret məhsul üçün mövsümi tələb aktivliyi, dalğalanmalar və kliklərin coğrafiyası proqnozunu göstərə bilər. Bu məlumatı öz veb saytınızda müvafiq plagin tərəfindən toplanmış statistik məlumatlarla müqayisə etsəniz, ayı, bölgəni və digər parametrləri göstərən reklam büdcəsinin paylanması planını tərtib edə bilərsiniz.

Bir çox tədqiqatçının fikrincə, Trampın seçki kampaniyasının uğuru Big Datanın seqmentləşdirilməsi və istifadəsindədir. ABŞ-ın gələcək prezidentinin komandası auditoriyanı düzgün bölə, onun istəklərini başa düşə və seçicilərin görmək və eşitmək istədikləri mesajı dəqiq göstərə bildi. Beləliklə, Data-Centric Alliance-dən İrina Belışevanın fikrincə, Trampın qələbəsi böyük məlumatlara, psixoloji və davranış analizlərinə və fərdiləşdirilmiş reklamlara əsaslanan internet marketinqinə qeyri-standart yanaşma sayəsində mümkün olub.

Trampın siyasi strateqləri və marketoloqları xüsusi hazırlanmış riyazi modeldən istifadə ediblər ki, bu da bütün ABŞ seçicilərinin məlumatlarını dərindən təhlil etməyə və onları sistemləşdirməyə imkan yaradıb, təkcə coğrafi xüsusiyyətlərə görə deyil, həm də seçicilərin niyyətləri, maraqları, həm də seçicilərin maraqları və s. onların psixotipi, davranış xüsusiyyətləri və s. Bundan sonra marketoloqlar buna nail olmaq üçün hər bir vətəndaş qrupu ilə onların ehtiyaclarına, əhval-ruhiyyəsinə, siyasi baxışlarına, psixoloji xüsusiyyətlərinə və hətta dəri rənginə əsaslanaraq, demək olar ki, hər bir fərdi seçici üçün öz mesajından istifadə edərək fərdiləşdirilmiş ünsiyyət təşkil etdilər.

Hillari Klintona gəlincə, o, seçki kampaniyasında sosioloji məlumatlar və standart marketinq əsasında “zaman sınağından keçmiş” metodlardan istifadə edərək, seçiciləri yalnız formal olaraq homojen qruplara (kişilər, qadınlar, afroamerikalılar, Latın Amerikalılar, kasıblar, varlılar və s.) bölürdü. .

Nəticədə, yeni texnologiyaların və təhlil metodlarının potensialını yüksək qiymətləndirən qalib oldu. Maraqlıdır ki, Hillari Klintonun seçki kampaniyası xərcləri rəqibininkindən iki dəfə çox olub:

Məlumat: Pew Research

Big Data istifadəsinin əsas problemləri

Yüksək xərclə yanaşı, müxtəlif sahələrdə Big Datanın tətbiqinə mane olan əsas amillərdən biri də emal olunacaq məlumatların seçilməsi problemidir: yəni hansı verilənlərin əldə edilməsi, saxlanması və təhlil edilməsi, hansının isə hansı məlumatların əldə edilməli olduğunun müəyyən edilməsidir. nəzərə alınmamalıdır.

Big Data ilə bağlı başqa bir problem etikdir. Başqa sözlə, məntiqi sual yaranır: belə məlumatların toplanması (xüsusilə istifadəçinin xəbəri olmadan) məxfiliyin pozulması hesab edilə bilərmi?

Heç kimə sirr deyil ki, məlumat axtarış sistemlərində saxlanılır Google sistemləri və Yandex, İT nəhənglərinə xidmətlərini daim təkmilləşdirməyə, onları istifadəçi dostu etməyə və yenilərini yaratmağa imkan verir interaktiv proqramlar. Bunun üçün axtarış sistemləri istifadəçinin İnternetdəki fəaliyyəti, İP ünvanları, geolokasiya məlumatları, maraqlar və onlayn alışlar, şəxsi məlumatlar, e-poçt mesajları və s. haqqında istifadəçi məlumatlarını toplayır. Bütün bunlar sizə nümayiş etdirməyə imkan verir. kontekstli reklamİnternetdə istifadəçi davranışına uyğun olaraq. Bu halda, adətən, bunun üçün istifadəçilərin razılığı tələb olunmur və özləri haqqında hansı məlumatların təqdim ediləcəyini seçmək imkanı verilmir. Yəni, standart olaraq, hər şey Big Data-da toplanır və daha sonra saytların məlumat serverlərində saxlanılır.

Bu, məlumatların saxlanması və istifadəsinin təhlükəsizliyi ilə bağlı növbəti mühüm problemə gətirib çıxarır. Məsələn, istehlakçıların məlumatlarını avtomatik ötürdüyü xüsusi analitik platforma təhlükəsizdirmi? Bundan əlavə, bir çox biznes nümayəndələri böyük həcmdə məlumatları effektiv şəkildə idarə edə bilən və onların köməyi ilə konkret biznes problemlərini həll edə bilən yüksək ixtisaslı analitiklərin və marketoloqların çatışmazlığını qeyd edirlər.

Big Data-nın tətbiqi ilə bağlı bütün çətinliklərə baxmayaraq, biznes bu sahəyə investisiyaları artırmaq niyyətindədir. Gartner araşdırmasına görə, Big Dataya investisiya yatıran sənaye liderləri media, pərakəndə satış, telekommunikasiya, bankçılıq və xidmət şirkətləridir.

Blockchain və Big Data texnologiyaları arasında qarşılıqlı əlaqə perspektivləri

Big Data ilə inteqrasiya sinergetik təsirə malikdir və biznes üçün geniş spektrli yeni imkanlar açır, o cümlədən:

— istehlakçı seçimləri haqqında ətraflı məlumat əldə etmək, bunun əsasında konkret təchizatçılar, məhsullar və məhsul komponentləri üçün ətraflı analitik profillər yarada bilərsiniz;
— müxtəlif kateqoriyalı istifadəçilər tərəfindən müəyyən mal qruplarının əməliyyatları və istehlak statistikası haqqında ətraflı məlumatların inteqrasiyası;
— tədarük və istehlak zəncirləri üzrə ətraflı analitik məlumatların alınması, daşınma zamanı məhsul itkilərinə (məsələn, müəyyən növ malların qurudulması və buxarlanması nəticəsində çəki itkisinə) nəzarət etmək;
— məhsulların saxtalaşdırılmasına qarşı mübarizə aparmaq, çirkli pulların yuyulmasına və dələduzluğa qarşı mübarizənin effektivliyini artırmaq və s.

Malların istifadəsi və istehlakı ilə bağlı ətraflı məlumatlara çıxış əsas biznes proseslərinin optimallaşdırılması, tənzimləyici risklərin azaldılması, monetizasiya üçün yeni imkanların aşkarlanması və cari istehlakçı seçimlərinə ən yaxşı cavab verən məhsulların yaradılması üçün Big Data texnologiyasının potensialını əhəmiyyətli dərəcədə üzə çıxaracaqdır.

Məlum olduğu kimi, ən böyük maliyyə institutlarının nümayəndələri artıq blokçeyn texnologiyasına, o cümlədən və s.-yə böyük maraq göstərirlər. İsveçrənin UBS maliyyə holdinqinin İT meneceri Oliver Bussmannın sözlərinə görə, blokçeyn texnologiyası “sövdələşmənin emal müddətini bir neçə gündən bir neçə günə qədər azalda bilər. dəqiqə”.

Big Data texnologiyasından istifadə edərək blockchain-dən analiz potensialı çox böyükdür. Paylanmış kitab texnologiyası məlumatların bütövlüyünü, eləcə də bütün əməliyyat tarixinin etibarlı və şəffaf saxlanmasını təmin edir. Big Data öz növbəsində effektiv təhlil, proqnozlaşdırma, iqtisadi modelləşdirmə üçün yeni alətlər təqdim edir və müvafiq olaraq daha məlumatlı idarəetmə qərarlarının qəbulu üçün yeni imkanlar açır.

Blockchain və Big Data tandemindən səhiyyədə uğurla istifadə oluna bilər. Məlum olduğu kimi, xəstənin sağlamlığına dair qeyri-kamil və natamam məlumatlar səhv diaqnoz və səhv təyin edilmiş müalicə riskini xeyli artırır. Tibb müəssisələrinin müştərilərinin sağlamlığı ilə bağlı kritik məlumatlar maksimum dərəcədə qorunmalı, dəyişməzlik xüsusiyyətlərinə malik olmalı, yoxlanıla bilən və heç bir manipulyasiyaya məruz qalmamalıdır.

Blokçeyndəki məlumat yuxarıda göstərilən tələblərin hamısına cavab verir və yeni Big Data texnologiyalarından istifadə edərək dərin təhlil üçün yüksək keyfiyyətli və etibarlı mənbə məlumatı kimi xidmət edə bilər. Bundan əlavə, blokçeynin köməyi ilə tibb müəssisələri sığorta şirkətləri, ədliyyə orqanları, işəgötürənlər, elmi müəssisələr və tibbi məlumatlara ehtiyacı olan digər təşkilatlarla etibarlı məlumat mübadiləsi apara bilər.

Big Data və informasiya təhlükəsizliyi

Geniş mənada informasiya təhlükəsizliyi informasiyanın və dəstəkləyici infrastrukturun təsadüfi və ya qəsdən törədilməsindən qorunmasıdır. mənfi təsirlər təbii və ya süni.

İnformasiya təhlükəsizliyi sahəsində Big Data aşağıdakı problemlərlə üzləşir:

— məlumatların mühafizəsi və onların bütövlüyünün təmin edilməsi problemləri;
— müdaxilə və sızma riski məxfi informasiya;
— məxfi məlumatların düzgün saxlanmaması;
— məlumat itkisi riski, məsələn, kiminsə zərərli hərəkətləri nəticəsində;
— şəxsi məlumatların üçüncü şəxslər tərəfindən sui-istifadə riski və s.

Blockchain-in həll etmək üçün nəzərdə tutulduğu əsas böyük məlumat problemlərindən biri informasiya təhlükəsizliyi sahəsindədir. Bütün əsas prinsiplərinə uyğunluğu təmin etməklə, paylanmış kitab texnologiyası məlumatların bütövlüyünə və etibarlılığına zəmanət verə bilər və bir uğursuzluq nöqtəsinin olmaması səbəbindən blokçeyn sabit iş informasiya sistemləri. Paylanmış dəftər texnologiyası verilənlərə inam problemini həll etməyə kömək edə bilər və eyni zamanda imkanı təmin edə bilər universal mübadilə onlar.

İnformasiya qiymətli sərvətdir və bu o deməkdir ki, informasiya təhlükəsizliyinin əsas aspektlərinin təmin edilməsi ön planda olmalıdır. Rəqabətdən sağ çıxmaq üçün şirkətlər zamanla ayaqlaşmalıdırlar, yəni blokçeyn texnologiyası və Big Data alətlərinin ehtiva etdiyi potensial imkanları və üstünlükləri nəzərdən qaçıra bilməzlər.

(eynən - böyük məlumat)? Əvvəlcə Oksford Lüğətinə nəzər salaq:

Data- kompüterin işlədiyi və formada saxlanıla və ötürülə bilən kəmiyyətlər, işarələr və ya simvollar elektrik siqnalları, maqnit, optik və ya mexaniki daşıyıcılarda qeydə alınmışdır.

Müddət Böyük verilənlər zamanla eksponent olaraq böyüyən böyük məlumat dəstini təsvir etmək üçün istifadə olunur. Belə böyük həcmdə məlumatı emal etmək üçün maşın öyrənməsi zəruridir.

Big Data-nın təmin etdiyi üstünlüklər:

Müxtəlif mənbələrdən məlumatların toplanması.
Real vaxt analitikası vasitəsilə biznes proseslərinin təkmilləşdirilməsi.
Böyük həcmdə məlumatların saxlanması.
Anlayışlar. Big Data strukturlaşdırılmış və yarı-strukturlaşdırılmış məlumatlar vasitəsilə gizli məlumatları daha dərindən öyrənir.
Böyük məlumatlar düzgün risk analitikası ilə riski azaltmağa və ağıllı qərarlar qəbul etməyə kömək edir

Böyük məlumat nümunələri

Nyu York Birjası gündəlik yaradır 1 terabayt keçmiş sessiya üçün ticarət məlumatları.

Sosial Mediya: Statistika göstərir ki, Facebook hər gün yükləyir 500 terabayt yeni məlumatlar əsasən sosial şəbəkə serverlərinə foto və videoların yüklənməsi, mesajlaşma, yazıların altındakı şərhlər və s. hesabına yaradılır.

Reaktiv mühərrik yaradır 10 terabayt uçuş zamanı hər 30 dəqiqədən bir məlumat. Hər gün minlərlə uçuş həyata keçirildiyi üçün məlumatların həcmi petabaytlara çatır.

Böyük verilənlərin təsnifatı

Böyük məlumat formaları:

Strukturlaşdırılmış
Struktursuz
Yarı strukturlu

Strukturlaşdırılmış forma

Sabit formatlı bir formada saxlanıla, əldə edilə və işlənə bilən verilənlər strukturlaşdırılmış adlanır. Zaman keçdikcə kompüter elmləri bu tip verilənlərlə (format əvvəlcədən məlum olan) işləmək üçün texnikanın təkmilləşdirilməsində böyük irəliləyişlər əldə etdi və ondan necə faydalanmağı öyrəndi. Bununla belə, bu gün artıq həcmlərin bir neçə zettabayt diapazonunda ölçülən ölçülərə qədər artması ilə bağlı problemlər mövcuddur.

1 zettabayt milyard terabata bərabərdir

Bu rəqəmlərə nəzər saldıqda, Big Data termininin doğruluğunu və bu cür məlumatların işlənməsi və saxlanması ilə bağlı çətinlikləri görmək asandır.

Əlaqəli verilənlər bazasında saxlanılan məlumatlar strukturlaşdırılmışdır və məsələn, şirkət işçilərinin cədvəllərinə bənzəyir

Qurulmamış forma

Naməlum strukturlu məlumatlar strukturlaşdırılmamış kimi təsnif edilir. Böyük ölçüsü ilə yanaşı, bu forma emal və çıxarılmasında bir sıra çətinliklərlə xarakterizə olunur. faydalı məlumat. Tipik nümunə strukturlaşdırılmamış məlumatlar - sadə birləşməni ehtiva edən heterojen bir mənbə mətn faylları, şəkillər və videolar. Bu gün təşkilatların böyük həcmdə xam və ya strukturlaşdırılmamış məlumatlara çıxışı var, lakin ondan necə dəyər çıxaracağını bilmirlər.

Yarım strukturlu forma

Bu kateqoriya yuxarıda təsvir edilənlərin hər ikisini ehtiva edir, ona görə də yarı strukturlaşdırılmış verilənlər müəyyən formadadır, lakin əslində cədvəllərdən istifadə etməklə müəyyən edilmir. əlaqəli verilənlər bazaları. Bu kateqoriyaya misal olaraq XML faylında təqdim olunan şəxsi məlumatlardır.

Prashant RaoKişi35 Seema R.Qadın41 Satish ManeKişi29 Subrato RoyKişi26 Yeremya J.Kişi35

Böyük verilənlərin xüsusiyyətləri

Zamanla Big Data artımı:

Mavi rəng əlaqəli verilənlər bazalarında saxlanılan strukturlaşdırılmış məlumatları (Müəssisə məlumatları) təmsil edir. Digər rənglər müxtəlif mənbələrdən (IP telefoniya, cihazlar və sensorlar, sosial şəbəkələr və veb proqramlar) strukturlaşdırılmamış məlumatları göstərir.

Gartner-ə görə, böyük verilənlər həcmi, yaranma sürəti, müxtəlifliyi və dəyişkənliyinə görə dəyişir. Bu xüsusiyyətlərə daha yaxından nəzər salaq.

Həcmi. Big Data termininin özü böyük ölçü ilə əlaqələndirilir. Məlumat ölçüsü çıxarılacaq potensial dəyərin müəyyən edilməsində kritik bir metrikdir. Hər gün 6 milyon insan rəqəmsal mediadan istifadə edir ki, bu da... ilkin hesablamalar 2,5 kvintilyon bayt məlumat yaradır. Buna görə həcm nəzərə alınmalı ilk xüsusiyyətdir.
Müxtəliflik- növbəti aspekt. Bu, strukturlaşdırılmış və ya strukturlaşdırılmamış ola bilən heterojen mənbələrə və məlumatların təbiətinə aiddir. Əvvəllər elektron cədvəllər və verilənlər bazaları əksər tətbiqlərdə nəzərə alınan yeganə məlumat mənbəyi idi. Bu gün məlumatlar formadadır e-poçtlar, foto, video, PDF faylları, audio da analitik tətbiqlərdə nəzərə alınır. Strukturlaşdırılmamış məlumatların bu müxtəlifliyi saxlama, mədən və təhlildə problemlərə gətirib çıxarır: şirkətlərin 27%-i düzgün məlumatlarla işlədiklərinə əmin deyil.
Nəsil sürəti. Tələblərə cavab vermək üçün verilənlərin nə qədər tez yığılması və işlənməsi potensialı müəyyən edir. Sürət mənbələrdən məlumat axınının sürətini müəyyən edir - iş prosesləri, tətbiq jurnalları, sosial şəbəkələr və media saytları, sensorlar, mobil cihazlar. Məlumat axını böyük və zamanla davamlıdır.
Dəyişkənlik zamanın bəzi məqamlarında verilənlərin dəyişkənliyini təsvir edir ki, bu da emal və idarəetməni çətinləşdirir. Məsələn, verilənlərin çoxu struktursuzdur.

Big Data analitikası: böyük verilənlərin faydaları nələrdir

Malların və xidmətlərin təşviqi: Axtarış sistemlərindən və Facebook və Twitter kimi saytlardan məlumatlara çıxış bizneslərə marketinq strategiyalarını daha dəqiq inkişaf etdirməyə imkan verir.

Müştərilərə xidmətin təkmilləşdirilməsi: ənənəvi sistemlər rəy müştərilərin rəylərini oxumaq və qiymətləndirmək üçün Big Data və təbii dil emalından istifadə edilən yeniləri ilə əvəz olunur.

Risk hesablanması yeni məhsul və ya xidmətin buraxılması ilə bağlıdır.

Əməliyyat səmərəliliyi: böyük verilənlər lazımi məlumatları tez bir zamanda çıxarmaq və tez dəqiq nəticələr çıxarmaq üçün qurulmuşdur. Big Data və saxlama texnologiyalarının bu kombinasiyası təşkilatlara nadir hallarda istifadə olunan məlumatlarla işlərini optimallaşdırmağa kömək edir.