Yeni Başlayanlar İçin Hive Eğitimi: 3 Günde Örneklerle Öğrenin

Hive Eğitim Özeti


Apache Hive, büyük veri kümelerinin gerçekten hızlı bir şekilde sorgulanmasına ve yönetilmesine yardımcı olur. O bir ETL aracı Hadoop ekosistemi için. Yeni başlayanlar için bu Apache Hive eğitiminde, Hive temellerini ve HQL sorguları, veri çıkarmaları, bölümler, kovalar vb. gibi önemli konuları öğreneceksiniz. Bu Hive eğitim serisi, Hive kavramlarını ve temellerini öğrenmenize yardımcı olacak.

Ne bilmeliyim?


Bu Hive sorgu eğitimini öğrenmek için aşağıdaki temel bilgilere ihtiyacınız vardır: SQL, Hadoop'un ve diğer veritabanlarına ilişkin bilgi ek bir yardım sağlayacaktır.

Hive Kursu Müfredatı

Giriş

👉 Less1 üzerine Hive nedir? - ArchiYapı ve Modlar
👉 Less2 üzerine HIVE'ı indirin ve yükleyin — HIVE Nasıl İndirilir ve Kurulur? Ubuntu
👉 Less3 üzerine HIVE Meta Deposu Yapılandırması — Neden Kullanılmalı? MySQL?
👉 Less4 üzerine Kovan Veri Türleri — Hive'da Veritabanı Oluşturun ve Bırakın

Gelişmiş Şeyler

👉 Less1 üzerine Hive Tablo Oluştur — Türleri ve Kullanımı
👉 Less2 üzerine Kovan Bölmeleri ve Kovalar — Örnekle Öğrenin
👉 Less3 üzerine Hive Dizinleri ve Görünümü — Örnekle Öğrenin
👉 Less4 üzerine Kovan Sorguları — Örnekle Öğrenin
👉 Less5 üzerine Hive'a Katılma ve Alt Sorgu Eğitimi — Örnekle Öğrenin
👉 Less6 üzerine Hive Sorgu Dili Eğitimi — Yerleşik Operaları
👉 Less7 üzerine Kovan İşlevi — Yerleşik ve Kullanıcı Tanımlı İşlevler
👉 Less8 üzerine Kovan ETL'si — JSON, XML, Metin Veri Örneklerini Yükleme

Hive'a Giriş

Hive, Hadoop Harita Azaltma çerçevesi üzerine kurulu bir veri ambarı çözümü olarak gelişti.

Sektörde toplanan ve analiz edilen veri setlerinin boyutu iş zekası büyüyor ve bir bakıma geleneksel veri ambarı çözümlerini daha pahalı hale getiriyor. Hadoop'un MapReduce çerçevesi ile büyük boyutlu veri setlerinin analizinde alternatif bir çözüm olarak kullanılıyor. Hadoop'un büyük veri kümeleri üzerinde çalışmak için yararlı olduğu kanıtlanmış olmasına rağmen, MapReduce çerçevesi çok düşük düzeydedir ve programcıların bakımı ve yeniden kullanımı zor olan özel programlar yazmasını gerektirir. Hive, programcıları kurtarmak için buraya geliyor.


Kovan motoru bu sorguları Hadoop'ta yürütülecek Harita Azaltma işlerinde derler. Ayrıca özel Harita Azaltma komut dosyaları da sorgulara eklenebilir. Hive, ilkel veri türlerinden ve diziler ve haritalar gibi koleksiyon veri türlerinden oluşan tablolarda depolanan veriler üzerinde çalışır.

Hive, tablolar oluşturmak ve sorguları yürütmek için kullanılabilecek bir komut satırı kabuk arayüzüyle birlikte gelir.

Hive sorgu dili, alt sorguları desteklediği SQL'e benzer. Hive sorgu dili ile Hive tabloları arasında MapReduce birleştirmeleri yapmak mümkündür. Basit bir desteği var SQL benzeri işlevler– CONCAT, SUBSTR, ROUND vb. ve toplama işlevleri– SUM, COUNT, MAX vb. Ayrıca GROUP BY ve SORT BY cümlelerini de destekler. Hive sorgu dilinde kullanıcı tanımlı fonksiyonlar yazmak da mümkündür.

Hive nedir?

Apaçi Kovanı HDFS'de depolanan verilerin sorgulanması ve analizi için bir veri ambarı çerçevesidir. Hadoop'un üzerine geliştirildi. Hive, Hadoop'taki büyük veri kümelerini analiz etmek için kullanılan açık kaynaklı bir yazılımdır. Sorguları ifade etmek için HiveQL adı verilen SQL benzeri bildirimsel dil sağlar. Hive-QL'i kullanan kullanıcılar, SQL veri analizini çok kolay bir şekilde gerçekleştirebilmektedir.

Hive ve Harita Azaltımı

Bu iki seçenekten birini seçmeden önce bazı özelliklerine bakmalıyız.

Hive ve Map Reduction arasında seçim yaparken aşağıdaki faktörler göz önünde bulundurulur;

  • Veri Türü
  • Data miktarı
  • Kodun Karmaşıklığı

Hive ve Harita Karşılaştırması Azaltılır mı?

Özellikler(Hazırlık aşamasında) kovan Harita indirgeme
Dil Etkileşim ve Veri modelleme için SQL benzeri sorgu dilini destekler
  • Dili, içinde mevcut olan iki ana görevle derler. Biri harita görevi, diğeri ise düşürücü.
  • Bu görevi kullanarak tanımlayabiliriz. Java or Python
Soyutlama düzeyi HDFS'nin yanı sıra daha yüksek düzeyde Soyutlama Daha düşük düzeyde soyutlama
Kod Verimliliği Harita azaltımından nispeten daha az Yüksek verimlilik sağlar
Kodun kapsamı Less yürütme için gereken satır kodu sayısı Daha fazla sayıda kod satırı tanımlanacak
Gerekli Geliştirme işi türü Less Geliştirme çalışması gerekli Daha fazla geliştirme çalışması gerekli
için tıklayın Sonraki Eğitim