Hadoop pig ile okuma yardımı

Merhaba,

Verilerinizi virgülle ayrılmış bir formatta görüyorum. Bu verileri Pig ile okumak için aşağıdaki adımları takip edebilirsiniz:

1. Verilerinizi bir dosyada saklayın. Örneğin, verilerinizin saklandığı dosya adı "mydata.txt" olsun.

2. Pig Latin betiğinde verilerinizi şu şekilde yükleyin:

data = LOAD 'mydata.txt' USING PigStorage(',') AS (
DATE_TIME:chararray,
TRANSPORT_TYPE_ID:int,
TRANSPORT_TYPE_DESC:chararray,
LINE:chararray,
TRANSFER_TYPE_ID:int,
TRANSFER_TYPE:chararray,
NUMBER_OF_PASSENGER:int,
NUMBER_OF_PASSAGE:int);

Bu komut, "mydata.txt" dosyasını Pig içinde bir ilişkisel veri olarak yükleyecektir. Dosyanız virgüllerle ayrıldığı için PigStorage(',') kullanıyoruz.

Sonra "AS" ifadesiyle her sütuna bir alan adı atıyoruz.

3. Verilerinizi filtreleyebilir, gruplayabilir veya işleyebilirsiniz. Örneğin, verilerinizi "NUMBER_OF_PASSENGER" sütununa göre gruplamak için aşağıdaki komutu kullanabilirsiniz:

grouped_data = GROUP data BY NUMBER_OF_PASSENGER;

Bu, verilerinizi "NUMBER_OF_PASSENGER" sütununa göre gruplar.

4. İşlenmiş verilerinizi sonuç dosyasına yazdırabilirsiniz:

STORE grouped_data INTO 'output' USING PigStorage(',');

Bu, işlenmiş verilerinizi "output" adlı bir dosyaya yazacaktır.

Umarım bu yardımcı olur.