Talend Studioで設計したジョブをEMR上Sparkで動かしたい

Highlighted
Four Stars

Talend Studioで設計したジョブをEMR上Sparkで動かしたい

目標:studio で開発したビッグデータジョブをEMR上で動かしたい

現状:簡単なビッグデータジョブはローカルSparkで成功に実行できました。

  • 環境構成:

システム環境

macOS Mojave 10.14.6

java環境

java version "1.8.0_241"

Talend Studio

Talend Cloud Real-Time Big Data Platform(7.2.1)

Hadoop Cluster

Amazon EMR 5.15.0(Hadoop 2.8.3) 

AWS Network

local PCに対してport全開(in/out

Spark

EMR(2.3.8)

クラスター設定:

  添付画像①の通り

Spark設定、ジョブ構成:

  添付画像②の通り

EMRの実行履歴:

  添付画像③の通り

Errorログ

  添付ファイルerror.log

 

※今回のEMRはプライベートネットに保護されますので、画像のセキュリティーについて問題ありません。

2019 GARTNER MAGIC QUADRANT FOR DATA INTEGRATION TOOL

Talend named a Leader.

Get your copy

OPEN STUDIO FOR DATA INTEGRATION

Kickstart your first data integration and ETL projects.

Download now