ナレッジベース

問題・症状 データベースの移行時に以下のようなエラーが出力されて失敗する。 【例】 5.6.2から6.2.1への移行など   Error message : [thread_database_migration]: java.lang.OutOfMemoryError: GC overhead limit exceeded   解決策 埋め込みのTomcatをご利用の場合、<TACインストール>/apache-tomcat/bin/setenv.shに以下を追加し、再起動する事で解決することができます。 ※ メモリーサイズはご利用の環境に合わせて適宜ご変更ください。 set "JAVA_OPTS=%JAVA_OPTS% -XX:MaxPermSize=7000" set "JAVA_OPTS=%JAVA_OPTS% -Djava.awt.headless=true -Dfile.encoding=UTF-8 -server -XX:+DisableExplicitGC -XX:-UseGCOverheadLimit" set "JAVA_OPTS=%JAVA_OPTS% -Xms2048m -Xmx3500m -XX:NewSize=256m -XX:MaxNewSize=256m -XX:PermSize=256m"
View full article
問題の説明  インターネットエクスプローラー(IE)を使ってTACを使っていると、画面が真っ白になったりして操作が出来なくなる。   原因  IEのキャッシュへアクセスが出来なくなり、コンテンツが読み込めなくなる。   解決策  問題が発生した場合、キャッシュを消してください。  なお、キャッシュを削除する際は必ず「お気に入りWebサイトデータを保持する」のチェックを外してください。  このチェックを外さないとTACをお気に入りにしている場合、キャッシュを削除することが出来ません。    
View full article
概要  TAC(Talend Administration Center)とStudioからSSLでGit/SVNに接続する設定   解決策 SSLでGit/SVNに接続する方法はカスタム証明書を利用、もしくは新たにkeystoreを作成(再利用)する方法の2つがあり、それぞれ説明いたします。   ■ TAC (Talend Administration Center)  カスタム証明書の利用 1.以下のコマンドを用い、$JAVA_HOME/jre/lib/securityにあるcacertsファイルにカスタム証明書をインポートします。 keytool -import -trustcacerts -alias mycert -file mycompany.crt -keystore cacerts 2.TACを起動し、Git/SVNの設定をします。 新たなkeystoreの作成 1.以下のコマンドを用い、新たなkeystoreを作成します。必要なkeyの情報を提供する必要があります。 keytool -genkey -alias mydomain -keyalg RSA -keystore KeyStore.jks -keysize 2048 2.以下のコマンドを用い、当該のkeystoreに証明書をインポートします。 keytool -import -trustcacerts -alias mydomain -file mycompany.crt -keystore KeyStore.jks 3.<TACインストール>/apache-tomcat/bin/setenv.sh/batを編集し、以下のJavaオプション(JAVA_OPTS)を追加します。 -Djavax.net.ssl.trustStore=<keystoreファイルのパス> -Djavax.net.ssl.trustStorePassword=<パスワード> 4.TACを起動し、Git/SVNの設定をします。   ■ Studio カスタム証明書の利用 1.以下のコマンドを用い、$JAVA_HOME/jre/lib/securityにあるcacertsファイルにカスタム証明書をインポートします。 keytool -import -trustcacerts -alias mycert -file mycompany.crt -keystore cacerts 2.もう一つの方法として、TACサーバーのcacertsファイルをStudioのJavaディレクトリーににあるcacertsファイルを置き換えることもできます。 新たなkeystoreの作成 1.TACサーバーのkeystoreファイルをコピーし、Studioのマシンの任意のディレクトリーに置きます。 2.<Studioインストール>/Talend-Studio-win-x86_64.ini(ご利用のOSによる)を編集し、以下のJavaオプション(JAVA_OPTS)を追加します。 -Djavax.net.ssl.trustStore=<keystoreファイルのパス> -Djavax.net.ssl.trustStorePassword=<パスワード> 【メモ】 証明書が頻繁に変更される場合、複数の開発者がStudioで上記の手順を行うことはあまり現実的ではありません。その場合、keystoreファイルを共有フォルダに置き、各Studioから参照してください。
View full article
概要  実行プランをエクスポート・インポートする方法   分析  TACは実行プラン(Execution Plan)を直接エクスポート・インポートする機能がない。   解決策  Metaservlet APIを利用することで、実行プランをエクスポート・インポートする事が出来ます。   実行プランのエクスポート 以下のコマンド(listExecutionPlans)を実行することで、TACで有効な実行プランのリストをエクスポートできます。 構文: MetaServletCaller.bat --tac-url=TAC_URL --json-params={"actionName":"listExecutionPlans","authPass":"TAC user password","authUser":"TAC_USERNAME"} 例: MetaServletCaller.bat --tac-url=http://localhost:8080/org.talend.administrator --json-params={"actionName":"listExecutionPlans","authPass":"admin","authUser":"admin@company.com"} 実行プランのインポート listExecutionPlansでエクスポートした結果を元に以下のコマンドを実行することで、実行プランのリストをインポートできます。 構文: MetaServletCaller.bat --tac-url=TAC_URL --json-params="{"actionName":"importExecutionPlan","authPass":"TAC user password","authUser":"TAC_USERNAME"},"result":<listExecutionPlansの出力結果>} 例: MetaServletCaller.bat --tac-url=http://localhost:8080/org.talend.administrator --json-params={"actionName":"importExecutionPlan","authPass":"admin","authUser":"user@talend.com","result":{"executionTime":{"millis":9,"seconds":0},"result":{"ExecutionPlan":[{"errorStatus":"OK","execPlanTimeOut":0,"idQuartzJob":11,"label":"ex1","planId":11,"planParts":{"endDate":"2017-09-04 13:43:18.0","partJobPrms":[],"partRequestId":"1504512788672_FBZIi","partStatus":"NONE","partType":"NONE","planId":"ex1","planPartId":6,"planPartTaskId":"24_aug_execplan","startDate":"2017-09-04 13:43:09.0","useParalle":false},"planPrms":[],"requestId":"1504512788533_pKrD7","status":"STOPPED"}]},"returnCode":0}}
View full article
Talend バージョン      6.2.1 概要 Ubuntu/Debianにサービスをインストール。 その他のバージョン Ubuntu 12.04, Ubuntu 16.10 製品 Talend Big Data コンポーネント Jobserver, TAC, services 問題の説明 ジョブサーバーやその他のTalend製品をサービスとしてインストールしようとした時に、サービスをインストール・設定する事が出来ない。 問題の原因 chkconfigがデフォルトインストールレポジトリから削除されたUbuntu 12.04から発生しています。また、Debianでも発生しています。 解決策・回避策  2つの回避策があります。 サービスを設定するための新しいコマンド「update-rc.d」をサービスのインストールに利用します。 【参照】http://manpages.ubuntu.com/manpages/xenial/man8/update-rc.d.8.html 従来の方法をご利用されたい場合は、chkconfigをインストールします。 【参照】http://manpages.ubuntu.com/manpages/xenial/man8/update-rc.d.8.html sudo apt-get install sysv-rc-conf sysv-rc-conf apache2 on sysv-rc-conf --list apache2 JIRA チケット番号  
View full article
  Talend バージョン 全てのバージョン 概要 Talend製品をアップグレードする際は、大まかに以下の流れで進みます。   お客様が移行先バージョンを選定し、移行スケジュールを検討。 ※ リタイヤしていないバージョンが選択可能。リタイヤやEOLの最新情報はサポートステートメントの製品のEOLスケジュールで確認できます。 お客様がTalendサポートにテスト用移行ライセンスを依頼。 Talendサポートが60日のテスト用移行ライセンスを発行。 お客様がライセンスを受け取り、60日以内で移行作業を行う。 お客様の移行作業が完了次第、Talendサポートに正式な移行ライセンスを依頼。 お客様がライセンスを受け取り、更新作業を行う。   アップグレードの詳細に関しましてはMigration Guideをご確認ください。  
View full article
概要 TAC(Talend Administration Center)のApache Tomcatのアップグレード方法 解決策 この手順はTACのApache Tomcatがデフォルトでインストールされているパスを基準としています。Apache Tomcatが別のフォルダにインストールされている場合は、適宜変更してください。新しいバージョンにアップグレードするには、以下のフォルダーを移行する必要があります。 tac/apache-tomcat/conf tac/apache-tomcat/webapps tac/apache-tomcat/bin   ■ 手順  Apache Tomcatをhttps://tomcat.apache.org/からダウンロードします。 Apache TomcatのMigration Guide(https://tomcat.apache.org/migration.html)を確認し、設定ファイルに変更が必要であればガイドに従って変更を行います。 TACを停止します。 既存のapache-tomcatのフォルダ名を「OLDapache-tomcat」(フォルダ名がapacheから開始しないよう)に変更します。 ※ Windowsの場合、いくつかのバッチが8.3形式のフォルダ名を利用しているため、新しいフォルダの8.3形式名も同一(通常はAPACHE~1)にします。なお、8.3形式のファイル名を確認するにはdirコマンドに/xオプションをつけて実行します。 ダウンロードした新しいApache Tomcatを解凍し(Windowの場合は7-Zipを利用)、フォルダー名をapache-tomcatに置き換えます。なお、フォルダーのパーミッションはOLDapache-tomcatと同様にします。 「OLDapache-tomcat/endorsed」フォルダーにjarをおいている場合、「apache-tomcat/endorsed」にコピーします。 「OLDapache-tomcat/conf」の内容を「apache-tomcat/conf」にコピーします。 「OLDapache-tomcat/webapps」の内容を「apache-tomcat/webapps」にコピーします。 ※ 以下、デフォルトで存在している5つのフォルダーはコピーする必要はありません - docs - examples - host-manager - manager - root 「OLDapache-tomcat/bin」にある以下のファイルを「apache-tomcat/bin」にコピーします。 - service.sh/bat - setenv.sh/bat Windowsインストールの場合、「OLDapache-tomcat/bin」にある以下のファイルを「apache-tomcat/bin」にコピーします。 - tomcat8.exe - tomcat8w.exe TACを起動します。   TalendヘルプセンターにあるUpgrading Apache Tomcat used by Talend Administration Centerもご確認ください。
View full article
概要 Talend version 6.x~   TACのジョブコンダクターで「生成するジョブ」、及び「実行ログ」の削除設定を説明します。   生成するジョブ TAC > 基本設定 > 設定 > ジョブコンダクター > 生成ジョブフォルダーに設定されているフォルダ以下のファイルが対象になります。 実行ログ TAC > 基本設定 > 設定 > ジョブコンダクター > タスクログフォルダーに設定されているフォルダ以下のファイルが対象になります。   なお、ジョブサーバー上に存在する実行ログやデプロイされたジョブとは異なる設定である事にご注意ください。   設定  ■ GUI上での設定   TACにログインし、基本設定 > 設定 > ジョブコンダクターに以下の設定があります。 表示名 説明 実行ログ保持数 各タスクごとに保持するログの最大数。0を設定すると無効になります。 ログファイルの最大時間 (日) 最大時間より古いログは削除されます。ただし、実行ログ保持数と同時に設定している場合、実行ログ保持数は保持されるため最大時間を過ぎた古いログでも保持される場合があります。0を設定すると無効になります。 生成ジョブ最大数 各タスクごとに保持する生成ジョブの最大数。 0を設定すると無効になります。 生成ジョブの最大時間 (日) 最大時間より古い生成ジョブは削除されます。ただし、生成ジョブ最大数と同時に設定している場合、生成ジョブ最大数は保持されるため最大時間を過ぎた古い生成ジョブでも保持される場合があります。0を設定すると無効になります。      ■ データベース上での設定 TACのデータベースではconfigurationテーブルに保存されています。   key GUI上の表示名 scheduler.conf.cleaning.maxOldExecutionsLogs 実行ログ保持数 scheduler.conf.cleaning.maxDurationBeforeCleaningOldExecutionsLogs ログファイルの最大時間 (日) scheduler.conf.cleaning.maxOldJobs 生成ジョブ最大数 scheduler.conf.cleaning.maxDurationBeforeCleaningOldJobs 生成ジョブの最大時間 (日)  
View full article
Talend バージョン    6.x 概要  Windowsへのインストールが以下のエラーで失敗する There has been an error. Error renaming / Error copying file The application will exit now その他のバージョン   製品   コンポーネント インストーラー 問題の説明 Talend製品をインストールすると以下のようなエラーでインストールが失敗する。 There has been an error. Error renaming E:/Talend/6.2.1/tdqp/apache-tomcat-8.0.20 to E:/Talend/6.2.1/tdqp/apache-tomcat The application will exit now There has been an error. Error copying file The application will exist now. 問題の原因 ユーザー権限やディスクスペースが原因となります。 解決策・回避策  以下をご確認ください。 ディスクスペースに余裕があるかどうかを確認。 以下の手順で権限を設定します。 インストール先のフォルダ(例:C:\Talend)を作成します。 作成されたフォルダを右クリックしてプロパティを開き、セキュリティタブからユーザーのグループにフルコントロールを設定します。 インストールを行います。 正常にインストールされた後、アクセス許可を元に戻します。 JIRA チケット番号  
View full article
概要 TACのデータベースとSVNをバックアップ・リストアする方法   解決策   ■ バックアップ   Talend Administration Center ユーザーガイドの Chapter 3. Backing up databases and SVN repositoriesをご確認ください。 その他の方法としては、データベースのバックアップツールやコマンドをご利用することができます。   ※ TACでデフォルトのH2データベースをご利用の場合、日時バックアップが自動的に実行され、以下のフォルダに保存されます。 <TACインストール>\apache-tomcat\webapps\org.talend.administrator\WEB-INF\database\backups\   ■ リストア   【データベース】   データベースのリストアツールやコマンドをご利用することができます。   ※ TACでデフォルトのH2データベースをご利用の場合、最新のtalend_administrator.h2.dbを自動バックアップから取得(zipを解凍)し、 以下フォルダのファイルを上書きします。 <TACインストール>\apache-tomcat\webapps\org.talend.administrator\WEB-INF\database\   リストアされたTACが別のマシン・ホスト名・IP、もしくは別のDBスキーマ・DB名・ユーザー名・パスワードの場合、TACのログインページより「 Go to db config page 」をクリックし、 リストアされたデータベースの設定をする必要があります。   【SVN】 SVNのリストアはSVNの「svnadmin load」コマンドを利用することが出来ます。   「例」 svnadmin load /talend/svn/repotis < svn_repotis.dump   「 /talend/svn/repotis 」はレポジトリーのパス、「 svn_repotis.dump 」はバックアップで作成したダンプファイルです。 SVNの詳細は下記URLをご確認ください。 http://svnbook.red-bean.com/en/1.7/svn.ref.svnadmin.c.load.html   注意点として、リストアされるのはレポジトリのみで、ユーザーはリストアされません。   リストアされたSVNが別のマシン・ホスト名・IP、もしくは別のユーザー名やパスワードの場合、TACで以下の変更をしてください。 基本設定 > システム設定 > SVN 基本設定 > プロジェクト > SVNのプロジェクトを選択 > 右ペインより「詳細設定」にチェックを入れ、SVNの情報を変更 基本設定 > ユーザー > 右ペインよりSVNログインとSVNパスワードを変更
View full article
概要 Talend製品のライセンス更新手順(バージョン6.x以降)   解決策  ■ ライセンス更新前の確認事項   # 確認事項 補足 1 Talend Administration Center(以降、TAC)にログイン中のTalend Studioがない。 開発作業担当者にご確認下さい。ライセンス更新作業中は、TACに接続しないで下さい。 2 作業時間中にTAC上で自動実行がスケジュールされたタスクがない。 TAC のジョブコンダクター定義とタスク実行プランでご確認下さい。 3 TAC上で実行中のタスクがない。 TACのリアルタイムモニタリング機能でご確認下さい。   ■ ライセンス更新の対象 Talend Administration Center(TAC) CommandLine Talend Studio ※Job Server(Remote Job Server)、及びTalend製品と連動する「TAC用DB」「Subversion」については、更新作業に伴って停止などを行う必要はありません。   ■ ライセンス更新手順 ライセンス更新作業は、TAC、Commandline、及びStudioの更新作業をそれぞれ行います。   【TACのライセンス更新】 TACにログインし、左のMenuからライセンスに移動し、上部の「新規ライセンスを追加」から新しいライセンスをアップロードします。   【Commandlineのライセンス更新】 Commandlineを停止します。 <Talendインストールフォルダ>/cmdline/studio以下のlicenseファイルを置き換えます。 Commandlineを起動します。   【studioのライセンス更新】(この作業はTACのライセンス更新後に行います) TACのライセンス更新後にstudioを起動すると、TACからlicenseが自動で取得されます。画面の指示に従ってください。 ※TACを利用されていない場合は、<Talendインストールフォルダ>/studio以下のlicenseファイルを直接置き換えることで更新することができます。
View full article
概要 TAC(Talend Administration Center)を初めに設定する際、もしくはTACのデータベースを変更する際、Driver not found (see installation guide for more information)というエラーが出る。 分析  データベースのドライバーが存在していない、もしくは正しいドライバーではない可能性があります。 解決策  ご利用のデータベースのバージョンを確認し、正しいドライバーをダウンロードします。 例)MySQLの場合はhttps://dev.mysql.com/downloads/connector/j/ 「<TACインストール>/apache-tomcat/endorsed」フォルダーにダウンロードしたjarを置きます。 TACを再起動します。  
View full article
事象 TACのConfiguration設定画面にて以下のようなエラーが出力される場合がある Microsoft JDBC Driverを使用している場合 500 The call failed on the server; see server log for details jTDS JDBC Driverを使用している場合 Cannot connect to database (I/O Error: DB server closed connection.) jTDS JDBCでAzure SQL DBに接続する場合には、ssl=require" or "ssl=request"が必要ですがPacket sizeが4096にデフォルトで設定されているため、サイズ制限を超えてしまうために上記の問題が発生する。   対処方法 パッチ適用された以下のリンクのJDBCドライバを使用し、packetSize=512をJDBCのパラメータに指定する https://sourceforge.net/p/jtds/bugs/_discuss/thread/16113049/7594/attachment/jtds-1.3.1.jar 例) database.url=jdbc:jtds:sqlserver://talendtac.database.windows.net:1433/tac;user=tadmin@talendtac.database.windows.net;password=yourpassword;ssl=require; database.driver=net.sourceforge.jtds.jdbc.Driver database.username=tadmin database.password=yourpassword   URL=jdbc:jtds:sqlserver://name.database.windows.net:1433/tac631;user=tac;password=password;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;packetSize=512; Driver=net.sourceforge.jtds.jdbc.Driver Username=tac Password=password
View full article
問題の説明  TACでジョブコンダクターのタスクが実行中のまま終わらなく、テクニカルログにはデータベースに関するエラーが多数出ている。   原因  典型的な例として2つの原因があります。 同時実行されるタスク数が多い(未調整時の目安は30以上) 設定されているデータベースへの接続数や実行スレッド数を超えてタスクを実行しようとしているため、リソース不足で問題が出ます。 1日でスケジュールされているタスクの数が多い(未調整時の目安は1日5000~10000件以上) タスクが起動されると実行の可否にかかわらずデータベースのtaskexecutionhistoryテーブルにすべて記録されます。複数のタスク、例えば10タスクを毎秒起動すると一日で864,000件(10×60×60×24)、デフォルトでは15日間保持されるため12,960,000件のレコードがデフォルトで保持され、パフォーマンス(データの読み書き)に多大な影響を与えます。代表的な例として、TACのタイムラインにアクセスするとTAC全体のレスポンスが大幅に低下し、そこに常時リモート接続しようとしているStudioにも影響が及びます。 また、タスクのステータスが実行中だとしても実際には実行されてなく、データベースのステータスと実際のステータスがマッチしていない状態となります。   解決策 TACを再起動することで状態は一時的に復旧しますが、すぐに再発すると想定されます。以下の設定をご確認ください。   ■ 同時実行されるタスク数が多い場合 以下資料のRecommended configurationを参考にチューニングを行ってください。 https://help.talend.com/reader/fA2wnGge2dZHfbRCAIEnNg/Re3PWARKLmrpIdIgQbHsNw   ■ 1日でスケジュールされているタスク数が多い場合 業務上、短時間で回す必要がないタスクのスケジュール間隔の改善を検討してください。次にconfigurationテーブルのdashboard.conf.taskExecutionsHistory.timeBeforeDeletingOldExecutionsの値をデフォルトの1296000秒(15日)から一度10万件以下になるように設定し、様子を見て調整してください。また、TalendはH2データベースの本番運用を推奨しておりませんが、ご利用の場合はパフォーマンスが出ないため数千件になるように調整してください。なお、値の変更方法は以下の2つの方法があります。 データベースを直接書き換える <Talend_HOME>/tac/apache-tomcat/webapps/org.talend.administrator/WEB-INF/classes/configuration.propertiesに以下のプロパティーを挿入し、TACを再起動します。 dashboard.conf.taskExecutionsHistory.timeBeforeDeletingOldExecutions=XXX ※ 再起動後はconfiguration.propertiesから当該のプロパティーがデータベースに反映されファイルからは無くなります。  
View full article
概要 ジョブコンダクター > タスクの「 OS ユーザーとしてジョブを実行 (Unixのみ)」にジョブを実行させたいユーザー名を入れ、 タスクを実行したが以下のエラーでタスクを実行することが出来ない。 sudo: 端末 (tty) が存在せず、パスワードを尋ねる (askpass) プログラムが指定されていません 【エラーが英語の場合】 sudo: no tty present and no askpass program specified 解決策 「OS ユーザーとしてジョブを実行 (Unixのみ)するには、ジョブサーバーを起動しているユーザー(インストーラーのデフォルトでは「talenduser」)が、 コマンド「sudo su - <OSユーザー>」を実行できる必要があります。sudoersを編集することで権限を付与する必要があります。 [root@localhost ~]# visudo User_Alias JOB_SERVER_USER = talenduser Cmnd_Alias RUN_AS_CMD = /bin/su JOB_SERVER_USER ALL=(ALL) NOPASSWD: RUN_AS_CMD ※ /bin/suが存在しているかご確認ください。
View full article
TACのSVN設定での警告 (Warning: Your library location url includes the server location url, it may cause unexpected errors)
View full article
TAC タスクのMisfire
View full article
TAC Timezoneの設定
View full article
AMCの使用時に以下の警告が出力される 5.6 and above
View full article
H2データベース リカバリを試みる
View full article
Top Tags
Top Contributors