ナレッジベース

 tChangeFileEncodingを利用しファイルのエンコードをShift_JISからUTF-8に変換すると-(全角スペース)」の文字が、「-」に変換されてしまう。 その場合にはEncodingをCustomの"windows-31j"に変更する。                
View full article
Talend バージョン 全てのバージョン 概要 runtimeサーバーのログファイルを設定(ローテーションなど)する方法。 製品 Talend Data Integration コンポーネント runtimeサーバー 解決策・回避策 tesb.logの設定 「<Talend install>/runtime/etc/org.ops4j.pax.logging.cfg」のlog4j2.appender.rollingを設定します。 この設定はlog4jと同様で、デフォルトのファイルパスは「<Talend install>/runtime/log/tesb.log」です。 audit.logの設定 「<Talend install>/runtime/etc/org.ops4j.pax.logging.cfg」のlog4j2.appender.auditを設定します。 この設定はlog4jと同様で、デフォルトのファイルパスは「<Talend install>/runtime/data/security/audit.log」です。 wrapper.logの設定 「<Talend install>/runtime/etc/talend-runtime-<バージョン>-wrapper.conf」のWrapper Logging Propertiesセクションの設定をします。 デフォルトのファイルパスは「<Talend install>/runtime/data/log/wrapper.log」です。 karaf.logの設定 ファイルパス以外は設定出来ません。 ファイルパスは「<Talend install>/runtime/etc/config.properties」に「karaf.bootstrap.log=<ファイルパス>」を追加することで変更が出来ます。 デフォルトのファイルパスは「<Talend install>/runtime/data/log/karaf.log」です。
View full article
概要 Talend製品のライセンス更新手順(バージョン6.x以降)   解決策  ■ ライセンス更新前の確認事項   # 確認事項 補足 1 Talend Administration Center(以降、TAC)にログイン中のTalend Studioがない。 開発作業担当者にご確認下さい。ライセンス更新作業中は、TACに接続しないで下さい。 2 作業時間中にTAC上で自動実行がスケジュールされたタスクがない。 TAC のジョブコンダクター定義とタスク実行プランでご確認下さい。 3 TAC上で実行中のタスクがない。 TACのリアルタイムモニタリング機能でご確認下さい。   ■ ライセンス更新の対象 Talend Administration Center(TAC) CommandLine Talend Studio ※Job Server(Remote Job Server)、及びTalend製品と連動する「TAC用DB」「Subversion」については、更新作業に伴って停止などを行う必要はありません。   ■ ライセンス更新手順 ライセンス更新作業は、TAC、Commandline、及びStudioの更新作業をそれぞれ行います。   【TACのライセンス更新】 TACにログインし、左のMenuからライセンスに移動し、上部の「新規ライセンスを追加」から新しいライセンスをアップロードします。   【Commandlineのライセンス更新】 Commandlineを停止します。 <Talendインストールフォルダ>/cmdline/studio以下のlicenseファイルを置き換えます。 Commandlineを起動します。   【studioのライセンス更新】(この作業はTACのライセンス更新後に行います) TACのライセンス更新後にstudioを起動すると、TACからlicenseが自動で取得されます。画面の指示に従ってください。 ※TACを利用されていない場合は、<Talendインストールフォルダ>/studio以下のlicenseファイルを直接置き換えることで更新することができます。
View full article
概要 ジョブコンダクター > タスクの「 OS ユーザーとしてジョブを実行 (Unixのみ)」にジョブを実行させたいユーザー名を入れ、 タスクを実行したが以下のエラーでタスクを実行することが出来ない。 sudo: 端末 (tty) が存在せず、パスワードを尋ねる (askpass) プログラムが指定されていません 【エラーが英語の場合】 sudo: no tty present and no askpass program specified 解決策 「OS ユーザーとしてジョブを実行 (Unixのみ)するには、ジョブサーバーを起動しているユーザー(インストーラーのデフォルトでは「talenduser」)が、 コマンド「sudo su - <OSユーザー>」を実行できる必要があります。sudoersを編集することで権限を付与する必要があります。 [root@localhost ~]# visudo User_Alias JOB_SERVER_USER = talenduser Cmnd_Alias RUN_AS_CMD = /bin/su JOB_SERVER_USER ALL=(ALL) NOPASSWD: RUN_AS_CMD ※ /bin/suが存在しているかご確認ください。
View full article
概要 TAC(Talend Administration Center)のApache Tomcatのアップグレード方法 解決策 この手順はTACのApache Tomcatがデフォルトでインストールされているパスを基準としています。Apache Tomcatが別のフォルダにインストールされている場合は、適宜変更してください。新しいバージョンにアップグレードするには、以下のフォルダーを移行する必要があります。 tac/apache-tomcat/conf tac/apache-tomcat/webapps tac/apache-tomcat/bin   ■ 手順  Apache Tomcatをhttps://tomcat.apache.org/からダウンロードします。 Apache TomcatのMigration Guide(https://tomcat.apache.org/migration.html)を確認し、設定ファイルに変更が必要であればガイドに従って変更を行います。 TACを停止します。 既存のapache-tomcatのフォルダ名を「OLDapache-tomcat」(フォルダ名がapacheから開始しないよう)に変更します。 ※ Windowsの場合、いくつかのバッチが8.3形式のフォルダ名を利用しているため、新しいフォルダの8.3形式名も同一(通常はAPACHE~1)にします。なお、8.3形式のファイル名を確認するにはdirコマンドに/xオプションをつけて実行します。 ダウンロードした新しいApache Tomcatを解凍し(Windowの場合は7-Zipを利用)、フォルダー名をapache-tomcatに置き換えます。なお、フォルダーのパーミッションはOLDapache-tomcatと同様にします。 「OLDapache-tomcat/endorsed」フォルダーにjarをおいている場合、「apache-tomcat/endorsed」にコピーします。 「OLDapache-tomcat/conf」の内容を「apache-tomcat/conf」にコピーします。 「OLDapache-tomcat/webapps」の内容を「apache-tomcat/webapps」にコピーします。 ※ 以下、デフォルトで存在している5つのフォルダーはコピーする必要はありません - docs - examples - host-manager - manager - root 「OLDapache-tomcat/bin」にある以下のファイルを「apache-tomcat/bin」にコピーします。 - service.sh/bat - setenv.sh/bat Windowsインストールの場合、「OLDapache-tomcat/bin」にある以下のファイルを「apache-tomcat/bin」にコピーします。 - tomcat8.exe - tomcat8w.exe TACを起動します。   TalendヘルプセンターにあるUpgrading Apache Tomcat used by Talend Administration Centerもご確認ください。
View full article
概要  実行プランをエクスポート・インポートする方法   分析  TACは実行プラン(Execution Plan)を直接エクスポート・インポートする機能がない。   解決策  Metaservlet APIを利用することで、実行プランをエクスポート・インポートする事が出来ます。   実行プランのエクスポート 以下のコマンド(listExecutionPlans)を実行することで、TACで有効な実行プランのリストをエクスポートできます。 構文: MetaServletCaller.bat --tac-url=TAC_URL --json-params={"actionName":"listExecutionPlans","authPass":"TAC user password","authUser":"TAC_USERNAME"} 例: MetaServletCaller.bat --tac-url=http://localhost:8080/org.talend.administrator --json-params={"actionName":"listExecutionPlans","authPass":"admin","authUser":"admin@company.com"} 実行プランのインポート listExecutionPlansでエクスポートした結果を元に以下のコマンドを実行することで、実行プランのリストをインポートできます。 構文: MetaServletCaller.bat --tac-url=TAC_URL --json-params="{"actionName":"importExecutionPlan","authPass":"TAC user password","authUser":"TAC_USERNAME"},"result":<listExecutionPlansの出力結果>} 例: MetaServletCaller.bat --tac-url=http://localhost:8080/org.talend.administrator --json-params={"actionName":"importExecutionPlan","authPass":"admin","authUser":"user@talend.com","result":{"executionTime":{"millis":9,"seconds":0},"result":{"ExecutionPlan":[{"errorStatus":"OK","execPlanTimeOut":0,"idQuartzJob":11,"label":"ex1","planId":11,"planParts":{"endDate":"2017-09-04 13:43:18.0","partJobPrms":[],"partRequestId":"1504512788672_FBZIi","partStatus":"NONE","partType":"NONE","planId":"ex1","planPartId":6,"planPartTaskId":"24_aug_execplan","startDate":"2017-09-04 13:43:09.0","useParalle":false},"planPrms":[],"requestId":"1504512788533_pKrD7","status":"STOPPED"}]},"returnCode":0}}
View full article
問題・症状 データベースの移行時に以下のようなエラーが出力されて失敗する。 【例】 5.6.2から6.2.1への移行など   Error message : [thread_database_migration]: java.lang.OutOfMemoryError: GC overhead limit exceeded   解決策 埋め込みのTomcatをご利用の場合、<TACインストール>/apache-tomcat/bin/setenv.shに以下を追加し、再起動する事で解決することができます。 ※ メモリーサイズはご利用の環境に合わせて適宜ご変更ください。 set "JAVA_OPTS=%JAVA_OPTS% -XX:MaxPermSize=7000" set "JAVA_OPTS=%JAVA_OPTS% -Djava.awt.headless=true -Dfile.encoding=UTF-8 -server -XX:+DisableExplicitGC -XX:-UseGCOverheadLimit" set "JAVA_OPTS=%JAVA_OPTS% -Xms2048m -Xmx3500m -XX:NewSize=256m -XX:MaxNewSize=256m -XX:PermSize=256m"
View full article
Talend バージョン      6.x 概要 以下のエラーでエラーでジョブが実行できない。 java.lang.UnsupportedClassVersionError: org/talend/osgi/configurator/JarLoaderConfigurator : Unsupported major.minor version 51.0 その他のバージョン   プロダクト   Talend Data Integration コンポーネント   Studio 問題の説明  ジョブを実行すると以下のエラーが出る。 java.lang.UnsupportedClassVersionError: org/talend/osgi/configurator/JarLoaderConfigurator : Unsupported major.minor version 51.0 問題の原因  サポートされていないJavaバージョンをご利用している事が原因です。 解決策・回避策  JAVA_HOMEからご利用のJavaバージョンをご確認の上、インストレーションガイドでサポートされているバージョンを参照し、正しいバージョンをご利用ください。 JIRA チケット番号  
View full article
Talend バージョン    6.x 概要  Windowsへのインストールが以下のエラーで失敗する There has been an error. Error renaming / Error copying file The application will exit now その他のバージョン   製品   コンポーネント インストーラー 問題の説明 Talend製品をインストールすると以下のようなエラーでインストールが失敗する。 There has been an error. Error renaming E:/Talend/6.2.1/tdqp/apache-tomcat-8.0.20 to E:/Talend/6.2.1/tdqp/apache-tomcat The application will exit now There has been an error. Error copying file The application will exist now. 問題の原因 ユーザー権限やディスクスペースが原因となります。 解決策・回避策  以下をご確認ください。 ディスクスペースに余裕があるかどうかを確認。 以下の手順で権限を設定します。 インストール先のフォルダ(例:C:\Talend)を作成します。 作成されたフォルダを右クリックしてプロパティを開き、セキュリティタブからユーザーのグループにフルコントロールを設定します。 インストールを行います。 正常にインストールされた後、アクセス許可を元に戻します。 JIRA チケット番号  
View full article
Talend バージョン      6.2.1 概要 Ubuntu/Debianにサービスをインストール。 その他のバージョン Ubuntu 12.04, Ubuntu 16.10 製品 Talend Big Data コンポーネント Jobserver, TAC, services 問題の説明 ジョブサーバーやその他のTalend製品をサービスとしてインストールしようとした時に、サービスをインストール・設定する事が出来ない。 問題の原因 chkconfigがデフォルトインストールレポジトリから削除されたUbuntu 12.04から発生しています。また、Debianでも発生しています。 解決策・回避策  2つの回避策があります。 サービスを設定するための新しいコマンド「update-rc.d」をサービスのインストールに利用します。 【参照】http://manpages.ubuntu.com/manpages/xenial/man8/update-rc.d.8.html 従来の方法をご利用されたい場合は、chkconfigをインストールします。 【参照】http://manpages.ubuntu.com/manpages/xenial/man8/update-rc.d.8.html sudo apt-get install sysv-rc-conf sysv-rc-conf apache2 on sysv-rc-conf --list apache2 JIRA チケット番号  
View full article
概要 TACのデータベースとSVNをバックアップ・リストアする方法   解決策   ■ バックアップ   Talend Administration Center ユーザーガイドの Chapter 3. Backing up databases and SVN repositoriesをご確認ください。 その他の方法としては、データベースのバックアップツールやコマンドをご利用することができます。   ※ TACでデフォルトのH2データベースをご利用の場合、日時バックアップが自動的に実行され、以下のフォルダに保存されます。 <TACインストール>\apache-tomcat\webapps\org.talend.administrator\WEB-INF\database\backups\   ■ リストア   【データベース】   データベースのリストアツールやコマンドをご利用することができます。   ※ TACでデフォルトのH2データベースをご利用の場合、最新のtalend_administrator.h2.dbを自動バックアップから取得(zipを解凍)し、 以下フォルダのファイルを上書きします。 <TACインストール>\apache-tomcat\webapps\org.talend.administrator\WEB-INF\database\   リストアされたTACが別のマシン・ホスト名・IP、もしくは別のDBスキーマ・DB名・ユーザー名・パスワードの場合、TACのログインページより「 Go to db config page 」をクリックし、 リストアされたデータベースの設定をする必要があります。   【SVN】 SVNのリストアはSVNの「svnadmin load」コマンドを利用することが出来ます。   「例」 svnadmin load /talend/svn/repotis < svn_repotis.dump   「 /talend/svn/repotis 」はレポジトリーのパス、「 svn_repotis.dump 」はバックアップで作成したダンプファイルです。 SVNの詳細は下記URLをご確認ください。 http://svnbook.red-bean.com/en/1.7/svn.ref.svnadmin.c.load.html   注意点として、リストアされるのはレポジトリのみで、ユーザーはリストアされません。   リストアされたSVNが別のマシン・ホスト名・IP、もしくは別のユーザー名やパスワードの場合、TACで以下の変更をしてください。 基本設定 > システム設定 > SVN 基本設定 > プロジェクト > SVNのプロジェクトを選択 > 右ペインより「詳細設定」にチェックを入れ、SVNの情報を変更 基本設定 > ユーザー > 右ペインよりSVNログインとSVNパスワードを変更
View full article
 Web サービスをコールした際にサーバー側が "Transfer-Encoding: chunked" というメッセージを出力しリクエストが受け付けられない場合には以下の設定を行ってください。   Talend 6.3.1以降 : tESBConsumerコンポーネントのAdvanced Settingsタブを開き、[Disable Chunking]を有効にする Talend 6.3.1以前 : runtime/etc/以下にorg.apache.cxf.http.conduits- ANYTHING.cfgを作成し、以下の設定を追加する。 url = http://the_web_service_hostname.* client.AllowChunking=false
View full article
事象 TACのConfiguration設定画面にて以下のようなエラーが出力される場合がある Microsoft JDBC Driverを使用している場合 500 The call failed on the server; see server log for details jTDS JDBC Driverを使用している場合 Cannot connect to database (I/O Error: DB server closed connection.) jTDS JDBCでAzure SQL DBに接続する場合には、ssl=require" or "ssl=request"が必要ですがPacket sizeが4096にデフォルトで設定されているため、サイズ制限を超えてしまうために上記の問題が発生する。   対処方法 パッチ適用された以下のリンクのJDBCドライバを使用し、packetSize=512をJDBCのパラメータに指定する https://sourceforge.net/p/jtds/bugs/_discuss/thread/16113049/7594/attachment/jtds-1.3.1.jar 例) database.url=jdbc:jtds:sqlserver://talendtac.database.windows.net:1433/tac;user=tadmin@talendtac.database.windows.net;password=yourpassword;ssl=require; database.driver=net.sourceforge.jtds.jdbc.Driver database.username=tadmin database.password=yourpassword   URL=jdbc:jtds:sqlserver://name.database.windows.net:1433/tac631;user=tac;password=password;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;packetSize=512; Driver=net.sourceforge.jtds.jdbc.Driver Username=tac Password=password
View full article
1 AWS インスタンスがVPCのpublic IPを設定する 2 AWS security group / rules によって Studioの端末からJobServerのポートへアクセス可能に設定する 3 jobserver\agent\conf\talendJobServer.properties のorg.talend.remote.jobserver.server.TalendJobServer.LOCAL_HOSTをAWSのmachineホスト名/IPに変更する 4 telnet [jobserver host] 8000にてアクセスが可能なことを確認する 5 StudioにてRemoteサーバーを追加し上記のホスト名/IPを設定し ( preferences > talend > Run/Debug > Remote)することでRemote実行が可能となる
View full article
概要  TAC(Talend Administration Center)とStudioからSSLでGit/SVNに接続する設定   解決策 SSLでGit/SVNに接続する方法はカスタム証明書を利用、もしくは新たにkeystoreを作成(再利用)する方法の2つがあり、それぞれ説明いたします。   ■ TAC (Talend Administration Center)  カスタム証明書の利用 1.以下のコマンドを用い、$JAVA_HOME/jre/lib/securityにあるcacertsファイルにカスタム証明書をインポートします。 keytool -import -trustcacerts -alias mycert -file mycompany.crt -keystore cacerts 2.TACを起動し、Git/SVNの設定をします。 新たなkeystoreの作成 1.以下のコマンドを用い、新たなkeystoreを作成します。必要なkeyの情報を提供する必要があります。 keytool -genkey -alias mydomain -keyalg RSA -keystore KeyStore.jks -keysize 2048 2.以下のコマンドを用い、当該のkeystoreに証明書をインポートします。 keytool -import -trustcacerts -alias mydomain -file mycompany.crt -keystore KeyStore.jks 3.<TACインストール>/apache-tomcat/bin/setenv.sh/batを編集し、以下のJavaオプション(JAVA_OPTS)を追加します。 -Djavax.net.ssl.trustStore=<keystoreファイルのパス> -Djavax.net.ssl.trustStorePassword=<パスワード> 4.TACを起動し、Git/SVNの設定をします。   ■ Studio カスタム証明書の利用 1.以下のコマンドを用い、$JAVA_HOME/jre/lib/securityにあるcacertsファイルにカスタム証明書をインポートします。 keytool -import -trustcacerts -alias mycert -file mycompany.crt -keystore cacerts 2.もう一つの方法として、TACサーバーのcacertsファイルをStudioのJavaディレクトリーににあるcacertsファイルを置き換えることもできます。 新たなkeystoreの作成 1.TACサーバーのkeystoreファイルをコピーし、Studioのマシンの任意のディレクトリーに置きます。 2.<Studioインストール>/Talend-Studio-win-x86_64.ini(ご利用のOSによる)を編集し、以下のJavaオプション(JAVA_OPTS)を追加します。 -Djavax.net.ssl.trustStore=<keystoreファイルのパス> -Djavax.net.ssl.trustStorePassword=<パスワード> 【メモ】 証明書が頻繁に変更される場合、複数の開発者がStudioで上記の手順を行うことはあまり現実的ではありません。その場合、keystoreファイルを共有フォルダに置き、各Studioから参照してください。
View full article
H2データベース リカバリを試みる
View full article
Talend バージョン 全てのバージョン 概要 ジョブサーバーのログファイル(jobserver.log)のローテーションを設定する方法。 製品 Talend Data Integration コンポーネント Job Server 解決策・回避策 jobserver.logはデフォルトではファイルサイズが1000kBになるとローテーションされ、 <ジョブサーバーインストール>/agent/log4j.xmlで設定されています。 log4j.xmlファイル内には、<appender name="A1" ...>があり、パラメーターの値(value)を変更することで設定できます。 <appender name="A1" class="org.apache.log4j.RollingFileAppender"> <param name="File" value="jobserver.log" /> <param name="Append" value="true" /> <param name="Threshold" value="info" /> <param name="MaxFileSize" value="1000KB" /> <param name="MaxBackupIndex" value="100" /> <layout class="org.apache.log4j.PatternLayout"> <param name="ConversionPattern" value="%d %-5p %c{1} - %m%n"/> </layout> </appender>
View full article
Talend バージョン 5.x 6.x 概要 TACがインターネット環境に接続されていない場合、ライセンスの有効性を証明するためのセキュリティートークン(Security Token)を手動で更新する必要があります。 製品 Talend Administration Center 解決策・回避策  TACのトップページ(ログイン前)をブラウザで開きます。 ログインボタンの下にあるリンクからDBの設定ページに移動し、パスワードを入力します。 「ライセンスを手動で検証」タブを押下し、検証リクエストを開きます。 検証メッセージをコピーし、検証リンク(http://www.talend.com/api/get_tis_validation_token_form.php)をインターネットが接続できる環境のブラウザで開きます。 開いたページに検証メッセージを貼り付けて「Get your validation token」を押下、トークンを取得してTACに戻ります。 取得したトークンを検証リクエストの「検証」フィールドに貼り付け、検証ボタンを押下します。
View full article
Talend バージョン 全てのバージョン 概要 TACのテクニカルログのローテーションを設定する方法。 製品 Talend Administration Center 解決策・回避策 TACのテクニカルログのローテーションはデフォルトで以下の設定になっています。   MaxFileSize = 1000KB MaxBackupIndex = 100 これはハードコードされているため、変更することができません。   なお、TMC-6046にて改善要求が出ています。       JIRA チケット番号 https://jira.talendforge.org/browse/TMC-6046
View full article