ナレッジベース

概要  Nexus 3をバックアップ・リストアする方法   方法   ■ バックアップ Nexusを停止します。 「 <Nexusインストール>/sonatype-work」をコピーします。   ■ リストア Nexusを停止します。 「 <Nexusインストール>/sonatype-work」を削除します。 バックアップしたsonatype-workディレクトリーを「 <Nexusインストール>」に戻します。     ※ 必要なデータのみバックアップ・リストアする事も出来ますが、その場合はNexusのヘルプをご参照ください。 https://help.sonatype.com/repomanager3/backup-and-restore  
View full article
Talend バージョン 全てのバージョン 概要 runtimeサーバーのログファイルを設定(ローテーションなど)する方法。 製品 Talend Data Integration コンポーネント runtimeサーバー 解決策・回避策 tesb.logの設定 「<Talend install>/runtime/etc/org.ops4j.pax.logging.cfg」のlog4j2.appender.rollingを設定します。 この設定はlog4jと同様で、デフォルトのファイルパスは「<Talend install>/runtime/log/tesb.log」です。 audit.logの設定 「<Talend install>/runtime/etc/org.ops4j.pax.logging.cfg」のlog4j2.appender.auditを設定します。 この設定はlog4jと同様で、デフォルトのファイルパスは「<Talend install>/runtime/data/security/audit.log」です。 wrapper.logの設定 「<Talend install>/runtime/etc/talend-runtime-<バージョン>-wrapper.conf」のWrapper Logging Propertiesセクションの設定をします。 デフォルトのファイルパスは「<Talend install>/runtime/data/log/wrapper.log」です。 karaf.logの設定 ファイルパス以外は設定出来ません。 ファイルパスは「<Talend install>/runtime/etc/config.properties」に「karaf.bootstrap.log=<ファイルパス>」を追加することで変更が出来ます。 デフォルトのファイルパスは「<Talend install>/runtime/data/log/karaf.log」です。
View full article
問題の説明  インターネットエクスプローラー(IE)を使ってTACを使っていると、画面が真っ白になったりして操作が出来なくなる。   原因  IEのキャッシュへアクセスが出来なくなり、コンテンツが読み込めなくなる。   解決策  問題が発生した場合、キャッシュを消してください。  なお、キャッシュを削除する際は必ず「お気に入りWebサイトデータを保持する」のチェックを外してください。  このチェックを外さないとTACをお気に入りにしている場合、キャッシュを削除することが出来ません。    
View full article
問題の説明  TAC(Talend Administration Center)は起動されているが、ページが正しく表示されない、または真白になったりする。   原因  可能性の一つとして、LinuxにインストールされたTomcat(TAC)の起動ユーザーが一定ではない場合、Tomcatの一時フォルダー(temp/work)内に作成されたファイルへのアクセス権限が問題になっている場合があります。   解決策 ■ サービスをインストールしている場合  Talend製品のインストーラーを用いてTACのサービスをインストールした場合、TACの起動ユーザーはインストーラーによってインストールされたユーザーである、「talenduser」となります。この場合、以下の対応をお願いします。 Tomcatの一時フォルダー(temp/work)内のファイルを削除。(削除方法はこちら) TACインストールフォルダ以下にあるstart_tac.shやstop_tac.shをtalenduser以外のユーザーで直接起動しない。 ■ サービスをインストールしていない場合 Tomcatの一時フォルダー(temp/work)内のファイルを削除。(削除方法はこちら) TACインストールフォルダ以下にあるstart_tac.shやstop_tac.shで起動する際、必ず同一のユーザーで起動する。 (もしくは正しくグループ権限が設定されたユーザー間でのご利用)
View full article
問題・症状 データベースの移行時に以下のようなエラーが出力されて失敗する。 【例】 5.6.2から6.2.1への移行など   Error message : [thread_database_migration]: java.lang.OutOfMemoryError: GC overhead limit exceeded   解決策 埋め込みのTomcatをご利用の場合、<TACインストール>/apache-tomcat/bin/setenv.shに以下を追加し、再起動する事で解決することができます。 ※ メモリーサイズはご利用の環境に合わせて適宜ご変更ください。 set "JAVA_OPTS=%JAVA_OPTS% -XX:MaxPermSize=7000" set "JAVA_OPTS=%JAVA_OPTS% -Djava.awt.headless=true -Dfile.encoding=UTF-8 -server -XX:+DisableExplicitGC -XX:-UseGCOverheadLimit" set "JAVA_OPTS=%JAVA_OPTS% -Xms2048m -Xmx3500m -XX:NewSize=256m -XX:MaxNewSize=256m -XX:PermSize=256m"
View full article
概要  Command LineやStudioが立ち上がらない、動作に問題がある場合などに確認するログの場所   解決策  ログは主に2つあります。またCommand LineとStudioは同等のアプリケーションであり、 <Command Lineインストール>/studioと<Studioインストール>は同等のものとなります。 以下は、<Command Lineインストール>/studioと<Studioインストール>のパスをstudioとして定義し、説明します。   <ワークスペース>/.metadata/.log Command LineやStudioの一般的なログで、実行中のエラーはここに出力されます。 なお、Command Lineのワークスペースはstudio/workstapce-commandlineに固定となります。 studio/configuration/<数字>.log このログは立ち上げに失敗したときなどに出力されます。ライセンス切れによるエラーログもこちらに出力されます。
View full article
概要  Oracle CDCはいくつかのモードが存在します。TalendのOracle CDC Redo/Archiveモードで使用しているモードについて。   解決策  以下のうち、非同期HotLogモードを使用しています。 同期モード 非同期HotLogモード 非同期分散HotLogモード 非同期AutoLogモード  CDCの詳細はOracleの資料をご確認ください。
View full article
概要  TAC(Talend Administration Center)とStudioからSSLでGit/SVNに接続する設定   解決策 SSLでGit/SVNに接続する方法はカスタム証明書を利用、もしくは新たにkeystoreを作成(再利用)する方法の2つがあり、それぞれ説明いたします。   ■ TAC (Talend Administration Center)  カスタム証明書の利用 1.以下のコマンドを用い、$JAVA_HOME/jre/lib/securityにあるcacertsファイルにカスタム証明書をインポートします。 keytool -import -trustcacerts -alias mycert -file mycompany.crt -keystore cacerts 2.TACを起動し、Git/SVNの設定をします。 新たなkeystoreの作成 1.以下のコマンドを用い、新たなkeystoreを作成します。必要なkeyの情報を提供する必要があります。 keytool -genkey -alias mydomain -keyalg RSA -keystore KeyStore.jks -keysize 2048 2.以下のコマンドを用い、当該のkeystoreに証明書をインポートします。 keytool -import -trustcacerts -alias mydomain -file mycompany.crt -keystore KeyStore.jks 3.<TACインストール>/apache-tomcat/bin/setenv.sh/batを編集し、以下のJavaオプション(JAVA_OPTS)を追加します。 -Djavax.net.ssl.trustStore=<keystoreファイルのパス> -Djavax.net.ssl.trustStorePassword=<パスワード> 4.TACを起動し、Git/SVNの設定をします。   ■ Studio カスタム証明書の利用 1.以下のコマンドを用い、$JAVA_HOME/jre/lib/securityにあるcacertsファイルにカスタム証明書をインポートします。 keytool -import -trustcacerts -alias mycert -file mycompany.crt -keystore cacerts 2.もう一つの方法として、TACサーバーのcacertsファイルをStudioのJavaディレクトリーににあるcacertsファイルを置き換えることもできます。 新たなkeystoreの作成 1.TACサーバーのkeystoreファイルをコピーし、Studioのマシンの任意のディレクトリーに置きます。 2.<Studioインストール>/Talend-Studio-win-x86_64.ini(ご利用のOSによる)を編集し、以下のJavaオプション(JAVA_OPTS)を追加します。 -Djavax.net.ssl.trustStore=<keystoreファイルのパス> -Djavax.net.ssl.trustStorePassword=<パスワード> 【メモ】 証明書が頻繁に変更される場合、複数の開発者がStudioで上記の手順を行うことはあまり現実的ではありません。その場合、keystoreファイルを共有フォルダに置き、各Studioから参照してください。
View full article
概要 CDCの機能でDDLの変更を検出して反映させたい。   回答  CDCで検出できるのはInsert, Update, Deleteのみです。残念ながらDDLの変更は検出はできません。   【Oracle CDCのRedo/Archiveモードをstop_on_ddl=>'n'で運用されたい場合】 Oracle CDCのRedo/ArchiveモードでCDCを追加する際、デフォルトではdbms_cdc_publish.create_change_setでstop_on_ddl=>'y'が指定されます。 stop_on_ddl=>'n'で運用されたい場合、サポート対象外にはなりますが、DDL変更時に発生しうる問題などを予め踏まえたうえでご利用ください。   
View full article
Talend バージョン      6.2.1 概要 Ubuntu/Debianにサービスをインストール。 その他のバージョン Ubuntu 12.04, Ubuntu 16.10 製品 Talend Big Data コンポーネント Jobserver, TAC, services 問題の説明 ジョブサーバーやその他のTalend製品をサービスとしてインストールしようとした時に、サービスをインストール・設定する事が出来ない。 問題の原因 chkconfigがデフォルトインストールレポジトリから削除されたUbuntu 12.04から発生しています。また、Debianでも発生しています。 解決策・回避策  2つの回避策があります。 サービスを設定するための新しいコマンド「update-rc.d」をサービスのインストールに利用します。 【参照】http://manpages.ubuntu.com/manpages/xenial/man8/update-rc.d.8.html 従来の方法をご利用されたい場合は、chkconfigをインストールします。 【参照】http://manpages.ubuntu.com/manpages/xenial/man8/update-rc.d.8.html sudo apt-get install sysv-rc-conf sysv-rc-conf apache2 on sysv-rc-conf --list apache2 JIRA チケット番号  
View full article
概要 ESB Runtimeに設定されているパスワードの変更方法。   解決策 1)<Runtimeインストール>/etc/users.propertiesで3ユーザーのパスワードを変更します。 <Runtimeインストール>/etc/users.properties tadmin=<パスワード>,_g_:admingroup,sl_admin tesb=<パスワード>,_g_:admingroup,sl_maintain karaf = <パスワード>,_g_:admingroup 2)それぞれのユーザーの新しいパスワードを変更します。 <Runtimeインストール>/etc/org.apache.activemq.webconsole.cfg webconsole.jmx.user=tesb webconsole.jmx.password=<パスワード> webconsole.jms.user=tesb webconsole.jms.password=<パスワード> 3ファイル共通 <Runtimeインストール>/etc/org.talend.esb.auxiliary.storage.client.rest.cfg <Runtimeインストール>/etc/org.talend.esb.registry.client.policy.cfg <Runtimeインストール>/etc/org.talend.esb.registry.client.wsdl.cfg #BASIC authentication auxiliary.storage.service.authentication.user = karaf auxiliary.storage.service.authentication.password = <パスワード> #SAML authentication security.username = tadmin security.password = <パスワード>
View full article
概要  TAC(Talend Administration Center)に何らかの問題が発生した場合、TACが動作しているTomcatのキャッシュを削除し、再起動することで問題が解決することがあります。   方法  以下の手順でキャッシュを削除します。    TAC(Tomcat)を停止します。 <TACインストール>/apache-tomcat/に移動します。 Tomcatのキャッシュを削除します。 UNIX/Linux cd <TACインストール>/apache-tomcat(例 /opt/Talend-<version>1/tac/apache-tomcat) rm -rf ./temp/* rm -rf ./work/* Windows cd <TACインストール>\apache-tomcat(例 C:\Talend\<version>\tac\apache-tomcat) del /Q /s /F temp\* del /Q /s /F work\* TACを起動します。
View full article
Talend バージョン    6.x 概要  Windowsへのインストールが以下のエラーで失敗する There has been an error. Error renaming / Error copying file The application will exit now その他のバージョン   製品   コンポーネント インストーラー 問題の説明 Talend製品をインストールすると以下のようなエラーでインストールが失敗する。 There has been an error. Error renaming E:/Talend/6.2.1/tdqp/apache-tomcat-8.0.20 to E:/Talend/6.2.1/tdqp/apache-tomcat The application will exit now There has been an error. Error copying file The application will exist now. 問題の原因 ユーザー権限やディスクスペースが原因となります。 解決策・回避策  以下をご確認ください。 ディスクスペースに余裕があるかどうかを確認。 以下の手順で権限を設定します。 インストール先のフォルダ(例:C:\Talend)を作成します。 作成されたフォルダを右クリックしてプロパティを開き、セキュリティタブからユーザーのグループにフルコントロールを設定します。 インストールを行います。 正常にインストールされた後、アクセス許可を元に戻します。 JIRA チケット番号  
View full article
概要 TAC(Talend Administration Center)のApache Tomcatのアップグレード方法 解決策 この手順はTACのApache Tomcatがデフォルトでインストールされているパスを基準としています。Apache Tomcatが別のフォルダにインストールされている場合は、適宜変更してください。新しいバージョンにアップグレードするには、以下のフォルダーを移行する必要があります。 tac/apache-tomcat/conf tac/apache-tomcat/webapps tac/apache-tomcat/bin   ■ 手順  Apache Tomcatをhttps://tomcat.apache.org/からダウンロードします。 Apache TomcatのMigration Guide(https://tomcat.apache.org/migration.html)を確認し、設定ファイルに変更が必要であればガイドに従って変更を行います。 TACを停止します。 既存のapache-tomcatのフォルダ名を「OLDapache-tomcat」(フォルダ名がapacheから開始しないよう)に変更します。 ※ Windowsの場合、いくつかのバッチが8.3形式のフォルダ名を利用しているため、新しいフォルダの8.3形式名も同一(通常はAPACHE~1)にします。なお、8.3形式のファイル名を確認するにはdirコマンドに/xオプションをつけて実行します。 ダウンロードした新しいApache Tomcatを解凍し(Windowの場合は7-Zipを利用)、フォルダー名をapache-tomcatに置き換えます。なお、フォルダーのパーミッションはOLDapache-tomcatと同様にします。 「OLDapache-tomcat/endorsed」フォルダーにjarをおいている場合、「apache-tomcat/endorsed」にコピーします。 「OLDapache-tomcat/conf」の内容を「apache-tomcat/conf」にコピーします。 「OLDapache-tomcat/webapps」の内容を「apache-tomcat/webapps」にコピーします。 ※ 以下、デフォルトで存在している5つのフォルダーはコピーする必要はありません - docs - examples - host-manager - manager - root 「OLDapache-tomcat/bin」にある以下のファイルを「apache-tomcat/bin」にコピーします。 - service.sh/bat - setenv.sh/bat Windowsインストールの場合、「OLDapache-tomcat/bin」にある以下のファイルを「apache-tomcat/bin」にコピーします。 - tomcat8.exe - tomcat8w.exe TACを起動します。   TalendヘルプセンターにあるUpgrading Apache Tomcat used by Talend Administration Centerもご確認ください。
View full article
Talend バージョン      6.x 概要 以下のエラーでエラーでジョブが実行できない。 java.lang.UnsupportedClassVersionError: org/talend/osgi/configurator/JarLoaderConfigurator : Unsupported major.minor version 51.0 その他のバージョン   プロダクト   Talend Data Integration コンポーネント   Studio 問題の説明  ジョブを実行すると以下のエラーが出る。 java.lang.UnsupportedClassVersionError: org/talend/osgi/configurator/JarLoaderConfigurator : Unsupported major.minor version 51.0 問題の原因  サポートされていないJavaバージョンをご利用している事が原因です。 解決策・回避策  JAVA_HOMEからご利用のJavaバージョンをご確認の上、インストレーションガイドでサポートされているバージョンを参照し、正しいバージョンをご利用ください。 JIRA チケット番号  
View full article
概要  実行プランをエクスポート・インポートする方法   分析  TACは実行プラン(Execution Plan)を直接エクスポート・インポートする機能がない。   解決策  Metaservlet APIを利用することで、実行プランをエクスポート・インポートする事が出来ます。   実行プランのエクスポート 以下のコマンド(listExecutionPlans)を実行することで、TACで有効な実行プランのリストをエクスポートできます。 構文: MetaServletCaller.bat --tac-url=TAC_URL --json-params={"actionName":"listExecutionPlans","authPass":"TAC user password","authUser":"TAC_USERNAME"} 例: MetaServletCaller.bat --tac-url=http://localhost:8080/org.talend.administrator --json-params={"actionName":"listExecutionPlans","authPass":"admin","authUser":"admin@company.com"} 実行プランのインポート listExecutionPlansでエクスポートした結果を元に以下のコマンドを実行することで、実行プランのリストをインポートできます。 構文: MetaServletCaller.bat --tac-url=TAC_URL --json-params="{"actionName":"importExecutionPlan","authPass":"TAC user password","authUser":"TAC_USERNAME"},"result":<listExecutionPlansの出力結果>} 例: MetaServletCaller.bat --tac-url=http://localhost:8080/org.talend.administrator --json-params={"actionName":"importExecutionPlan","authPass":"admin","authUser":"user@talend.com","result":{"executionTime":{"millis":9,"seconds":0},"result":{"ExecutionPlan":[{"errorStatus":"OK","execPlanTimeOut":0,"idQuartzJob":11,"label":"ex1","planId":11,"planParts":{"endDate":"2017-09-04 13:43:18.0","partJobPrms":[],"partRequestId":"1504512788672_FBZIi","partStatus":"NONE","partType":"NONE","planId":"ex1","planPartId":6,"planPartTaskId":"24_aug_execplan","startDate":"2017-09-04 13:43:09.0","useParalle":false},"planPrms":[],"requestId":"1504512788533_pKrD7","status":"STOPPED"}]},"returnCode":0}}
View full article
概要 Talend Studioのインストール後、初めに行うべき設定   設定  ■ メモリの割り当て   デフォルトでは1.5Gほどしか割り当てられていません。 Javaのオプションが記載されている以下のiniファイルを修正し、メモリの割り当てを変更してください。 (Talendの推奨は4G)   <Studioインストール>/Talend-Studio-xxxx.ini   ■ マルチバイトのカラム名を許可する Talend Studioはスキーマのカラム名に日本語などのマルチバイト文字が利用されている場合、 デフォルトでは読み込むことができません。以下の手順で設定を変更することで読めるようになります。 Studio上部のウインドウ > Preferencesをクリックします。 左メニューのTalendからSpecific Settingsをクリックします。 チェックボックス「Allow specific characters (UTF-8,...) for columns of schema」にチェックを入れます。  
View full article
問題の説明  TACでジョブコンダクターのタスクが実行中のまま終わらなく、テクニカルログにはデータベースに関するエラーが多数出ている。   原因  典型的な例として2つの原因があります。 同時実行されるタスク数が多い(未調整時の目安は30以上) 設定されているデータベースへの接続数や実行スレッド数を超えてタスクを実行しようとしているため、リソース不足で問題が出ます。 1日でスケジュールされているタスクの数が多い(未調整時の目安は1日5000~10000件以上) タスクが起動されると実行の可否にかかわらずデータベースのtaskexecutionhistoryテーブルにすべて記録されます。複数のタスク、例えば10タスクを毎秒起動すると一日で864,000件(10×60×60×24)、デフォルトでは15日間保持されるため12,960,000件のレコードがデフォルトで保持され、パフォーマンス(データの読み書き)に多大な影響を与えます。代表的な例として、TACのタイムラインにアクセスするとTAC全体のレスポンスが大幅に低下し、そこに常時リモート接続しようとしているStudioにも影響が及びます。 また、タスクのステータスが実行中だとしても実際には実行されてなく、データベースのステータスと実際のステータスがマッチしていない状態となります。   解決策 TACを再起動することで状態は一時的に復旧しますが、すぐに再発すると想定されます。以下の設定をご確認ください。   ■ 同時実行されるタスク数が多い場合 以下資料のRecommended configurationを参考にチューニングを行ってください。 https://help.talend.com/reader/fA2wnGge2dZHfbRCAIEnNg/Re3PWARKLmrpIdIgQbHsNw   ■ 1日でスケジュールされているタスク数が多い場合 業務上、短時間で回す必要がないタスクのスケジュール間隔の改善を検討してください。次にconfigurationテーブルのdashboard.conf.taskExecutionsHistory.timeBeforeDeletingOldExecutionsの値をデフォルトの1296000秒(15日)から一度10万件以下になるように設定し、様子を見て調整してください。また、TalendはH2データベースの本番運用を推奨しておりませんが、ご利用の場合はパフォーマンスが出ないため数千件になるように調整してください。なお、値の変更方法は以下の2つの方法があります。 データベースを直接書き換える <Talend_HOME>/tac/apache-tomcat/webapps/org.talend.administrator/WEB-INF/classes/configuration.propertiesに以下のプロパティーを挿入し、TACを再起動します。 dashboard.conf.taskExecutionsHistory.timeBeforeDeletingOldExecutions=XXX ※ 再起動後はconfiguration.propertiesから当該のプロパティーがデータベースに反映されファイルからは無くなります。  
View full article
事象 TACのConfiguration設定画面にて以下のようなエラーが出力される場合がある Microsoft JDBC Driverを使用している場合 500 The call failed on the server; see server log for details jTDS JDBC Driverを使用している場合 Cannot connect to database (I/O Error: DB server closed connection.) jTDS JDBCでAzure SQL DBに接続する場合には、ssl=require" or "ssl=request"が必要ですがPacket sizeが4096にデフォルトで設定されているため、サイズ制限を超えてしまうために上記の問題が発生する。   対処方法 パッチ適用された以下のリンクのJDBCドライバを使用し、packetSize=512をJDBCのパラメータに指定する https://sourceforge.net/p/jtds/bugs/_discuss/thread/16113049/7594/attachment/jtds-1.3.1.jar 例) database.url=jdbc:jtds:sqlserver://talendtac.database.windows.net:1433/tac;user=tadmin@talendtac.database.windows.net;password=yourpassword;ssl=require; database.driver=net.sourceforge.jtds.jdbc.Driver database.username=tadmin database.password=yourpassword   URL=jdbc:jtds:sqlserver://name.database.windows.net:1433/tac631;user=tac;password=password;encrypt=true;trustServerCertificate=false;hostNameInCertificate=*.database.windows.net;packetSize=512; Driver=net.sourceforge.jtds.jdbc.Driver Username=tac Password=password
View full article
概要  データベースで操作するカラム名への制限事項   内容  tJDBCInputなどでデータベースを扱う際、テーブルのカラム名を指定しますが、 カラム名はJavaのメソッド名に利用できる文字列である必要があります。 例としてカラム名に半角の丸括弧は利用できません。   SELECT "項目名(カラム名)" FROM test_table;   メソッド名の制限はOracleの資料で確認できます。 https://docs.oracle.com/javase/specs/jls/se8/html/jls-3.html#jls-3.8 https://docs.oracle.com/javase/jp/8/docs/api/java/lang/Character.html#isJavaIdentifierPart-char-
View full article