Installation de Talend BigData sous Linux | par Sorabh Jain | Octobre 2020

Les composants suivants sont traités dans ce blog:

  • GitServer
  • TAC
  • Lien
  • JobServer
  • Configurer TAC et Talend JobServer pour utiliser SSL

Téléchargez tous les fichiers nécessaires depuis le site Web de Talend dans un répertoire du serveur souhaité (serveur TAC préféré). La liste des liens des composants talend est fournie par Talend par e-mail, accompagnée d’un fichier de licence.
Les identifiants (nom d’utilisateur et mot de passe) sont fournis dans l’email de licence envoyé par Talend.

mkdir /opt/talend
cd /opt/talend
cat >talenddownloadurls.txt <<EOF
http://www.opensourceetl.net/tis/tdf_721/Talend-Studio-20180411_1414-V7.0.1.zip
http://www.opensourceetl.net/tis/tdf_721/Talend-Studio-20180411_1414-V7.0.1.zip.MD5
http://www.opensourceetl.net/tis/tdf_721/Talend-AdministrationCenter-20180411_1414-V7.0.1.zip
http://www.opensourceetl.net/tis/tdf_721/Talend-AdministrationCenter-20180411_1414-V7.0.1.zip.MD5
http://www.opensourceetl.net/tis/tdf_721/Talend-JobServer-20180411_1414-V7.0.1.zip
http://www.opensourceetl.net/tis/tdf_721/Talend-JobServer-20180411_1414-V7.0.1.zip.MD5
EOF
wget --input-file=talenddownloadurls.txt --user=.... --password=....

Talend fournit des packages RPM qui vous permettent de déployer facilement des applications et des services. Vous pouvez déployer et installer des packages RPM individuellement comme détaillé dans ce blog.

Talend a besoin d’un référentiel git ou svn pour que les développeurs y stockent des données et pour que les outils de construction Talend puissent compiler du code.

une. Créez un répertoire git à la racine de votre système. Par exemple :

$ mkdir -p /opt/talend/gitblit ; cd /opt/talend/gitblit

b. Téléchargez et extrayez le package gitblit

$ sudo wget http://dl.bintray.com/gitblit/releases/gitblit-1.8.0.tar.gz

Extrayez le package tarball téléchargé dans / opt / talend / gitblit /

$ sudo tar -zxvf gitblit-1.8.0.tar.gz

c. Ajoutez et utilisez gitblit en tant que service en suivant les étapes suivantes:

[/opt/talend/gitblit]# cp service-centos.sh /etc/init.d/gitblit
[/opt/talend/gitblit]# chkconfig — add gitblit
[/opt/talend/gitblit]# service gitblit start
Basefolder : /opt/talend/gitblit/gitblit-1.8.0/data
Settings : /opt/talend/gitblit/gitblit-1.8.0/data/gitblit.properties

Ouvrez n’importe quel navigateur et accédez à http: // gitserver: 8080 /. Utilisez les informations d’identification d’administrateur par défaut, le nom d’utilisateur / mot de passe administrateur et vérifiez la connexion à gitblit.

TAC est une application d’administration Web qui donne accès à toutes les fonctionnalités de gestion et d’administration d’un projet d’intégration.

La variable JAVA_HOME doit être définie sur le répertoire de base Java correct: /usr/lib/jvm/jre-1.8.0-openjdk
1. Créez un fichier talend.repo dans le répertoire /etc/yum.repos.d contenant la configuration suivante:

[talend-7.2.1]
name=Talend 7.2.1
baseurl=’https://<user>:<password>@www.opensourceetl.net/rpms/talend/7.2.1/base/x86_64/'
enabled=1
gpgcheck=1
gpgkey=http://www.opensourceetl.net/rpms/GPG-KEY-talend

2. Installez Tomcat avec RPM
Nous installons Tomcat en utilisant le RPM fourni par Talend

sudo yum install talend-tomcat
Tomcat Configuration files : /opt/talend/tomcat/conf
Tomcat Logs location : /opt/talend/tomcat/logs

3. Installez Talend Administration Center


sudo yum install talend-tac

Démarrez, arrêtez et vérifiez l’état du service TAC en utilisant le systemd comme ci-dessous:

  • Démarrez le service à l’aide de la commande suivante:
    sudo systemctl démarrer talend-tac
  • Arrêtez le service à l’aide de la commande suivante:
    sudo systemctl stop talend-tac
  • Vérifiez l’état du service à l’aide de la commande suivante:
    sudo systemctl status talend-tac
    Fichiers de configuration TAC: / etc / talend / tac
    Fichiers journaux TAC: / opt / talend / tac / archive / logs

Installez le pilote Mysql; mysql-connector-java.jar sur le serveur TAC dans le chemin ci-dessous:
/opt/talend/tac/tomcat/webapps/org.talend.administrator/WEB-INF/lib

4. Configurez TAC pour utiliser une base de données MariaDB:

4.1) Ouvrez le navigateur et visitez l’URL suivante:

http: // tacserver: 8080 / org.talend.administrator /

4.2) Entrez le mot de passe administrateur par défaut. Les paramètres de connexion à la base de données MariaDB seront affichés et des contrôles automatisés seront effectués sur le pilote jdbc, l’URL, la connexion et les informations de version

Url : jdbc:mariadb://talenddbhost:3306/talend_admin
User : talend_admin
Driver : org.mariadb.jdbc.Driver

4.3) Cliquez sur «Définir une nouvelle licence». Parcourir le fichier de licence reçu par e-mail de Talend et Upload

4.4) Cliquez sur Login

4.5) Visitez la page de connexion, entrez les informations de connexion par défaut pour le premier accès (login: security@company.com, mot de passe: admin)

Un référentiel d’artefacts Maven est nécessaire à divers composants Talend pour stocker les mises à jour logicielles et les artefacts de Job d’intégration de données.

#mkdir /opt/talend/
cd /opt/talend
# download the nexus tarball
wget http://download.sonatype.com/nexus/oss/nexus-2.14.14-01-bundle.tar.gz — no-check-certificate
tar xvzf nexus-2.14.14–01-bundle.tar.gzadduser nexus (# Create a user that will be used to run Nexus)chown -R nexus:nexus /opt/talend/nexus-2.14.14–01/cd /opt/talend/nexus-2.14.14–01/binln -s nexus /etc/init.d/nexussudo systemctl enable nexus/sbin/chkconfig nexus onchown -R nexus:nexus /opt/talend/sonatype-worksystemctl start nexus (# start the Nexus service)

Ouvrez le navigateur et entrez http: // nexus_host: 8081 / nexus pour explorer Nexus.

Le Jobserver est un simple agent vers lequel un client (généralement le TAC ou TalendStudio) peut envoyer des fichiers jar Java. Le serveur de travail exécute ensuite ce fichier jar dans un processus JVM distinct. Le serveur de travail rapporte également diverses statistiques à son client pendant l’exécution du travail.

Le processus d’installation doit être répété sur chaque hôte sur lequel vous souhaitez exécuter des jobs Talend – qui peuvent ou non inclure le serveur sur lequel le (s) TAC (s) s’exécutent.

1.Téléchargez et installez la clé de signature publique à l’aide de la commande suivante:
rpm – importation http://www.opensourceetl.net/rpms/GPG-KEY-talend

2. à la racine .bashrc

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export PATH=$JAVA_HOME/bin:$PATH

3. Créez un fichier talend.repo dans le répertoire /etc/yum.repos.d, contenant la configuration suivante:

[talend-7.2.1]
name=Talend 7.2.1
baseurl=’https://<user>:<password>@www.opensourceetl.net/rpms/talend/7.2.1/base/x86_64/'
enabled=1
gpgcheck=1
gpgkey=http://www.opensourceetl.net/rpms/GPG-KEY-talend

4. sudo yum installer le serveur de travail talend

Démarrez, arrêtez et vérifiez l’état de Talend JobServer à l’aide de systemd.

  • Démarrez le service à l’aide de la commande suivante:
    sudo systemctl start talend jobserver
  • Arrêtez le service à l’aide de la commande suivante:
    sudo systemctl stop talend jobserver
  • Vérifiez l’état du service à l’aide de la commande suivante:
    sudo systemctl status serveur de travail talend

Fichiers de configuration: / opt / talend / jobserver / conf

Cette section décrit comment configurer le transport SSL et l’authentification pour Talend JobServer et TAC.

  1. Activez SSL sur TAC:
  • Arrêter Tomcat
  • Accédez au sous-dossier Tomcat conf
  • Modifiez le fichier server.xml
  • Localisez et supprimez les commentaires du connecteur HTTP SSL (il est commenté par défaut)
  • Modifiez la configuration du connecteur * comme suit:
<Connector port=”8080" protocol=”HTTP/1.1" SSLEnabled=”true”
maxThreads=”150" scheme=”https” secure=”true”
clientAuth=”false” sslProtocol=”TLS”
keystoreFile=”full path to keystore file from above”
keystorePass=”talend”/>
  • Supprimez / désactivez la DLL tcnative-1.dll du dossier bin Tomcat (déplacez-vous dans un répertoire d’archive ou renommez si vous n’êtes pas sûr – par exemple: renommez en tcnative-1.dll.DISABLED)
  • Redémarrez Tomcat et vérifiez que le protocole https est pris en charge en accédant à la page de destination Tomcat de base via HTTPS

2. Activation de SSL pour le port de commande et le port de fichier de Talend JobServer:

  • Apportez les modifications suivantes sur jobserver / agent / conf / TalendJobServer.properties
org.talend.remote.server.ssl.keyStore=/opt/cloudera/security/jks/localhost-keystore.jks
org.talend.remote.server.ssl.keyStorePassword=*******
org.talend.remote.server.ssl.trustStore=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.222.b10–1.el7_7.x86_64/jre/lib/security/jssecacerts
org.talend.remote.server.ssl.trustStorePassword=*******
org.talend.remote.server.ssl.authenticate=true
org.talend.remote.jobserver.server.TalendJobServer.USE_SSL=true
  • # systemctl redémarre le serveur de travaux talend

Pour le TAC, nous pouvons utiliser tac / apache-tomcat / bin / setenv.sh pour étendre la spécification JAVA_OPTS:

export JAVA_OPTS = « $ JAVA_OPTS -Xmx2048m -Dfile.encoding = UTF-8 -Dorg.talend.remote.client.ssl.keyStore =… »