warnings ng plugin devenv

Entwicklungsumgebung für Jenkins -Plugins

Diese Docker-basierte Entwicklungsumgebung ist für neue Mitwirkende der Jenkins-Warnungen und Deckungs-Plugins zur Verfügung, um die anfängliche Anstiegszeit zu verkürzen. Es besteht aus den folgenden Teilen:

• Skripte, um alle Module dieser Jenkins -Plugins von GitHub zu überprüfen. Abhängig von dem Teil, zu dem Sie beitragen möchten, arbeiten Sie normalerweise nur mit einem dieser Module. Es vereinfacht jedoch die Entwicklung, wenn alle Module bereits Teil des Arbeitsbereichs sind. Dann können Sie jederzeit zu einem der anderen Module wechseln.
• Der Docker-basierte Jenkins-Controller, der alle benötigten Plugins installiert haben, um diese Plugins in Aktion anzuzeigen. Dieser Jenkins -Controller ist bereits ordnungsgemäß mit JCASC konfiguriert, um Java -Module auf einem Linux -basierten Agenten zu erstellen (auch als Docker -Container bereitgestellt). Es enthält bereits einige Jobs, die alle diese Plugins verwenden (Tests, Abdeckung, statische Analyse).
• Intellij -Projekt, das diese Plugins als Maven -Module konfiguriert. Dieses Projekt enthält Voreinstellungen meines Codierungsstils und einige andere hilfreiche Konfigurationen. Insbesondere sind Läufer konfiguriert, um Jenkins -Plugins entweder auf dem Controller oder dem Agenten zu debuggen.

Ich habe diese Entwicklungsumgebung im Januar 2022 in einem aufgezeichneten Jenkins Online -Meetup vorgestellt.

Unterstützte Betriebssysteme

Die Entwicklungsumgebung wurde auf MacOS, Ubuntu Linux (in einer auf macOS ausgeführten virtuellen Maschine) und Windows getestet. Pull -Anfragen sind immer willkommen.

TLDR

Installationsanforderungen

Hauptentwicklung

Neueste Version der folgenden Tools:

• Docker (für Windows und MacOS: Installieren Sie Docker Desktop)
• Intellij Ultimate (oder Gemeinschaft)
• Maven
• JDK 21
• Git

UI -Tests

Darüber hinaus sind die neuesten Versionen der folgenden Tools erforderlich:

• Firefox und Gecko-Fahrer
• Chrom und Chromfahrer

Installationsschritte

Wenn Fehler auftreten, beachten Sie die Hinweise zur Fehlerbehebung unten. Für Windows -Benutzer: Verwenden Sie die Git -Bash, um die Shell -Skripte auszuführen.

1. Klonen und erstellen Sie die Plugin-Module mit dem Skript ./bin/clone-repos-https.sh (oder ./bin/clone-repos.sh , wenn Sie bereits einen SSH-Schlüssel in GitHub eingerichtet haben). Sie müssen warten, bis der Build erfolgreich ist, bevor Intellij eröffnet wird. Andernfalls findet Intellij nicht alle erzeugten Klassen. Das erste Mal, dass Maven -Benutzer ein paar Minuten warten müssen, bis alle Abhängigkeiten von Maven Central heruntergeladen wurden.
2. Importieren Sie das Projekt in Intellij:
   1. Beginnen Sie intellij
   2. Wählen Sie offen ...
   3. Wählen Sie die warnings-ng-plugin-devenv
   4. Optional (nur wenn Intellij fragt): Maven-Projekte müssen importiert werden, um automatisch importiert zu werden .
   5. Optional (nur dann, wenn Intellij fragt): Vertrauen und offenes Maven -Projekt ausgewähltes Vertrauensprojekt (siehe Intellij Online -Hilfe)
3. Führen Sie die Testwerfer in Intellij für die Projekte für Analysemodell- und Deckungsmodell-Projekte aus.
4. Für Windows -Benutzer: Starten Sie Docker Desktop, wenn nicht bereits erledigt ist
5. Starten Sie Jenkins mit ./bin/jenkins.sh . Dieser Befehl erstellt das Jenkins Docker -Bild, lädt alle registrierten Plugins herunter und initialisiert den Jenkins -Arbeitsbereich mit einigen Jobs. Dies erfordert auch einige Minuten (siehe Schritt 9).
6. Melden Sie sich bei Jenkins unter: http: // localhost: 8080/an
7. Verwenden Sie die folgenden Anmeldeinformationen:
   • Benutzer: admin
   • Passwort: Admin
8. Starten Sie die bereitgestellten Jenkins -Jobs, die die Plugins in Aktion zeigen:
   • Freestyle-Analyse-Modell : Ein Jenkins Freestyle-Job, der die Analyse-Model-Bibliothek aufbaut. Diese Jobgruppen alle Warnungen in einem einzelnen Jenkins -Bericht und zusätzlich zeigen die Codeabdeckungsergebnisse von Jacoco.
   • Pipeline-CodingStyle : Eine Jenkins-Pipeline mit Skripten, die die CodingStyle-Bibliothek erstellt. Dieser Job zeigt individuelle Ergebnisse für die verschiedenen Warnungen -Parser. Darüber hinaus zeigt dieser Job Details zur Abdeckung der Jacoco -Code und der Abdeckung der Grubenmutation.
   • Geschichtsbedeckungsmodell : Eine Skript-Jenkins-Pipeline, die alle vorhandenen Releases des Abdeckungsmodellprojekts erstellt. Die Builds dauern eine Weile, zeigen jedoch, wie die Trenddiagramme funktionieren und wie die Delta -Berechnungen durchgeführt werden. Der Job erzeugt Ergebnisse für alle statischen Analyse -Tools, die Abdeckung der Jacoco -Code und die Abdeckung der PIT -Mutation.
9. Stellen Sie den aktuellen Kopf der Plugins mit den Launchern in Intellij in der Jenkins -Instanz ein.

Installation - Fehlerbehebung

Schritt 1 - Installation fehlgeschlagen

Wenn alle Downloads erfolgreich sind, die Installation jedoch aufgrund von Fehlern fehlgeschlagen ist, beheben Sie sie und führen Sie mvn -V -U -e install –DskipTests aus, um nur die Installation wiederzuholen.

Schritt 3 - "Die Befehlszeile ist zu lang."

Wenn die Fehlerzeile "Befehlszeile zu lang ist". Führen Sie die folgenden Schritte aus:

1. Klicken Sie auf die Konfiguration bearbeiten und wählen Sie die fehlgeschlagene Auslaufkonfiguration aus (oder klicken Sie in der Fehlermeldung auf den Namen des Teststarters).
2. Klicken Sie auf Erstellen und Ausführen > Optionen ändern > Befehlszeile verkürzen
3. Wählen Sie in der angezeigten Feldkürzelzeile @argfile (Java9+) aus.
4. Klicken Sie auf Bewerber und OK und führen Sie den Teststarters erneut aus
5. (Möglicherweise muss Intellij neu gestartet werden, wenn keine Tests gefunden wurden)

Schritt 3 - Jenkins TEMET Timeout

Wenn Tests aufgrund eines Jenkins -Test -Timeouts fehlschlagen, führen Sie die folgenden Schritte aus:

1. Klicken Sie auf Konfiguration bearbeiten und wählen Sie die fehlgeschlagene Auslaufkonfiguration aus
2. Zu VM -Optionen hinzufügen: -Djenkins.test.timeout=1000 . Dies erhöht die Zeitüberschreitung auf 1000 Sekunden.

Klonen der Module

Sie können ein einfaches Shell-Skript ( ./bin/clone-repos.sh ) verwenden, um die Module in einem einzigen Schritt zu klonen und zu erstellen. Das Skript überprüft die folgenden Module mit dem Git SSH -Protokoll. Dies erfordert, dass Sie Ihren öffentlichen Schlüssel in GitHub registriert haben. Wenn Sie in GitHub keine Schlüssel haben, können Sie das Skript ./bin/clone-repos-https.sh alternativ verwenden, das das HTTPS-Protokoll verwendet.

• CodingStyle: Mein Codingstyle mit vorkonfigurierten Regeln für Checkstyle, PMD und Spotbugs. Diese Konfigurationen können in IntelliJ verknüpft werden, um sicherzustellen, dass der Code den Regeln entspricht.
• Analysemodell: Eine Bibliothek zum Lesen statischer Analyseberichte in ein Java-Objektmodell. Dieses Modul hängt nicht von Jenkins ab.
• Analysemodell-api-Plugin: Ein einfacher Wrapper für die Analysemodellbibliothek. Es liefert die Analysemodellklassen als Jenkins-Plugin. Dieser Overhead ist erforderlich, um die Upgrades des Analysemodellmoduls in Jenkins zu vereinfachen.
• Warnungen-NG-Plugin: Ein Plugin zum Lesen statischer Analyseberichte und der Anzeige der entsprechenden Ergebnisse in Jenkins.
• Deckungsmodell: Eine Bibliothek zum Lesen von Berichten in einem Java-Objektmodell. Dieses Modul hängt nicht von Jenkins ab.
• Abdeckungsplugin: Ein Plugin zum Lesen von Berichten über die Berichte und die entsprechenden Ergebnisse in Jenkins.

Einige Module gib

Wenn Sie planen, eine Pull -Anfrage für eine der Plugins zu stellen, müssen Sie eine Gabel des Repositorys erstellen und alle Änderungen in dieser Gabel vornehmen. Ich habe in meinem Coding -Style -Projekt eine GitHub Collaboration -Dokumentation erstellt.

Ändern und Debuggen von Code mit Intellij

Intellij (Ultimate) ist die wichtigste unterstützte Entwicklungsumgebung für das Warnungen -Plugin. Ein vordefiniertes Projekt wird im Ordner gespeichert .idea IDEA, das auf alle Module des Warnungen -Plugins verweist. Dieses Projekt enthält Voreinstellungen meines Codierungsstils und einige andere hilfreiche Konfigurationen.

Es sollte möglich sein, auch andere IDEs (Eclipse, Netbeans, Visual Studio Code) zu verwenden.

Ausführungs- und Integrationstests

Verwenden Sie die bereitgestellten Intellij-Auslaufkonfigurationen All in [module-name] um die Einheiten- und Integrationstests des entsprechenden Moduls auszuführen. Diese Konfigurationen sind bereits konfiguriert, um die Zweigabdeckung der entsprechenden Modulpakete aufzuzeichnen (verwenden Sie den Run with Coverage Deckungsaktionen).

Debuggen

Bevor Sie Ihre Änderungen debuggen, müssen Sie zunächst herausfinden, wo Ihr Code ausgeführt wird: auf dem Controller oder auf dem Agenten? Wenn Sie sich nicht sicher sind, führen Sie beide Remote -Debugger aus, setzen Sie einige Haltepunkte und warten Sie, bis der entsprechende Debugger aufhört.

Debuggen des Jenkins -Controllers

Die Docker Compose -Konfiguration startet den Jenkins -Controller automatisch im 'Debug' -Modus, dh er hört Remote -Debug -Anfragen an. Wenn Ihr Code im Controller ausgeführt wird, müssen Sie bei localhost:8000 (am Docker -Container an denselben Port zugeordnet). Verwenden Sie die bereitgestellte Jenkins Controller (Remote Debugger) -Debuggerkonfiguration, um einen Debugger in Intellij zu verbinden.

Debuggen des Jenkins -Agenten

Die Docker Compose -Konfiguration startet auch den Jenkins -Agenten automatisch im 'Debug' -Modus, dh es hört Remote -Debug -Anfragen an. Fügen Sie einen Remote -Debugger bei localhost:8001 (am Docker -Container an denselben Port zugeordnet) dem Debug -Code, der auf dem Agenten ausgeführt wird. Verwenden Sie die bereitgestellte Jenkins Agent (Remote Debugger) -Debug -Konfiguration, um einen Debugger in Intellij zu verbinden.

Ausführen von UI -Tests

UI -Tests können mit den entsprechenden Launcher UI Tests [module] (Firefox) oder UI Tests [module] (Chrome) gestartet werden. Beachten Sie, dass beide Launcher eine Installation der entsprechenden Selen -Treiber benötigen. Wenn diese Treiber nicht in /opt/bin auf Ihrem lokalen Computer installiert sind, müssen Sie die Launcher -Konfigurationen an Ihr Setup anpassen.

Alle UI -Tests erfordern das Durchführen innerhalb eines bestimmten zu testenden Probanden (dh Jenkins untersucht, JUT). Weitere Informationen finden Sie unter dem Projekt "Acceptance Test Kabeless".

Jenkins starten

Diese Entwicklungsumgebung enthält eine individuelle Jenkins -Installation, in der Sie Ihre geänderten Plugins bereitstellen können, sodass Sie Ihre Änderungen direkt in einigen vorkonfigurierten Jobs sehen können, die diese Plugins verwenden.

Starten Sie den bereitgestellten Jenkins-Controller in diesem Projekt (Sie müssen Docker und Docker-Compose installieren). Öffnen Sie ein Terminal und laufen Sie ./jenkins.sh im Ordner oberster Ebene. Dieser Befehl ist ein Wrapper zum docker-compose up : Er verwendet die richtigen Benutzer- und Gruppeneinstellungen, damit die Berechtigungen des Docker-Volumens für den Ordner Home Home korrekt eingestellt sind. Dieser Befehl erstellt einen Docker -Container für den Jenkins -Controller und einen für den Java -Agenten. Dies erfordert einige Zeit, wenn die Docker -Bilder zum ersten Mal aufgerufen werden. Nachdem die Bilder erstellt wurden, werden die folgenden zwei Container gestartet:

• Jenkins-Controller: Offizieller Jenkins LTS Docker Image (Alpine Linux). Der Controller wird mit JCASC vorkonfiguriert, um Java -Anwendungen auf einem Agenten zu erstellen. Der Controller darf keine Jobs ausführen.
• Java-Agent: Ein minimaler Java-Agent basiert auf dem offiziellen OpenJDK8 Docker-Bild (Alpine Linux). Controller und Agent werden mit SSH verbunden.

Sie können dann Jenkins in der URL http: // localhost: 8080/öffnen. Verwenden Sie die folgenden Anmeldeinformationen, um sich als Administrator anzumelden:

• Benutzer: admin
• Passwort: Admin

Lautstärke für Jenkins_Home

Das Heimverzeichnis des Jenkins Controllers (Jenkins_Home) ist als Docker -Volumen montiert. Dh es ist auf dem Host als normales Verzeichnis bei ./docker/volumes/jenkins-controller sichtbar. Es wird Sitzungen überleben und kann direkt auf dem Host geändert werden. Weitere Informationen finden Sie in den offiziellen Dokumentationen. Dies hilft bei der Überprüfung der Dateien, die vom Jenkins Controller erstellt wurden.

Aufgrund eines Leistungsproblems in Jenkins 'Job DSL Plugin ist es sehr langsam, die neue Jenkins -Instanz einzurichten. Daher ist es sinnvoll, den Konfigurationsteil Ihrer jenkins.yaml -Datei zu entfernen, nachdem die Jobs erstellt wurden. Sie können den Inhalt der Datei in Ihrer neu erstellten Jenkins ./docker/volumes/jenkins-home/jenkins.yaml Instanz mit dem Inhalt in jenkins-no-jobs.yaml überschreiben.

Bände unter macos sind ziemlich langsam. Auf meinem MacBook ist der bereitgestellte Jenkins-Job des analysis-model im Docker-Container langsamer als denselben Jenkins-Job in einem Docker-Container auszuführen, der in einer linux virtuellen Maschine auf demselben MacBook ausgeführt wird (klingt irgendwie absurd?).

Bereitstellung geänderter Plugins in Jenkins

Sobald Sie Ihre lokalen Entwicklungsänderungen beendet haben (dh die Unit -Tests sind alle grün), sollten Sie Ihre Änderungen in Jenkins testen. Dies hilft auch bei der Erstellung eines Integrationstests oder UI -Tests für Ihre Änderung.

Änderungsanalysemodell ohne Hinzufügen neuer API -Methoden

Wenn Sie nur Änderungen im analysis-model haben (und Sie keine neuen API-Methoden hinzugefügt haben), müssen Sie das Maven- analysis-model.jar wieder aufbauen und installieren und danach das zugehörige Jenkins-Wrapper-Plugin analysis-model-api-plugin wieder aufbauen. Dieses Plugin muss dann bei Jenkins bereitgestellt werden.

Dieser Vorgang wird durch Ausführen des Skripts ./bin/go.sh im analysis-model Modul vereinfacht. Das Modul analysis-model.jar wird in Ihrem lokalen Maven-Repository installiert. Dann erstellt dieses Skript das eigentliche Plugin und bereitet es für Jenkins bereit.

Ändern des Warnungs -Plugins

Wenn Sie nur Änderungen im Warn-NG-Plugin haben, müssen Sie die Jenkins-Plugin- warnings-ng.jpi umstellen und sie für Jenkins bereitstellen. Für diese Aufgabe können Sie eines der folgenden Shell -Skripte verwenden:

• ./bin/clean.sh : Erstellt das Plugin mit mvn clean install und bereitet es für den Erfolg in der Jenkins -Instanz ein.
• ./bin/go.sh : Erstellt das Plugin mit mvn clean install -DskipITs (überspringt die Integrationstests) und bereitet es für den Erfolg in den Jenkins Instace ein.
• ./bin/skip.sh : Erstellt das Plugin mit mvn clean install -DskipTests (überspringt alle Tests und statische Analysen) und bereitet es beim Erfolg in der Jenkins -Instanz ein.

Änderungsanalysemodell durch Hinzufügen neuer API -Methoden

Todo

Forensik-API-Plugin- und Git-Forensik-Plugin

Wenn Sie Änderungen in einem der Voraussetzungs -Plugins (API- oder GIT -Implementierung) haben, müssen Sie diese Jenkins -Plugins neu aufbauen und in der Jenkins -Instanz bereitstellen.

Um diesen Prozess zu vereinfachen, werden Sie das Skript ./go.sh im entsprechenden Plugin -Ordner ausführen. Erstellt das Plugin und bereitet es für den Erfolg für Jenkins bereit.

Ändern eines Moduls mit Brechen von API -Änderungen

Bevor Sie Breaking -Änderungen vornehmen, setzen Sie sich bitte mit mir in Verbindung. Normalerweise ist es möglich, Änderungen rückwärtskompatibel vorzunehmen.

Intellij -Launcher zum Bereitstellen der Plugins

Die Build-Skripte aus dem letzten Abschnitt können auch mit einem der Intellij-Launcher Build and Deploy [module-name] . Diese Launcher erstellen das entsprechende Plugin und stellen es in Jenkins ein.

Akzeptanz -Testkabelbaum

UI -Tests können mit einer Intellij -Launcher -Konfiguration oder einem Befehlszeilenskript gestartet werden. Wie bereits erwähnt, müssen alle UI -Tests innerhalb eines bestimmten zu testenden Probanden ausgeführt werden. In unserem Fall verwenden wir die neueste verfügbare Jenkins LTS -Version und den vordefinierten Plugins -Satz von unserem Docker -Image.

Führen Sie UI -Tests in Intellij aus

UI -Tests können mit den entsprechenden Launcher UI Tests Warnings (Firefox) oder UI Warnings Tests (Chrome) begonnen werden. Beachten Sie, dass beide Launcher eine Installation der entsprechenden Selen -Treiber benötigen. Wenn diese Treiber nicht in /opt/bin auf Ihrem lokalen Computer installiert sind, müssen Sie die Launcher -Konfigurationen an Ihr Setup anpassen.

Ausführen von UI -Tests aus der Konsole

Sie können die UI -Tests auch mit dem bereitgestellten Shell Scrips testFirefox.sh oder testChrome.sh starten. Beachten Sie, dass Sie möglicherweise auch diese Skripte anpassen müssen (siehe vorheriger Abschnitt).