gematik / ti-messenger-testsuite

This Project contains the testsuite for the TI-Messenger. It tests multiple TI-Messenger instances against each other for interoperability.

Table of Contents

• TI-Messenger-Testsuite
  • Über das Projekt
  • Verwendung
  • Mitwirken
  • License

TI-Messenger-Testsuite

Über das Projekt

Mit der TI-Messenger-Testsuite werden Instanzen von TI-Messengern über die Testtreiberschnittstelle gegeneinander getestet.

Der Schwerpunkt der Testsuite liegt auf Interoperabilitätstests verschiedener TI-Messenger-Instanzen. Eine Beschreibung des Testkonzepts befindet sich hier

Die Testsuite nutzt Maven und Tiger für die Ausführung der Serenity-BDD-Tests.

Für die Ausführung der Tests werden aus einer Liste von Testinstanzen mittels eines Maven-Plugins Testkombinationen erstellt und in den Cucumber-Templates eingetragen.

Releaseinformationen

In ReleaseNotes.md befinden sich alle Informationen zu unseren (neuesten) Releases.

Verwendung

Die Testsuite führt die Tests als Maven-Integrationstests aus. Nach der initialen Konfiguration können die Tests mit mvn verify ausgeführt werden. Eine Beschreibung der benötigten initialen Konfiguration befindet sich hier. Erweiterte Konfigurationen sind im Entwicklerguide zu finden.

Nach der Testausführung befindet sich die Auswertung unter target/site/serenity/index.html

Mitwirken

Unsere Regeln für das Mitwirken an unserem Projekt befinden sich hier.

License

Apache License Version 2.0

See LICENSE

ti-messenger-testsuite's Issues

Type Room in API spec requires invalid fields RoomMembers and RoomProperties

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 3220 in ea41cc6

required:

The Room type inherits all fields from RoomMembers and RoomProperties, but it cannot require those types only their fields.

Description of endpointId wrong

location -> endpoint

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 2163 in ea41cc6

description: "ID of the location"

Konfiguration der Testinstanzen mit Umgebungsvariablen

Use Case: Testtreiber tests in CI/CD Umgebung.

Können die https://github.com/gematik/TI-Messenger-Testsuite/blob/main/src/test/resources/combine_items.json über Umgebungsvariablen konfiguriert werden?

Type Message in API spec requires invalid field MessageContent

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 3130 in ea41cc6

- MessageContent

The Message type inherits all fields from MessageContent, but it cannot require MessageContent.

Notwendigkeit der "Tiger Proxy"

Use Case: kontinuierliche, automatisierte Tests in CI / CD Umgebung

Sind "Tiger Proxy"-Instanzen für die Durchführung der Tests notwendig? Was ist der Mehrwert?:
https://github.com/gematik/TI-Messenger-Testsuite/blob/main/doc/userguide/GettingStarted.adoc#tiger-proxy-für-externe-kommunikation-konfigurieren

Gibt es eine Beispielkonfiguration für eine CI Umgebung?

operationId with space does not work in code generators

Some code generators have problems with operationIds that contain spaces, e.g.
https://github.com/gematik/TI-Messenger-Testsuite/blob/ea41cc66b08067c166f321785b52621708b71f9c/src/main/resources/api/TiMessengerTestTreiber.yaml#L1537C21-L1537C37

Please use operationIds in camelCase.

Feature_00 uses federation API to get Matrix server address that leads to test errors

In InfoControllerGlue the method requestMatrixVersionFromHomeServer gets the supported Matrix version by calling /.well-known/matrix/server which is the federation address of the Matrix server.

It should call /.well-known/matrix/client instead which yields the correct result.

API spec requires "entry" in FhirSearchResult but FHIR and TestSuite do not require it

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 2942 in ea41cc6

- entry

The FHIR-VZD does not set the entry attribute when the search result is empty. Only total is set to 0. The TestSuite seems to be happy with this, but the API spec always requires the entry attribute.

API expects meta/versionId to be integer while FHIR expects a string

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 2805 in ea41cc6

versionId:

vs

https://hl7.org/fhir/R4/datatypes.html#id

Request body of login endpoint is not optional but TestSuite calls login with empty body

According to the API spec the must always be a request body for POST requests to the login endpoint. Even more, username and password are required and not optional in BasicAuthStage and Login derives from it.

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 274 in ea41cc6

requestBody:

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 3095 in ea41cc6

Login:

TI-Messenger-Testsuite/src/main/resources/api/TiMessengerTestTreiber.yaml

Line 2315 in ea41cc6

BasicAuthStage:

Still when the TestSuite wants to login using stored credentials it uses an empty body, which violates the API spec.

Test with FeatureFile00 fails when optional config parameters are missing

Good morning 😊

The file InfoControllerGlue.java enforces parameters like description and contact while those are optional regarding to the OpenAPI spec if I see it correctly: https://github.com/gematik/api-ti-messenger/blob/main/src/openapi/TiMessengerTestTreiber.yaml

Just took me around an hour to find out why my tests are failing 😁 Easy fix would be to mark those parameters as required in the openapi/TiMessengerTestTreiber.yaml file