feat: Rework SQL connection check to application lifecylce by awildturtok · Pull Request #3857 · ingef/conquery

awildturtok · 2026-03-11T14:57:36Z

No description provided.

backend/src/main/java/com/bakdata/conquery/models/config/DatabaseConnection.java

thoniTUB · 2026-03-12T06:52:39Z

backend/src/main/java/com/bakdata/conquery/models/config/DatabaseConnection.java

+				log.info("SUCCESS connecting to {}", getJdbcConnectionUrl());
+			}
+			else {
+				log.error("FAILED connecting to {}. Connection did not become valid.", getJdbcConnectionUrl());


Sind in der Url Credentials enthalten?

backend/src/main/java/com/bakdata/conquery/mode/local/LocalNamespaceHandler.java

thoniTUB · 2026-03-12T06:56:04Z

backend/src/main/java/com/bakdata/conquery/models/config/DatabaseConnection.java

+		initializeDataSource();
+	}
+
+	public void initializeDataSource() {


Zum Beispiel so

Suggested change

public void initializeDataSource() {

public ManagedDataSource initializeDataSource() {

thoniTUB · 2026-03-12T07:01:41Z

backend/src/main/java/com/bakdata/conquery/models/config/SqlConnectorConfig.java

 	 * Keys must match the name of existing {@link Dataset}s.
 	 */
-	private Map<String, @Valid DatabaseConfig> databaseConfigs;
+	private Map<DatasetId, @Valid DatabaseConnection> databaseConfigs;


Funktioniert die Deserialisierung der Keys einfach so ohne Annotationen?

thoniTUB · 2026-03-12T07:04:54Z

backend/src/main/java/com/bakdata/conquery/models/worker/LocalNamespace.java

 	public void close() {
-		closeDslContextWrapper();
+		//TODO do we even need to shutdown the connection?
 		super.close();
 	}


Denke schon, wenn man ein Dataset löscht und dann wieder anlegt, sollte sich auch die Connection erneuern.

Das Ding ist halt, die Connection liegt nicht im Dataset sondern in der config.json

Deswegen sollte das nicht in der Config gehalten werden, sondern in einem separaten Objekt gemanaged werden. Bei Solr habe ich letztendlich die Dataset bezogenen Connections nicht über den Lifecycle gemanaged, weil sie nur bedingt an diesen gebunden sind.

Der Zweck des PRs ist ja aber die Connection an den Lifecylce zu binden und eben nicht mehr an das Dataset. Damit es dann auch beim hochfahren direkt gefangen wird etc. Ich räum es aber auf jeden Fall auf

Das hat sich dann jetzt erledigt, oder die Connection wird nicht mehr hier gemanaged

thoniTUB · 2026-03-12T07:07:55Z

backend/src/main/java/com/bakdata/conquery/models/config/DatabaseConnection.java

+				getDialect().getJooqDialect(),
+				settings
+		);
+	}


Bitte diese Methode auch in eine ManagedDatasource packen

thoniTUB · 2026-03-12T07:12:39Z

backend/src/main/java/com/bakdata/conquery/commands/ManagerNode.java

+		// TODO this could be implemented as a plugin tbh
+		if(config.getSqlConnectorConfig() != null) {
+			config.getSqlConnectorConfig().initialize(environment);
+		}


Oder ein ConfiguredBundle, da kannst du checken ob SqlConnectorConfig gesetzt/enabled ist, Resources/Services registrieren für Injection, Healthchecks setzten...

thoniTUB

Ich bin mir nicht ganz sicher hat das mit der Clock etwas mit dem Lifecycle zu tun oder kannst du das trennen?

thoniTUB · 2026-03-26T07:43:10Z

backend/src/main/java/com/bakdata/conquery/models/worker/LocalNamespace.java

 	public void close() {
-		closeDslContextWrapper();
+		//TODO do we even need to shutdown the connection?
 		super.close();
 	}


Das hat sich dann jetzt erledigt, oder die Connection wird nicht mehr hier gemanaged

backend/src/main/java/com/bakdata/conquery/sql/conversion/cqelement/ConversionContext.java

thoniTUB · 2026-03-26T07:51:16Z

...nd/src/main/java/com/bakdata/conquery/sql/conversion/cqelement/concept/PreprocessingCte.java


 		// join full stratification with connector table on all ID's from prerequisite query
-		SqlFunctionProvider functionProvider = tableContext.getConversionContext().getSqlDialect().getFunctionProvider();
+		SqlFunctionProvider functionProvider = tableContext.getConversionContext().getDialectBundle().getFunctionProvider();


hey().du().hast().mir().mal().vom().LoD().erzählt() :D

thoniTUB · 2026-03-26T07:56:22Z

backend/src/test/java/com/bakdata/conquery/util/support/TestConquery.java

+	@SneakyThrows
+	public static void waitUntil(Supplier<Boolean> condition) {
+		Stopwatch stopwatch = Stopwatch.createStarted();
+		int done = 0;
+
+		while (stopwatch.elapsed(TimeUnit.SECONDS) < 10) {
+			Thread.sleep(2);
+			if (!condition.get()) {
+				continue;
+			}
+
+			//sample multiple times from the job queues to make sure we are done with everything and don't miss late arrivals
+			done++;
+			if (done > 5) {
+				return;
+			}
+		}
+
+		throw new IllegalStateException("Jobs did not finish within expected time.");
+	}
+


Ich weiß die ist nur verschoben, aber kann ggf mit https://github.com/awaitility/awaitility abgebildet werden. Das sollte auch schon in der pom sein

awildturtok · 2026-03-26T14:06:57Z

Ich bin mir nicht ganz sicher hat das mit der Clock etwas mit dem Lifecycle zu tun oder kannst du das trennen?

Der Grund, dass das hier mit reingerutscht ist, ist dass ich die Komponenten die davor den DateNowSupplier gehalten habe aufgetrennt habe und den dann von wo anders mitbringen musste.

thoniTUB · 2026-03-27T08:16:30Z

backend/src/main/java/com/bakdata/conquery/sql/conversion/dialect/DialectBundle.java

+public interface DialectBundle {

-	SystemDateNowSupplier SYSTEM_DATE_NOW_SUPPLIER = new SystemDateNowSupplier();
+	//TODO add getDateNow and access it directly


Ist das noch zu tun?

thoniTUB · 2026-03-27T08:16:46Z

backend/src/main/java/com/bakdata/conquery/sql/conversion/dialect/DialectBundle.java

 import org.jooq.Field;

-public interface SqlDialect {
+//TODO unify with com.bakdata.conquery.models.config.Dialect


first draft of moving around DslContextFactory.java

f2fdc00

awildturtok requested a review from thoniTUB as a code owner March 11, 2026 14:57

moves connection validation closer to startup

19b5de0

awildturtok force-pushed the feature/sql-healthcheck-rework branch from 96d9921 to 19b5de0 Compare March 11, 2026 15:02

thoniTUB requested changes Mar 12, 2026

View reviewed changes

awildturtok added 2 commits March 24, 2026 17:36

wip

71fea1b

properly link up DateNowSupplier

054aef3

awildturtok force-pushed the feature/sql-healthcheck-rework branch from 1c0f11d to 054aef3 Compare March 25, 2026 12:30

some documentation

1ddfbc0

awildturtok changed the title ~~Feature/sql healthcheck rework~~ feat: Rework SQL connection check to application lifecylce Mar 25, 2026

link up clock in Legacy backend as well

16bcb1c

awildturtok requested a review from thoniTUB March 25, 2026 15:02

thoniTUB reviewed Mar 26, 2026

View reviewed changes

awildturtok added 3 commits March 26, 2026 15:42

some Law of Demeter cleanups

2131fef

fixes infinite loop

ae4defc

fixes Hana setup (too many BeforeAll)

8984ec1

thoniTUB approved these changes Mar 27, 2026

View reviewed changes

	public void initializeDataSource() {
	public ManagedDataSource initializeDataSource() {

Conversation

awildturtok commented Mar 11, 2026

Uh oh!

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

thoniTUB left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

awildturtok commented Mar 26, 2026

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

2 participants