Validateur NeTEx : polling des résultats

[ptitfred]

Cela permet de ne plus bloquer la queue de validation (que ce soit les ressources historisées ou on demand).

Checklist :

• code non bloquant via des jobs
• adaptation de /backoffice/jobs pour afficher les jobs en attente
• tests unitaires
• tests manuels de OnDemand
• tests manuels de validation d'une ressource historisée
• tests manuels de validation concurrente de beaucoup de ressources historisées

require Logger

Logger.info("Starting...")

import Ecto.Query

defmodule Script do
  # for each active dataset, grab all resources with a resource history.
  def query() do
    DB.Dataset.base_query()
    |> DB.Resource.join_dataset_with_resource()
    |> DB.ResourceHistory.join_resource_with_latest_resource_history()
    |> where([resource: r], r.format == "NeTEx")
    |> select([resource_history: rh], rh)
  end

  def validate_resource_history(resource_history_id) do
    %{
      "force_validation" => true,
      "validator" => Atom.to_string(Transport.Validators.NeTEx),
      "resource_history_id" => resource_history_id
    }
    |> Transport.Jobs.ResourceHistoryValidationJob.new()
  end
end

Script.query()
|> DB.Repo.all()
|> Enum.take(20)
|> Enum.map(&(&1.id |> Script.validate_resource_history()))
|> Oban.insert_all()
|> Logger.info()

Voir #4153