Merge branch 'main' into MAIN-14-on-error-content-type

pagopa · Jan 14, 2025 · 78615b9 · 78615b9
2 parents 13e058d + f06074d
commit 78615b9
Showing 1 changed file with 1 addition and 1 deletion.
diff --git a/src/domains/observability/datafactory/pipelines/KPI_FDR_IMPORT_ESITI.json b/src/domains/observability/datafactory/pipelines/KPI_FDR_IMPORT_ESITI.json
@@ -290,7 +290,7 @@
         "source": {
             "type": "AzureDataExplorerSource",
             "query": {
-                "value": "let start=datetime('@{variables('date_start')}');\nlet end=datetime('@{variables('date_end')}');\nlet _date=datetime('@{variables('date_only')}');\nlet holiday_day = datatable(DATA_FESTIVO:datetime) [ \n    \"2023-11-01\",\n    \"2023-12-08\",\n    \"2023-12-25\",\n    \"2023-12-26\",\n    \"2024-01-01\",\n    \"2024-01-06\",\n    \"2024-03-31\",\n    \"2024-04-01\",\n    \"2024-04-25\",\n    \"2024-05-01\",\n    \"2024-06-02\",\n    \"2024-06-29\",\n    \"2024-08-15\",\n    \"2024-11-01\",\n    \"2024-12-08\",\n    \"2024-12-25\",\n    \"2024-12-26\"\n];\nlet dta = \n range DATA_P from _date to datetime_add(\"day\", 20, _date) step 1d\n| where DATA_P != _date\n| extend NUM_DAY=dayofweek(DATA_P)\n| extend IS_HOLIDAY=case(NUM_DAY == time(6) or NUM_DAY == time(0), true, false)\n| extend days_to_add=row_number(1)\n| join kind=leftouter holiday_day on $left.DATA_P == $right.DATA_FESTIVO\n| extend IS_HOLIDAY=case(DATA_P == DATA_FESTIVO, true, IS_HOLIDAY)\n| where IS_HOLIDAY == false\n| sort by DATA_P asc\n| extend days_to_add_new=row_number(1)\n| where days_to_add_new == 2\n| project DATA_P;\nlet PAYMENTS_TO_CHECK = KPI_ESITI_DAILY\n| where DATA_PAGAMENTO between (start .. end); // qui contengo tutti i pagamenti che sto analizzando\nlet RENDICONTAZIONE_DAILY = IUV_RENDICONTATI\n| where DATA_ESITO_SINGOLO_PAGAMENTO == _date; // qui contengo tutta la giornata\nlet PAYMENTS_CHECK = PAYMENTS_TO_CHECK\n| join kind=leftouter RENDICONTAZIONE_DAILY on $left.IUV == $right.IUV, $left.PA_TRANSFER == $right.ID_DOMINIO, $left.IUR == $right.IUR, $left.AMOUNT_TRANSFER == $right.IMPORTO; // qui contengo tutte le rendicontazioni matchate e non, ma ho bisogno delle informazioni di INSERTED_TIMESTAMP dei flussi\n// per sapere le informazioni dei flussi, mi prendo prima tutti i flussi matchati\nlet distinct_data_ora = PAYMENTS_CHECK // qui ho tutte le data ora flusso matchate\n| distinct DATA_ORA_FLUSSO;\nlet all_flux_founded = PAYMENTS_CHECK // qui contengo tutti i flussi distinti che matchano con i pagamenti\n| where isempty(ID_FLUSSO) == false\n| distinct ID_FLUSSO, DATA_ORA_FLUSSO, UNIQUE_ID;\nlet _date_flux = all_flux_founded| project DATA_ORA_FLUSSO | summarize MIN_DATA=min(DATA_ORA_FLUSSO), MAX_DATA=max(DATA_ORA_FLUSSO);\nlet _min_date_flux = _date_flux | project MIN_DATA; // la data minima di un flusso tra quelli che matchano\nlet _max_date_flux = _date_flux | project MAX_DATA; // la data massima di un flusso tra quelli che matchano\n// con min e max date posso selezionare solo le \"partizioni\" utili per cercare info sui flussi\nlet all_info_flux = FLUSSI_RENDICONTAZIONE\n| where DATA_ORA_FLUSSO in (distinct_data_ora)\n| project ID_FLUSSO, DATA_ORA_FLUSSO, UNIQUE_ID, INSERTED_TIMESTAMP // qui ho tutti i flussi che matchano con la data ora flusso dei pagamenti matchati\n| summarize FIRST_VERSION=min(INSERTED_TIMESTAMP), LAST_VERSION=max(INSERTED_TIMESTAMP) by ID_FLUSSO;\n// ora devo vedere, tra i pagamenti matchati, di joinare con la lista dei flussi per \"inner\"\nPAYMENTS_CHECK\n| extend LIMIT_DATE_KPI=endofday(toscalar(dta))\n| join kind=leftouter all_info_flux on ID_FLUSSO\n| extend DIFF_DAYS_FIRST_VERSION = datetime_diff(\"day\", startofday(FIRST_VERSION), LIMIT_DATE_KPI)\n| extend DIFF_DAYS_LAST_VERSION = datetime_diff(\"day\", startofday(LAST_VERSION), LIMIT_DATE_KPI)\n| extend IS_REND = case(isempty(ID_FLUSSO), false, true)\n| extend IDSP = toint(IDSP)\n| project DATA_PAGAMENTO, NOTICE_ID, IUV, IUR, PA_EMITTENTE, PA_TRANSFER, AMOUNT_TRANSFER, IBAN, ID_TRANSFER, IDSP, COD_ESITO, ID_PSP, ID_BROKER_PSP, MOD_TYPE, ID_FLUSSO, FIRST_VERSION, LAST_VERSION, IS_REND, DIFF_DAYS_FIRST_VERSION, DIFF_DAYS_LAST_VERSION, LIMIT_DATE_KPI",
+                "value": "let start=datetime('@{variables('date_start')}');\nlet end=datetime('@{variables('date_end')}');\nlet _date=datetime('@{variables('date_only')}');\nlet holiday_day = datatable(DATA_FESTIVO:datetime) [ \n    \"2025-01-01\",\n    \"2025-01-06\",\n    \"2025-04-20\",\n    \"2025-04-21\",\n    \"2025-04-25\",\n    \"2025-05-01\",\n    \"2025-06-02\",\n    \"2025-06-29\",\n    \"2025-08-15\",\n    \"2025-11-01\",\n    \"2025-12-08\",\n    \"2025-12-25\",\n    \"2025-12-26\"\n];\nlet dta = \n range DATA_P from _date to datetime_add(\"day\", 20, _date) step 1d\n| where DATA_P != _date\n| extend NUM_DAY=dayofweek(DATA_P)\n| extend IS_HOLIDAY=case(NUM_DAY == time(6) or NUM_DAY == time(0), true, false)\n| extend days_to_add=row_number(1)\n| join kind=leftouter holiday_day on $left.DATA_P == $right.DATA_FESTIVO\n| extend IS_HOLIDAY=case(DATA_P == DATA_FESTIVO, true, IS_HOLIDAY)\n| where IS_HOLIDAY == false\n| sort by DATA_P asc\n| extend days_to_add_new=row_number(1)\n| where days_to_add_new == 2\n| project DATA_P;\nlet PAYMENTS_TO_CHECK = KPI_ESITI_DAILY\n| where DATA_PAGAMENTO between (start .. end); // qui contengo tutti i pagamenti che sto analizzando\nlet RENDICONTAZIONE_DAILY = IUV_RENDICONTATI\n| where DATA_ESITO_SINGOLO_PAGAMENTO == _date; // qui contengo tutta la giornata\nlet PAYMENTS_CHECK = PAYMENTS_TO_CHECK\n| join kind=leftouter RENDICONTAZIONE_DAILY on $left.IUV == $right.IUV, $left.PA_TRANSFER == $right.ID_DOMINIO, $left.IUR == $right.IUR, $left.AMOUNT_TRANSFER == $right.IMPORTO; // qui contengo tutte le rendicontazioni matchate e non, ma ho bisogno delle informazioni di INSERTED_TIMESTAMP dei flussi\n// per sapere le informazioni dei flussi, mi prendo prima tutti i flussi matchati\nlet distinct_data_ora = PAYMENTS_CHECK // qui ho tutte le data ora flusso matchate\n| distinct DATA_ORA_FLUSSO;\nlet all_flux_founded = PAYMENTS_CHECK // qui contengo tutti i flussi distinti che matchano con i pagamenti\n| where isempty(ID_FLUSSO) == false\n| distinct ID_FLUSSO, DATA_ORA_FLUSSO, UNIQUE_ID;\nlet _date_flux = all_flux_founded| project DATA_ORA_FLUSSO | summarize MIN_DATA=min(DATA_ORA_FLUSSO), MAX_DATA=max(DATA_ORA_FLUSSO);\nlet _min_date_flux = _date_flux | project MIN_DATA; // la data minima di un flusso tra quelli che matchano\nlet _max_date_flux = _date_flux | project MAX_DATA; // la data massima di un flusso tra quelli che matchano\n// con min e max date posso selezionare solo le \"partizioni\" utili per cercare info sui flussi\nlet all_info_flux = FLUSSI_RENDICONTAZIONE\n| where DATA_ORA_FLUSSO in (distinct_data_ora)\n| project ID_FLUSSO, DATA_ORA_FLUSSO, UNIQUE_ID, INSERTED_TIMESTAMP // qui ho tutti i flussi che matchano con la data ora flusso dei pagamenti matchati\n| summarize FIRST_VERSION=min(INSERTED_TIMESTAMP), LAST_VERSION=max(INSERTED_TIMESTAMP) by ID_FLUSSO;\n// ora devo vedere, tra i pagamenti matchati, di joinare con la lista dei flussi per \"inner\"\nPAYMENTS_CHECK\n| extend LIMIT_DATE_KPI=endofday(toscalar(dta))\n| join kind=leftouter all_info_flux on ID_FLUSSO\n| extend DIFF_DAYS_FIRST_VERSION = datetime_diff(\"day\", startofday(FIRST_VERSION), LIMIT_DATE_KPI)\n| extend DIFF_DAYS_LAST_VERSION = datetime_diff(\"day\", startofday(LAST_VERSION), LIMIT_DATE_KPI)\n| extend IS_REND = case(isempty(ID_FLUSSO), false, true)\n| extend IDSP = toint(IDSP)\n| project DATA_PAGAMENTO, NOTICE_ID, IUV, IUR, PA_EMITTENTE, PA_TRANSFER, AMOUNT_TRANSFER, IBAN, ID_TRANSFER, IDSP, COD_ESITO, ID_PSP, ID_BROKER_PSP, MOD_TYPE, ID_FLUSSO, FIRST_VERSION, LAST_VERSION, IS_REND, DIFF_DAYS_FIRST_VERSION, DIFF_DAYS_LAST_VERSION, LIMIT_DATE_KPI",
                 "type": "Expression"
             },
             "queryTimeout": "00:10:00",