ODI 12c - How to aumentare la dimensione dell'heap in Oracle Data Integrator (ODI) Studio

Per aumentare la dimensione dell'heap in Oracle Data Integrator (ODI) Studio, è necessario modificare il file di configurazione di ODI e riavviare lo studio.

Nello specifico si deve modificare la direttiva:

1. -Xms (dimensione minima dell'heap)
2. -Xmx (dimensione massima dell'heap)

nel file odi.conf.

Ecco i passaggi dettagliati:

1. Chiudere ODI Studio:

1. Assicurarsi che ODI Studio sia completamente chiuso prima di apportare modifiche.

2. Individuare il file odi.conf:

1. Il file odi.conf si trova generalmente nella directory di installazione di ODI, nella sottocartella oracledi/agent/bin.

3. Eseguire il backup del file:

1. Prima di apportare modifiche, è consigliabile creare una copia di backup del file odi.conf.

4. Aprire il file odi.conf per la modifica:

1. Aprire il file odi.conf con un editor di testo.

5. Modificare le direttive -Xms e -Xmx:

1. Cercare le direttive -Xms e -Xmx. Queste direttive controllano rispettivamente la dimensione minima e massima dell'heap. Modificare i valori numerici per aumentarne la dimensione. Ad esempio, per impostare la dimensione massima dell'heap a 2GB, si potrebbe usare -Xmx2048m.

6. Salvare e chiudere il file:

1. Salvare le modifiche apportate al file odi.conf e chiuderlo.

7. Riavviare ODI Studio:

1. Avviare ODI Studio per applicare le modifiche. La nuova dimensione dell'heap verrà utilizzata al prossimo avvio.

È importante notare che:

La dimensione dell'heap deve essere appropriata per le risorse disponibili sul sistema. Iniziare con incrementi moderati e aumentare gradualmente se necessario.

Se si utilizzano più agent, è necessario modificare il file odi.conf per ciascun agente. 

• NOTE:
• How To Clear The Cache For ODI Studio (Doc ID 1943854.1)
• Unable to Launch ODI Studio Error - "Initial heap size set to a larger value than the maximum heap size" (Doc ID 2288151.1)
• La directory dove è presente il file odi.conf sul Cloud in ODIMarketPlace è la seguente:
• /u01/oracle/mwh/odi/studio/bin

DARCO - Data Archiving Organizer

Di seguito daremo uno sguardo ad un software Oracle o meglio ad una soluzione di "Information Lifecycle Management" che permette di organizzare, gestire ed eseguire i processi di archiviazione dati con conseguente ottimizzazione della memoria utilizzata.

Questa soluzione, realizzata in linguaggio plsql, è installabile su qualsiasi database Oracle a partire dalla versione 12C.

La soluzione, come molti prodotti Oracle risulta essere DataBase centrica e si compone di un repository di metadati, di un handler ed una suite di custom plsql API, atte a:

• Definire e personalizzare i criteri di data retentntion 
• Configurare le strutture dati coinvolte 
• Archiviare i dati da uno schema sorgente, ad uno schema di storico/archiviazione
• Gestire ed ottimizzare la memoria delle strutture dati configurate sullo schema sorgente.

Il repository dei metadati si compone di set di tabelle tra loro correlate, che si articolano nelle seguenti macrocategorie di contenuti:

• Configurazioni
• Processing
• Log

Nei prossimi articoli vedremo meglio alcune delle opzioni implementate in questo software che al momento sono 3.

L'ultima opzione implementata è la seguente:

• ARCHIVE_STRATEGY = 'Z' 
• Si effettua il backup di tutti i records delle tabelle configurate nella tabella di Metadato DARCO_TABLES che sono soggetti oltre ad una data di cutoff_date anche a delle regole di BUSINESS configurate in tali tabelle. Una volta che i dati verranno spostati, in un altro schema Target che li conterrà come un Backup, questi verranno cancellati dallo schema Source.  Poichè possono essere presenti FK anche i record che rientrano all'interno della data di cutoff e che sono legati alla tabella Padre verranno spostati nello schema Target di Backup. 

RDBMS ORACLE - Quale grant dare per poter effettuare una truncate table

Qual è la corretta grant per poter troncare una tabelle di un altro utente in oracle?

--------------------------------------------------------------------

• Connettersi come sys as sysdba

select user from dual;

USER                          

------------------------------

SYS

• Eseguire il seguente script per dare le grant.

declare

      onlineSchema varchar2(500) := 'DWH_ANALYTICS';

      archiveSchema varchar2(500) := 'DWH_MD';

begin

      execute immediate 'grant  drop any table to '||onlineSchema;

end;

PL/SQL procedure successfully completed.

-----------------

select * from all_tab_privs where table_name='TEST_TRUNCATE_TABLE' and GRANTOR='DWH_MD';

no rows selected

-----------------

• Connettersi come DWH_ANALYTICS

select user from dual;

USER                          

------------------------------

DWH_ANALYTICS

SELECT * FROM DWH_MD.TEST_TRUNCATE_TABLE;

ORA-01031: insufficient privileges

01031. 00000 -  "insufficient privileges"

*Cause:    An attempt was made to perform a database operation without

           the necessary privileges.

*Action:   Ask your database administrator or designated security

           administrator to grant you the necessary privileges

Error at Line: 1 Column: 23

• Eseguire la TRUNCATE della tabella

TRUNCATE TABLE DWH_MD.TEST_TRUNCATE_TABLE;

Table DWH_MD.TEST_TRUNCATE_TABLE truncated.

-------------------------------------------------------------------

Connettersi nuovamente come sys e revocare il privilegio

select user from dual;

USER                          

------------------------------

SYS

• Eseguire lo script

declare

      onlineSchema varchar2(500) := 'DWH_ANALYTICS';

      archiveSchema varchar2(500) := 'DWH_MD';

begin

      execute immediate 'revoke drop any table from '||onlineSchema;

end;

PL/SQL procedure successfully completed.

-------

select * from all_tab_privs where table_name='TEST_TRUNCATE_TABLE' and GRANTOR='DWH_MD';

no rows selected

-------

Documentazione Oracle:

https://docs.oracle.com/en/database/oracle/oracle-database/23/sqlrf/TRUNCATE-TABLE.html

RDBMS ORACLE - DDL MINUS - Genera uno script per verificare il contenuto di due tabelle

 Di seguito una query che genera la ddl per una minus tra due tabelle ed inserisce il contenuto in una tabella di appoggio.

SELECT 

  'INSERT INTO DM_ITI.APPO_COUNT_DIFF '||CHR(10)||MNS||CHR(10)||'COMMIT;' DDL_MINUS
FROM 
(SELECT 

   'SELECT COUNT(1) , '''||TAB||''' TAB_NAME FROM ('||CHR(10)|| MN ||');' AS MNS
 FROM
( SELECT   LISTAGG(SEL_MINUS, chr(10)||' MINUS '||CHR(10)) 

                            WITHIN GROUP (ORDER BY COL_ORD) MN, TAB
     FROM
(SELECT 
  'SELECT '||LISTAGG(Column_Name,', ')  

    WITHIN GROUP (ORDER BY COLUMN_ID)||' FROM '|| OWNER ||'.'||TABLE_NAME SEL_MINUS,

       OWNER ||'.'||TABLE_NAME TAB,  1 COL_ORD

FROM
 (  SELECT Column_Name,Column_Id ,OWNER,TABLE_NAME,
         COUNT(column_id) OVER (PARTITION BY TABLE_NAME) CC, data_type
    FROM SYS.ALL_TAB_COLUMNS
    WHERE OWNER=UPPER('DM_ITI') AND table_name=UPPER('DIM_ARGOMENTO'

    ORDER BY 2)
GROUP BY OWNER,TABLE_NAME
   UNION ALL
 SELECT  
  'SELECT '||LISTAGG(Column_Name,',')  WITHIN GROUP (ORDER BY COLUMN_ID)||' FROM '||     OWNER ||'.'||TABLE_NAME||'@DB_LINK' AS  SEL_MINUS, OWNER ||'.'||TABLE_NAME TAB,

    2 COL_ORD

FROM
 ( SELECT Column_Name,Column_Id ,OWNER,TABLE_NAME,
        COUNT(column_id) OVER (PARTITION BY TABLE_NAME) CC, data_type
    FROM SYS.ALL_TAB_COLUMNS
    WHERE OWNER=UPPER('DM_ITI') AND table_name=UPPER('DIM_ARGOMENTO')
    ORDER BY 2)
GROUP BY OWNER,TABLE_NAME
)
GROUP BY TAB
));

Questa una volta eseguita genera il seguente statement sql:

INSERT INTO DM_ITI.APPO_COUNT_DIFF 

     SELECT COUNT(1) , 'DM_ITI.DIM_ARGOMENTO' TAB_NAME 

         FROM (

              SELECT TIPARGID, TIPARGDESCRIZIONE, TIPARGDATCAR 

                     FROM 

                           DM_ITI.DIM_ARGOMENTO

            MINUS 

              SELECT TIPARGID,TIPARGDESCRIZIONE,TIPARGDATCAR 

                   FROM    

                        DM_ITI.DIM_ARGOMENTO@DB_LINK);

COMMIT;

------------------------------------------------------------------------------------

Una volta eseguito lo statement sql avremo:

In questo caso le due tabelle sono identiche.

-----------------------------------------------------------------------------------

Di seguito la DDL della tabella in cui inserire le count:

  CREATE TABLE "DM_ITI"."APPO_COUNT_DIFF" 

   ( "CC_DIFF" NUMBER, 

"TAB_NAME" VARCHAR2(200 BYTE)

   ) ;

COMMENT ON COLUMN "DM_ITI"."APPO_COUNT_DIFF"."CC_DIFF" IS 'COUNT delle differenze = 0 Tabelle uguali >0 Tabelle differenti come contenuto';

COMMENT ON COLUMN "DM_ITI"."APPO_COUNT_DIFF"."TAB_NAME" IS 'Schema.Tabella indigata';

RDBMS ORACLE - Funzione SecondsSinceFromTimestamp IBM-DS Vs ORACLE

La funzione SecondsSinceFromTimestamp in IBM- DataStage:

 

SecondsSinceFromTimestamp(DATA_INIZIO_EVENTO, DATA_FINE_EVENTO)

 

effettua una differenza tra due timestamp in secondi.

Da documentazione IBM:

In oracle non esiste una funzione che effettua questa differenza, per cui occorre creare una funzione 

custom da richiamare. 

La funzione che è stata creata ha lo stesso nome di quella presente in  IBM-DS.

Da notare che la funzione presente in IBM - Datastage non effettua una differenza non tra END_DATE - START_DATE ma al contrario effettua una differenza tra la START_DATE - END_DATE per cui se consideriamo la differenza di un giorno tra start ed end avremo come risultato -86400, come indicato da documentazione IBM-DS.

Il valore come si vede è negativo -86400 secondi.

Se eseguiamo in oracle la funzione presente sotto avremo come risultato final -86400.

---------------------------------------------------------------------------------------------------------

create or replace  

FUNCTION SecondsSinceFromTimestamp

(start_time_in TIMESTAMP, end_time_in TIMESTAMP)RETURN NUMBER

AS

l_days NUMBER;

l_hours NUMBER;

l_minutes NUMBER;

l_seconds NUMBER;

sec_tot NUMBER;

BEGIN

SELECT 

  EXTRACT(DAY FROM start_time_in - end_time_in)

, EXTRACT(HOUR FROM start_time_in - end_time_in)

, EXTRACT(MINUTE FROM start_time_in - end_time_in)

, extract(SECOND FROM start_time_in - end_time_in)

INTO l_days, l_hours, l_minutes, l_seconds

FROM dual;

 

sec_tot := l_seconds + l_minutes*60 + l_hours*60*60 + l_days*24*60*60;

RETURN sec_tot;

END;