Uživatelské nástroje

Nástroje pro tento web


lmbase:datasize

Doporučení a omezení podle velikosti dat

Systém LISp-Miner je uzpůsoben pro práci s daty od desítek záznamů po stovky miliónů záznamů. Podle velikosti dat i složitosti úloh byl připraven seznam doporučení a omezení.

Počet záznamů Doporučení Omezení
< 10 tis.
> 10 tis. Zapnout Local Data Cache
> 100 tis. Neukládat data jako databázi MS Access, ale použít „plnohodnotný“ DBMS (MySQL, Oracle, MS SQL Server…) Nelze použít některé funkce (PCA…), omezení v zobrazování hodnot sloupců. Očekávejte výrazné prodloužení doby odezvy při zobrazování hodnot ve sloupcích i při kategorizaci.
> 250 tis. dtto Nelze použít další funkce (zejména výpočet hodnot z geografických dat)
> 1 mil.                                                                          Použít 64-bitovou verzi systému LISp-Miner. Ve 32-bitové verzi je třeba omezit rozsah importovatných dat, nebo vytvořit dynamický pohled obsahující pouze část záznamů Při práci s více než 1 mil. záznamů v 64-bitové verzi je třeba mít dostatek operační paměti pro vytvoření bitových řetězců. Ve 32-bitové verzi může dojít k problémům s nedostatkem paměti, eventuálně i nekorektnímu chování aplikace.
> 10 mil. Nastavit parametry pro komprimované ukládání bitových řetězců Žádná nebo malá komprimace bitových řetězců patrně povede k překročení dostupné operační paměti. Příliš agresivní parametry komprimace povedou k výraznému zpomalení výpočtu úloh.

Očekáváme-li rozsáhlou metabázi (zejména nalezení velkého množství vztahů), doporučujeme i pro uložení metabáze použít „plnohodnotný“ DBMS (MySQL, Oracle, MS SQL Server…).

V 64-bitové verzi není možné používat MS Access ani pro data, ani pro metabázi (neexistuje 64-bitový ODBC ovladač).


Související témata:

Načítání dat

lmbase/datasize.txt · Poslední úprava: 2019/10/09 20:21 (upraveno mimo DokuWiki)