Hvis du kloner GITMAL til itmal som overnfor er der nu automatisk sat en path op til libitaml, prøv det!
GPU Hukommelse
eller blot
Ved brug af Keras+GPU allokeres automatisk al GPU hukommelse. Når vi er flere brugere skal i derfor indsætte følgende i starten af jeres Keras/Tensorflow Jupyternotebook kode:
\displaycode{
from libitmal import kernelfuns as itmalkernelfuns
itmalkernelfuns.EnableGPU()
}
import tensorflow as tf
from keras.backend.tensorflow_backend import set_session
Bemærk at jeres jupyter server, beholder all hukommelse, også når i logger af...kun "stop my server"/"start server" frigiver!
\p{Terminal på cluster: brug Jupyter notebooks terminalen. Herefter har du en fin terminal på cluster noden}
Jeg vil slå alle proceser ned, der har allokeret over ca. 4Gb GPU hukommelse eller har kørt i en uge...det er en automatisk process, der kører med ca 5. interval!
Noter
Terminal på cluster
\p{SSH til cluster: eller gør det på den klassiske metode via SSH til clusterens 'masternode' via}
<bodystyle='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<h3>Forberedelse inden kursusstart</h3>
<h2>Forberedelse inden kursusstart</h2>
<h4>Formål</h4>
<h3>Formål</h3>
<p><i>Gruppe tilmelding:</i> tilmeld dig til en ITMAL gruppe (find link i Brightspace!).</p>
<p><i>Installation</i>: de obligatoriske værktøjer til ITMAL inden kursusstart (dvs.
L01).</p>
<p><i>Forberedelse til L01:</i> Hent GIT repositories til litteraturen <spanstyle='font-family: courier new, courier;'>[GITHOML]</span>, prøv at
kører et par Jupyter Notebooks <spanstyle='font-family: courier new, courier;'>[JPYNB]</span>, og læs mere om pythons NumPy
<p><i>Forberedelse til L01:</i> Hent GIT repositories til litteraturen <span style='font-family: courier new, courier;'>[GITHOML]</span>, prøv at
kører et par Jupyter Notebooks <span style='font-family: courier new, courier;'>[JPYNB]</span>, og læs mere om pythons NumPy
bibliotek.</p>
<p><i>Ekstra materiale til forberedelse:</i> optionelle python opgaver, hvis du vil sætte
dig mere ind i sproget.</p>
<h4>Installation</h4>
<h3>Installation</h3>
<ul>
<li>Installer Anaconda på din PC:</li>
...
...
@@ -36,7 +37,7 @@ dig mere ind i sproget.</p>
<li>ALTERNATIV 1:</li>
<ul>
<li>brug vores ASE GPU Cluster som jupyter hub server,</li>
<li>se info in <ahref='https://brightspace.au.dk/d2l/le/lessons/27524/topics/244596'rel='noopener'target='_blank'>kursusinformation | GPU Cluster</a>.</li>
<li>se info in <a href='https://brightspace.au.dk/d2l/le/lessons/27524/topics/244596' rel='noopener' target='_blank'>kursusinformation | GPU Cluster</a>.</li>
<li>Test at du kan køre jupyter notebooks [JYPYNB] fra <spanstyle='font-family: courier new, courier;'>[GITHOML]</span>, prøv f.eks. <spanstyle='font-family: courier new, courier;'>index.ipynb</span></li>
<li>Test at du kan køre jupyter notebooks [JYPYNB] fra <span style='font-family: courier new, courier;'>[GITHOML]</span>, prøv f.eks. <spanstyle='font-family: courier new, courier;'>index.ipynb</span></li>
</ul>
<h4>Forberedelse til Lektion 01</h4>
<h3>Forberedelse til Lektion 01</h3>
<ul>
<li>Læs materiale i <ahref='https://brightspace.au.dk/d2l/le/lessons/27524/units/244588'>kursusinformation</a>,</li>
<li>Læs materiale i <a href='https://brightspace.au.dk/d2l/le/lessons/27524/units/244588'>kursusinformation</a>,</li>
<li>få fat i litteratur til kurset,</li>
<li>clone <spanstyle='font-family: courier new, courier;'>[GITHOML]</span> til din egen PC, se how-to under <ahref='https://brightspace.au.dk/d2l/le/lessons/27524/topics/254943'rel='noopener'target='_blank'>kursusinformation | kursusforkortelser</a>.</li>
<li>clone <span style='font-family: courier new, courier;'>[GITHOML]</span> til din egen PC, se how-to under <a href='https://brightspace.au.dk/d2l/le/lessons/27524/topics/254943' rel='noopener' target='_blank'>kursusinformation | kursusforkortelser</a>.</li>
Læs blot, hvad du finder relevant så som 'iteration', men spring blot over
emner, der er for komplekse eller for 'pythoniske', så som 'Stacking arrays' og
...
...
@@ -64,28 +65,28 @@ emner, der er for komplekse eller for 'pythoniske', så som 'Stac
</p>
</ul>
<h4>Note vdr. kildekritik og 'informations-overload'</h4>
<h3>Note vdr. kildekritik og 'informations-overload'</h3>
<p>Vi vil i dette kurset tit kunne blive overvældet af for meget ekstern
information (informations-overload), så du skal danne dig en metode til at
kunne selektere og navigere i materialet.</p>
<p>Vi vil primært holde os til <spanstyle='font-family: courier new, courier;'>[HOML]</span>, <spanstyle='font-family: courier new, courier;'>[GITHOML]</span> og Scikit-learn, med en note
<p>Vi vil primært holde os til <span style='font-family: courier new, courier;'>[HOML]</span>, <span style='font-family: courier new, courier;'>[GITHOML]</span> og Scikit-learn, med en note
om, at nettet flyder over med ekstra (til tider ubrugelig/ufiltreret)
information: en kildekritiks holdning er vigtig!</p>
<h4>Ekstra materiale til forberedelse</h4>
<h3>Ekstra materiale til forberedelse</h3>
<p>Hvis du har brug for at opfriske dit lineær algebra matematik eller er helt ny
til python, så kan du f.eks. læse/skimme følgende notebooks, i prioriteret
<li>(OPTIONEL) ekstra, mest for de matematik intereserede: <br><spanstyle='margin-left: 30px'><spanstyle='font-family: courier new, courier;'>math_differential_calculus.ipynb</span><spanstyle='font-family: courier new, courier;'>[GITHOML]</span>.</span></li>
<li>(OPTIONEL) ekstra, mest for de matematik intereserede: <br><spanstyle='margin-left: 30px;'><spanstyle='font-family: courier new, courier;'>math_differential_calculus.ipynb</span><span style='font-family: courier new, courier;'>[GITHOML]</span>.</span></li>
</ol>
<p>Pandas er et meget populært databehandlingsværktøj, men det
<bodystyle='font-family: times new roman, times, serif;font-size: 12pt;color: #424222;'>
<h3>Introduktion</h3>
<h2>Introduktion</h2>
<h4>Formål</h4>
<h3>Formål</h3>
Denne lektion har til formål at give indledende information om kurset. Dvs.
at vi præsentere de formelle rammer vdr.
...
...
@@ -33,11 +34,11 @@ udviklingsværktøjer til python vi vil bruge.</p>
samt forsøge os med et par små programmer i python.</p>
<p>Til slut kigger vi på supervised learning og at kunne predicte
'life-satisfactory' via demo projektet i <spanstyle='font-family: courier new, courier;'>[HOML]</span>, og vi ser på pythons modul- og
'life-satisfactory' via demo projektet i <span style='font-family: courier new, courier;'>[HOML]</span>, og vi ser på pythons modul- og
klassebegreber (modules, classes), så vi kan genbruge kode i senere
lektioner..</p>
<h4>Indhold</h4>
<h3>Indhold</h3>
<ul>
<li>Formelle rammer vdr. kurset.</li>
...
...
@@ -47,13 +48,13 @@ lektioner..</p>
<li>en poster-session, med aflevering af poster og mundtlig præsentation af poster,</li>
<li>en mundtlig gennemgang af den sidste journal med alle medlemmer i ITMAL gruppen, samt evaluering af hver gruppemedlems
bidrag.</li>
<pstyle='margin-left: 30px'><b><spanstyle='color: #ff3333'>=> Endelig godkendelse af kurset sker på en samlet vurdering af de tre punkter ovenfor.</span></b></p>
<pstyle='margin-left: 30px;'><b><spanstyle='color: #ff3333'>=> Endelig godkendelse af kurset sker på en samlet vurdering af de tre punkter ovenfor.</span></b></p>
</ul>
<li>Læringsmål.</li>
<li>Litteratur.</li>
<li>Intro til software, der bruges i ITMAL:</li>
<ul>
<li>python generelt (link til mini python intro: <spanstyle='font-family: courier new, courier;'><ahref='https://itundervisning.ase.au.dk/ITMAL_E21/L01/demo.ipynb'>demo.ipynb</a></span>,</li>
<li>python generelt (link til mini python intro: <spanstyle='font-family: courier new, courier;'><ahref='https://itundervisning.ase.au.dk/ITMAL_E21/L01/demo.ipynb'>itundervisning.ase.au.dk/ITMAL_E21/L01/demo.ipynb</a></span>,</li>
<pstyle='margin-left: 30px'>§ Preface, p. xv <spanstyle='font-family: courier new, courier;'>[HOML]</span> (eksklusiv fra Using Code Examples...og resten af intro kapitlet)</p>
<pstyle='margin-left: 30px;'>§ Preface, p. xv <span style='font-family: courier new, courier;'>[HOML]</span> (eksklusiv fra Using Code Examples...og resten af intro kapitlet)</p>