Frequently Asked Questions (FAQ)

How much storage space do I have on IDMC?

There's no space quota as such on the general IDMC storage, but the huge data sets known from high energy physics and bioinformatic databases are examples of data contents not considered suitable for IDMC. Anything within a few tens of terabytes should be fine, and we suggest that you just have a word with us if you want to store more than that.

Is My IDMC Data Replicated and Backed Up?

All data on IDMC is automatically replicated over multiple disks with RAID technology. We do not currently guarantee automatic and complete backup of ordinary data in your IDMC home folder or in the Workgroup shares.

How do I Transfer Entire Folders to/from IDMC?

In the IDMC web interface you can only upload/download individual files, so if you e.g. want to upload an entire folder structure there, first pack the folder(s) in a zip or tar file, upload it as usual and then use unpack from the right-click menu on the uploaded file.
Likewise you can use pack on a folder in IDMC, download and unpack it locally.
Alternatively you can use the efficient file/folder handling described in the Advanced Data Access sections of the user guide. That makes IDMC appear like a network drive so that you can use your local file manager to copy entire folders to IDMC.

Can I Share, Exchange and Publish Data in e.g. a Read-only Fashion on IDMC?

Yes, depending on the audience and dynamics of the data to share you can use one of two overall methods.
For dynamic data you can either share in a read-write manner using the Workgroup shares or make them read-only in the Workgroup administration. Similarly you can do read-only sharing and publishing through the Workgroup web pages. Both are built into the Workgroups and the web pages come in a public and in a group-wide flavor, where the publishing is done by Workgroup owners storing data in the public_base and private_base workgroup subdirectories respectively on IDMC. Your Workgroups page includes links to those and to the resulting web pages.
For quick data exchange with anyone and particularly people not on IDMC, we recommend the Share Link feature. From your Files page you can create a share link for a file or folder and choose what kind of read and write access share link recipients should be granted. The share link method include the option to send out an invitation with the link directly on email, but it can of course also be manually distributed by other means. Share links can also be accessed with SFTP, FTPS and WebDAVS as described in the user guide.

How Are Workgroups Managed?

Workgroups can be created by academic staff (VIP) as well as technical/administrative staff (TAP) and the creator of a workgroup automatically becomes owner. All user management is left to the owner(s) without interaction from the IDMC system administrators. Co-owners and members can be added either directly using the Swedish numberplate or email alias of the user, or indirectly if the user requests owner-/membership on the Workgroups page, and the owner(s) follow the instructions then sent on email about adding the user with the full user ID format.

Can I have a shared or separate account for our project?

No, we cannot allow such accounts or account aliasing, mainly due to rules and regulations. In case of suspected or alleged abuse we need to be able to uniquely identify who did what and when, and all kinds of anonymous or shared accounts would prevent that. Please refer to the UCPH information security policy for further details about identity and traceability requirements.
So basically you need to use your own personal and clearly identifiable account for all logins. What you can do is to use Workgroups to store data in a shared group folder. In that way the data is not bound to your account specifically and you and your project group can easily manage all account access yourselves through the Workgroup admin page.
Similarly share links can be used for access to particular subfolders if you need to e.g. automate data upload from lab machines without storing your personal login there. Please refer to the user guide for more details.

Why can't I use certain characters in file names?

IDMC prevents certain characters like "< > { | } * ? [ ]" in file names. You may already have run into similar limitations when naming files on your own PC or devices. In order to provide a secure and consistent experience across different platforms, web and advanced interfaces IDMC prohibits those and some more that are known to cause problems. Either because they are so-called control characters with a special potentially dangerous meaning on the storage systems or because they are known to interfere with the web interfacing and presentation. We are continuously evaluating the need for allowing more exotic characters but always with focus on not breaking existing interfaces and backends. Feel free to contact us about the possibility of allowing any additional characters that you may miss.

How do I install and run software XYZ in Jupyter?

We've added Jupyter integration in ERDA/IDMC, so that you can run interactive data analysis sessions e.g. in a Python or R environment with direct access to all your ERDA/IDMC data.
A number of software packages are already available in the different ERDA/IDMC Jupyter instances, but sometimes you may still want to run additional software there. For Python and Jupyter extension packages it may work to simply install temporarily with pip or pip3 inside the session via the Terminal in the main Jupyter Launcher window, or by writing a standard Python requirements.txt file in your ERDA/IDMC home and run it interactively with something like pip3 install -r requirements.txt from the Jupyter Terminal.
Please note that you need to use python2 or python3 specifically if you want to use such pip or pip3 installed packages respectively directly from the Terminal.
Alternatively you can install Python software dependencies like e.g. the scikit-image package directly in the Jupyter Notebook itself by evaluating !pip3 install scikit-image in a cell.
At the moment installing software that requires compilation or come with other external dependencies is not generally supported.
To ensure that packages you install will stick around between different sessions, pass the --user flag to the pip or pip3 install command. This will ensure that the package is installed into your own home __{service}_config__ directory, which is persistent beyond the lifetime of a single Jupyter instance.
It is also possible to use the conda package manager to install additional software in running sessions. You can use conda install -y -n ENV PACKAGE from the Jupyter Terminal where ENV is typycally python2, python3 or r depending on the notebook and your working environment. Similarly use conda search NAME to search for available packages.
You can contact us at our support email if you have additional software wishes. Then we will see if they can be fulfilled - but we can't give any promises.

What's wrong, web login suddenly says "No such user ("

If you already signed up to IDMC and had access but you begin receiving such errors it is likely that you hit an occasional problem we experience when UCPH IT changes primary email address of users in their central user database. This typically only happens in relation to significant employment status changes. IDMC just relies on the UCPH OpenID service for sign up and log in, so the change means that your existing account with e.g. is no longer recognized to belong to the ID, which UCPH OpenID tells us you now have. Rest assured that your IDMC account remains intact, and usually we can fix the problem by assigning the new primary email alias to it. We just need you to contact us as described below to do so.

Can I use a certifcate to access IDMC?

In case you want the extra secure access you need to request and install one of our grid certificates as described on the corresponding getting started page. As you can see in the user-cert-import guide there, the certificate install process takes quite a few steps, but then at least login gets simpler afterwards. After installing your certificate you can use it first to sign up for your IDMC account and then afterwards to log in.

Ofte stillede spørgsmål (OSS)

Hvor meget plads har jeg på IDMC?

Vi håndhæver ikke som sådan pladskvoter på selve IDMC datalageret, men kæmpe datasæt, som dem man kender fra højenergi-fysik eller bioinformatik-databaser, er eksempler på indhold, som ikke regnes for egnede til lagring på IDMC. Så længe vi taler datamængder op til en snes terabytes, skulle der ikke være nogen problemer. Hvis du gerne vil gemme mere end det, kan det sikkert også lade sig gøre - bare tag en snak med os om det.

Er mine IDMC data replikerede og med backup?

Al data på IDMC er automatisk replikeret over flere diske v.h.a. RAID-teknologi. Vi garanterer ikke i øjeblikket automatisk og fuldstændig backup af almindelige data i din IDMC brugerfolder eller i Workgroup shares.

Hvordan overfører jeg hele foldere til/fra IDMC?

På dine IDMC websider kan du kun uploade/downloade enkeltfiler, så hvis du f.eks. vil uploade hele foldere den vej, må du først pakke dem i en zip- eller tar-fil, som du derefter uploader som vanligt og endelig udpakker med unpack fra højreklik-menuen på den uploadede fil.
Tilsvarende kan du bruge pack på en IDMC folder, downloade den pakkede fil og udpakke lokalt.
Alternativt kan du benytte den effektive fil/folder-håndtering som beskrevet i afsnittene om Avanceret datatilgang i brugervejledningen. På den måde kan IDMC tilgås som et netværksdrev så du kan benytte din almindelige filhåndtering til at kopiere hele foldere til og fra IDMC.

Kan jeg dele, udveklse og publicere IDMC data f.eks. så der kun er læse-adgang?

Ja, der er overordnet to forskellige måder at gøre det på afhængigt af hvor dynamiske data er, og hvem du vil dele med.
Når det drejer sig om dynamiske data er det muligt at dele med læse- og skrive-adgang via de almindelige Workgroup shares, samt at skifte sådanne shares til kun at give læse-adgang på administrationssiden. Det er også muligt at lave skrivebeskyttet deling og publicering via de tilknyttede Workgroup web sider. Begge følger automatisk med alle Workgroups og sidstnævnte findes i en udgave med offentlig adgang og en kun for gruppens deltagere. Publicering den vej foregår ved at Workgroup ejere gemmer data i de tilhørende public_base hhv private_base workgroup undermapper på IDMC. På din Workgroups side finder du links til disse og til de resulterende web-sider.
Til hurtig udveksling af data med hvem som helst, herunder ikke mindst folk som ikke er på IDMC, kan vi anbefale Share Link metoden. Fra din Files side kan du oprette et share link og vælge hvilken kombination af læse- og skrive-adgang modtageren skal gives. Share link metoden inkluderer muligheden for at udsende en invitation med link direkte på email, men det kan naturligvis også gøres manuelt via andre kanaler.

Hvordan styres Workgroups?

Videnskabeligt personale (VIP) såvel som teknisk/administrativt personale (TAP) kan oprette workgroups og de bliver derved automatisk ejere af den nye workgroup. Al brugerstyring er ejernes ansvar og foregår uden indblanding fra systemadministratorerne på IDMC. Medejere og medlemmer kan enten tilføjes direkte ved at indtaste brugerens svenske nummerplade eller email på Workgroup Management siden eller ved at brugere anmoder om owner-/membership på Workgroups-siden, og ejerne følger de derved emailede instruktioner om at tilføje brugeren vha det komplette bruger-ID.

Kan jeg få en delt eller særskilt konto til vores projekt?

Nej, vi kan ikke tillade sådanne delte eller særskilte konti, især pga love og regler. I tilfælde af mistanke eller anklager om kontimisbrug er det strengt nødvendigt at vi entydigt kan afgøre præcis hvem der gjorde hvad og hvornår. Det er helt uforeneligt med alle former for anonyme eller delte konti. Vi henviser til KUs Informationssikkerhedspolitik for nærmere detaljer omkring krav omkring identitet og sporbarhed. Hvad man kan gøre er at benytte Workgroups til at opbevare data i en delt gruppemappe. På den måde er data ikke bundet specifikt til din private konto og du og din projektgruppe kan nemt selv styre al kontoadgang dertil via Workgroup'ens admin-side.
Det er desuden muligt at benytte sharelinks til at give adgang til specifikke undermapper, i tilfælde af at man f.eks. har brug for at automatisere data-upload fra laboratoriemaskiner uden at have sit personlige login flydende rundt. Se venligst brugervejledningen for nærmere detaljer.

Hvorfor er der tegn jeg ikke kan bruge i filnavne?

IDMC afviser enkelte tegn så som "< > { | } * ? [ ]" i filnavne. Måske du allerede har oplevet lignende begrænsninger i navngivningen af filer på din PC eller andre enheder. For at kunne levere en sikker og ensartet brugeroplevelse på tværs af platforme, web og avancerede brugergrænseflader afviser IDMC disse og visse andre som er kendt for at skabe problemer. Hvadenten det er fordi de er såkaldte kontroltegn med en speciel og potentielt skadelig betydning på lagersystemerne eller fordi de vides at forstyrre web-brug og -visning. Vi evaluerer løbende på behovet for at tillade yderligere eksotiske tegn, hele tiden under krav om hverken at skade brugergrænseflader eller bagvedliggende systemer. Du er naturligvis velkommen til at kontakte os angående at få yderligere tegn du måtte savne tilladt.

Hvordan installerer og kører jeg software XYZ i Jupyter?

Vi har integreret Jupyter i ERDA/IDMC, så man som bruger kan lave interaktiv dataanalyse i f.eks. Python eller R og med direkte adgang til alt sit ERDA/IDMC-data.
Jupyter-miljøet har forskellige images med en stribe software-pakker installeret, men nogle gange kan det stadig være bekvemt at køre yderligere special-software. Nogle udvidelser til Python og Jupyter kan installeres midlertidigt med pip eller pip3 via en Terminal fra Jupyter hovedsiden, eller ved at skrive en standard Python requirements.txt fil i ens ERDA/IDMC mappe og køre den ved Jupyter opstart med noget i stil med pip3 install -r requirements.txt fra Jupyter-terminalen.
Bemærk at man specifikt skal angive python2 eller python3 for at bruge sådanne pip- eller pip3-installerede pakker direkte fra Terminalen.
Man kan alternativt installere Python software-afhængigheder som f.eks. scikit-image pakken direkte i Jupyter Notebooks ved at evaluere !pip3 install scikit-image i en celle.
I øjeblikket er installation af software som kræver kompilering eller har eksterne afhængigheder ikke generelt understøttet.
Det er muligt at gemme de installerede pakker imellem forskellige sessioner ved at angive --user flaget når man bruger pip eller pip3 install kommandoerne. Derved installeres pakkerne i dit eget hjemmekatalog __{service}_config__ hvorfra det er persistent udover levetiden for den enkelte jupyter-instans.
Det er også muligt at bruge conda-pakkesystemet til at installere software i kørende sessioner. Således kan du benytte conda install -y -n ENV PACKAGE fra Jupyter Terminalen hvor ENV typisk er python2, python3 eller r afhængigt af notebook og valgt miljø. Tilsvarende benyttes conda search NAME til at lede efter tilgængelige pakker.
Vi arbejder på at udvikle en gør-det-selv tilpasning af Jupyter-instanserne, så det i noget omfang bliver muligt. Indtil da er fremgangsmåden at skrive til vores support-email med evt ønsker om yderligere software. Så undersøger vi om det er muligt at tilføje - men vi kan ikke love noget.

Hvorfor melder web login pludselig "No such user ("

Såfremt du allerede har tilmeldt dig IDMC og haft adgang, men begynder at få den slags fejl, har du sandsynligvis ramt et problem vi engang imellem oplever når KU IT skifter primær email-adresse på brugere i deres centrale brugerdatabase. Det sker typisk kun i forbindelse med større ændringer i ansættelsesstatus. IDMC benytter bare KUs OpenID service ved tilmelding og log in, så ændringerne betyder at din eksisterende konto tilmeldt med f.eks. ikke længere genkendes som tilhørende det ID, som KUs OpenID fortæller os du nu har. Du kan være ganske rolig ift at din IDMC-konto forbliver intakt, og vi kan typisk løse problemet ved at tildele din nye ID dertil. Vi har bare brug for at du kontakter os derom som beskrevet nedenfor.

Kan jeg bruge et certifikat til min IDMC-konto?

For den yderligere sikrede certifikat løsning skal du anmode om - og installere et af vores grid-brugercertifikater, jvf den tilhørende sådan kommer du igang side. Som det fremgår af user-cert-import guiden dér, kræver certifikat-installationen en del trin, men i det mindste er login så efterfølgende simplere. Når du har installeret dit certifikat kan du bruge det først i IDMCs tilmelding og efterfølgende til log ind.