Darktable, again (deze keer in Xubuntu 18.04)

[livino]

Allen,

Darktable blijft voor problemen zorgen. Meestal gaat het een hele poos goed en dan gaat hij weer aan het buggen.

Sinds ik Ubuntu 18.04 vervangen heb door Xubuntu 18.04 (omdat mijn pc blijkbaar te oud was geworden om Ubuntu goed draaiende te houden met de software die ik wens), leken de problemen met Darktable van de baan.

Tot enkele weken geleden...

Ik kreeg in het verleden al vaker de melding dat 'tiling mislukt was, waardoor de uitvoer mogelijk beschadigd is', maar dat gaf verder nooit problemen. Sinds enige tijd levert dat zwarte of gedeeltelijk zwarte beelden op. Soms helpt het om de beelden iets lichter te maken bij het exporteren, soms niet. Soms helpt het als ik slechts een paar beelden tegelijk exporteer, soms niet. Enfin, veel gedoe voor een onzeker resultaat.

Ik meende een oplossing gevonden te hebben voor dat probleem met die 'tiling', door de limiet van het hostgeheugen op te trekken in de instellingen, maar het enige verschil is dat hij de melding niet meer geeft, maar dat hij bij het exporteren nog altijd beschadigde afbeeldingen oplevert.

Is er iemand die dit probleem herkent? Of heeft iemand meer info nodig (iets uit de terminal? ;-) ) om advies te kunnen geven?

Lieven

[vanadium]

Hoeveel RAM en hoeveel swap geheugen heb je? (Commando: "free -h"). Is dit een 64 bit computer ("uname -m")? Die tiling problemen hangen ook af van het type bewerking. 4 GB RAM is een minimum voor Darktable, en dat is dan voor 20 MP foto's (5344x4008).

[Paul Matthijsse]

Hallo, ik gebruik Darktable 2.6.1 op Xubuntu 18.04 met 8 GB RAM zonder enig probleem.
Misschien krijg je meer info als je DT start vanuit een terminal.
Dat tiling-probleem kan wijzen op een gebrek aan werkgeheugen. Dus even je specs melden hier.

[X-E3]

Darktable 2.4.2 werkt bij mij redelijk goed in Linux Mint. Mijn Rawbestanden zijn van Fuji en 24.2MP  (6000x4000) Heel af en toe lijkt DT even de weg kwijt te zijn en doet dan wat vreemde dingen (weet zo niet meer exact wat) Maar na een volledige verwijdering en daarna een nieuwe instal kan ik weer maanden verder. (werk dagelijks met DT) Mijn PC heeft 8 GB geheugen.

[jvecht]

Mijn laptop heeft maar 4 GB. Nou gebruik ik DT in Xubuntu 18.04 alleen voor het ontwikkelen van RAW bestanden van mijn Canon camera's en daarna ga ik verder in GIMP. Dat geeft helemaal geen problemen zoals hier gemeld wordt. Wel even goed om te weten toch dat dat soms toch problemen kan geven.

groet,

Just

[livino]

Hallo,

bedankt voor de reacties.

ik heb een 64bit-computer, maar met een vrij beperkt geheugen (< 4), zie hieronder.

                 total        used        free      shared  buff/cache   available

Mem:           3,3G        733M        1,2G         40M        1,4G        2,3G
Swap:          979M          0B        979M

De raw-bestanden zijn zo'n 23 à 24 Mb groot.

Mijn laptop heeft maar 4 GB. Nou gebruik ik DT in Xubuntu 18.04 alleen voor het ontwikkelen van RAW bestanden van mijn Canon camera's en daarna ga ik verder in GIMP. Dat geeft helemaal geen problemen zoals hier gemeld wordt. Wel even goed om te weten toch dat dat soms toch problemen kan geven.

Dat is ook ongeveer de manier waarop ik het gebruik. Kleine aanpassingen (denk ik toch): contrast, zwart-wit, kleuren aanpassen, hooglichten, …  De ‘finissage’ doe ik ook in GIMP.

Tot nu toe had ik ook af en toe problemen, die opgelost waren met een nieuwe install van DT, maar deze keer lijkt dat niet te lukken. Ik zou nog eens een volledige nieuwe install van Ubuntu kunnen overwegen, maar ik wil eerst zien of er een andere optie is. Een volledige reboot zal allicht ook maar een tijdelijke oplossing zijn met zo’n beperkt geheugen.

Zou het kunnen dat het nu wat problemen zijn omdat de software bij elke update wat zwaarder wordt (in combinatie met het beperkte geheugen e.d.m.)?

Lieven

[Paul Matthijsse]

Zou het kunnen dat het nu wat problemen zijn omdat de software bij elke update wat zwaarder wordt (in combinatie met het beperkte geheugen e.d.m.)?

Met iets meer dan 3GB moet je Darktable volgens mij prima kunnen draaien, dat programma is geen grote geheugenslokop. Wat wel aan te raden is, is om tijdens gebruik van DT andere programma's even af te sluiten, zo blijft het volledige werkgeheugen voor je raw-verwerking beschikbaar.
Ubuntu opnieuw installeren lijkt me geen oplossing voor dit probleem.

Edit. Vond net een verhaaltje over DT en geheugengebruik. Weliswaar uit 2012, maar er wordt gesteld dat je minimaal 4GB nodig hebt om prettig te kunnen werken. Verder nog wat tips omtrent bios-instelingen, misschien handig om dat even door te lezen.

https://www.darktable.org/2012/03/darktable-and-memory/

[vanadium]

Met iets meer dan 3GB moet je Darktable volgens mij prima kunnen draaien, dat programma is geen grote geheugenslokop.

Ik vrees van wel. De ontwikkelaars geven aan dat je voor 20 MP afbeeldingen al vlug je vier GB nodig hebt. Wat ik hier zeker zou doen, is swap substantieel verhogen, tot minstens 4 GB of zelfs 8 GB. Dan zal de kans al verminderen dat een proces niet goed gaat als gevolg van tijdelijke tekorten in werkgeheugen.

[Paul Matthijsse]

Die swap verhogen is inderdaad een goed idee.

Maar anderzijds, Just geeft hierboven aan dat DT prima werkt op z'n laptop met 4GB.

Zelf heb ik nog nooit iets van een geheugenprobleem met DT ontdekt. Ik gebruik het programma dagelijks, stand-alone of als raw-processor voor Gimp (DT produceert dan standaard 32-bit bestanden). Vaak heb ik naast Gimp ook RawTherapee openstaan en ik gebruik gThumb als viewer. Draait allemaal soepel met mijn 8GB.

Darktable vanuit een terminal starten met de opdracht

Code: [Selecteer]

darktable -d memorygeeft het geheugengebruik weer tijdens het gebruik ervan. Op mijn systeem blijft dat allemaal netjes binnen de perken. Ook als ik htop draai en dan DT start, zie ik niets vreemds, qua geheugen.

[vanadium]

8 GB is een wereld van verschil tegenover de 3.3 GB hier. Zelfs 4 GB maakt hier al veel verschil. Misschien heeft Just trouwens heel wat swap aanstaan. Met meer swap zal het zeker blijven traag gaan bij momenten, maar ik denk dat de kans dat het niet goed gaat, heel wat kleiner wordt.

[jvecht]

Geheugen en swap bij mij:

              total       
Mem:           3,8G
Swap:          2,0G

groet,

Just

[livino]

Bedankt voor de reacties, ik 'knutsel' verder:

8 GB is een wereld van verschil tegenover de 3.3 GB hier. Zelfs 4 GB maakt hier al veel verschil. Misschien heeft Just trouwens heel wat swap aanstaan. Met meer swap zal het zeker blijven traag gaan bij momenten, maar ik denk dat de kans dat het niet goed gaat, heel wat kleiner wordt.

Direct na het installeren van (X)Ubuntu heb ik, zoals allicht velen, de 'direct doen' overlopen. Eén van de zaken waarvan sprake, was het verlagen van de swapneiging.

Is dit hetzelfde als het verlagen van de swap? Moet ik dus, met andere woorden, om de swap te verhogen, de swapneiging verhogen? Of is dit compleet iets anders. Ik vond immers ook een meer complexe uitleg over het verhogen van de swap:

https://help.ubuntu.com/community/SwapFaq

Lieven

[vanadium]

Swapneiging is iets anders.

• Grootte van swap: De grootte van je swap is de grootte van je virtuele geheugen. Dit geeft aan hoeveel RAM je maximaal tijdelijk kan wegschrijven naar de swapruimte op de harde schijf. Je hebt nu 979 M, ik zou niet aarzelen om daar 4 of zelfs 8 GB (meer dan 2x je geheugen) van te maken.
• Swappiness: Het besturingssysteem kan in geheugennood komen. Het besturingssysteem lost dit op door een gedeelte van het werkgeheugen (RAM) naar swap te schrijven. swappiness bepaalt in welke mate je besturingssysteem prioriteit geeft aan het behouden van RAM als buffergeheugen voor bestanden (= data die gelinkt zijn aan een opslagmedium) (hoge swappiness) dan wel het behouden van RAM voor data die enkel in RAM bestaan (lage swappiness). Bij een hoge swappiness wordt eerder runtime data weggeschreven. Bestandsbuffers krijgen prioritair de beschikbare RAM. Dit verhoogt de performantie van programma's die met heel wat data werken, maar zal programma's  slomer laten reageren op gebruikersinteractie, omdat gedeelten eerst uit de swapruimte terug naar RAM moeten gebracht worden. Een lage swappiness zal ervoor zorgen dat programma's zoveel mogelijk in RAM blijven. Ze bijven onmiddellijk reageren op gebruikersinteractie, maar nu gaan schrijfoperaties voor data veel trager gaan verlopen: er kan minder met de harde schijf gekoppelde data in RAM gebufferd worden. Er moet dus vlugger en in kleinere stukjes gelezen en geschreven worden van en naar een trage harde schijf.

In jou geval zou ik de swapiness op 60 laten, zodat Darktable voldoende RAM blijft toebedeeld krijgen om je fotomateriaal te verwerken. De "prijs" die je betaald is dat je soms even een vertraging hebt als je een andere functie oproept, of naar een ander programma overgaat, dat ondertussen naar SWAP werd verplaatst om geheugen te winnen.

[livino]

Ik heb de swap-grootte aangepast en de swapneiging behouden op 60.

          total   used   free   shared   buff/cache   available
Mem:   3,3G   573M   2,1G   45M   673M      2,5G
Swap:   9,0G   235M   8,7G

Het lijkt er in eerste instantie op dat alles beter functioneert, maar het verloopt nog niet perfect. Ik hoop om later deze week wat steviger te testen en zo te zien hoe hij het houdt.

Lieven

[livino]

Het probleem is niet echt opgelost, maar ik heb -onder meer ten gevolge van deze problemen- beslist om een nieuwe laptop te kopen.

Bedankt voor alle reacties.

Lieven