Waarom zijn de foto's wel correct hersteld, maar de video's niet?
Een veelvoorkomend probleem bij het gegevens herstellen van geformatteerde geheugenkaarten in digitale camera's en camcorders is dat foto's meestal correct worden hersteld, maar video's beschadigd raken. Dit komt meestal door de manier waarop gegevens naar de kaart worden geschreven tijdens het maken van foto's en het opnemen van video's. In het geval van foto's is dit vrij eenvoudig, aangezien al het materiaal dat nodig is voor de opname al bekend is op het moment dat de sensor wordt blootgesteld. U kunt direct een geschikte header aanmaken met onder andere Exif-informatie en het volledige bestand op de juiste locatie op de partitie opslaan.
Bij video's ligt de situatie anders. Het opnameapparaat weet niet hoe lang de video zal zijn. Daarom kan het de juiste header pas aanmaken nadat de opname is voltooid. Het is ook te riskant om het opgenomen videomateriaal in de buffer te bewaren tot het einde van de opname, omdat dit gemakkelijk kan leiden tot een overvolle buffer. Daarom wordt het opgenomen materiaal direct op de kaart opgeslagen voordat de bestandsheader wordt aangemaakt.
Camera- en camcordersoftware verwerkt deze taak op verschillende manieren. Het is mogelijk om een gebied te reserveren waar de header later wordt aangemaakt of om extra hulpbestanden aan te maken. De eenvoudigste en daarom meest populaire oplossing is echter om eerst de videostream op te slaan zoals deze is opgenomen en pas aan het einde de header aan te maken. Deze aanpak leidt tot fragmentatie van het bestand in twee delen: een groter deel met het hoofdbestanddeel en een kleiner deel, meestal ter grootte van één cluster, met de header van het bestand.
Zolang er geldige metagegevens op de partitie staat die dit bestand beschrijft, is het geen probleem om de clusters in de juiste volgorde te lezen en het bestand correct te openen. Als de partitie echter geformatteerd is, worden de metagegevens overschreven door nieuwe metagegevens die een "lege" partitie beschrijven. Dit maakt het, door de manier waarop gegevensherstelprogramma's werken, veel moeilijker en vrijwel onmogelijk om gefragmenteerde bestanden automatisch te herstellen.
Hoe werken gegevensherstelprogramma's?
In wezen werken alle gegevensherstelprogramma's op een vergelijkbare manier. Ze scannen een bepaald gebied van de media en zoeken naar karakteristieke patronen, zoals fragmenten van logische structuren van bestandssysteem of bestanden. Dataherstelprogramma's hebben doorgaans twee basisscanmodi: snel en grondig. De namen van deze modi kunnen per programma verschillen, maar de functionaliteit is zeer vergelijkbaar.
Snel scannen houdt in dat er wordt gezocht naar restanten van logische structuren van het bestandssysteem op de locaties waar deze het meest waarschijnlijk te vinden zijn (meestal het begin en het einde van zowel de gehele media als de geïdentificeerde partities), en vervolgens de adressen worden gevolgd die in de gevonden structuurfragmenten worden aangegeven. Deze aanpak levert vaak een snel positief resultaat op bij kleine schade aan logische structuren, maar in ernstigere situaties is het te onnauwkeurig en worden er mogelijk niet veel bestanden gevonden die nog te herstellen zijn.
Grondig scannen is langzamer omdat elke sector wordt geanalyseerd op inhoud die mogelijk overeenkomt met structuren die in de database van het programma zijn gedefinieerd. Met deze modus kunt u bestanden niet alleen vinden binnen de logische structuur die wordt beschreven door metagegevens van het bestandssysteem, maar ook onafhankelijk daarvan, op basis van handtekeningen die overeenkomen met individuele bestandstypen (het zogenaamde RAW-zoeken, чёрновое восстановление). De meeste bestandstypen hebben karakteristieke structuren (handtekeningen) waarmee u het bestandstype kunt identificeren, ongeacht de extensie, waarbij het begin en een deel ervan ook het einde aangeven.
Als de metagegevens die een bestand en de locatie ervan op een partitie beschrijven beschadigd zijn, is zoeken op handtekeningen vaak de enige praktische manier om het te herstellen. Deze methode omvat het kopiëren van een reeks sectoren, beginnend bij de geïdentificeerde bestandshandtekening en doorlopend tot de eindhandtekening (indien aanwezig in het gegeven bestandstype), het begin van het volgende bestand of het einde van de partitie (daarom kunnen programma's in sommige gevallen bestanden van absurd grote omvang herstellen). Om deze reden kunnen gefragmenteerde bestanden slechts gedeeltelijk worden hersteld, soms met fragmenten van vreemde bestanden, wat direct leidt tot corruptie. Bestanden die met behulp van handtekeningen worden hersteld, verliezen hun oorspronkelijke naam, directorylocaties en andere kenmerken die worden beschreven door de metagegevens van het bestandssysteem.
Basisgegevens over FAT-bestandssystemen.
FAT-bestandssystemen (de naam komt van File Allocation Table - bestandstoewijzingstabel) hebben een geschiedenis die teruggaat tot de late jaren 70, floppy disks en het CP/M-besturingssysteem. Deze familie van relatief eenvoudige bestandssystemen wordt breed ondersteund door besturingssystemen, waardoor ze veel worden gebruikt in draagbare opslagmedia, waaronder geheugenkaarten die worden gebruikt in digitale camera's. De FAT-bestandssysteemfamilie omvat momenteel vier systemen: FAT12, FAT16, FAT32 en exFAT, soms ook wel FAT64 genoemd. Deze systemen verschillen in de details van hun metagegevens, waar we hier niet op in zullen gaan, maar hun algemene architectuur en werkingsprincipes zijn gemeenschappelijk.
Een FAT-partitie begint met een gereserveerd gebied dat de bootsector bevat, en vanaf FAT32 bevat het ook een kopie ervan en de FSInfo-structuur. De interne structuur van de bootsector varieert afhankelijk van de systeemversie, maar bevat altijd belangrijke partitie-informatie, zoals de locatie, clustergrootte (uitgedrukt als een aantal sectoren, wat altijd een macht van twee is), het aantal, de locatie en de grootte van bestandstoewijzingstabellen, enzovoort. Vervolgens komt het gebied waar de bestandstoewijzingstabellen worden opgeslagen (meestal twee), en in het geval van FAT12- en FAT16-systemen, het root-directorygebied. De rest van de partitie wordt ingenomen door het clusteringgebied, dat wordt gebruikt om gegevens op te slaan.
In FAT32- en exFAT-systemen bevindt de root-directory zich in het clusteringgebied, waardoor situaties worden vermeden waarin er geen objecten meer aan kunnen worden toegevoegd omdat de hoofdmap zelf geen ruimte meer heeft, terwijl er over het algemeen voldoende vrije ruimte is op de partitie in het clusteringgebied. Wanneer in nieuwere versies van FAT-systemen de hoofdmap een heel cluster inneemt, wordt de resterende inhoud in het volgende cluster geplaatst, waardoor deze meestal gefragmenteerd raakt. De interne directorystructuur verschilt ook tussen bestandssysteemvarianten, maar gedetailleerde kennis hiervan is niet nodig. Het is voldoende om te weten dat de directoryvermelding de locatie van het eerste cluster aangeeft dat door een bepaald bestand wordt ingenomen en informatie bevat over de grootte ervan.
Omdat bestandsgroottes doorgaans de clustergroottes overschrijden, bezetten bestanden doorgaans meerdere clusters. Een bestandstoewijzingstabel (FAT) slaat informatie op over de locatie van bestanden binnen specifieke clusters. Het bevat een reeks getallen: 12- (voor FAT12), 16- (voor FAT16) of 32-bits (voor FAT32 en exFAT). Als we letten op de clusternummers in FAT32-partities, zullen we opmerken dat de 4 meest significante bits van de clusternummers altijd op nul zijn ingesteld, dus de adressering is eigenlijk 28-bits. Dit wordt gerechtvaardigd door de oude, 28-bits versie van LBA-adressering (Logical Block Addressing - logische blokadressering).
Toen FAT32 werd gemaakt, lieten de beperkingen van LBA-adressering het praktische gebruik van 32-bits adressering sowieso niet toe. De eerste twee velden van de bestandstoewijzingstabel (overeenkomend met clusters 0 en 1) worden bezet door een handtekening die deze tabel identificeert. Om deze reden worden clusters in FAT-bestandssystemen genummerd vanaf 2. Vervolgens bevatten de volgende velden de nummers van clusters die opeenvolgende fragmenten van het bestand bevatten. Bovendien bevat de bestandstoewijzingstabel waarden van speciale betekenis.
Een op nul gestelde waarde geeft een vrije cluster. Een getal bestaande uit bits op 1 (0x0FFFFFFF voor FAT32 – omdat de 4 meest significante bits op nul staan) geeft het einde van de clusterketen aan, d.w.z. het laatste cluster van een bepaald bestand. De waarden FF7, FFF7, 0FFFFFF7 en FFFFFFF7 (respectievelijk voor de individuele FAT-systeemvarianten) geven een beschadigd cluster aan dat tijdens de bestandstoewijzing wordt overgeslagen.
Gevolgen van het formatteren van een FAT-partitie.
Er zijn twee hoofdtypen methoden voor het formatteren van partities: snelle formattering en volledige formattering. Snelle formattering omvat het op nul zetten van de bestandstoewijzingstabel (het markeren van alle beschikbare clusters op de partitie als vrij) en het verwijderen van alle items in de hoofdmap. Dit resulteert in verlies van toegang tot de resterende partitie-inhoud, die niet langer wordt geadresseerd in de logische structuur. Zolang deze echter niet wordt overschreven met nieuwe inhoud, is deze nog steeds herstelbaar.
Na een snelle formattering blijven niet alleen bestanden, maar ook submappen op de partitie staan, wat meestal een ten minste gedeeltelijke reconstructie van de logische structuur mogelijk maakt. Als we de clustergrootte kennen en het begin van het clustergebied kunnen bepalen, kunnen we gevonden bestanden koppelen aan items in de submappen die de clusternummers aangeven waarin ze zijn begonnen. Het is handig dat formattering vaak wordt uitgevoerd met standaardinstellingen, zodat de parameters van de nieuwe partitie vaak dezelfde waarden hebben als de oude. Informatie over bestanden die rechtstreeks door de hoofdmap worden geadresseerd, gaat echter verloren.
Helaas betekent het verlies van de bestandstoewijzingstabel dat alleen niet-gefragmenteerde bestanden, die zich in een aaneengesloten reeks opeenvolgende clusters bevinden, gemakkelijk kunnen worden hersteld. In het geval van gefragmenteerde bestanden gaat informatie over de locatie van individuele bestandsfragmenten onherstelbaar verloren. Dit is ook een belangrijke reden om partities waarvan gegevens moeten worden hersteld niet te formatteren, wat soms wordt aanbevolen door incompetente gebruikers op internetforums van lage kwaliteit.
Volledig formatteren betekent het wissen van de volledige partitie, waardoor de inhoud ervan onherroepelijk wordt vernietigd. Tijdens het volledig formatteren wordt ook de status van sectoren gecontroleerd en als er fouten worden gevonden, worden clusters met dergelijke sectoren gemarkeerd als beschadigd. Momenteel is de standaardformatteringsmethode meestal snelformatteren, maar sommige apparaten voeren een volledig formatteren uit.
De TRIM-functie vormt ook een risico voor gegevensherstel, omdat deze kan leiden tot het fysiek wissen van niet-toegewezen gebieden in logische structuren. Daarom is het op een computer die voor gegevensherstel wordt gebruikt, beter om deze functie uit te schakelen. Voor nieuwere besturingssystemen, met name Windows 10 en Windows 11, is het ook de moeite waard om te controleren of TRIM-ondersteuning niet automatisch door het systeem is ingeschakeld tijdens de update.
De praktijk van het herstellen van video's na het formatteren van een geheugenkaart.
Door de manier waarop digitale camera's en camcorders videobestanden opslaan, zoals eerder beschreven, is het fragmenteren ervan over het algemeen vrij eenvoudig. Meestal hebben we één groot, sequentieel opgenomen bestandsfragment met alle clusters behalve de eerste, direct gevolgd door de eerste cluster van het bestand en de bijbehorende header. Het is daarom mogelijk om zo'n bestand tot één geheel samen te voegen door de header te combineren met de juiste reeks clusters die het videomateriaal in de juiste volgorde bevatten. Hoe kan dit in de praktijk worden bereikt?
De clustergrootte bepalen.
Dit is een relatief eenvoudige taak. Het formatteren van een partitie met standaardinstellingen zal vrijwel zeker resulteren in exact dezelfde clustergrootte, dus u kunt dit eenvoudig controleren in de boot record. Een iets moeilijkere maar meer universele methode, die ook werkt in het geval van een verloren boot record, is het vergelijken van de grootte van de bestandstoewijzingstabel met de partitiegrootte. Een partitie met een specifieke grootte kan minder, grotere of meer, kleinere clusters bevatten. Het aantal clusters op de partitie is wiskundig gerelateerd aan de grootte van de bestandstoewijzingstabel.
Een andere methode, die weinig analytische inspanning vereist, is het controleren van de grootte van gevonden bestanden met behulp van een RAW-zoekopdracht. Heel vaak zullen de kleinste bestanden die op deze manier worden gevonden de grootte van een enkel cluster hebben. U kunt ook zoeken naar directoryfragmenten. Vanwege de manier waarop records die opeenvolgende bestanden beschrijven eraan worden toegevoegd, fragmenteren directories vaak heel gemakkelijk in enkele clusters.
Als laatste redmiddel kan deze taak worden benaderd door middel van vallen en opstaan, waarbij verschillende mogelijkheden worden onderzocht. Wetende dat de clustergrootte in sectoren altijd wordt uitgedrukt als een macht van twee, is het aantal varianten dat moet worden getest beperkt. Het is een goed idee om te beginnen met de meest waarschijnlijke mogelijkheden, zoals de standaardwaarde voor een bepaald bestandssysteem en partitiegrootte.
De volgorde van bestanden identificeren.
Deze taak is heel eenvoudig en de principes van gegevensherstelprogramma's komen ons hierbij te hulp. Bij het zoeken op handtekeningen geven deze programma's automatisch een naam aan de gevonden bestanden, meestal met het LBA-sectornummer waarin het bestand is gevonden. Deze namen kunnen worden voorzien van extra symbolen (bijv. "f", "$", enz.), afhankelijk van de ideeën van de programma-ontwikkelaar. Om de lijst met bestanden in de volgorde te rangschikken die overeenkomt met hun locatie op de partitie, is het echter voldoende om de bestanden op naam te sorteren.
Identificatie van het begin van de clustersequentie met videomateriaal.
De moeilijkheidsgraad van dit deel van het proces hangt grotendeels af van de inhoud die op de partitie is opgeslagen. Als de partitie alleen video's bevat, is dit relatief eenvoudig. Nadat u de bestanden in de juiste volgorde hebt gesorteerd, knipt u eenvoudig de clusters met de bestandsheaders uit en plakt u deze in de vorige bestanden.
In de praktijk slaan we echter meestal zowel video's als foto's op de geheugenkaart op, meestal in een vrij willekeurige volgorde. Dit betekent dat een video niet alleen na de vorige video kan worden opgeslagen en met de header van de vorige video kan worden hersteld, maar ook na de foto. Bij het sorteren van herstelde bestanden zoals hierboven beschreven, merken we vaak dat de foto vóór de video ongewoon groot is, terwijl video's vóór foto's vaak slechts één cluster groot zijn.
Dit komt doordat het gegevensherstelprogramma, dat de handtekening van het begin van het volgende bestand niet herkent, volgende clusters aan het vorige bestand toevoegt, zelfs als deze de oorspronkelijke grootte overschrijden. Foto's zijn zeer tolerant ten opzichte van toegevoegde inhoud en openen correct, ongeacht de externe inhoud die ze bevatten. Dit kan een reden zijn waarom ze bijvoorbeeld kunnen worden gebruikt om schadelijke code te verzenden. Voor onze doeleinden is de sleutel hier om de afbeelding te bevrijden van de last van redundante clusters en deze clusters te combineren met de juiste videobestandsheader.
Dus hoe kunnen we het einde van de afbeelding en het begin van de video vinden in zo'n groot bestand? Als we te maken hebben met bestanden met een eindhandtekening, kunnen we proberen deze te lokaliseren en zo te bepalen waar het ene bestand eindigt en een fragment van het volgende begint. Het is belangrijk om te onthouden dat hoewel de beginhandtekening zich op een voorspelbare, meestal vaste locatie bevindt (niet altijd de eerste bytes van het bestand), de eindhandtekening overal binnen de sector kan voorkomen. Dit vereist een geschikte configuratie van de zoekmachine.
De proberen en fouten methode is eenvoudig en vereist geen speciale vaardigheden, maar is ook omslachtig en tijdrovend, dus het werkt niet bij het combineren van grote aantallen bestanden. Het gaat om het afknippen van een bestandsfragment dat qua grootte overeenkomt met andere typische foto's als de afbeelding, ervan uitgaande dat de camera de afbeeldingen opslaat in bestanden van vergelijkbare grootte. Als je het bestand verkeerd splitst, wordt de video niet afgespeeld, maar als de foto wel correct opent, is deze nog steeds te groot. Als je te veel van het bestand als video knipt en te weinig als foto overlaat, wordt de foto niet volledig geopend en komt de verhouding tussen de correcte afbeelding en het beschadigde deel ongeveer overeen met de verhouding tussen de beschadigde bestandsgrootte en de werkelijke bestandsgrootte.
Het is veel gemakkelijker om foutief gekoppelde clusters uit een bestand te verwijderen als u de bestandsgrootte kent. Door de bestandsgrootte te delen door de clustergrootte, kunt u nauwkeurig berekenen hoeveel clusters het bestand inneemt. Vergeet niet om de uitkomst altijd naar boven af te ronden, want als zelfs maar één byte van het bestand een ander cluster inneemt, zal dat cluster volledig aan dat bestand zijn toegewezen. Informatie over de bestandsgrootte is soms te vinden in de interne metagegevens. Voor foto's is het de moeite waard om te controleren of deze informatie in Exif is opgeslagen.
Een moeilijkere, maar meer universele methode is het converteren van het LBA-adres, bepaald op basis van de bestandsnaam, naar het clusteradres van de partitie en het vinden van de directoryrecord die het bestand beschrijft op basis van het clusternummer dat het aangeeft. Dit is mogelijk omdat digitale camera's bestanden doorgaans niet in de hoofdmap opslaan, maar in submappen met namen als "DCIM", "IMG", "MOV", enz., zodat de inhoud van deze submappen niet verloren gaat tijdens het formatteren. Het vinden van het juiste record maakt een nauwkeurige bepaling van de bestandsgrootte mogelijk op basis van de informatie in het directoryrecord.
Deze methode kan worden gebruikt om de grootte van zowel foto's als video's te bepalen. In het eerste geval weten we hoeveel van de echte foto zich bevindt in de foto die het gegevensherstelprogramma heeft gevonden. In het tweede geval kunnen we berekenen hoeveel clusters we moeten teruggaan om de videostream te knippen, die we vervolgens toevoegen aan het cluster met de juiste header. Een praktisch nadeel van deze methode is dat submappen met een groot aantal bestanden gemakkelijk gefragmenteerd raken en vaak in afzonderlijke clusters over de hele partitie verspreid zijn. De meest waarschijnlijke locatie voor het volgende submapcluster is het cluster direct na het einde van het bestand dat wordt beschreven in het laatste record van het huidige submapcluster.
Een andere praktische methode om een foto te scheiden van het videomateriaal dat eraan is gekoppeld door het gegevensherstelprogramma, is gebaseerd op het feit dat gecomprimeerde gegevens, zoals *.jpg-bestanden en verschillende videoformaten, een hoge entropie hebben en een deel van de sector na het einde van het bestand op nul wordt gezet. Het vinden van een fragment met nulpunt binnen het bestand, uitgelijnd aan het einde van de fysieke toewijzingseenheid (of, in het geval van halfgeleidermedia, vaak aan het einde van het cluster), stelt ons meestal in staat de plaats te lokaliseren waar het beeld van de videostream moet worden gescheiden. Bij elk van de hierboven beschreven methoden is het ook belangrijk om u bewust te zijn van het risico dat de door de programma's herstelde bestanden worden vervuild met fragmenten van de inhoud van mappen. Deze inhoud is over het algemeen gemakkelijk te identificeren zelfs door onervaren gebruikers; de fragmenten ervan kunnen in ASCII worden gelezen.
Samenvoegen tot een geheel en controleren van de bestanden.
Het laatste deel van het proces is het combineren van de geïdentificeerde en correct gesorteerde "cluster header – rest van het bestand"-paren tot één eenheid. Deze taak kan, net als elk ander onderdeel van het proces, worden uitgevoerd met elke hexadecimale editor; om praktische redenen is het echter de moeite waard om een programma te kiezen dat handig werken met LBA-sectoradressering, en idealiter ook clusteradressering, mogelijk maakt. Werken met grotere toewijzingseenheden helpt fouten te voorkomen die ontstaan door het onnauwkeurig selecteren van gekopieerde bestandsfragmenten.
Fragmentatie - niveau moeilijk.
In bepaalde situaties kan fragmentatie ernstiger zijn dan alleen het opsplitsen van videobestanden in twee delen vanwege de opnamemethode. FAT-bestandssystemen zijn vrij eenvoudig en hun drivers missen geavanceerde algoritmen om bestandsfragmentatie te voorkomen. Fragmentatie kan bijvoorbeeld met name worden vergemakkelijkt door de aanwezigheid van clusters die zijn vrijgemaakt door eerder verwijderde bestanden die verspreid over de partitie liggen.
Bestandscorruptie en fragmentatie kunnen ook optreden wanneer er fouten optreden in de metagegevens die de logische structuur van het bestandssysteem beschrijven en het chkdsk-programma wordt uitgevoerd. Dit programma beschadigt de logische structuur vaak nog verder door sommige clusters, vaak behorend tot bestaande bestanden, te adresseren als "file№№№№.chk"-bestanden. Vanwege het hoge risico op secundaire schade wordt het gebruik van tools zoals chkdsk, fsck of scandisk afgeraden. Zonder eerst de initiële status te beveiligen door een sector-voor-sector kopie te maken, is het gebruik van deze tools een ernstige fout die gegevensherstel aanzienlijk kan belemmeren of zelfs onmogelijk kan maken.
De eenvoud van FAT-systemen biedt hoop op effectief bestandsherstel na fragmentatie. Ze wijzen bestanden doorgaans toe aan de eerste beschikbare clusters. Dit maakt pogingen mogelijk om clusters die bezet zijn door gezonde en complete bestanden te scheiden en ten minste een deel van de bestanden uit de resterende clusters opnieuw samen te stellen. Informatie die is opgeslagen in directoryrecords over de locatie van het eerste cluster en de grootte van verwijderde bestanden (het eerste bestandsnaamsymbool van deze bestanden wordt vervangen door 0xE5) en ontbrekende bestanden kan hier nuttig zijn.
Dit vergemakkelijkt het combineren van clusters tot grotere groepen, die mogelijk fragmenten van één bestand bevatten, en verdere pogingen om bestanden uit grotere fragmenten opnieuw samen te stellen. Als de oorzaak van het bestandsverlies schade aan andere logische structuren dan opmaak was, zoals onjuiste schrijfbewerkingen, het gebruik van chkdsk, enz., is het ook de moeite waard om de bestandstoewijzingstabellen te analyseren – bij voorkeur beide kopieën, met aandacht voor eventuele verschillen tussen de twee. Voor sommige bestandstypen kan het ook nuttig zijn om hun interne metagegevens en structuur te analyseren. Dit kan het gemakkelijker maken om de juiste clusterketens te selecteren en ze in de juiste volgorde samen te stellen, maar hoe meer de partitie is gebruikt en hoe meer schrijfbewerkingen erop zijn uitgevoerd, hoe moeilijker deze taak zal zijn.
Een extra complicatie kan het optreden van kruislings gekoppelde bestanden zijn, zijn verschillende bestanden, die ten minste gedeeltelijk in dezelfde clusters zijn toegewezen. Natuurlijk kan een cluster de inhoud van slechts één van deze bestanden bevatten, dus het bevat een fragment van het bestand dat het laatst naar het cluster is geschreven. Dit betekent dat volledig correct herstel van bestanden waarvan de fragmenten in dat cluster waren opgeslagen, niet mogelijk is, omdat hun inhoud ten minste gedeeltelijk is beschadigd (overschreven) door een ander bestand.