<html>
  <head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8">
  </head>
  <body text="#000000" bgcolor="#FFFFFF">
    Glad you got it working!!<br>
    <br>
    Do we have any hints as to the cause of the initial corruption?<br>
    <br>
    Bryn<br>
    <br>
    <div class="moz-cite-prefix">On 2018-04-27 04:06 AM, Anton Gubar'kov
      via zfs-discuss wrote:<br>
    </div>
    <blockquote type="cite"
cite="mid:CAP=18J4mphFvTU+r=aYqHVB4FPu=ZnF+CVBg3aji5GdOeQ09iA@mail.gmail.com">
      <div dir="ltr">Hi, friends
        <div><br>
        </div>
        <div>my copying has completed. I could save each and every file
          from the video archive dataset (I was most anxious to save
          it).</div>
        <div>I could not save any of my lab VM images on zvols :-(. They
          are lab machines anyway, I can rebuild them in some time.</div>
        <div><br>
        </div>
        <div>Here is the final stats on checksum errors:</div>
        <div>
          <div><font size="1" face="monospace">  pool: home</font></div>
          <div><font size="1" face="monospace"> state: ONLINE</font></div>
          <div><font size="1" face="monospace">status: One or more
              devices has experienced an error resulting in data</font></div>
          <div><font size="1" face="monospace">        corruption. 
              Applications may be affected.</font></div>
          <div><font size="1" face="monospace">action: Restore the file
              in question if possible.  Otherwise restore the</font></div>
          <div><font size="1" face="monospace">        entire pool from
              backup.</font></div>
          <div><font size="1" face="monospace">   see: <a
                href="http://zfsonlinux.org/msg/ZFS-8000-8A"
                moz-do-not-send="true">http://zfsonlinux.org/msg/ZFS-8000-8A</a></font></div>
          <div><font size="1" face="monospace">  scan: scrub repaired 0B
              in 0 days 09:58:16 with 0 errors on Wed Mar 14 09:21:55
              2018</font></div>
          <div><font size="1" face="monospace">config:</font></div>
          <div><font size="1" face="monospace"><br>
            </font></div>
          <div><font size="1" face="monospace">        NAME             
                            STATE     READ WRITE CKSUM</font></div>
          <div><font size="1" face="monospace">        home             
                            ONLINE       0     0 1.80K</font></div>
          <div><font size="1" face="monospace">          raidz2-0       
                            ONLINE       0     0 9.03K</font></div>
          <div><font size="1" face="monospace">           
              wwn-0x5000c500a41a0a00      ONLINE       0     0     0</font></div>
          <div><font size="1" face="monospace">           
              wwn-0x5000c500a41ae340      ONLINE       0     0     0</font></div>
          <div><font size="1" face="monospace">           
              wwn-0x5000c500a41b4c57      ONLINE       0     0 38.0K</font></div>
          <div><font size="1" face="monospace">           
              wwn-0x5000c500a41b7572      ONLINE       0     0     0</font></div>
          <div><font size="1" face="monospace">           
              wwn-0x5000c500a41ba99c      ONLINE       0     0     0</font></div>
          <div><font size="1" face="monospace">           
              wwn-0x5000c500a41babe8      ONLINE       0     0 37.5K</font></div>
          <div><font size="1" face="monospace">        logs</font></div>
          <div><font size="1" face="monospace">         
              wwn-0x30000d1700d9d40f-part2  ONLINE       0     0     0</font></div>
          <div><font size="1" face="monospace"><br>
            </font></div>
          <div><font size="1" face="monospace">errors: Permanent errors
              have been detected in the following files:</font></div>
          <div><font size="1" face="monospace"><br>
            </font></div>
          <div><font size="1" face="monospace">       
              home/VM/WIN10PRO-1@MSI-enable:<0x1></font></div>
          <div><font size="1" face="monospace">       
              home/VM/WIN10PRO-1:<0x1></font></div>
          <div><font size="1" face="monospace">       
              home/users/anrdey:<0x0></font></div>
        </div>
        <div><font size="1" face="monospace"><br>
          </font></div>
        <div><font size="1" face="monospace">The procedure I used to get
            to this point:</font></div>
        <div>
          <ol>
            <li><font size="1" face="monospace">zpool import -F -o
                readonly=on home - failure</font></li>
            <li><font size="1" face="monospace">zpool import -FX -o
                readonly=on home - failure<br>
              </font></li>
            <li><font size="1" face="monospace">many attepmts of </font>zpool
              import -T <txg> -o readonly=on home - failure</li>
            <li>discovery of broken ZIL and attempt to import -m with
              all above combinations - failure</li>
            <li>Side suggestion from Richard to offline cache device, I
              removed the device file from /dev - failure </li>
            <li>following another thread,I dared to build zfs from <a
                href="https://github.com/zfsonlinux/zfs/pull/7459"
                moz-do-not-send="true">https://github.com/zfsonlinux/zfs/pull/7459</a> (the
              branch link) and configured zfs_dbgmsg_enable=1 parameter </li>
            <li>Following /proc/spl/kstat/zfs/dbgmsg suggested that I
              have some txgs with very low metadata corruption (1-2
              items), but don't have any txg completely clean. </li>
            <li>Chris suggested a way to ignore metadata corruption and
              try pool import anyway - echo 0
              >/sys/module/zfs/parameters/spa_load_verify_metadata</li>
            <li>I used zdb -d -e home to find out txg data for the
              snapshots I had in my pool. I made a list of txgs for
              snapshots in my video dataset and started to do import -T
              <txg> -m -o readonly=on -R <mountpoint>.
              Corrupted txgs resulted in zfs kernel threads oopses and
              the host had to be rebooted. The 3rd tried txg resulted in
              a successful import and mounting of datasets. Bingo!</li>
            <li>I started copying the files from the datasets. I used
              rsync rather than zfs send/receive to see what files I
              could/couldn't salvage. I used dd to copy zvols to image
              files. I couldn't copy zvols due to io errors. I could
              copy all files from my video dataset. </li>
          </ol>
          <font size="1"><br>
          </font></div>
        <div>Thanks everyone for helpful suggestions. I do hope that
          this thread could help others in despair.</div>
        <div><br>
        </div>
        <div><br>
        </div>
        <div><br>
        </div>
      </div>
      <br>
      <div class="gmail_quote">
        <div dir="ltr">On Thu, Apr 26, 2018 at 11:01 PM Anton Gubar'kov
          <<a href="mailto:anton.gubarkov@iits.ru"
            moz-do-not-send="true">anton.gubarkov@iits.ru</a>> wrote:<br>
        </div>
        <blockquote class="gmail_quote" style="margin:0 0 0
          .8ex;border-left:1px #ccc solid;padding-left:1ex">
          <div dir="ltr">Dear friends, 
            <div>I used zdb -d to display data about the snapshots I
              have in the pool's datasets. I checked the txg numbers of
              the snapshots in the dataset I'm most anxious to recover
              and started my import attempts from the most recent
              working through to the past. The 3rd one proved to be
              working. I has to restart my host after every unsuccessful
              attempt due to zfs freeze.</div>
            <div><br>
            </div>
            <div>The copy still runs and will do for at least 6 more
              hours.</div>
            <div>The current zpool stat -v looks like:</div>
            <div>
              <div><font face="monospace">  pool: home</font></div>
              <div><font face="monospace"> state: ONLINE</font></div>
              <div><font face="monospace">status: One or more devices
                  has experienced an error resulting in data</font></div>
              <div><font face="monospace">        corruption. 
                  Applications may be affected.</font></div>
              <div><font face="monospace">action: Restore the file in
                  question if possible.  Otherwise restore the</font></div>
              <div><font face="monospace">        entire pool from
                  backup.</font></div>
              <div><font face="monospace">   see: <a
                    href="http://zfsonlinux.org/msg/ZFS-8000-8A"
                    target="_blank" moz-do-not-send="true">http://zfsonlinux.org/msg/ZFS-8000-8A</a></font></div>
              <div><font face="monospace">  scan: scrub repaired 0B in 0
                  days 09:58:16 with 0 errors on Wed Mar 14 09:21:55
                  2018</font></div>
              <div><font face="monospace">config:</font></div>
              <div><font face="monospace"><br>
                </font></div>
              <div><font face="monospace">        NAME                 
                            STATE     READ WRITE CKSUM</font></div>
              <div><font face="monospace">        home                 
                            ONLINE       0     0   122</font></div>
              <div><font face="monospace">          raidz2-0           
                            ONLINE       0     0   514</font></div>
              <div><font face="monospace">           
                  wwn-0x5000c500a41a0a00      ONLINE       0     0     0</font></div>
              <div><font face="monospace">           
                  wwn-0x5000c500a41ae340      ONLINE       0     0     0</font></div>
              <div><font face="monospace">           
                  wwn-0x5000c500a41b4c57      ONLINE       0     0     7</font></div>
              <div><font face="monospace">           
                  wwn-0x5000c500a41b7572      ONLINE       0     0     0</font></div>
              <div><font face="monospace">           
                  wwn-0x5000c500a41ba99c      ONLINE       0     0     0</font></div>
              <div><font face="monospace">           
                  wwn-0x5000c500a41babe8      ONLINE       0     0     8</font></div>
              <div><font face="monospace">        logs</font></div>
              <div><font face="monospace">         
                  wwn-0x30000d1700d9d40f-part2  ONLINE       0     0   
                   0</font></div>
              <div><font face="monospace"><br>
                </font></div>
              <div><font face="monospace">errors: Permanent errors have
                  been detected in the following files:</font></div>
              <div><font face="monospace"><br>
                </font></div>
              <div><font face="monospace">       
                  home/users/anrdey:<0x0></font></div>
            </div>
            <div><br>
            </div>
            <div>I don't really care about home/users/anrdey dataset
              where permanent errors are reported. I don't understand
              the errors stats. What do checksum errors on pool and
              raidz2-0 vdev level mean? They keep growing while
              device-level checksum errors stay.</div>
            <div>There was no read error reported so far to the copying
              process (around 1TB of data is copied already). There are
              no messages in zfs debug log since the import had been
              completed. </div>
            <div> </div>
            <div>thanks</div>
            <div><br>
            </div>
          </div>
          <br>
          <div class="gmail_quote">
            <div dir="ltr">On Thu, Apr 26, 2018 at 6:23 PM Raghuram
              Devarakonda via zfs-discuss <<a
                href="mailto:zfs-discuss@list.zfsonlinux.org"
                target="_blank" moz-do-not-send="true">zfs-discuss@list.zfsonlinux.org</a>>
              wrote:<br>
            </div>
            <blockquote class="gmail_quote" style="margin:0 0 0
              .8ex;border-left:1px #ccc solid;padding-left:1ex">On Thu,
              Apr 26, 2018 at 11:12 AM, Anton Gubar'kov via zfs-discuss<br>
              <<a href="mailto:zfs-discuss@list.zfsonlinux.org"
                target="_blank" moz-do-not-send="true">zfs-discuss@list.zfsonlinux.org</a>>
              wrote:<br>
              > Chris, thank you very much for the hint! After a
              couple of panics, I could<br>
              > find the intact txg and import the pool rewinding it
              to one of the<br>
              > snapshots' txg. I'm copying the contents now. I
              understand that I may not be<br>
              > able to copy everything, but this is better than
              loosing everything.<br>
              <br>
              That's great. Can you please describe how you figured out
              the valid txg?<br>
              _______________________________________________<br>
              zfs-discuss mailing list<br>
              <a href="mailto:zfs-discuss@list.zfsonlinux.org"
                target="_blank" moz-do-not-send="true">zfs-discuss@list.zfsonlinux.org</a><br>
              <a
                href="http://list.zfsonlinux.org/cgi-bin/mailman/listinfo/zfs-discuss"
                rel="noreferrer" target="_blank" moz-do-not-send="true">http://list.zfsonlinux.org/cgi-bin/mailman/listinfo/zfs-discuss</a><br>
            </blockquote>
          </div>
        </blockquote>
      </div>
      <br>
      <fieldset class="mimeAttachmentHeader"></fieldset>
      <br>
      <pre wrap="">_______________________________________________
zfs-discuss mailing list
<a class="moz-txt-link-abbreviated" href="mailto:zfs-discuss@list.zfsonlinux.org">zfs-discuss@list.zfsonlinux.org</a>
<a class="moz-txt-link-freetext" href="http://list.zfsonlinux.org/cgi-bin/mailman/listinfo/zfs-discuss">http://list.zfsonlinux.org/cgi-bin/mailman/listinfo/zfs-discuss</a>
</pre>
    </blockquote>
    <br>
  </body>
</html>