{"id":7286,"date":"2017-04-27T23:19:15","date_gmt":"2017-04-27T21:19:15","guid":{"rendered":"http:\/\/arumel.com\/?p=7286\/"},"modified":"2017-06-29T17:57:28","modified_gmt":"2017-06-29T15:57:28","slug":"advm-acfs-resilver","status":"publish","type":"post","link":"https:\/\/arumel.com\/eu\/advm-acfs-resilver\/","title":{"rendered":"ADVM \/ ACFS resilvering"},"content":{"rendered":"

Hai uns d\u00edas, nun cliente produciuse un reinicio abrupto dun cl\u00faster GI 12.1.0.2 por problemas hardware relacionados co acceso \u00e1 SAN a trav\u00e9s dunha rede 10GbE. O problema repetiuse no outro nodo de madrugada \u00f3 comezar o volcado programado Data Pump das bases de datos. Sen co\u00f1ecer o detalle do problema, estaba relacionado coa saturaci\u00f3n dun porto nun chasis de blades que, a trav\u00e9s de alg\u00fan mecanismo forzaba o peche do porto e o consecuente corte de conectividade e reinicio do servidor. Debido \u00e1 coincidencia do inicio dos exports, os administradores de sistemas analizaron o acceso a cabina, vendo que a saturaci\u00f3n era debida, no segundo dos reinicios, a actividade sobre o filesystem ACFS que xa en ocasi\u00f3ns anteriores tiveramos observado. Esta actividade era xerada polo proceso autom\u00e1tico de resilvering de ACFS.<\/p>\n

Que \u00e9 resilvering?<\/h2>\n

Tr\u00e1tase dun concepto asociado \u00e1 reconstruci\u00f3n dun mirror de disco. A palabra \u00e9 moi propia xa que resilver deriva da acci\u00f3n de volver a tratar con prata as zonas deterioradas dun espello (ou mirror) real de cristal. Esta capa de prata (ou outro material como o aluminio) \u00e9 a que converte o cristal nun espello, e a que, \u00e1 medida que se deteriora, fai que aparezan “erros” e transparencias no mesmo.<\/p>\n

Cando se produce un problema nun raid, como a perda dun dos discos que o compo\u00f1en, o proceso de resilvering \u00e9 o que, unha vez incorporado o novo disco, restablece a sincronizaci\u00f3n de datos coa nova configuraci\u00f3n. \u00c9 mais habitual atopar este concepto como rebuild ou resync, pero resilver \u00e9 empregado tam\u00e9n por ZFS, concepto similar \u00f3 de ACFS dende o punto de vista de que se trata dunha combinaci\u00f3n de filesystem e volume manager. ZFS foi desenvolto por Sun Microsystems antes da s\u00faa adquisici\u00f3n por Oracle. Entre as propiedades de ZFS<\/a>, podemos ver:<\/p>\n

The features of ZFS include protection against data corruption<\/a>, support for high storage capacities, efficient data compression, integration of the concepts of filesystem and volume management<\/a>, snapshots<\/a> and copy-on-write<\/a> clones, continuous integrity checking and automatic repair, RAID-Z<\/a> and native NFSv4<\/a> ACLs<\/a>.<\/p><\/blockquote>\n

Algunhas son caracter\u00edsticas que atopamos tam\u00e9n en ACFS.<\/p>\n

Por que se fai resilvering?<\/h2>\n

Neste caso, o proceso de resilvering estase a producir sobre un filesystem de case 2TiBs de tama\u00f1o. O diskgroup sobre o que se creou o volume ADVM e o filesystem ACFS est\u00e1 creado sobre LUNs que na cabina te\u00f1en unha pol\u00edtica bastante restritiva a nivel de QoS, o que estaba a provocar que este proceso precisase mais de 10h para completarse.<\/p>\n

En ASM \/ ACFS \/ ADVM, non \u00e9 moita a informaci\u00f3n que puiden atopar sobre este procedemento. A maior parte da informaci\u00f3n en MOS est\u00e1 relacionada con bugs, como por exemplo o comentado na nota 2071755.1 na que se describe un problema de alto consumo de CPU pola actividade do proceso asmResilver1. Existe mais informaci\u00f3n sobre o proceso de resilver relacionado cos sistemas Exadata ou ODA, a\u00ednda que non acaba de ser un proceso moi espec\u00edfico en canto \u00e1 s\u00faa implementaci\u00f3n xeral a nivel de ACFS. Neste punto, recomendo a lectura de esta entrada<\/a> e esta outra<\/a> do blog de Erman Arslan.<\/p>\n

Moi ilustrativa a definici\u00f3n dos roles dos procesos asmresilver1 e asmresilver2 que act\u00faan baixo condicionantes diferentes. Segundo esta informaci\u00f3n, asmResilver1 entra en xogo ante escenarios de crash como a ca\u00edda e recuperaci\u00f3n dunha instancia ASM, e verifica se \u00e9 precisa a recuperaci\u00f3n dalg\u00fan bloque no mirror, encarg\u00e1ndose de facelo en caso de ser asi. asmResilver2 entra en xogo cando se produce unha reconfiguraci\u00f3n de cl\u00faster, por exemplo tras o reinicio dun servidor do RAC. Este proceso verifica se o volume precisa algunha operaci\u00f3n de recuperaci\u00f3n.<\/p>\n

O proceso de resilvering \u00e9 propio de ADVM e \u00e9 diferente do proceso de rebalanceo propio de ASM que podemos ver en calquera diskgroup, inclu\u00eddos aqueles que conte\u00f1en volumes ADVM. En sistemas Linux, podemos ver reflectida a s\u00faa actividade no ficheiro var\/log\/messages, onde o driver ADVM envorca a s\u00faa sa\u00edda:<\/p>\n

ADVMK-0010: Mirror recovery for volume VOLACFS in diskgroup ACFS started<\/pre>\n
ADVM indicar\u00e1 cando se produce unha reconfiguraci\u00f3n de cl\u00faster que forza o resilver do volume. Do escenario tratado, no messages aparecen as seguintes entradas, o inicio da reconfiguraci\u00f3n, e o evento de fin de reconfiguraci\u00f3n que recibe de cada un dos nodos.<\/p>\n
ADVMK-0013: Cluster reconfiguration started.\r\nADVMK-0014: Cluster reconfiguration completed.\r\nADVMK-0014: Cluster reconfiguration completed.<\/pre>\n
Procesos involucrados no resilvering<\/h2>\n
No noso exemplo, vemos que tras a ca\u00edda forzada dun nodo, atopamos tam\u00e9n dous procesos, a\u00ednda que denominados asmResilver<\/strong> e asmResilver2<\/strong> que son executado como usuario root. O primeiro \u00e9 nesta ocasi\u00f3n o responsable da validaci\u00f3n dos datos, e o segundo dos metadatos DRL para a xesti\u00f3n da redundancia. Os procesos exec\u00fatanse no nodo responsable do resilver en curso, non existindo ning\u00fan proceso deste tipo no outro nodo nin sequera cando se recupera e reincorpora \u00f3 cl\u00faster. A nivel de ASM, non cheguei a atopar ningunha operaci\u00f3n dentro de gv$asm_operation, pese a que contempla a opci\u00f3n de amosar tarefa de resilvering, pero \u00e9 unha casu\u00edstica espec\u00edfica de Exadata cando se habilita WriteBack FlashCache:<\/p>\n
\n