Nid yw tryloywder ac ailadroddadwyedd y broses asesu trothwy deinamig yn dibynnu ar "ddogfennau sydd wedi'u hysgrifennu'n glir," ond yn hytrach ar allu systematig a adeiladwyd trwy gadarnhad technolegol, llinach data, mewnosod cadwyn offer, a fformatau safonol. Yn y bôn, mae'n sicrhau y gall unrhyw un, ar unrhyw adeg, atgynhyrchu pob addasiad trothwy, cyfrifiad pob dangosydd, a phob casgliad asesiad, gan ddefnyddio'r un mewnbynnau.
1. Tair Colofn Dechnegol Tryloywder
|
Dimensiwn |
Dull Gweithredu |
Gofynion Allweddol |
|
Olrhain Llinelledd Data |
Mae cydberthynas gref rhwng yr holl ddata rhybuddion cynnar, cynnal a chadw a synhwyrydd trwy ID dyfais unigryw a stamp amser, gan ffurfio cadwyn gyflawn |
signal synhwyrydd gwreiddiol → sbardun rhybudd cynnar → gorchymyn gwaith cynnal a chadw → cadarnhad â llaw. |
|
Blwch Gwyn{0}}Rhesymeg Gwerthuso |
Mae holl resymeg cyfrifo'r dangosydd (megis sgôr F1, amser arwain rhybudd cynnar) yn cael ei rheoli gan fersiwn ar ffurf cod |
Rheolir sgriptiau gwerthuso gan ddefnyddio Git, gan wahardd "fformiwlâu blwch du"; rhaid bod modd olrhain pob cyfrifiad yn ôl i gofnodion ymrwymo cod ffynhonnell. |
|
Logiau Gweithrediadau Strwythuredig |
Mae'r holl addasiadau trothwy, diweddariadau model, ac ymyriadau â llaw yn cael eu cofnodi fel logiau archwilio safonol |
Rhaid i feysydd log gynnwys: stamp amser, gweithredwr, gwerth gwreiddiol, gwerth newydd, cyflwr sbardun, newid lefel hyder, a chanlyniad dilysu. |
2. Pedair Gwarant Peirianneg ar gyfer Ailadrodd
|
Mecanwaith Gwarant |
Cymorth Offeryn |
Rôl |
|
System Olrhain Arbrawf |
Llif ML, Pwysau a Tueddiadau |
yn cofnodi hyperparamedrau, fersiynau data, cipluniau model, a chanlyniadau dangosyddion yn awtomatig ar gyfer pob gwerthusiad, gan gefnogi atgynhyrchu un clic. |
|
Rheoli Fersiwn Data |
DVC (Rheoli Fersiwn Data) |
Mae tagio fersiwn yn cael ei gymhwyso i setiau data synhwyrydd, logiau cynnal a chadw, ac allbynnau peirianneg nodwedd i sicrhau "yr un data=yr un canlyniadau." |
|
Cysondeb Amgylcheddol |
Prosiectau Docker + MLflow |
yn pecynnu'r amgylchedd gwerthuso (fersiwn Python, dibyniaethau llyfrgell, adnoddau cyfrifiadurol) yn ddelwedd gludadwy, gan osgoi'r broblem "yn rhedeg ar fy mheiriant". |
|
Awtomatiaeth Piblinellau Gwerthuso |
Llif aer/Jenkins |
yn llywio'r broses gyfan o "dynnu data → cyfrifo metrig → cynhyrchu adroddiadau → rhybuddio anghysondebau" i mewn i biblinell CI/CD, gan weithredu'n awtomatig bob dydd. |
Llif Gwaith Nodweddiadol:
Am 2:00 AM bob dydd, y biblinell yn awtomatig:
Tynnwch ddata ddoe o SCADA (fersiwn DVC: v2.1.3)
Llwythwch y model (ID Run MLflow: a1b2c3)
Cyfrifwch sgôr F1, cyfradd larwm ffug, ac amser arweiniol
Cynhyrchu siartiau tueddiadau a mapiau gwres
Gwthio i'r dangosfwrdd mewnol; os bydd y sgôr F1 yn gostwng mwy na 5%, yn awtomatig yn sbarduno rhybudd ac yn archifo'r logiau.
3. Cynnwys Gorfodol Adroddiadau Asesu Safonol
Rhaid i bob adroddiad asesu chwarterol gynnwys y cydrannau gwiriadwy canlynol, ac mae pob un ohonynt yn orfodol:
|
Cydran |
Gofynion Cynnwys |
Dull Gwirio |
|
Graff Taflwybr Newid Trothwy |
Yn dangos terfynau deinamig uchaf ac isaf dangosyddion allweddol (fel cymedr dirgrynu) yn esblygu dros amser |
Yn cyd-fynd â llinell amser y data synhwyrydd gwreiddiol |
|
Larwm Ffug/Larwm Coll |
Yn dadansoddi dosbarthiad galwadau diangen yn ôl offer, shifft, a chyfnod amser yn ystadegol, gan nodi -ardaloedd mynychder |
Croes-wedi'i ddilysu â'r label "No Fault" yn y system trefn gwaith. |
|
Graff Llinell Arbedion Costau |
Yn cymharu costau cynnal a chadw, defnyddio darnau sbâr, a cholledion amser segur cyn ac ar ôl gweithredu |
Yn cysoni â data ERP yn y system ariannol. |
|
Fersiwn Model a Chymharu Fersiwn Data |
Yn rhestru'r ID model, y fersiwn data hyfforddi, a'r hash cyflwyno cod a ddefnyddiwyd yn yr asesiad hwn |
Ar gael trwy ddolen MLflow/DVC i'r cofnod gwreiddiol. |
Crynodeb Log Archwilio: Yn crynhoi'r holl ddigwyddiadau addasu trothwy yn ystod y cyfnod, gan gynnwys newidiadau gweithredwr, rheswm, a lefel hyder. Wedi'i wirio yn erbyn cronfa ddata log y system fesul llinell.
4.Cydymffurfiaeth ac Ardystio Archwilio
ISO 13374-1 Mae'r gofynion yn eglur: Rhaid i systemau cynnal a chadw rhagfynegol ddarparu "cadwyn olrheiniadwy o dystiolaeth asesu," gan gynnwys data crai, gweithdrefnau prosesu, sail gwneud penderfyniadau, a chanlyniadau dilysu.
Mae IEC 60038 yn nodi bod yn rhaid i drydydd parti allu atgynhyrchu pob casgliad asesu yn annibynnol; fel arall, ni ystyrir eu bod yn cydymffurfio.
Archwiliad mewnol: Bob chwe mis, mae'r tîm TG a gweithrediadau yn dewis tri achos asesu ar hap, yn eu hail-redeg gan ddefnyddio data crai, cod, a delwedd amgylcheddol, ac yn cymharu'r canlyniadau. Rhaid i'r gyfradd wallau fod<0.5%.
Gwiriad terfynol: Os gall peiriannydd sydd newydd ei gyflogi atgynhyrchu holl ganlyniadau'r asesiad o'r mis blaenorol o fewn 24 awr, heb unrhyw esboniad llafar, gan ddefnyddio'r adroddiad asesu, ystorfa cod, fersiwn data a delwedd yr amgylchedd yn unig, yna mae'r broses yn meddu ar allu i ailadrodd gradd ddiwydiannol.
