Nid yw tryloywder ac ailadroddadwyedd yn weithredoedd technegol ynysig, ond yn hytrach yn alluoedd peirianneg systemig sy'n treiddio i ddata, cod, prosesau, trefniadaeth a chydymffurfiaeth. Mae'r canlynol yn fframwaith gweithredu saith haen wedi'i ddilysu ar draws parthau lluosog, gyda phob haen yn cyfateb i gamau gweithredu technegol a chadwyni offer y gellir eu gweithredu.
1. Haen Data: Adeiladu Llinell Olrhain
Egwyddor Graidd: Data Crai ≠ Data wedi'i Glanhau ≠ Allbwn Peirianneg Nodwedd
Gweithredu: Defnyddiwch DVC (Rheoli Fersiwn Data) i labelu pob set ddata gyda rhif fersiwn (ee, v2.1.3).
Cynhyrchu cofnod Piblinell DVC annibynnol ar gyfer pob rhagbrosesu data, echdynnu nodwedd, neu newid strategaeth samplu.
Labelu Ffynhonnell Data: ID Synhwyrydd, Amser Caffael, Model Dyfais, Paramedrau Amgylcheddol (ee, Tymheredd a Lleithder)
Mecanwaith Dilysu: Rhaid gallu olrhain unrhyw ganlyniad gwerthusiad yn ôl i fersiwn benodol o'r set ddata; gwaherddir disgrifiadau annelwig megis "data diweddaraf".
Enghraifft: Rhaid i ganlyniad gwerthusiad gyda sgôr F1=0.91 fod yn gysylltiedig â data/v2.1.3/sensor_rbt047_20260410.csv + dvc.yaml:preprocess_v4
2. Haen y Cod: Dyluniad blwch gwyn a Rheoli Fersiynau
Egwyddor Graidd: Rhaid i'r holl resymeg werthuso fod yn ddarllenadwy, yn archwiliadwy, ac yn god y gellir ei ymrwymo, nid fformiwlâu Excel ynysig na Llyfrau Nodiadau Jupyter.
Gweithredu: Dylid ysgrifennu'r holl gyfrifiadau metrig, dyfarniadau trothwy, a rhesymeg casgliad model yn unffurf i fodiwlau Python (ee, metrics.py, trothwy_engine.py).
Defnyddiwch Git i reoli cod; rhaid i bob addasiad gael neges ymrwymo sy'n esbonio pwrpas y newid (ee, camp: addasu trothwy dirgryniad ar gyfer RBT-047 yn seiliedig ar duedd camrybudd).
Gwaherddir defnyddio "addasiadau lleol" neu "sgriptiau dros dro".
Gofyniad Gorfodol: Rhaid i'r adroddiad gwerthuso gynnwys yr hash ymrwymo cod, megis a1b2c3d4.
3. Haen yr Amgylchedd: Containerization a Cloi Dibyniaeth
Egwyddor Graidd: Osgoi'r trap "mae'n rhedeg ar fy mheiriant".
Gweithredu: Defnyddiwch Docker. Pecyn yr amgylchedd gwerthuso: fersiwn Python, dibyniaethau llyfrgell (requirements.txt), llyfrgelloedd system, cyfluniad gyrrwr GPU.
Cynhyrchu tag delwedd amldro: registry.example.com/eval-rbt:v1.2.0
Ar y cyd â MLflow Projects, amgáu'r broses werthuso gyfan yn brosiect gweithredadwy.
Mecanwaith dilysu: Does ond angen i aelodau newydd redeg `docker run --rm -v $(pwd):/data eval-rbt:v1.2.0 --run-id a1b2c3d4` i atgynhyrchu'r canlyniadau.
4. Haen proses: Piblinell awtomataidd a mewnosod CI/CD
Egwyddor graidd: Gweithredu â llaw=na-yn ailadroddadwy; Gellir archwilio gweithrediad awtomataidd =
Dull gweithredu: Defnyddiwch Airflow neu Jenkins i drefnu'r broses werthuso ddyddiol:
morforwyn
graff LR
A[Pull DVC v2.1.3 data] -->B[Llwytho model llif ML a1b2c3]
B -->C [Cyfrifwch sgôr F1, cyfradd larwm ffug, ac amser arweiniol]
C -->D [Cynhyrchu map gwres a siart tueddiadau]
D -->E [Cymharer gyda dangosyddion cyfnod blaenorol]
E -->F {gostyngiad F1 > 5%?}
F -- Yes -->G [Sbarduno larymau yn awtomatig + logiau archif]
F -- No -->H [Gwthio i'r dangosfwrdd]
Allbwn: Adroddiad asesu dyddiol a gynhyrchir yn awtomatig, wedi'i storio yn y sylfaen wybodaeth ganolog, gyda stamp amser ac ID piblinell
5. Haen Gofnodi: Logiau archwilio strwythuredig
Gofynion Storio: Rhaid ysgrifennu logiau i gronfa ddata na ellir ei chyfnewid (fel notarization blockchain neu storfa WORM), gan gefnogi ymholiadau aml-dimensiwn yn ôl dyfais, amser a gweithredwr.
6. Haen Adrodd: Cydrannau Gorfodol Dilysadwy Rhaid i bob adroddiad gwerthuso gynnwys y pum elfen wiriadwy a ganlyn, ac ni ellir hepgor yr un ohonynt:
Dull Gwirio Gofynion Cynnwys Cydran Tabl
Graff Taflwybr Newid Trothwy Yn dangos esblygiad trothwy deinamig dangosyddion allweddol dros amser Wedi'i alinio â llinell amser y data synhwyrydd gwreiddiol
Larwm Ffug/Map Gwres Larwm a Fethwyd Dosbarthiad ystadegol yn ôl dyfais, shifft, a chyfnod amser Croes-wedi'i ddilysu â'r label "Dim Fault" yn y system archebu gwaith
Graff Llinell Arbedion Costau Yn cymharu costau cynnal a chadw a cholledion amser segur cyn ac ar ôl gweithredu Cysoni â Data System Ariannol ERP
Tabl Cymharu Fersiwn Model a Data: Yn rhestru ID model, fersiwn data hyfforddi, a hash cod. Yn cyrchu'r cofnod gwreiddiol trwy ddolen MLflow/DVC.
Crynodeb Log Archwilio: Yn crynhoi'r holl ddigwyddiadau addasu ar gyfer y cyfnod cyfredol ac yn gwirio pob cofnod yn erbyn y gronfa ddata log.
Llofnod yr Adroddiad: Rhaid i bob adroddiad orffen gyda llofnod digidol (yn seiliedig ar hunaniaeth yr ymroddydd Git) i sicrhau olrheinedd.
7. Haen Cydymffurfiaeth: Ymgorffori Safonau ac Ardystiadau Rhyngwladol
ISO 13374-1: Mae angen "cadwyn olrheiniadwy o dystiolaeth werthuso" - y ddolen gyflawn o ddata crai i'r casgliad terfynol.
IEC 60038: Yn nodi bod yn rhaid i gasgliadau gwerthusiad fod yn atgynhyrchadwy'n annibynnol gan drydydd parti; fel arall, maent yn annilys.
Maen Prawf TOP (Hyrwyddo Tryloywder a Didwylledd): Rhaid i ddata, cod, a dulliau dadansoddi gael eu datgelu'n gyhoeddus. Mae dyluniadau ymchwil sydd wedi'u cofrestru ymlaen llaw yn atal adrodd dethol wedyn.
Archwilio Mewnol: Bob chwe mis, mae tri achos yn cael eu dewis ar hap a'u hail-redeg gan dîm annibynnol gan ddefnyddio data crai + cod + adlewyrchu. Rhaid i'r gyfradd wallau fod<0.5%.
Safon ddilysu eithaf: Os gall gweithiwr newydd atgynhyrchu'r holl ganlyniadau gwerthuso o'r mis diwethaf o fewn 24 awr heb unrhyw arweiniad llafar, gan ddefnyddio dim ond yr adroddiad, ystorfa god, fersiwn DVC, a delwedd Docker, yna bydd y broses yn pasio'r ardystiad ailadroddadwyedd gradd diwydiannol.
