Diagnostisch onderzoek - Revision history

M Wolvers: /* Wat is diagnostische accuraatheid? */

2024-11-20T16:06:48Z

Wat is diagnostische accuraatheid?

← Older revision		Revision as of 18:06, 20 November 2024
Line 13:		Line 13:
	==Wat is diagnostische accuraatheid?==		==Wat is diagnostische accuraatheid?==

	De diagnostische accuraatheid (~~eng~~: diagnostic accuracy) van een test is de capaciteit van een test om personen (of dieren of zaken) in twee klassen (bijvoorbeeld personen met de door de test onderzochte ziekte en personen zonder de ziekte) correct in te delen ([[diagnostisch onderzoek#Referenties\|Šimundić]]).		De diagnostische accuraatheid (Eng: diagnostic accuracy) van een test is de capaciteit van een test om personen (of dieren of zaken) in twee klassen (bijvoorbeeld personen met de door de test onderzochte ziekte en personen zonder de ziekte) correct in te delen ([[diagnostisch onderzoek#Referenties\|Šimundić]]).

	==Welke maten zijn er om diagnostische accuraatheid uit te drukken?==		==Welke maten zijn er om diagnostische accuraatheid uit te drukken?==

M Wolvers at 12:14, 9 April 2024

2024-04-09T12:14:20Z

← Older revision		Revision as of 14:14, 9 April 2024
Line 69:		Line 69:
	<center>		<center>
	<table>		<table>
	<tr><td>~~patient~~</td><td>testuitslag</td><td>type test</td><td>gouden standaard</td></tr>		<tr><td>patiënt</td><td>testuitslag</td><td>type test</td><td>gouden standaard</td></tr>
	<tr><td>1</td><td>pos</td><td>ERCP</td><td>pos</td></tr>		<tr><td>1</td><td>pos</td><td>ERCP</td><td>pos</td></tr>
	<tr><td>2</td><td>neg</td><td>biopt</td><td>pos</td></tr>		<tr><td>2</td><td>neg</td><td>biopt</td><td>pos</td></tr>
Line 77:		Line 77:
	</center>		</center>

	Voor het vergelijken van de sensitiviteit moet er vervolgens een selectie gemaakt worden op de volgens de gouden standaard positieven (bijv via ‘Data -> Select Cases’). In deze ~~patientselectie~~ kan de [[Chi-kwadraat toets]] gedaan worden gebruik makend van de variabelen ‘testuitslag’ en ‘type test’ (via analyze -> crosstabs). Voor het vergelijken van de specificiteit is juist selectie op gouden standaard = neg nodig.		Voor het vergelijken van de sensitiviteit moet er vervolgens een selectie gemaakt worden op de volgens de gouden standaard positieven (bijv via ‘Data -> Select Cases’). In deze patiëntselectie kan de [[Chi-kwadraat toets]] gedaan worden gebruik makend van de variabelen ‘testuitslag’ en ‘type test’ (via analyze -> crosstabs). Voor het vergelijken van de specificiteit is juist selectie op gouden standaard = neg nodig.

	==Hoe kan ik het verschil toetsen tussen twee gepaarde positief of negatief predictieve waarden?==		==Hoe kan ik het verschil toetsen tussen twee gepaarde positief of negatief predictieve waarden?==
Line 92:		Line 92:
	''AUC2 0.53 (95% CI 0.48 to 0.58) variabele 2 tov uitkomst		''AUC2 0.53 (95% CI 0.48 to 0.58) variabele 2 tov uitkomst

	Dan zal de vergelijking van de AUCs rekening moeten houden met de gepaardheid. De onderste [[Diagnostisch onderzoek#Referenties\|referentie]] op deze pagina geeft aan hoe dat gedaan kan worden. Helaas is er geen directe procedure voor in SPSS. . Er is wel een programma op het web verkijgbaar (medcalc: http://www.medcalc.org/index.php, kijk onder download) waarin de Hanley & McNeil methode is ~~geimplementeerd~~. Je kunt het 15 dagen gratis proberen voordat je het aanschaft. Ook zijn er in andere paketten als [[statistische software#Stata\|Stata]] (roccomp) en [[statistische software#R\|R]] (meer geavanceerde) functies voor.		Dan zal de vergelijking van de AUCs rekening moeten houden met de gepaardheid. De onderste [[Diagnostisch onderzoek#Referenties\|referentie]] op deze pagina geeft aan hoe dat gedaan kan worden. Helaas is er geen directe procedure voor in SPSS. . Er is wel een programma op het web verkijgbaar (medcalc: http://www.medcalc.org/index.php, kijk onder download) waarin de Hanley & McNeil methode is geïmplementeerd. Je kunt het 15 dagen gratis proberen voordat je het aanschaft. Ook zijn er in andere paketten als [[statistische software#Stata\|Stata]] (roccomp) en [[statistische software#R\|R]] (meer geavanceerde) functies voor.

	== Referenties ==		== Referenties ==

M Wolvers: /* Hoe kan ik het verschil toetsen tussen twee gepaarde positief of negatief predictieve waarden? */

2022-04-25T12:04:48Z

Hoe kan ik het verschil toetsen tussen twee gepaarde positief of negatief predictieve waarden?

← Older revision		Revision as of 14:04, 25 April 2022
Line 80:		Line 80:

	==Hoe kan ik het verschil toetsen tussen twee gepaarde positief of negatief predictieve waarden?==		==Hoe kan ik het verschil toetsen tussen twee gepaarde positief of negatief predictieve waarden?==
	''Ik heb een groep van 420 ~~patienten~~, waarvan 231 ~~patienten~~ met een negatieve test. Ondanks de negatieve test zijn er 4 ~~patienten~~ met de ziekte (aangetoond met gouden standaard). In dezelfde groep van 420 ~~patienten~~ heb ik 248 ~~patienten~~ met een soortgelijke (maar net iets andere test) van wie er slechts een de ziekte heeft (aangetoond met gouden standaard). De testen hebben dus een negatief voorspellende waarde van 227/231 en 247/248 respectievelijk. Nu wil ik weten of dit significant van elkaar verschilt. Ik verwacht dat dat niet zo is gezien de overlappende CIs maar ik wil een p-waarde weten. Hoe voer ik hier een toets op uit?		''Ik heb een groep van 420 patiënten, waarvan 231 patiënten met een negatieve test. Ondanks de negatieve test zijn er 4 patiënten met de ziekte (aangetoond met gouden standaard). In dezelfde groep van 420 patiënten heb ik 248 patiënten met een soortgelijke (maar net iets andere test) van wie er slechts een de ziekte heeft (aangetoond met gouden standaard). De testen hebben dus een negatief voorspellende waarde van 227/231 en 247/248 respectievelijk. Nu wil ik weten of dit significant van elkaar verschilt. Ik verwacht dat dat niet zo is gezien de overlappende CIs maar ik wil een p-waarde weten. Hoe voer ik hier een toets op uit?

	Bij het vergelijken van dergelijke gepaarde negatief (of positief) voorspellende waardes is het statistisch lastige aspect dat een deel van de data gepaard zijn (deze ~~patienten~~ scoorden op beide testen negatief) en deel van de data ongepaard (deze ~~patienten~~ scoorden slechts op een van de twee testen negatief). Zowel de [[Chi-kwadraat toets]] als de [[McNemar toets]] is daardoor niet geschikt voor een dergelijke vergelijking. Dit vergt verdergaande statistische modellen, bijvoorbeeld een multilevel model of [[GEE]]. Details zijn te vinden in het [http://www.amazon.com/Statistical-Evaluation-Medical-Classification-Prediction/dp/0198565828 standaardboek over diagnostische toetsen van Margaret Pepe]) en ook deze [http://www.jstor.org/stable/2676972?origin=JSTOR-pdf paper van Wendy Leisenring]. Deze methodes zijn ~~oa geimplementeerd~~ in de [[Statistische software#R\|R]] package DTComPair.		Bij het vergelijken van dergelijke gepaarde negatief (of positief) voorspellende waardes is het statistisch lastige aspect dat een deel van de data gepaard zijn (deze patiënten scoorden op beide testen negatief) en deel van de data ongepaard (deze patiënten scoorden slechts op een van de twee testen negatief). Zowel de [[Chi-kwadraat toets]] als de [[McNemar toets]] is daardoor niet geschikt voor een dergelijke vergelijking. Dit vergt verdergaande statistische modellen, bijvoorbeeld een multilevel model of [[Generalized estimating equations\|GEE]]. Details zijn te vinden in het [http://www.amazon.com/Statistical-Evaluation-Medical-Classification-Prediction/dp/0198565828 standaardboek over diagnostische toetsen van Margaret Pepe]) en ook deze [http://www.jstor.org/stable/2676972?origin=JSTOR-pdf paper van Wendy Leisenring]. Deze methodes zijn o.a. geïmplementeerd in de [[Statistische software#R\|R]] package DTComPair.

	==Hoe kan ik toetsen of er een verschil bestaat tussen 2 gepaarde AUC's?==		==Hoe kan ik toetsen of er een verschil bestaat tussen 2 gepaarde AUC's?==

M Wolvers at 11:59, 25 April 2022

2022-04-25T11:59:48Z

← Older revision		Revision as of 13:59, 25 April 2022
Line 30:		Line 30:
	Wanneer bijvoorbeeld de prevalentie niet bekend is zoals in case-control studies dan kunnen predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) niet zinvol berekend worden. Inderdaad, predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) zijn sterk afhankelijk van de prevalentie van de ziekte in de onderzochte populatie. In een niet representatieve steekproef, zoals in case-control studies kan deze prevalentie naar goeddunken gekozen worden in tegenstelling tot onderzoeksopzetten waar men een representatieve sample van de bestudeerde populatie neemt. [[diagnostisch onderzoek#Wat wordt bedoeld met sensitiviteit en specificiteit?\|Sensitiviteit en specificiteit]], odds ratio, AUC’s (naast andere maten zoals onder meer Yule’s Q en Yule’s Y) zijn niet afhankelijk van de prevalentie en kunnen wel bij studies waar de prevalentie gemanipuleerd kan worden gebruikt worden.		Wanneer bijvoorbeeld de prevalentie niet bekend is zoals in case-control studies dan kunnen predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) niet zinvol berekend worden. Inderdaad, predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) zijn sterk afhankelijk van de prevalentie van de ziekte in de onderzochte populatie. In een niet representatieve steekproef, zoals in case-control studies kan deze prevalentie naar goeddunken gekozen worden in tegenstelling tot onderzoeksopzetten waar men een representatieve sample van de bestudeerde populatie neemt. [[diagnostisch onderzoek#Wat wordt bedoeld met sensitiviteit en specificiteit?\|Sensitiviteit en specificiteit]], odds ratio, AUC’s (naast andere maten zoals onder meer Yule’s Q en Yule’s Y) zijn niet afhankelijk van de prevalentie en kunnen wel bij studies waar de prevalentie gemanipuleerd kan worden gebruikt worden.

	De [[~~odds ratio~~#~~Hoe werkt de diagnostische odds ratio?~~\|diagnostische odds ratio]] en de AUC zijn uitstekende maten om de globale diagnostische kwaliteit van testen uit te drukken. Deze maten kunnen volstaan voor een test met continue uitslagen. Voor testen met dichotome uitslagen (hoog-laag, ja-nee) en bij gedichotomiseerde testuitslagen bij middel van een afkappunt (bv. >= 5 t.o.v. <5) zal men maten moeten hanteren die afzonderlijk de kwaliteit van de test voor een positieve en voor een negatieve testuitslag uitdrukken. Het kan inderdaad dat een bepaalde test van dat soort goed is voor het uitsluiten of stellen van een diagnose of voor beide (respectievelijk een test met hoge sensitiviteit, hoge specificiteit of hoge sensitiviteit en specificiteit). Om over de graad van diagnostische kwaliteit te oordelen bij positief en negatief testresultaat zijn nakansen, predictieve waarden, sensitiviteit en specificiteit en likelihood ratios de geschikte soort maten.		De [[Associatiematen_2x2_tabel#Hoe_werkt_de_diagnostische_odds_ratio.3F\|diagnostische odds ratio]] en de AUC zijn uitstekende maten om de globale diagnostische kwaliteit van testen uit te drukken. Deze maten kunnen volstaan voor een test met continue uitslagen. Voor testen met dichotome uitslagen (hoog-laag, ja-nee) en bij gedichotomiseerde testuitslagen bij middel van een afkappunt (bv. >= 5 t.o.v. <5) zal men maten moeten hanteren die afzonderlijk de kwaliteit van de test voor een positieve en voor een negatieve testuitslag uitdrukken. Het kan inderdaad dat een bepaalde test van dat soort goed is voor het uitsluiten of stellen van een diagnose of voor beide (respectievelijk een test met hoge sensitiviteit, hoge specificiteit of hoge sensitiviteit en specificiteit). Om over de graad van diagnostische kwaliteit te oordelen bij positief en negatief testresultaat zijn nakansen, predictieve waarden, sensitiviteit en specificiteit en likelihood ratios de geschikte soort maten.

	Zo is bijvoorbeeld bij de ANA-test (anti-nuclear antibody) voor diagnose van SLE (systemic lupus erythematosus test) de waarde van een negatief resultaat om een overwogen diagnose SLE uit te sluiten zeer hoog maar de diagnostische waarde bij een positieve testuitslag voor de diagnose SLE is veel te laag ([[diagnostisch onderzoek#Referenties\|T.G. Tape]]). Zijn, in tegenstelling met de zopas vermelde ANA-test, zowel sensitiviteit als specificiteit erg hoog zoals bijvoorbeeld bij kwantitatieve EEG (QEEG) voor de diagnose van hersendysfunctie typisch voor organische hersenbeschadiging na ongeval (sensitiviteit = 95,4% en specificiteit = 97,4%) ([[diagnostisch onderzoek#Referenties\|Thornton & Carmody]]), dan mag men aannemen dat de diagnostische kwaliteit van de test zowel voor het stellen van de diagnose als voor het uitsluiten ervan zeer hoog is en dus dat de diagnose organische traumatische hersenbeschadiging bij positief resultaat met zeer hoge graad van zekerheid gesteld mag worden en dat de diagnose organische traumatische hersenbeschadiging bij negatief resultaat eveneens met practische zekerheid uitgesloten mag worden ([[diagnostisch onderzoek#Referenties\|Davidson, 2002]]).		Zo is bijvoorbeeld bij de ANA-test (anti-nuclear antibody) voor diagnose van SLE (systemic lupus erythematosus test) de waarde van een negatief resultaat om een overwogen diagnose SLE uit te sluiten zeer hoog maar de diagnostische waarde bij een positieve testuitslag voor de diagnose SLE is veel te laag ([[diagnostisch onderzoek#Referenties\|T.G. Tape]]). Zijn, in tegenstelling met de zopas vermelde ANA-test, zowel sensitiviteit als specificiteit erg hoog zoals bijvoorbeeld bij kwantitatieve EEG (QEEG) voor de diagnose van hersendysfunctie typisch voor organische hersenbeschadiging na ongeval (sensitiviteit = 95,4% en specificiteit = 97,4%) ([[diagnostisch onderzoek#Referenties\|Thornton & Carmody]]), dan mag men aannemen dat de diagnostische kwaliteit van de test zowel voor het stellen van de diagnose als voor het uitsluiten ervan zeer hoog is en dus dat de diagnose organische traumatische hersenbeschadiging bij positief resultaat met zeer hoge graad van zekerheid gesteld mag worden en dat de diagnose organische traumatische hersenbeschadiging bij negatief resultaat eveneens met practische zekerheid uitgesloten mag worden ([[diagnostisch onderzoek#Referenties\|Davidson, 2002]]).

M Wolvers at 11:53, 25 April 2022

2022-04-25T11:53:13Z

← Older revision		Revision as of 13:53, 25 April 2022
Line 6:		Line 6:
	Bij diagnostisch onderzoek, het onderzoeken van meetinstrumenten, gaat het vaak om de volgende drie		Bij diagnostisch onderzoek, het onderzoeken van meetinstrumenten, gaat het vaak om de volgende drie
	vragen:		vragen:
	*Is het instrument [[diagnostisch onderzoek#~~Diagnostische~~ accuraatheid\|valide/accuraat]] (meet het instrument wat hij moet meten en kan het meetinstrument onderscheid maken tussen zieke en niet zieke mensen, of onderscheid tussen ernstige klachten en niet ernstige klachten)?		*Is het instrument [[diagnostisch onderzoek#Wat is diagnostische accuraatheid?\|valide/accuraat]] (meet het instrument wat hij moet meten en kan het meetinstrument onderscheid maken tussen zieke en niet zieke mensen, of onderscheid tussen ernstige klachten en niet ernstige klachten)?
	*Is het [[diagnostisch onderzoek#Hoe analyseer ik de betrouwbaarheid van mijn meetmethode?\|betrouwbaar]] (levert het meetinstrument dezelfde resultaten op bij herhaling door een of door verschillende personen en bij verschillende proefpersonen)?		*Is het [[diagnostisch onderzoek#Hoe analyseer ik de betrouwbaarheid van mijn meetmethode?\|betrouwbaar]] (levert het meetinstrument dezelfde resultaten op bij herhaling door een of door verschillende personen en bij verschillende proefpersonen)?
	*Is het responsief (kan het meetinstrument een verandering aantonen)?		*Is het responsief (kan het meetinstrument een verandering aantonen)?

Nan van Geloven: /* Referenties */

2014-06-20T13:42:56Z

Referenties

← Older revision		Revision as of 15:42, 20 June 2014
Line 104:		Line 104:
	*[http://www.medicine.mcgill.ca/epidemiology/hanley/software/Hanley_McNeil_Radiology_83.pdf Hanley JA, McNeil BJ. A Method of Comparing the Areas under Receiver Operating Characteristic Curves Derived from the Same Cases. Radiology 1983.] A simple though somewhat rough way to test the difference between two AUCs derived from the same cases.		*[http://www.medicine.mcgill.ca/epidemiology/hanley/software/Hanley_McNeil_Radiology_83.pdf Hanley JA, McNeil BJ. A Method of Comparing the Areas under Receiver Operating Characteristic Curves Derived from the Same Cases. Radiology 1983.] A simple though somewhat rough way to test the difference between two AUCs derived from the same cases.

			{{onderschrift}}
	~~<div style="background-color:#e8f1ff; margin:0.5em; padding:1em; border:1px solid #C8D0DC;">~~
	~~Terug naar [[OVERZICHT]] voor een overzicht van alle statistische onderwerpen op deze wiki.~~

	~~Terug naar [[KEUZE TOETS]] voor hulp bij het uitzoeken van een geschikte toets of analyse.~~
	~~<div>~~

Nan van Geloven: /* Wat wordt bedoeld met sensitiviteit en specificiteit? */

2014-06-20T13:42:18Z

Wat wordt bedoeld met sensitiviteit en specificiteit?

← Older revision		Revision as of 15:42, 20 June 2014
Line 22:		Line 22:

	Sensitiviteit en specificiteit gebruik je wanneer je een nieuwe test of meetmethode met een "gouden standaard" vergelijkt. Sensitiviteit heeft betrekking op personen die door de gouden standaard als positief worden bestempeld. Sensitiviteit is dan het percentage van die groep die ook door de nieuwe test als positief worden bestempeld. Specificiteit heeft betrekking op personen die door de gouden standaard als negatief worden bestempeld. Specificiteit is dan het percentage van die groep die ook door de nieuwe test als negatief worden bestempeld.		Sensitiviteit en specificiteit gebruik je wanneer je een nieuwe test of meetmethode met een "gouden standaard" vergelijkt. Sensitiviteit heeft betrekking op personen die door de gouden standaard als positief worden bestempeld. Sensitiviteit is dan het percentage van die groep die ook door de nieuwe test als positief worden bestempeld. Specificiteit heeft betrekking op personen die door de gouden standaard als negatief worden bestempeld. Specificiteit is dan het percentage van die groep die ook door de nieuwe test als negatief worden bestempeld.
	De informatie over het relatief aantal 'waar-positieven' en 'waar-negatieven' kan gecombineerd worden met behulp van de [[~~odds ratio~~#~~Hoe werkt de diagnostische odds ratio?~~\|diagnostische odds ratio]].		De informatie over het relatief aantal 'waar-positieven' en 'waar-negatieven' kan gecombineerd worden met behulp van de [[Associatiematen_2x2_tabel#Hoe_werkt_de_diagnostische_odds_ratio.3F\|diagnostische odds ratio]].

	==Hoe kies ik de geschikte maat voor diagnostische accuraatheid?==		==Hoe kies ik de geschikte maat voor diagnostische accuraatheid?==

Nan van Geloven: /* Welke maten zijn er om diagnostische accuraatheid uit te drukken? */

2014-06-20T13:41:56Z

Welke maten zijn er om diagnostische accuraatheid uit te drukken?

← Older revision		Revision as of 15:41, 20 June 2014
Line 17:		Line 17:
	==Welke maten zijn er om diagnostische accuraatheid uit te drukken?==		==Welke maten zijn er om diagnostische accuraatheid uit te drukken?==

	Men kan de diagnostische accuraatheid in verschillende maten uitdrukken. Frequent gebruikte maten zijn: [[diagnostisch onderzoek#Wat wordt bedoeld met sensitiviteit en specificiteit?\|sensitiviteit en specificiteit]], likelihood ratios, (positieve en negatieve) predictieve waarden, de [[~~odds ratio~~#~~Hoe werkt de diagnostische odds ratio?~~\|diagnostische odds ratio]], de oppervlakte onder de ROC-curve (AUC, AUROC). Andere minder frequent gebruikte maten zijn onder meer Youden’s index, Yule’s Q, Yule’s Y.		Men kan de diagnostische accuraatheid in verschillende maten uitdrukken. Frequent gebruikte maten zijn: [[diagnostisch onderzoek#Wat wordt bedoeld met sensitiviteit en specificiteit?\|sensitiviteit en specificiteit]], likelihood ratios, (positieve en negatieve) predictieve waarden, de [[Associatiematen_2x2_tabel#Hoe_werkt_de_diagnostische_odds_ratio.3F\|diagnostische odds ratio]], de oppervlakte onder de ROC-curve (AUC, AUROC). Andere minder frequent gebruikte maten zijn onder meer Youden’s index, Yule’s Q, Yule’s Y.

	==Wat wordt bedoeld met sensitiviteit en specificiteit?==		==Wat wordt bedoeld met sensitiviteit en specificiteit?==

Nan van Geloven: /* Hoe kan ik in SPSS het verschil in sens en spec tussen twee ongepaarde diagnostische instrumenten toetsen? */

2014-06-20T13:40:35Z

Hoe kan ik in SPSS het verschil in sens en spec tussen twee ongepaarde diagnostische instrumenten toetsen?

← Older revision		Revision as of 15:40, 20 June 2014
Line 78:		Line 78:

	Voor het vergelijken van de sensitiviteit moet er vervolgens een selectie gemaakt worden op de volgens de gouden standaard positieven (bijv via ‘Data -> Select Cases’). In deze patientselectie kan de [[Chi-kwadraat toets]] gedaan worden gebruik makend van de variabelen ‘testuitslag’ en ‘type test’ (via analyze -> crosstabs). Voor het vergelijken van de specificiteit is juist selectie op gouden standaard = neg nodig.		Voor het vergelijken van de sensitiviteit moet er vervolgens een selectie gemaakt worden op de volgens de gouden standaard positieven (bijv via ‘Data -> Select Cases’). In deze patientselectie kan de [[Chi-kwadraat toets]] gedaan worden gebruik makend van de variabelen ‘testuitslag’ en ‘type test’ (via analyze -> crosstabs). Voor het vergelijken van de specificiteit is juist selectie op gouden standaard = neg nodig.

			==Hoe kan ik het verschil toetsen tussen twee gepaarde positief of negatief predictieve waarden?==
			''Ik heb een groep van 420 patienten, waarvan 231 patienten met een negatieve test. Ondanks de negatieve test zijn er 4 patienten met de ziekte (aangetoond met gouden standaard). In dezelfde groep van 420 patienten heb ik 248 patienten met een soortgelijke (maar net iets andere test) van wie er slechts een de ziekte heeft (aangetoond met gouden standaard). De testen hebben dus een negatief voorspellende waarde van 227/231 en 247/248 respectievelijk. Nu wil ik weten of dit significant van elkaar verschilt. Ik verwacht dat dat niet zo is gezien de overlappende CIs maar ik wil een p-waarde weten. Hoe voer ik hier een toets op uit?

			Bij het vergelijken van dergelijke gepaarde negatief (of positief) voorspellende waardes is het statistisch lastige aspect dat een deel van de data gepaard zijn (deze patienten scoorden op beide testen negatief) en deel van de data ongepaard (deze patienten scoorden slechts op een van de twee testen negatief). Zowel de [[Chi-kwadraat toets]] als de [[McNemar toets]] is daardoor niet geschikt voor een dergelijke vergelijking. Dit vergt verdergaande statistische modellen, bijvoorbeeld een multilevel model of [[GEE]]. Details zijn te vinden in het [http://www.amazon.com/Statistical-Evaluation-Medical-Classification-Prediction/dp/0198565828 standaardboek over diagnostische toetsen van Margaret Pepe]) en ook deze [http://www.jstor.org/stable/2676972?origin=JSTOR-pdf paper van Wendy Leisenring]. Deze methodes zijn oa geimplementeerd in de [[Statistische software#R\|R]] package DTComPair.

	==Hoe kan ik toetsen of er een verschil bestaat tussen 2 gepaarde AUC's?==		==Hoe kan ik toetsen of er een verschil bestaat tussen 2 gepaarde AUC's?==

Nan van Geloven: /* Hoe toets ik het verschil in sensitiviteit en specificiteit tussen twee diagnostische instrumenten? */

2014-05-28T09:41:59Z

Hoe toets ik het verschil in sensitiviteit en specificiteit tussen twee diagnostische instrumenten?

← Older revision		Revision as of 11:41, 28 May 2014
Line 60:		Line 60:

	De [[McNemar toets]] hoort bij een [[KEUZE_TOETS#Heb_ik_gepaarde_of_ongepaarde_data.3F\|gepaarde]] opzet, de [[chi-kwadraat toets]] bij een [[KEUZE_TOETS#Heb_ik_gepaarde_of_ongepaarde_data.3F\|ongepaarde]] opzet. Je hebt een gepaarde opzet als je van iedere patiënt zowel de uitslag van de 'conditionele CT strategie' als van de 'direct CT strategie' weet. In een ongepaarde opzet weet je bij een deel van patiënten de ene uitslag en bij een andere groep patiënten de tweede uitslag. Ik meen uit jouw dataset op te maken dat jij een gepaarde opzet hebt en de geschetste McNemar aanpak is daar dus de geëigende manier om de sens en spec te vergelijken.		De [[McNemar toets]] hoort bij een [[KEUZE_TOETS#Heb_ik_gepaarde_of_ongepaarde_data.3F\|gepaarde]] opzet, de [[chi-kwadraat toets]] bij een [[KEUZE_TOETS#Heb_ik_gepaarde_of_ongepaarde_data.3F\|ongepaarde]] opzet. Je hebt een gepaarde opzet als je van iedere patiënt zowel de uitslag van de 'conditionele CT strategie' als van de 'direct CT strategie' weet. In een ongepaarde opzet weet je bij een deel van patiënten de ene uitslag en bij een andere groep patiënten de tweede uitslag. Ik meen uit jouw dataset op te maken dat jij een gepaarde opzet hebt en de geschetste McNemar aanpak is daar dus de geëigende manier om de sens en spec te vergelijken.

			==Hoe kan ik in SPSS het verschil in sens en spec tussen twee ongepaarde diagnostische instrumenten toetsen?==

			''Ik ben bezig met een retrospectief onderzoek naar diagnostiek van galgangatresie. Twee testen worden vergeleken: ERCP en leverbiopt, uitgevoerd in twee verschillende patiëntenpopulaties. Ik wil nu onderzoeken of er een significant verschil is in sensitiviteit en specificiteit tussen de twee testen. Ik heb begrepen dat je dit kunt testen met de [[Chi-kwadraat toets]], maar hoe voer ik dat uit in SPSS?

			Hiervoor is het nodig om de testuitslagen van de twee testen onder elkaar in 1 variabele te hebben staan. Daarnaast staat een variabele die aangeeft welke test het betreft en daarnaast staat aangegeven een variabele met de werkelijke uitslag (gouden standaard). Als volgt:

			<center>
			<table>
			<tr><td>patient</td><td>testuitslag</td><td>type test</td><td>gouden standaard</td></tr>
			<tr><td>1</td><td>pos</td><td>ERCP</td><td>pos</td></tr>
			<tr><td>2</td><td>neg</td><td>biopt</td><td>pos</td></tr>
			<tr><td>3</td><td>neg</td><td>ERCP</td><td>neg</td></tr>
			<tr><td>4</td><td>etc</td><td>etc</td><td>etc</td></tr>
			</table>
			</center>

			Voor het vergelijken van de sensitiviteit moet er vervolgens een selectie gemaakt worden op de volgens de gouden standaard positieven (bijv via ‘Data -> Select Cases’). In deze patientselectie kan de [[Chi-kwadraat toets]] gedaan worden gebruik makend van de variabelen ‘testuitslag’ en ‘type test’ (via analyze -> crosstabs). Voor het vergelijken van de specificiteit is juist selectie op gouden standaard = neg nodig.

	==Hoe kan ik toetsen of er een verschil bestaat tussen 2 gepaarde AUC's?==		==Hoe kan ik toetsen of er een verschil bestaat tussen 2 gepaarde AUC's?==

← Older revision		Revision as of 13:59, 25 April 2022
Line 30:		Line 30:
	Wanneer bijvoorbeeld de prevalentie niet bekend is zoals in case-control studies dan kunnen predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) niet zinvol berekend worden. Inderdaad, predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) zijn sterk afhankelijk van de prevalentie van de ziekte in de onderzochte populatie. In een niet representatieve steekproef, zoals in case-control studies kan deze prevalentie naar goeddunken gekozen worden in tegenstelling tot onderzoeksopzetten waar men een representatieve sample van de bestudeerde populatie neemt. [[diagnostisch onderzoek#Wat wordt bedoeld met sensitiviteit en specificiteit?\|Sensitiviteit en specificiteit]], odds ratio, AUC’s (naast andere maten zoals onder meer Yule’s Q en Yule’s Y) zijn niet afhankelijk van de prevalentie en kunnen wel bij studies waar de prevalentie gemanipuleerd kan worden gebruikt worden.		Wanneer bijvoorbeeld de prevalentie niet bekend is zoals in case-control studies dan kunnen predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) niet zinvol berekend worden. Inderdaad, predictieve waarden (en posttestwaarschijnlijkheden van ziekte, nakansen) zijn sterk afhankelijk van de prevalentie van de ziekte in de onderzochte populatie. In een niet representatieve steekproef, zoals in case-control studies kan deze prevalentie naar goeddunken gekozen worden in tegenstelling tot onderzoeksopzetten waar men een representatieve sample van de bestudeerde populatie neemt. [[diagnostisch onderzoek#Wat wordt bedoeld met sensitiviteit en specificiteit?\|Sensitiviteit en specificiteit]], odds ratio, AUC’s (naast andere maten zoals onder meer Yule’s Q en Yule’s Y) zijn niet afhankelijk van de prevalentie en kunnen wel bij studies waar de prevalentie gemanipuleerd kan worden gebruikt worden.

	De [[~~odds ratio~~#~~Hoe werkt de diagnostische odds ratio?~~\|diagnostische odds ratio]] en de AUC zijn uitstekende maten om de globale diagnostische kwaliteit van testen uit te drukken. Deze maten kunnen volstaan voor een test met continue uitslagen. Voor testen met dichotome uitslagen (hoog-laag, ja-nee) en bij gedichotomiseerde testuitslagen bij middel van een afkappunt (bv. >= 5 t.o.v. <5) zal men maten moeten hanteren die afzonderlijk de kwaliteit van de test voor een positieve en voor een negatieve testuitslag uitdrukken. Het kan inderdaad dat een bepaalde test van dat soort goed is voor het uitsluiten of stellen van een diagnose of voor beide (respectievelijk een test met hoge sensitiviteit, hoge specificiteit of hoge sensitiviteit en specificiteit). Om over de graad van diagnostische kwaliteit te oordelen bij positief en negatief testresultaat zijn nakansen, predictieve waarden, sensitiviteit en specificiteit en likelihood ratios de geschikte soort maten.		De [[Associatiematen_2x2_tabel#Hoe_werkt_de_diagnostische_odds_ratio.3F\|diagnostische odds ratio]] en de AUC zijn uitstekende maten om de globale diagnostische kwaliteit van testen uit te drukken. Deze maten kunnen volstaan voor een test met continue uitslagen. Voor testen met dichotome uitslagen (hoog-laag, ja-nee) en bij gedichotomiseerde testuitslagen bij middel van een afkappunt (bv. >= 5 t.o.v. <5) zal men maten moeten hanteren die afzonderlijk de kwaliteit van de test voor een positieve en voor een negatieve testuitslag uitdrukken. Het kan inderdaad dat een bepaalde test van dat soort goed is voor het uitsluiten of stellen van een diagnose of voor beide (respectievelijk een test met hoge sensitiviteit, hoge specificiteit of hoge sensitiviteit en specificiteit). Om over de graad van diagnostische kwaliteit te oordelen bij positief en negatief testresultaat zijn nakansen, predictieve waarden, sensitiviteit en specificiteit en likelihood ratios de geschikte soort maten.

	Zo is bijvoorbeeld bij de ANA-test (anti-nuclear antibody) voor diagnose van SLE (systemic lupus erythematosus test) de waarde van een negatief resultaat om een overwogen diagnose SLE uit te sluiten zeer hoog maar de diagnostische waarde bij een positieve testuitslag voor de diagnose SLE is veel te laag ([[diagnostisch onderzoek#Referenties\|T.G. Tape]]). Zijn, in tegenstelling met de zopas vermelde ANA-test, zowel sensitiviteit als specificiteit erg hoog zoals bijvoorbeeld bij kwantitatieve EEG (QEEG) voor de diagnose van hersendysfunctie typisch voor organische hersenbeschadiging na ongeval (sensitiviteit = 95,4% en specificiteit = 97,4%) ([[diagnostisch onderzoek#Referenties\|Thornton & Carmody]]), dan mag men aannemen dat de diagnostische kwaliteit van de test zowel voor het stellen van de diagnose als voor het uitsluiten ervan zeer hoog is en dus dat de diagnose organische traumatische hersenbeschadiging bij positief resultaat met zeer hoge graad van zekerheid gesteld mag worden en dat de diagnose organische traumatische hersenbeschadiging bij negatief resultaat eveneens met practische zekerheid uitgesloten mag worden ([[diagnostisch onderzoek#Referenties\|Davidson, 2002]]).		Zo is bijvoorbeeld bij de ANA-test (anti-nuclear antibody) voor diagnose van SLE (systemic lupus erythematosus test) de waarde van een negatief resultaat om een overwogen diagnose SLE uit te sluiten zeer hoog maar de diagnostische waarde bij een positieve testuitslag voor de diagnose SLE is veel te laag ([[diagnostisch onderzoek#Referenties\|T.G. Tape]]). Zijn, in tegenstelling met de zopas vermelde ANA-test, zowel sensitiviteit als specificiteit erg hoog zoals bijvoorbeeld bij kwantitatieve EEG (QEEG) voor de diagnose van hersendysfunctie typisch voor organische hersenbeschadiging na ongeval (sensitiviteit = 95,4% en specificiteit = 97,4%) ([[diagnostisch onderzoek#Referenties\|Thornton & Carmody]]), dan mag men aannemen dat de diagnostische kwaliteit van de test zowel voor het stellen van de diagnose als voor het uitsluiten ervan zeer hoog is en dus dat de diagnose organische traumatische hersenbeschadiging bij positief resultaat met zeer hoge graad van zekerheid gesteld mag worden en dat de diagnose organische traumatische hersenbeschadiging bij negatief resultaat eveneens met practische zekerheid uitgesloten mag worden ([[diagnostisch onderzoek#Referenties\|Davidson, 2002]]).