usa i tag code (#) per postare del codice...
case '0x40': è errato, devi fare case 0x40 e non '0x40' perchè '0x40' non è un carattere ma una stringa e tu la vuoi "intendere" come numero credo (idem per tutti gli altri case)...
codice:
#include <stdio.h>
#include <stdlib.h>

int main()
{
   int i=0;
   unsigned int a;
   unsigned int b;
   unsigned char v[86];
   FILE *pfile;
   pfile=fopen("byte.txt","r");
   while(!feof(pfile)&&(i<86)){
   fscanf (pfile, "%08X", &a);
   v[i]=a;
   printf("%02x\n",v[i]);
   i++;
   int fclose (FILE *pfile);
   }
   if (v[0] == 0x66){
   b=v[1]&240;
   printf("%x",b);
   switch(b) {
   case 0x40:
   printf("op1\n");
   break;
   case 0xf0:
   printf("op2\n");
   break;
   case 0xb0:
   printf("op3\n");
   break;
   case 0x30:
   printf("op4\n");
   break;
}}
system ("pause");