version2/src/server/iotquery.cpp

   1 #include "iotquery.h"
   2 #include <string.h>
   3 #include <sys/stat.h>
   4 #include <sys/types.h>
   5 #include <sys/file.h>
   6 #include <fcntl.h>
   7 #include <unistd.h>
   8 #include <stdlib.h>
   9 #include <errno.h>
  10 #include <netinet/in.h>
  11
  12 using namespace std;
  13
  14 const char * query_str = "QUERY_STRING";
  15 const char * uri_str = "REQUEST_URI";
  16 const char * method_str = "REQUEST_METHOD";
  17 const char * iotcloudroot_str = "IOTCLOUD_ROOT";
  18 const char * length_str = "CONTENT_LENGTH";
  19
  20 IoTQuery::IoTQuery(FCGX_Request *request) :
  21         request(request),
  22         data(NULL),
  23         directory(NULL),
  24         uri(NULL),
  25         query(NULL),
  26         method(NULL),
  27         iotcloudroot(NULL),
  28         length(0),
  29         oldestentry(0),
  30         newestentry(0),
  31         requestsequencenumber(0),
  32         numqueueentries(DEFAULT_SIZE),
  33         fd(-1),
  34         reqGetSlot(false),
  35         reqPutSlot(false),
  36         reqSetSalt(false),
  37         reqGetSalt(false) {
  38 }
  39
  40 IoTQuery::~IoTQuery() {
  41         if (fd >= 0)
  42                 close(fd);
  43         if (directory)
  44                 delete directory;
  45         if (data)
  46                 delete data;
  47 }
  48
  49 /**
  50  *  Returns true if the account directory exists.
  51  */
  52
  53 bool IoTQuery::checkDirectory() {
  54         struct stat s;
  55         int err = stat(directory, &s);
  56         if (-1 == err)
  57                 return false;
  58         return S_ISDIR(s.st_mode);
  59 }
  60
  61 /**
  62  * Decodes query string from client. Extracts type of request,
  63  * sequence number, and whether the request changes the number of
  64  * slots.
  65  */
  66
  67 void IoTQuery::decodeQuery() {
  68         int len = strlen(query);
  69         char * str = new char[len + 1];
  70         memcpy(str, query, len + 1);
  71         char *tok_ptr = str;
  72
  73         /* Parse commands */
  74         char *command = strsep(&tok_ptr, "&");
  75         if (strncmp(command, "req=putslot", 11) == 0)
  76                 reqPutSlot = true;
  77         else if (strncmp(command, "req=getslot", 11) == 0)
  78                 reqGetSlot = true;
  79         else if (strncmp(command, "req=setsalt", 11) == 0)
  80                 reqSetSalt = true;
  81         else if (strncmp(command, "req=getsalt", 11) == 0)
  82                 reqGetSalt = true;
  83
  84         /* Load Sequence Number for request */
  85         char *sequencenumber_str = strsep(&tok_ptr, "&");
  86         if (sequencenumber_str != NULL &&
  87                 strncmp(sequencenumber_str, "seq=", 4) == 0) {
  88                 sequencenumber_str = strchr(sequencenumber_str, '=');
  89                 if (sequencenumber_str != NULL) {
  90                         requestsequencenumber = strtoll(sequencenumber_str + 1, NULL, 10);
  91                 }
  92         }
  93
  94         /* don't allow a really old sequence number */
  95         if (requestsequencenumber < oldestentry)
  96                 requestsequencenumber = oldestentry;
  97
  98         /* Update size if we get request */
  99         char * numqueueentries_str = tok_ptr;
 100         if (numqueueentries_str != NULL &&
 101                 strncmp(numqueueentries_str, "max=", 4) == 0) {
 102                 numqueueentries_str = strchr(numqueueentries_str, '=') + 1;
 103                 numqueueentries = strtoll(numqueueentries_str, NULL, 10);
 104         }
 105
 106         delete str;
 107 }
 108
 109 /**
 110  * Helper function to write data to file.
 111  */
 112
 113 void doWrite(int fd, char *data, long long length) {
 114         long long offset = 0;
 115         do {
 116                 long long byteswritten = write(fd, &data[offset], length);
 117                 if (byteswritten > 0) {
 118                         length -= byteswritten;
 119                         offset += byteswritten;
 120                 } else {
 121                         cerr << "Bytes not written" << endl;
 122                         if (byteswritten < 0) {
 123                                 cerr << strerror(errno) << " error writing slot file" << endl;
 124                         }
 125                         return;
 126                 }
 127         } while (length != 0);
 128 }
 129
 130 /** Helper function to read data from file. */
 131 bool doRead(int fd, void *buf, int numbytes) {
 132         int offset = 0;
 133         char *ptr = (char *)buf;
 134         do {
 135                 int bytesread = read(fd, ptr + offset, numbytes);
 136                 if (bytesread > 0) {
 137                         offset += bytesread;
 138                         numbytes -= bytesread;
 139                 } else
 140                         return false;
 141         } while (numbytes != 0);
 142         return true;
 143 }
 144
 145 /**
 146  * Function that handles a getSlot request.
 147  */
 148
 149 void IoTQuery::getSlot() {
 150         int numrequeststosend = (int)((newestentry - requestsequencenumber) + 1);
 151         if (numrequeststosend < 0)
 152                 numrequeststosend = 0;
 153         long long numbytes = 0;
 154         int filesizes[numrequeststosend];
 155         int fdarray[numrequeststosend];
 156         int index = 0;
 157         for (long long seqn = requestsequencenumber; seqn <= newestentry; seqn++, index++) {
 158                 struct stat st;
 159                 char *filename = getSlotFileName(seqn);
 160                 if (stat(filename, &st) == 0) {
 161                         fdarray[index] = open(filename, O_RDONLY);
 162                         filesizes[index] = st.st_size;
 163                         numbytes += filesizes[index];
 164                 } else {
 165                         fdarray[index] = -1;
 166                         filesizes[index] = 0;
 167                 }
 168                 delete filename;
 169         }
 170         const char header[] = "getslot";
 171
 172         /* Size is the header + the payload + space for number of requests
 173                  plus sizes of each slot */
 174
 175         long long size = sizeof(header) - 1 + sizeof(numrequeststosend) + 4 * numrequeststosend + numbytes;
 176         char * response = new char[size];
 177         long long offset = 0;
 178         memcpy(response, header, sizeof(header) - 1);
 179         offset += sizeof(header) - 1;
 180         int numreq = htonl(numrequeststosend);
 181         memcpy(response + offset, &numreq, sizeof(numreq));
 182         offset += sizeof(numrequeststosend);
 183         for (int i = 0; i < numrequeststosend; i++) {
 184                 int filesize = htonl(filesizes[i]);
 185                 memcpy(response + offset, &filesize, sizeof(filesize));
 186                 offset += sizeof(int);
 187         }
 188
 189         /* Read the file data into the buffer */
 190         for (int i = 0; i < numrequeststosend; i++) {
 191                 if (fdarray[i] >= 0) {
 192                         doRead(fdarray[i], response + offset, filesizes[i]);
 193                         offset += filesizes[i];
 194                 }
 195         }
 196
 197         /* Send the response out to the webserver. */
 198         sendResponse(response, size);
 199
 200         /* Delete the response buffer and close the files. */
 201         delete response;
 202         for (int i = 0; i < numrequeststosend; i++) {
 203                 if (fdarray[i] >= 0)
 204                         close(fdarray[i]);
 205         }
 206 }
 207
 208 /**
 209  * The method setSalt handles a setSalt request from the client.
 210  */
 211
 212 void IoTQuery::setSalt() {
 213         /* Write the slot data we received to a SLOT file */
 214         char *filename = getSaltFileName();
 215         char * response = new char[1];
 216
 217         if (access(filename, F_OK) == 0)
 218         {
 219                 /* Already Exists */
 220                 response[0] = 1;
 221         }
 222         else
 223         {
 224                 /* Does not exist so create it */
 225                 int saltfd = open(filename, O_CREAT | O_WRONLY, S_IRUSR | S_IWUSR);
 226                 doWrite(saltfd, data, length);
 227                 close(saltfd);
 228                 response[0] = 0;
 229         }
 230
 231
 232         sendResponse(response, 1);
 233
 234         delete filename;
 235         delete response;
 236 }
 237
 238 /**
 239  * The method getSalt handles a setSalt request from the client.
 240  */
 241
 242 void IoTQuery::getSalt() {
 243         /* Write the slot data we received to a SLOT file */
 244         char *filename = getSaltFileName();
 245         int filesize = 0;
 246         struct stat st;
 247         if (stat(filename, &st) == 0) {
 248                 filesize = st.st_size;
 249         } else {
 250                 delete filename;
 251                 return;
 252         }
 253         int saltfd = open(filename, O_RDONLY);
 254         int responsesize = filesize + sizeof(int);
 255         char * response = new char[responsesize];
 256         doRead(saltfd, response + sizeof(int), filesize);
 257         int n_filesize = htonl(filesize);
 258         *((int*) response) = n_filesize;
 259         sendResponse(response, responsesize);
 260         close(saltfd);
 261         delete filename;
 262         delete response;
 263 }
 264
 265 /**
 266  *      The method putSlot handles a putSlot request from the client
 267  */
 268
 269 void IoTQuery::putSlot() {
 270         /* Check if the request is stale and send update in that case.  This
 271                  servers as an implicit failure of the request. */
 272         if (requestsequencenumber != (newestentry + 1)) {
 273                 getSlot();
 274                 return;
 275         }
 276
 277         /* See if we have too many slots and if so, delete the old one */
 278         int numberofliveslots = (int) ((newestentry - oldestentry) + 1);
 279         if (numberofliveslots >=  numqueueentries) {
 280                 removeOldestSlot();
 281         }
 282
 283         /* Write the slot data we received to a SLOT file */
 284         char *filename = getSlotFileName(requestsequencenumber);
 285         int slotfd = open(filename, O_CREAT | O_WRONLY, S_IRUSR | S_IWUSR);
 286         doWrite(slotfd, data, length);
 287         close(slotfd);
 288         delete filename;
 289         newestentry = requestsequencenumber;
 290
 291         /* Update the seuqence numbers and other status file information. */
 292         updateStatusFile();
 293
 294         /* Send response acknowledging success */
 295         char command[] = "putslot";
 296         sendResponse(command, sizeof(command) - 1);
 297 }
 298
 299 /**
 300  * Method sends response.  It wraps in appropriate headers for web
 301  * server.
 302  */
 303
 304 void IoTQuery::sendResponse(char * bytes, int len) {
 305         cout << "Accept-Ranges: bytes\r\n"
 306              << "Content-Length: " << len << "\r\n"
 307              << "\r\n";
 308         cout.write(bytes, len);
 309 }
 310
 311 /**
 312  *      Computes the name for a slot file for the given sequence number.
 313  */
 314
 315 char * IoTQuery::getSlotFileName(long long seqnum) {
 316         int directorylen = strlen(directory);
 317
 318         /* Size is 19 digits for ASCII representation of a long + 4
 319                  characters for SLOT string + 1 character for null termination +
 320                  directory size*/
 321
 322         char * filename = new char[25 + directorylen];
 323         snprintf(filename, 25 + directorylen, "%s/SLOT%lld", directory, seqnum);
 324         return filename;
 325 }
 326
 327 /**
 328  *      Computes the name for a salt file
 329  */
 330
 331 char * IoTQuery::getSaltFileName() {
 332         int directorylen = strlen(directory);
 333
 334         /* Size is 4 characters for SALT string + 1 character for null
 335                  termination + directory size*/
 336
 337         char * filename = new char[6 + directorylen];
 338         snprintf(filename, 6 + directorylen, "%s/SALT", directory);
 339         return filename;
 340 }
 341
 342 /**
 343  *  Removes the oldest slot file
 344  */
 345
 346 void IoTQuery::removeOldestSlot() {
 347         if (oldestentry != 0) {
 348                 char * filename = getSlotFileName(oldestentry);
 349                 unlink(filename);
 350                 delete filename;
 351         }
 352         oldestentry++;
 353 }
 354
 355 /**
 356  * Processes the query sent to the fastcgi handler.
 357  */
 358
 359 void IoTQuery::processQuery() {
 360         getQuery();
 361         getDirectory();
 362         if (!readData())
 363         {
 364                 return;
 365         }
 366
 367
 368         /* Verify that we receive a post request. */
 369         if (strncmp(method, "POST", 4) != 0) {
 370                 cerr << "Not POST Request" << endl;
 371                 return;
 372         }
 373
 374         /* Make sure the directory is okay. */
 375         if (directory == NULL ||
 376                 !checkDirectory()) {
 377                 cerr << "Directory " << directory << " does not exist" << endl;
 378                 return;
 379         }
 380
 381         /* Get queue state from the status file.  If it doesn't exist,
 382                  create it. */
 383         if (!openStatusFile()) {
 384                 cerr << "Failed to open status file" << endl;
 385                 return;
 386         }
 387
 388         /* Lock status file to keep other requests out. */
 389         flock(fd, LOCK_EX);
 390
 391         /* Decode query. */
 392         decodeQuery();
 393
 394         /* Handle request. */
 395         if (reqGetSlot)
 396                 getSlot();
 397         else if (reqPutSlot)
 398                 putSlot();
 399         else if (reqSetSalt)
 400                 setSalt();
 401         else if (reqGetSalt)
 402                 getSalt();
 403         else {
 404                 cerr << "No recognized request" << endl;
 405                 return;
 406         }
 407 }
 408
 409 /**
 410  * Reads in data for request.  This is used for the slot to be
 411  * inserted.
 412  */
 413
 414 bool IoTQuery::readData() {
 415         if (length) {
 416                 data = new char[length + 1];
 417                 memset(data, 0, length + 1);
 418                 cin.read(data, length);
 419         }
 420         do {
 421                 char dummy;
 422                 cin >> dummy;
 423         } while (!cin.eof());
 424
 425         if (length)
 426         {
 427                 if (cin.fail())
 428                 {
 429                         return false;
 430                 }
 431         }
 432
 433         return true;
 434 }
 435
 436
 437 /**
 438  * Reads relevant environmental variables to find out the request.
 439  */
 440
 441 void IoTQuery::getQuery() {
 442         uri = FCGX_GetParam(uri_str, request->envp);
 443         query = FCGX_GetParam(query_str, request->envp);
 444         method = FCGX_GetParam(method_str, request->envp);
 445         iotcloudroot = FCGX_GetParam(iotcloudroot_str, request->envp);
 446
 447         /** We require the content-length header to be sent. */
 448         char * reqlength = FCGX_GetParam(length_str, request->envp);
 449         if (reqlength) {
 450                 length = strtoll(reqlength, NULL, 10);
 451         } else {
 452                 length = 0;
 453         }
 454 }
 455
 456 /**
 457  *  Initializes directory field from environmental variables.
 458  */
 459
 460 void IoTQuery::getDirectory() {
 461         char * split = strchr((char *)uri, '?');
 462         if (split == NULL)
 463                 return;
 464         int split_len = (int) (split - uri);
 465         int rootdir_len = strlen(iotcloudroot);
 466         int directory_len = split_len + rootdir_len + 1;
 467         directory = new char[directory_len];
 468         memcpy(directory, iotcloudroot, rootdir_len);
 469         memcpy(directory + rootdir_len, uri, split_len);
 470         directory[directory_len - 1] = 0;
 471 }
 472
 473 /**
 474  * Helper function that is used to read the status file.
 475  */
 476
 477 int doread(int fd, void *ptr, size_t count, off_t offset) {
 478         do {
 479                 size_t bytesread = pread(fd, ptr, count, offset);
 480                 if (bytesread == count) {
 481                         return 1;
 482                 } else if (bytesread == 0) {
 483                         return 0;
 484                 }
 485         } while (1);
 486 }
 487
 488
 489 /**
 490  * Writes the current state to the status file.
 491  */
 492
 493 void IoTQuery::updateStatusFile() {
 494         pwrite(fd, &numqueueentries, sizeof(numqueueentries), OFFSET_MAX);
 495         pwrite(fd, &oldestentry, sizeof(oldestentry), OFFSET_OLD);
 496         pwrite(fd, &newestentry, sizeof(newestentry), OFFSET_NEW);
 497 }
 498
 499 /**
 500  * Reads in queue state from the status file.  Returns true if
 501  * successful.
 502  */
 503
 504 bool IoTQuery::openStatusFile() {
 505         char statusfile[] = "queuestatus";
 506         int len = strlen(directory);
 507
 508         char * filename = new char[len + sizeof(statusfile) + 2];
 509         memcpy(filename, directory, len);
 510         filename[len] = '/';
 511         memcpy(filename + len + 1, statusfile, sizeof(statusfile));
 512         filename[len + sizeof(statusfile) + 1] = 0;
 513         fd = open(filename, O_CREAT | O_RDWR, S_IRUSR | S_IWUSR);
 514         delete filename;
 515
 516         if (fd < 0) {
 517                 cerr << strerror(errno) << " error opening statusfile" << endl;
 518                 return false;
 519         }
 520
 521         /* Read in queue size, oldest sequence number, and newest sequence number. */
 522         int size;
 523         int needwrite = 0;
 524         if (doread(fd, &size, sizeof(size), OFFSET_MAX))
 525                 numqueueentries = size;
 526         else
 527                 needwrite = 1;
 528
 529         long long entry;
 530         if (doread(fd, &entry, sizeof(entry), OFFSET_OLD))
 531                 oldestentry = entry;
 532         else
 533                 needwrite = 1;
 534
 535         if (doread(fd, &entry, sizeof(entry), OFFSET_NEW))
 536                 newestentry = entry;
 537         else
 538                 needwrite = 1;
 539
 540         if (needwrite)
 541                 updateStatusFile();
 542
 543         return true;
 544 }
 545
 546