parser/parse_inter_arrival_time.py

   1 #!/usr/bin/python
   2
   3 """
   4 Script that takes a file (output by wireshark/tshark, in JSON format) and analyze
   5 the packet inter-arrival times of a certain device at a certain time.
   6 """
   7
   8 import sys
   9 import json
  10 import numpy as np
  11 from collections import defaultdict
  12 from dateutil import parser
  13 from decimal import *
  14
  15 JSON_KEY_SOURCE = "_source"
  16 JSON_KEY_LAYERS = "layers"
  17
  18 JSON_KEY_ETH = "eth"
  19 JSON_KEY_ETH_DST = "eth.dst"
  20 JSON_KEY_ETH_SRC = "eth.src"
  21 JSON_KEY_FRAME = "frame"
  22 JSON_KEY_FRAME_TIME = "frame.time_epoch"
  23 TABLE_HEADER_X = "Packet number"
  24 TABLE_HEADER_Y = "Time (seconds)"
  25 INCOMING_APPENDIX = "_incoming"
  26 OUTGOING_APPENDIX = "_outgoing"
  27 FILE_APPENDIX = ".dat"
  28
  29
  30 def save_to_file(tblheader, timestamp_list, filenameout):
  31     """ Show summary of statistics of PCAP file
  32         Args:
  33             tblheader: header for the saved table
  34             dictionary: dictionary to be saved
  35             filename_out: file name to save
  36     """
  37     # Appending, not overwriting!
  38     f = open(filenameout, 'a')
  39     # Write the table header
  40     f.write("# " + tblheader + "\n")
  41     f.write("# " + TABLE_HEADER_X + " " + TABLE_HEADER_Y + "\n")
  42     # Write "0 0" if dictionary is empty
  43     if not timestamp_list:
  44         f.write("0 0")
  45         f.close()
  46         print "Writing zeroes to file: ", filenameout
  47         return
  48     ind = 0
  49     # Iterate over list and write index-value pairs
  50     for val in timestamp_list:
  51         # Space separated
  52         f.write(str(ind) + " " + str(timestamp_list[ind]) + "\n")
  53         ind += 1
  54     f.close()
  55     print "Writing output to file: ", filenameout
  56
  57
  58 def main():
  59     """ Main function
  60     """
  61     if len(sys.argv) < 5:
  62         print "Usage: python", sys.argv[0], "<input_file> <output_file> <device_name> <mac_address>"
  63         return
  64     # Parse the file for the specified MAC address
  65     timestamplist_incoming = parse_json(sys.argv[1], sys.argv[4])
  66     # Write statistics into file
  67     print "====================================================================="
  68     print "==> Analyzing incoming traffic ..."
  69     save_to_file(sys.argv[3] + INCOMING_APPENDIX, timestamplist_incoming, sys.argv[2] + INCOMING_APPENDIX + FILE_APPENDIX)
  70     print "====================================================================="
  71     #print "==> Analyzing outgoing traffic ..."
  72     #save_to_file(sys.argv[3] + OUTGOING_APPENDIX, timestamplist_outgoing, sys.argv[2] + OUTGOING_APPENDIX + FILE_APPENDIX)
  73     #print "====================================================================="
  74
  75
  76 # Convert JSON file containing DNS traffic to a map in which a hostname points to its set of associated IPs.
  77 def parse_json(filepath, macaddress):
  78     """ Show summary of statistics of PCAP file
  79         Args:
  80             filepath: path of the read file
  81             macaddress: MAC address of a device to analyze
  82     """
  83     # Maps timestamps to frequencies of packets
  84     timestamplist = list()
  85     with open(filepath) as jf:
  86         # Read JSON.
  87         # data becomes reference to root JSON object (or in our case json array)
  88         data = json.load(jf)
  89         # Loop through json objects in data
  90         # Each entry is a pcap entry (request/response (packet) and associated metadata)
  91         # Preserve two pointers prev and curr to iterate over the timestamps
  92         prev = None
  93         curr = None
  94         for p in data:
  95             # p is a JSON object, not an index
  96             layers = p[JSON_KEY_SOURCE][JSON_KEY_LAYERS]
  97             # Get timestamp
  98             frame = layers.get(JSON_KEY_FRAME, None)
  99             timestamp = Decimal(frame.get(JSON_KEY_FRAME_TIME, None))
 100             # Get into the Ethernet address part
 101             eth = layers.get(JSON_KEY_ETH, None)
 102             # Skip any non DNS traffic
 103             if eth is None:
 104                 print "[ WARNING: Packet has no ethernet address! ]"
 105                 continue
 106             # Get source and destination MAC addresses
 107             src = eth.get(JSON_KEY_ETH_SRC, None)
 108             dst = eth.get(JSON_KEY_ETH_DST, None)
 109             # Get and count the traffic for the specified MAC address
 110             if dst == macaddress:
 111                 # Check if timestamp already exists in the map
 112                 # If yes, then just increment the frequency value...
 113                 print str(timestamp) + " - src:" + str(src) + " - dest:" + str(dst)
 114                 curr = timestamp
 115                 if prev is not None:
 116                     inter_arrival_time = curr - prev
 117                     timestamplist.append(inter_arrival_time)
 118                 prev = curr
 119
 120     return timestamplist
 121
 122
 123 if __name__ == '__main__':
 124     main()
 125