TcpReassembler.java: bugfix: make mTerminatedConversations a list instead of prevent older conversations from being overwritten when an ephemeral port number is reused in communication between the same two hosts

Implement grouping of conversations by hostname

Main.java: count packet length frequencies and packet sequence frequencies; use 24+h tplink pcap file

PcapHandleReader: count and print (to std.err) the number of packets that appear out of order

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding more formatting/information into clicker.sh script.

Added script for prepending dates to the timestamp files

Main.java: extracting pairs related to events.tplinkra.com

Make DnsMap implement PacketListener in order to allow it to be used with PcapHandleReader

Main.java: perform TCP reassembly and extract packet pairs.

Cleanup: Refactor PcapHandleReader to io package.

Correct TcpReassembler to implement PacketListener interface instead of PcapPacketConsumer interface deleted in last commit. Remove import of deleted PcapProcessingPipeline in Main.java

Delete PcapReader.java, PcapProcessingPipeline.java and PcapPacketConsumer.java

Perform trigger traffic extraction on data from Feb 13 experiment

Move trigger time file reader to separate class and convert to Java 8 time instead of deprecated java date-time api.

Javadoc for PcapHandleReader constructor.

TriggerTrafficExtractor: clean up

Some work-in-progress code for extracting trigger traffic

Sketch code for extracting packet pairs (unfinished - unsure how to apply it to reconstructed tcp conversations).

TcpReassembler: Provide method for retreiving reassembled conversations

PcapReader: provide parameter for specifying a Berkeley Packet Filter

Move PcapProcessingPipeline to different package.

Conversation: ensure packets are added to list in descending order of their timestamps.

Code for reassembling TCP streams. Not thoroughly tested, but seems to work for a simple, small pcap file

Add code for recording SYN packets in Conversation.

Bug-fix: Use seperate, direction-dependent sets of sequence numbers (used when determining if a segment is a retransmission) as client and server may (after a while) end up using a sequence number that the other party has already used for sending a packet in the opposite direction.

Experimenting with reverse engineered TP-link API

A few more changes for capturing pairs.

Adding timestamp checks into the packet filtering for obtaining datapoints.

Getting pairs of packets from the client-server communications.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Using adb to click automatically on Android app; enabling automation

First (rushed) implementation of pattern seach at the MAC layer. Not pretty, but seems functional.

correct typo

Added sub sequence search function, and put this into effect; seems to work just fine. Added subset pcap trace of TP_LINK_LOCAL_ON.

Clean up

Put checks for explicit termination of conversation to use in FlowPatternFinder.

add method for checking if a Conversation has been gracefully shut down.

Prepare a data structure for keeping track of FIN and their corresponding ACK packets. This is to be used for detecting when a connection is (gracefully) shut down.

fix typo in javadoc keyword

Adding feature to hold multiple hostnames and lists of packet orders in FlowPattern, but keeping the old method of searching patterns (i.e. just one hostname and one pattern) for now---need to think more carefully so that we won't break stuff.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

# Conflicts:
# Code/Projects/SmartPlugDetector/src/main/java/edu/uci/iotproject/FlowPatternFinder.java
# Code/Projects/SmartPlugDetector/src/main/java/edu/uci/iotproject/Main.java

Clean up + read filename from program args; default to Rahmadi's hardcoded test file if no program args provided.

Major revamp of FlowPatternFinder to ensure thread safety. Added generic structure for comparison code which should allow for easy plugin of more sophisticated comparison algorithm later on.

Move retransmission checks to Conversation class.

Adding pre-processing for training set---we take packet lengths directly from a training set pcap file for FlowPattern.

Add getPackets to Conversation's API.

Extract Conversation to separate file (i.e. it is no longer an inner class). Add List of associated packets to Conversation class. Add Javadoc. Reformat variable names to match android convetions (indicating member variables by prefixing these with 'm').

Adding pcap files for remote ON and remote ON charging cases.

Adding combined PCAP (local and remote) to test out the algorithm- it successfully detects the only pattern specified in the FlowPattern class.

Separating pattern collection and analysis into 2 different threads.

Making retransmission check O(1) using HashSet/Set.

Refactoring and restructuring - Adding DnsMap class

Filter out retransmissions when reconstructing TCP flows. Now able to detect all local ON events in wlan1.local.dns.pcap.

Update pcap4j to v2.0.0-alpha to get access to packet timestamps (and possibly TCP session reassembly at a later stage). Now prints the timestamp for the occurrence of a complete match in the trace.

1) Skip zero-payload packets when reassemlbing conversations from individual packets. 2) Hardcode TP-Link Local ON pattern. 3) Rushed implementation that finds complete matches of the pattern.

First small step towards pattern search: separate packets related to packet into separate lists, one list for each conversation/session.

Converted IP to hostname map from Map<String,List<String>> to Map<String,Set<String>> to prevent multiple entries of the same hostname showing up for the same IP. Added some javadoc. Removed KataiStruct packet representations.

Add functional code that loads a pcap file and constructs the IP->hostname map/dictionary. Note that the map is actually of type Map<String, List<String>> as the trace contains cases where ONE IP maps to MULTIPLE hostnames. Bug in current implementation: the map should be changed to Map<String, Set<String>> to prevent the same hostname from showing up in the list multiple times (occurs when a set of DNS queries return the same IP).

Kaitai parser half baked; there seems to be a problem with the parsing of DNS packets (missing type A addresses in the data structure).

Managed to pick and parse DNS packets; but, still need to get the detailed information from inside the packet.

Reading and parsing through packets; handling unwanted packets; ready to create a good parser to create a nice data structure.

Skipping packets that do not have etherType, e.g. XID, EAPOL, etc.

Fixing build flow (broken because of a missing return statement).

Resolving merge conflict in Main.java

Adding the Kaitai library to parse PCAP files.

add notes

apply application plugin

add project for Smart Plug detection

Updating coloring for graphs.

Changing Packet Bytes into Traffic Volume in the generated time series graphs.

More scripts to plot graphs with labels.

SIGCOMM paper template

Adjustments for the addition of eth1 for SmartThings plug

Fixing G.nodes() iteration that needs us to force Python to create a copy for iteration condition by adding list()

Removing main_flow.sh; fixing flow to take time series plots from non DNS data

Working scripts and plots for 4 devices (smart plugs)

Adding combining plots script

Completing a new flow that will do automated analysis and graph generation for one device

Adding a new flow to yield per device data, analysis, and graphs.

Removing bipartite_iot_web_gexf_generator.py; the bipartite feature has been merged into base_gexf_generator.py

Merging bipartite functionality into the main base_gexf_generator.py script

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding the seconds in which there is 0 packet so that we will see the graph being plotted from 0

update base_gexf_generator with islocal node attribute
changes to networkx neighbors call - needs more updates
add flag for producing local-only graphs

Bipartite generator:
- Skip non IP traffic.
- Guard against cases where the device does not perform DNS lookups (or DNS lookups that occurred before data collection started).

Add bipartite graph generator. Needs to be merged with Rahmadi's changes to the base generator (I was unable to pull when implementing this functionaliy).

Adding binning capabilities to parse_packet_frequency.py script to smoothen and emphasize certain packet frequencies in the graph

Adding packet sizes and send/received bytes plots/analyses

Adding new analysis - incoming (not yet including outgoing) packets inter-arrival time

Adding traffic volume information into edges

Collapsing leaf nodes if they have the same set of protocols

Adding protocols as the property of edges; simplifying protocol tracking through scanning the frame.protocols field

Adding excluded devices list; Adding protocol names; restructuring, cleaning-up etc.

Establishing basic flow for the complete graph processing

Update base_gefx_generator.py to new pipeline

Separating incoming and outgoing traffic for a more fine-grained analysis

Adding moving window average using numpy library

Adding moving window average using numpy library

Completing flow for time series graph generation