To enable easy changes to the application main entry point when executed using gradle run, main class must now be provided as a system property when using the gradle run task. Sample use: gradlew run -DmainClass=edu.uci.iotproject.evaluation.DetectionResultsAnalyzer --args="arg1 arg2"

Rename script that performs detection on all smarthome traces.

Add script that executes layer2 detection on all smarthome traces (traces where one device is active, and the remaining devices are powered on, but idle)

Update Layer2 detection to only allow one sequence matcher in each state for each flow.

Backing up first working version of layer 2 signature detection. Lacks functionality that prevents having multiple signature matchers in the same state and/or filtering. Also needs cleanup.

Add utility for analyzing the success of a detection run

Extract ClusterMatcherObserver interface to separate file and move code that handles observer (de-)registration to AbstractClusterMatcher.

Layer2SequenceMatcher: check packet directions when matching sequence.

Make original ClusterMatcher inherit from AbstractClusterMatcher. Reorganize code by adding subpackages for layer2 and layer3 detection.

Reorganize code by creating a package for code that reassembles traffic flows at different layers

Cleanup of layer 2 sequence detection: get rid of some experimental classes

First work on layer 2 sequence matching. Basic functionality seems to work. Cleanup needed.

Checking in new files and new entries for Blossom sprinkler.

Clearing up conflicts.

Merging changes.

SignatureDetector: get filenames from program arguments in order to make execution on Zeus simpler (avoid push + pull whenever we explore a new signature on a new file)

added a hacky solution for extracting a sanity-check signature to be run against negative test sets

IMPORTANT BUGFIX: consider FULL range of local IPs when determining clietnIsSrc in TcpReassembler

Point Zeus to ST plug signatures

Add output that displays what files are in use; point Zeus to kwikset signatures.

Prepare code for execution on Zeus (including upping mem limit to 300gigs)

Revert back to full MondayWorkhours file; increase Xmx to 64GB as default when run using gradle run

Prepare code for execution on Hera (networking group server)

Adding WeMo Inisght paths for experimental setup.

Adding WeMo plugs' paths for experimental results.

Adding new smart home devices into the experiment.

Adding new devices under test.

Adding more devices into the experimental setup.

Adding more execution parameters for experimental results (evaluation).

prune clusters in order to allow detection of different pairs in same connection

Adding a method to delete a bad sequence in a signature after we test the produced signature file against its own PCAP file---one case like this is the Nest Thermostat.

Fixing curl for twitter.com in browser.sh.

Adding more websites to the fake browser.

Adding a dummy browser script.

Temporary fix for router's IP as client for WAN trace and paths for new tests for devices.

Making sure that merging would fail if there is a situation where two sequences are sometimes adjacent and sometimes aren't. The detection part will detect these, instead, as separate ordered sequences (that are in one TCP connection).

Checking in new code for signature generation; Arlo has a signature for camera on/off! :)

Adding a temporary cleanup for duplicate timestamps due to ON and OFF signatures having the same sequences (and thus the same event is detected and printed twice).

Adding array out of bound check for timestamps comparison.

Testing the flow starting from D-Link plug for training and signature generation.

Adding files for training for paper evaluation.

Adding PCAP file for no-activity.

Adding a script to compare 2 timestamps files to validate the detection process.

SignatureDetector: add paths to dlink plug evaluation experiment

TcpReassembler: skip non-IPv4 traffic; SignatureDetector: add paths to d-link evaluation experiment

Fixing conflict for SignatureDetector.java.

Committing local changes.

add filepaths for dlink siren and dlink plug to SignatureDetector's embedded test client

SignatureDetector.java cleanup: remove initial attempts at algorithm; add some javadoc.

Added SignatureDetector which can detect signatures spanning multiple TCP connections

ClusterMatcher.java: cleanup; add javadoc; change signature of observer interface

rename SignatureDetector to ClusterMatcher

Adding the serializer/deserializer for the entire signature.

SignatureDetector.java: now also detects when the same sequence occurs multiple times in the same conversation.

backing up first "working" version of SignatureDetector; note that this version does not manage to capture those cases where the signature appears multiple times in the same TCP Conversation.

SignatureDetector.java: closer towards final implementation (e.g., also check packet direction when detecting signatures)

PcapPacketUtils.java: change implementation of getSourceIp(PcapPacket) to throw a NullPointerException instead of returning null if the provided packet does not contain an IpV4Packet; add implementations of getDestinationIp(PcapPacket), isSrcIpLocal(PcapPacket), isDstIpLocal(PcapPacket), getIpV4PacketOrThrow(PcapPacket).

Adding signature sorting by timestamps.

Performance bug found---unnecessary outer loop introduced.

[minor work in progress]

preliminary work on signature detection

Adding signature combining; we can improve the performance later by requiring that the Conversation list should always be sorted based on timestamps.

Support for starting a live capture.
Support for terminating PcapHandleReader.

Only taking signatures in the range of trigger+/-5; pad with null if the second element of the pair is null.

Adding the basic signature harvesting (i.e., also saving to and reading back from signature files).

Resolving conflict.

Adding noise diff code.

Finished java-based clustering implementation (note: had to move Clusterable implementation to PcapPacketPair and get rid of PcapPacketPairWrapper).

PcapPacketPairWrapper: add boolean value for toggling between simplistic and sophisticated source matching

changes to .iml file that didn't make it into last commit (rebase action)

Add Apache Commons Math as dependency and implement first version of PcapPacketPairWrapper to allow for clustering in Java

New scripts to cluster based on C->S/S->C direction filter; improving the plot's appearance in terms of scaling etc.

Printing directions in the toCSV() method in PrintUtils

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Committing changes for merging.

Bugfix: fix null-pointer when formatting PcapPacketPairs as CSV

Added support for extracting packet pairs of only TLS Application Data packets (see TcpConversationUtils.extractTlsAppDataPacketPairs(Conversation)). Added support for converting PcapPacketPairs to CSV string (see PrintUtils.java).

Adding a proof of concept for clustering with source and destination (4 dimensional instead of 2 dimensional).

Fixing scripts and adding a script to create diff plot between two lists of datapoints.

Adding info about TP-Link bulb device IP.

Adding some changes related to the second batch of experiments to cluster pairs.

Improving colors and looks of graph plots.

Merging changes.

Adding pair checking into the pairing process

Do some refactoring to prevent code duplication; change string sequence generation/grouping to utilize Stream API.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding plotting scriptto plot both on and off plots at once.

Merging

Adding plotting using DBSCAN

Conversation.java: added unconvetional TLS ports used by WeMo plugs and LiFX bulbs to isTls()

Some exploratory work on extracting TLS App Data sequence

TcpConversationUtils.java: add method for grouping conversations by TLS Application Data sequence; add method for getting packet length sequence for TLS Application data.

Adding more checks for Application Data; basically if a packet has the Application Data type (=23) and it exceeds the MTU size 1514, then the next packet should be Application Data packet as well.

Simple Python script to plot datapoints based on clusters.

Extracting Application Data pairs into files for ON/OFF events.

Adding a boolean variable to choose between the verbose or the concise version of the packet lengths string.

Conversation.java: implemented logging of TLS application data packets.

Adding plotting of points with centroid coordinates and frequencies.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding Python ML examples of clustering data points.