Fixing scripts and adding a script to create diff plot between two lists of datapoints.

Adding info about TP-Link bulb device IP.

Adding some changes related to the second batch of experiments to cluster pairs.

Improving colors and looks of graph plots.

Merging changes.

Adding pair checking into the pairing process

Do some refactoring to prevent code duplication; change string sequence generation/grouping to utilize Stream API.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding plotting scriptto plot both on and off plots at once.

Merging

Adding plotting using DBSCAN

Conversation.java: added unconvetional TLS ports used by WeMo plugs and LiFX bulbs to isTls()

Some exploratory work on extracting TLS App Data sequence

TcpConversationUtils.java: add method for grouping conversations by TLS Application Data sequence; add method for getting packet length sequence for TLS Application data.

Adding more checks for Application Data; basically if a packet has the Application Data type (=23) and it exceeds the MTU size 1514, then the next packet should be Application Data packet as well.

Simple Python script to plot datapoints based on clusters.

Extracting Application Data pairs into files for ON/OFF events.

Adding a boolean variable to choose between the verbose or the concise version of the packet lengths string.

Conversation.java: implemented logging of TLS application data packets.

Adding plotting of points with centroid coordinates and frequencies.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding Python ML examples of clustering data points.

SequenceExtration.java: finish up naive implementation of extract(...) and move to seqalignment subpackage.
Main.java: add code for exploring the number of false positives for sequence alignment.
TcpConversationUtils.java: move implementation of getPacketLengthSequence(Conversation) to this class from SequenceExtraction as it is a generally useful util method.

update to gradle 4.9

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Few more tests in Main.java

SequenceExtraction.java: work in progress, ignore it.

TcpConversationUtils.java: make SYNs, FINs, and RSTs part of sequence string produced by groupConversationsByPacketSequence(Collection<Conversation>)

TcpReassembler.java: add RST packets to Conversations; check if IP matches 10.0.1.X or 192.168.1.X when creating a new Conversation from a non-SYN packet and initialize client/server end of Conversation accordingly; throw AssertionError instead of IllegalStateException to indicate incorrect internal assumption.

Conversation.java: make Direction enum public, and add toCompactString method.

Conversation.java: add infrastructure for tracking TCP segments which have the RST flag set.

Conversation: replace RuntimeExceptions with AssertionErrors to properly communicate that the error is due to an internal mistake (invalid assumption about set of enum values)

Main.java: add paths for truncated TP Link Plug trace

Stashing preliminary work on sequence extraction

Adding more devices

Adding more devices

Implement a generic version of the sequence alignment algorithm from Kleinberg's and Tardo's 'Algorithm Design'

Adding a new device: Lifx light bulb.

Adding one more entry in clicker.sh and Main.java

Adding Kwikset doorlock.

Updating automation clicker.sh

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Changing Main.java

Added grouping of conversations by sequence identifeir

Adding paths etc.

TrafficLabeler.java: provide functionality for extracting labeled traffic grouped by hostname.
Main.java: add + update filepaths; add code for grouping ONs and OFFs sequence counts.
TriggerTrafficExtractor.java: change inclusion window to 20 seconds.
UserAction.java: overwrite toString() for debugging purposes.

TrafficLabeler.java: implemented support for exporting the labeled traffic in different representations (for example as reassembled TCP conversations).
Main.java: invoke TrafficLabeler to get the set of TCP conversations per user action.
TriggerTrafficExtractor.java: change inclusion interval to 10 seconds.

Main.java: add paths to Wemo data files

Main.java: add paths to TP-Link Bulb data

invoke TrafficLabeler from Main.java (ignoring results for now)

First attempt at labeling traffic with user actions

Updating the automation script clicker.sh

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

TcpConversationUtils.java and Main.java: add support for counting packet pair frequencies per hostname; switch filepaths to point to D-Link files.

Main.java: change filepaths to point to TPLink july experiment.

TriggerTrafficExtractor.java: simplify packet inclusion logic (shouldIncludePacket) -- NOTE: this comes with a high cost as it is an inefficient implementation compared to the previous one -- revert to previous implementation once its correctness has been verified.

TriggerTimesFileReader.java: use try-with such that trigger times file is properly closed after use

Upate date format to match format used in timestamp files produced by experiment script

Main.java: re-add counting of statistics using TcpConversationUtils

Main.java: cleanup - leave only code for extracting traffic generated by a device within x seconds of a trigger

Main.java: cleanup - get rid of old, commented sample/debug code

Main.java: delete code that would compute statistics of conversations (now in separate class)

TcpConversationUtils.java: add some utility functions for counting frequencies (of packet lengths)

TcpConversationUtils.java: added Javadoc

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding coordinates for the SmartThings app button.

TcpReassembler.java: bugfix: make mTerminatedConversations a list instead of prevent older conversations from being overwritten when an ephemeral port number is reused in communication between the same two hosts

Implement grouping of conversations by hostname

Main.java: count packet length frequencies and packet sequence frequencies; use 24+h tplink pcap file

PcapHandleReader: count and print (to std.err) the number of packets that appear out of order

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding more formatting/information into clicker.sh script.

Added script for prepending dates to the timestamp files

Main.java: extracting pairs related to events.tplinkra.com

Make DnsMap implement PacketListener in order to allow it to be used with PcapHandleReader

Main.java: perform TCP reassembly and extract packet pairs.

Cleanup: Refactor PcapHandleReader to io package.

Correct TcpReassembler to implement PacketListener interface instead of PcapPacketConsumer interface deleted in last commit. Remove import of deleted PcapProcessingPipeline in Main.java

Delete PcapReader.java, PcapProcessingPipeline.java and PcapPacketConsumer.java

Perform trigger traffic extraction on data from Feb 13 experiment

Move trigger time file reader to separate class and convert to Java 8 time instead of deprecated java date-time api.

Javadoc for PcapHandleReader constructor.

TriggerTrafficExtractor: clean up

Some work-in-progress code for extracting trigger traffic

Sketch code for extracting packet pairs (unfinished - unsure how to apply it to reconstructed tcp conversations).

TcpReassembler: Provide method for retreiving reassembled conversations

PcapReader: provide parameter for specifying a Berkeley Packet Filter

Move PcapProcessingPipeline to different package.

Conversation: ensure packets are added to list in descending order of their timestamps.

Code for reassembling TCP streams. Not thoroughly tested, but seems to work for a simple, small pcap file

Add code for recording SYN packets in Conversation.

Bug-fix: Use seperate, direction-dependent sets of sequence numbers (used when determining if a segment is a retransmission) as client and server may (after a while) end up using a sequence number that the other party has already used for sending a packet in the opposite direction.

Experimenting with reverse engineered TP-link API

A few more changes for capturing pairs.

Adding timestamp checks into the packet filtering for obtaining datapoints.

Getting pairs of packets from the client-server communications.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Using adb to click automatically on Android app; enabling automation

First (rushed) implementation of pattern seach at the MAC layer. Not pretty, but seems functional.

correct typo