Adding Python ML examples of clustering data points.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Few more tests in Main.java

SequenceExtraction.java: work in progress, ignore it.

TcpConversationUtils.java: make SYNs, FINs, and RSTs part of sequence string produced by groupConversationsByPacketSequence(Collection<Conversation>)

TcpReassembler.java: add RST packets to Conversations; check if IP matches 10.0.1.X or 192.168.1.X when creating a new Conversation from a non-SYN packet and initialize client/server end of Conversation accordingly; throw AssertionError instead of IllegalStateException to indicate incorrect internal assumption.

Conversation.java: make Direction enum public, and add toCompactString method.

Conversation.java: add infrastructure for tracking TCP segments which have the RST flag set.

Conversation: replace RuntimeExceptions with AssertionErrors to properly communicate that the error is due to an internal mistake (invalid assumption about set of enum values)

Main.java: add paths for truncated TP Link Plug trace

Stashing preliminary work on sequence extraction

Adding more devices

Adding more devices

Implement a generic version of the sequence alignment algorithm from Kleinberg's and Tardo's 'Algorithm Design'

Adding a new device: Lifx light bulb.

Adding one more entry in clicker.sh and Main.java

Adding Kwikset doorlock.

Updating automation clicker.sh

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Changing Main.java

Added grouping of conversations by sequence identifeir

Adding paths etc.

TrafficLabeler.java: provide functionality for extracting labeled traffic grouped by hostname.
Main.java: add + update filepaths; add code for grouping ONs and OFFs sequence counts.
TriggerTrafficExtractor.java: change inclusion window to 20 seconds.
UserAction.java: overwrite toString() for debugging purposes.

TrafficLabeler.java: implemented support for exporting the labeled traffic in different representations (for example as reassembled TCP conversations).
Main.java: invoke TrafficLabeler to get the set of TCP conversations per user action.
TriggerTrafficExtractor.java: change inclusion interval to 10 seconds.

Main.java: add paths to Wemo data files

Main.java: add paths to TP-Link Bulb data

invoke TrafficLabeler from Main.java (ignoring results for now)

First attempt at labeling traffic with user actions

Updating the automation script clicker.sh

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

TcpConversationUtils.java and Main.java: add support for counting packet pair frequencies per hostname; switch filepaths to point to D-Link files.

Main.java: change filepaths to point to TPLink july experiment.

TriggerTrafficExtractor.java: simplify packet inclusion logic (shouldIncludePacket) -- NOTE: this comes with a high cost as it is an inefficient implementation compared to the previous one -- revert to previous implementation once its correctness has been verified.

TriggerTimesFileReader.java: use try-with such that trigger times file is properly closed after use

Upate date format to match format used in timestamp files produced by experiment script

Main.java: re-add counting of statistics using TcpConversationUtils

Main.java: cleanup - leave only code for extracting traffic generated by a device within x seconds of a trigger

Main.java: cleanup - get rid of old, commented sample/debug code

Main.java: delete code that would compute statistics of conversations (now in separate class)

TcpConversationUtils.java: add some utility functions for counting frequencies (of packet lengths)

TcpConversationUtils.java: added Javadoc

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding coordinates for the SmartThings app button.

TcpReassembler.java: bugfix: make mTerminatedConversations a list instead of prevent older conversations from being overwritten when an ephemeral port number is reused in communication between the same two hosts

Implement grouping of conversations by hostname

Main.java: count packet length frequencies and packet sequence frequencies; use 24+h tplink pcap file

PcapHandleReader: count and print (to std.err) the number of packets that appear out of order

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Adding more formatting/information into clicker.sh script.

Added script for prepending dates to the timestamp files

Main.java: extracting pairs related to events.tplinkra.com

Make DnsMap implement PacketListener in order to allow it to be used with PcapHandleReader

Main.java: perform TCP reassembly and extract packet pairs.

Cleanup: Refactor PcapHandleReader to io package.

Correct TcpReassembler to implement PacketListener interface instead of PcapPacketConsumer interface deleted in last commit. Remove import of deleted PcapProcessingPipeline in Main.java

Delete PcapReader.java, PcapProcessingPipeline.java and PcapPacketConsumer.java

Perform trigger traffic extraction on data from Feb 13 experiment

Move trigger time file reader to separate class and convert to Java 8 time instead of deprecated java date-time api.

Javadoc for PcapHandleReader constructor.

TriggerTrafficExtractor: clean up

Some work-in-progress code for extracting trigger traffic

Sketch code for extracting packet pairs (unfinished - unsure how to apply it to reconstructed tcp conversations).

TcpReassembler: Provide method for retreiving reassembled conversations

PcapReader: provide parameter for specifying a Berkeley Packet Filter

Move PcapProcessingPipeline to different package.

Conversation: ensure packets are added to list in descending order of their timestamps.

Code for reassembling TCP streams. Not thoroughly tested, but seems to work for a simple, small pcap file

Add code for recording SYN packets in Conversation.

Bug-fix: Use seperate, direction-dependent sets of sequence numbers (used when determining if a segment is a retransmission) as client and server may (after a while) end up using a sequence number that the other party has already used for sending a packet in the opposite direction.

Experimenting with reverse engineered TP-link API

A few more changes for capturing pairs.

Adding timestamp checks into the packet filtering for obtaining datapoints.

Getting pairs of packets from the client-server communications.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

Using adb to click automatically on Android app; enabling automation

First (rushed) implementation of pattern seach at the MAC layer. Not pretty, but seems functional.

correct typo

Added sub sequence search function, and put this into effect; seems to work just fine. Added subset pcap trace of TP_LINK_LOCAL_ON.

Clean up

Put checks for explicit termination of conversation to use in FlowPatternFinder.

add method for checking if a Conversation has been gracefully shut down.

Prepare a data structure for keeping track of FIN and their corresponding ACK packets. This is to be used for detecting when a connection is (gracefully) shut down.

fix typo in javadoc keyword

Adding feature to hold multiple hostnames and lists of packet orders in FlowPattern, but keeping the old method of searching patterns (i.e. just one hostname and one pattern) for now---need to think more carefully so that we won't break stuff.

Merge branch 'master' of https://github.uci.edu/rtrimana/smart_home_traffic

# Conflicts:
# Code/Projects/SmartPlugDetector/src/main/java/edu/uci/iotproject/FlowPatternFinder.java
# Code/Projects/SmartPlugDetector/src/main/java/edu/uci/iotproject/Main.java

Clean up + read filename from program args; default to Rahmadi's hardcoded test file if no program args provided.

Major revamp of FlowPatternFinder to ensure thread safety. Added generic structure for comparison code which should allow for easy plugin of more sophisticated comparison algorithm later on.

Move retransmission checks to Conversation class.

Adding pre-processing for training set---we take packet lengths directly from a training set pcap file for FlowPattern.

Add getPackets to Conversation's API.

Extract Conversation to separate file (i.e. it is no longer an inner class). Add List of associated packets to Conversation class. Add Javadoc. Reformat variable names to match android convetions (indicating member variables by prefixing these with 'm').

Adding pcap files for remote ON and remote ON charging cases.

Adding combined PCAP (local and remote) to test out the algorithm- it successfully detects the only pattern specified in the FlowPattern class.

Separating pattern collection and analysis into 2 different threads.

Making retransmission check O(1) using HashSet/Set.

Refactoring and restructuring - Adding DnsMap class

Filter out retransmissions when reconstructing TCP flows. Now able to detect all local ON events in wlan1.local.dns.pcap.

Update pcap4j to v2.0.0-alpha to get access to packet timestamps (and possibly TCP session reassembly at a later stage). Now prints the timestamp for the occurrence of a complete match in the trace.

1) Skip zero-payload packets when reassemlbing conversations from individual packets. 2) Hardcode TP-Link Local ON pattern. 3) Rushed implementation that finds complete matches of the pattern.

First small step towards pattern search: separate packets related to packet into separate lists, one list for each conversation/session.