swsnu / bd2017 Goto Github PK

안녕하세요. 몇몇 수강생 분들께서 YARN install하는데 난항을 겪고 계신다는 제보를 받았습니다.

YARN install을 하도 여러 번 하다보니 official site의 guide가 충분했던 것으로 기억이 왜곡되었는데
고생하시는 분들이 계신 것 같아서 도움이 되셨으면 하는 마음에 예전에 작성한 guide를 공유해 드립니다.

참고로 말씀드리면 아래는 Mac 환경에서 Java 7 / Hadoop 2.2.0에 대한 guide입니다만 Java 8, Hadoop 2.7 version에서도 썩 잘 동작했던 것으로 기억합니다.

=====

Set up Hadoop 2.2.0

Install Java 7

• Download Java 7 here
• Add export JAVA_HOME=$(/usr/libexec/java_home) in ~/.bash_profile
• Type source ~/.bash_profile to apply the change. Then echo $JAVA_HOME gives you the result like this

/Library/Java/JavaVirtualMachines/jdk1.7.0_51.jdk/Contents/Home		

Please make sure java -version gives you the same version of Java.

java version "1.7.0_51"		
Java(TM) SE Runtime Environment (build 1.7.0_51-b13)		
Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)		

Download Hadoop

• Download Hadoop 2.2.0 in Apache Download Mirrors
• Unpack in a directory you want. Your home directory(/Users/{username}) or /usr/local are normal choice.

PATH Variables

It is a quite tricky part. If you encounter a problem related the PATH variables and google it, you may find a bunch of answers which vary a lot. This was very confusing and followings are maybe quite small values to be set necessarily.

• HADOOP_HOME
• YARN_HOME : YARN_HOME=$HADOOP_HOME
• REEF_HOME

Next, you add a line - export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin for convenience. After setting this, you can execute hadoop or hdfs command without not providing full path of the program.

Configurations

In $HADOOP_HOME/etc/hadoop, you can find the configuration scripts and files - hadoop-env.sh, yarn-env.sh, core-site.xml, hdfs-site.xml, mapred-site.xml, yarn-site.xml, etc. We will run hadoop in pseudo-distributed mode and followings are options for pseudo-distributed mode.

• hadoop-env.sh, yarn-env.sh : you can leave these files if you set correct HADOOP_HOME and YARN_HOME.
• core-site.xml

<configuration>		
	<property>		
		<name>fs.defaultFS</name>		
		<value>hdfs://localhost:9000</value>		
	</property>		
</configuration>					

• hdfs-site.xml

<configuration>		
	<property>		
		<name>dfs.replication</name>		
		<value>1</value>		
	</property>		
	<property>		
   		<name>dfs.namenode.name.dir</name>		
   		<value>file:/usr/local/hadoop-2.2.0/dfs/name</value>		
 	</property>		
 	<property>		
   		<name>dfs.datanode.data.dir</name>		
   		<value>file:/usr/local/hadoop-2.2.0/dfs/data</value>		
 	</property>		
</configuration>					

• mapred-site.xml

<configuration>		
	<property>		
		<name>mapred.job.tracker</name>		
		<value>localhost:9001</value>		
	</property>		
</configuration>		

• yarn-site.xml

<configuration>		
	<property>		
		<name>yarn.resourcemanager.address</name>		
		<value>localhost:8032</value>		
	</property>		
</configuration>		

Starting the daemons

• In Pseudo-distributed mode, SSH is required and you should make sure that SSH is installed.
• To start the HDFS and YARN daemons, type:

$ $HADOOP_HOME/sbin/start-dfs.sh && $HADOOP_HOME/sbin/start-yarn.sh		

• If you want to skip typing the password whenever starting or stopping the daemons, generate a new SSH key with an empty passphrase and add the public key to the authorized keys list.

$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa		
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys		

TroubleShooting

No datanode running

There are 0 datanode(s) running and no node(s) are excluded in this operation		

This may happen when the namenode runs at Safemode. I removed dfs files(default location:/tmp/hadoop-[username]/dfs/) in Local File System and format the hdfs.

Connection refused

Call From Yunseong-2.local/192.168.0.105 to localhost:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused		

Stop all the daemons running. Format the namenode and start the daemons.

$ stop-dfs.sh && stop-yarn.sh		
$ hdfs namenode -format		
$ start-dfs.sh && start-yarn.sh		

Java Heap space

 com.microsoft.wake.impl.SyncStage onNext		
 SEVERE: com.microsoft.reef.io.network.impl.MessageHandler Exception from event handler java.lang.OutOfMemoryError: Java heap space		

This error notifies you need more memory space. Enlarge your heap size of JVM.

SonarData를 첫번째 iteration에서만 SonarDataProvider를 통해서 읽어오고,
이후 iteration에서는 context에 값을 저장해두고 읽어서 사용 하면 좋을 것 같습니다.

그런데 Task 내부에서 context에 data를 저장하고 불러오는 방법을 찾지 못하고 있습니다.
참고할만한 reef example이 있는지 알고 싶습니다.

Driver 내부에서 inner class로 선언한 이벤트 핸들러에 생성자를 선언하면 아래와 같은 에러가 발생합니다.
(evaluator, iteration 횟수 등의 parameter를 전달하기 위해서 생성자를 선언했습니다)

실습시간에 관련 언급을 일부 해주셨던 것 같은데 (@Unit annotation 관련),
Driver내부에서 class를 별도 파일로 분리해야 하나요? 아니면 다른 방법이 있는지 궁금합니다.

Exception in thread "main" org.apache.reef.tang.exceptions.ClassHierarchyException: Detected explicit constructor in class enclosed in @Unit edu.snu.bd.lr.driver.LRDriver$DriverStartHandler Such constructors are disallowed.

안녕하세요, TA 정주성입니다.

숙제3 채점이 완료되어 eTL 개인 성적표 화면에서 성적을 확인하실 수 있습니다.
숙제3의 만점은 10점입니다.
eTL에서는 성적이 백분율(%)로 표기되는 것 같으니, 10점 만점에 본인의 백분율을 곱하시면 본인의 성적을 정확히 알 수 있습니다 (예로 87.6%는 8.76점으로 환산됩니다).

점수에 관해 문의가 있으신 분들은 조교 메일 [email protected] 로 이메일 주시면 되겠습니다.

많은 분들이 궁금해 하실 공통적인 사항들에 대해서는 아래에 부연 설명을 드리겠습니다.

• Parameter Tuning: Batch size, learning rate와 같은 training parameter를 수정할 시 training에 어떤 영향을 미치는지를 분석한 결과를 레포트에 적어주실 것을 기대했으나, 레포트에 해당 부분에 관한 설명이나 분석을 넣으지 않으신 분들이 많았습니다. 최소한의 분석 결과를 기재해주신 분들께만 점수를 드렸습니다. 단순히 '이러이러한 parameter를 사용해서 training시켰다'의 설명만으로는, parameter tuning 분석을 하셨는지 알 수 없었기 때문에 점수를 드리지 않았습니다.
• Custom Model: Reference 논문의 VGG-M 모델 외에, 하나의 모델을 추가로 정하여 (custom이든, 다른 유명한 모델이든) training 및 inference를 진행하는 custom model 분석을 하지 않으신 분들께는 해당 부분에서 점수를 드리지 않았습니다.
• Test Accuracy: 숙제 문서에 명시한 25%의 test accuracy는, (최적화 없는) 정확한 모델을 적당한 parameter로 gpu위에서 training 시켰을 때, 짧은 시간 만에 얻을 수 있는 수치입니다. 모델을 정확히 구현하셨더라도 parameter 조정에서 실수하셔서 해당 test accuracy를 얻지 못하신 분들께는 test accuracy 점수를 드리지 않았습니다 (모델 구현 점수와 test accuracy 점수는 별개입니다).

감사합니다.
정주성 드림

vortex_app을 돌렸을 때, 외부 library class not found error가 나온다고 들었습니다.
다음의 방법으로 하면 외부 library를 실행할때 읽히게 할 수 있습니다. 이 문제는 해결하고 숙제 제출 부탁드립니다.

1. vortex_app_mr_run.sh 변경

./vortex_runtime/bin/run_external_app.sh `pwd`/vortex_app/target/bd17f-1.0-SNAPSHOT.jar -job_id mr_default -executor_json `pwd`/vortex_runtime/config/default.json -user_main MapReduce -optimization_policy edu.snu.vortex.compiler.optimizer.policy.DefaultPolicyWithSeparatePass -user_args "`pwd`/mr_input_data `pwd`/vortex_output/output_data"

여기서 bd17f-1.0-SNAPSHOT.jar 를 bd17f-shaded-1.0-SNAPSHOT.jar 로 변경합니다.

2. vortex_app/pom.xml 변경

        <dependency>
            <groupId>edu.snu</groupId>
            <artifactId>vortex</artifactId>
            <version>0.1-SNAPSHOT</version>
        </dependency>

이것을 다음과 같이 변경합니다.

        <dependency>
            <groupId>edu.snu</groupId>
            <artifactId>vortex</artifactId>
            <version>0.1-SNAPSHOT</version>
            <scope>provided</scope>
        </dependency>

논문 리뷰는 다음 Google survey link로 제출하면 됩니다.
https://goo.gl/tkjJ6S.
마감은 강의하는 날 오전 11:59분까지 입니다.

안녕하세요. spark에서는 되는데 vortex에서 에러가 나서 진행이 안되어 도움을 구하고자 이슈를 올립니다.

Illegal transition error가 자꾸 뜨는데요,,

INFO: The Job mr_default is running.
Oct 15, 2017 10:00:54 PM org.apache.reef.client.DriverLauncher$FailedJobHandler onNext
SEVERE: Received an error for job mr_default
Exception in thread "main" java.lang.RuntimeException: edu.snu.vortex.runtime.exception.IllegalStateTransitionException: java.lang.Exception: Illegal transition from FAILED_UNRECOVERABLE[Task group failed, and is unrecoverable. The $
ob will fail.] to FAILED_RECOVERABLE[Task group failed, but is recoverable.]
Possible transitions from the current state are
at edu.snu.vortex.client.JobLauncher.main(JobLauncher.java:83)
Caused by: edu.snu.vortex.runtime.exception.IllegalStateTransitionException: java.lang.Exception: Illegal transition from FAILED_UNRECOVERABLE[Task group failed, and is unrecoverable. The job will fail.] to FAILED_RECOVERABLE[Task g$
oup failed, but is recoverable.]
Possible transitions from the current state are
at edu.snu.vortex.common.StateMachine.setState(StateMachine.java:81)
at edu.snu.vortex.runtime.master.JobStateManager.onTaskGroupStateChanged(JobStateManager.java:387)
at edu.snu.vortex.runtime.master.scheduler.BatchScheduler.onTaskGroupStateChanged(BatchScheduler.java:134)
at edu.snu.vortex.runtime.master.scheduler.BatchScheduler.lambda$onExecutorRemoved$6(BatchScheduler.java:311)
at java.lang.Iterable.forEach(Iterable.java:75)
at edu.snu.vortex.runtime.master.scheduler.BatchScheduler.onExecutorRemoved(BatchScheduler.java:310)
at edu.snu.vortex.runtime.master.VortexDriver$FailedEvaluatorHandler.lambda$onNext$0(VortexDriver.java:158)
at java.util.ArrayList.forEach(ArrayList.java:1249)
at edu.snu.vortex.runtime.master.VortexDriver$FailedEvaluatorHandler.onNext(VortexDriver.java:155)
at edu.snu.vortex.runtime.master.VortexDriver$FailedEvaluatorHandler.onNext(VortexDriver.java:151)
at org.apache.reef.runtime.common.driver.evaluator.IdlenessCallbackEventHandler.onNext(IdlenessCallbackEventHandler.java:46)
at org.apache.reef.runtime.common.utils.BroadCastEventHandler.onNext(BroadCastEventHandler.java:40)
at org.apache.reef.util.ExceptionHandlingEventHandler.onNext(ExceptionHandlingEventHandler.java:46)
at org.apache.reef.runtime.common.utils.DispatchingEStage$1.onNext(DispatchingEStage.java:72)
at org.apache.reef.runtime.common.utils.DispatchingEStage$1.onNext(DispatchingEStage.java:69)
at org.apache.reef.wake.impl.ThreadPoolStage$1.run(ThreadPoolStage.java:182)
at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
at java.util.concurrent.FutureTask.run(FutureTask.java:266)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
at java.lang.Thread.run(Thread.java:745)
Caused by: java.lang.Exception: Illegal transition from FAILED_UNRECOVERABLE[Task group failed, and is unrecoverable. The job will fail.] to FAILED_RECOVERABLE[Task group failed, but is recoverable.]
Possible transitions from the current state are

혹시 이러한 문제를 경험해 보시거나 관련된 full log등을 확인하는 곳을 알려주시면 감사하겠습니다.

무슨 문제일까요..

과제 하는 도중에 Character encoding 관련 에러가 떠서 문의 드립니다.

해당 문제를 해결하기 위해 pom.xml파일에서 build option에서 complier-plugin을 다음과 같이 수정하였습니다.

위와 같이 빌드 옵션을 수정했을 경우 과제 채점에 지장이 있는지 여쭤보고자 합니다.

• It's fine if two systems' outputs are the same (= both work correctly)
• Execute applications 4 times in total (2 apps * 2 systems)
• Writing just 1 class for the app is okay
• Make sure /bin/java can be executed by the Driver(Vortex Master) process when executing vortex_app
• It's safe to start with the provided skeleton code(tar), since online documentations usually assume you're using Google Cloud and not Vortex/Spark
• Use these tools for writing the report: Web UI(Spark), IR Visualizer/Log(Vortex)
• Be creative with the apps (use other java libraries)

안녕하세요, TA 정주성입니다.
숙제3의 스펙 문서와 관련하여 잘못된 수치가 명시되어 있다는 문의가 있어 공지해드립니다.

주어진 training dataset (voxceleb-abridged-N.bin, N=1, 2, …, 6) 에 들어 있는 data instance의 총 개수가, 스펙 문서에 나와 있는 대로 17,460개가 아닌 약 14,800개라고 확인하신 분이 계셔서 TA팀에서 알아보고 있습니다.
크게 unconventional한 방법으로 구현하신 게 아닌 이상 해당 사항은 구현에 별 영향을 미치지 않을 것이기 때문에 별다른 조치는 취하지 않겠습니다만, 혹시 해당 사항 때문에 본인의 구현이나 실험 결과가 크게 달라지는 부분이 있다면 보고서나 README에 적어주시기 바랍니다. 채점 시 고려하겠습니다.

혼동을 드려 죄송합니다.

It seems that we somehow hit the quota limit and are no longer able to download the file from Github.

I've instead uploaded the file to Google Drive. Please use this link:
https://drive.google.com/file/d/0Bxj1zsZ2mX-_ZEJsUWdjUUstTVU/view

아래와 같이 free port가 없다는 에러를 보게됩니다.
재부팅을 하면 증상이 사라지지만 작업이 중단되고, 시간이 많이 걸려서 그 외에 다른 해결 방법을 찾고 싶습니다.

SEVERE: Cannot find a free port with RangeTcpPortProvider{portRangeBegin=10000, portRangeCount=10000, portRangeTryCount=1000}

org.apache.reef.wake.remote.transport.exception.TransportRuntimeException: tcpPortProvider failed to return free ports.
	at org.apache.reef.wake.remote.transport.netty.NettyMessagingTransport.<init>(NettyMessagingTransport.java:188)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:637)
	at org.apache.reef.tang.implementation.java.InjectorImpl.getInstance(InjectorImpl.java:515)
	at org.apache.reef.tang.implementation.java.InjectorImpl.getInstance(InjectorImpl.java:533)
	at org.apache.reef.wake.remote.transport.netty.MessagingTransportFactory.newInstance(MessagingTransportFactory.java:133)
	at org.apache.reef.wake.remote.impl.DefaultRemoteManagerImplementation.<init>(DefaultRemoteManagerImplementation.java:93)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:637)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:661)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:625)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:625)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:661)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:625)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:661)
	at org.apache.reef.tang.implementation.java.InjectorImpl.injectFromPlan(InjectorImpl.java:625)
	at org.apache.reef.tang.implementation.java.InjectorImpl.getInstance(InjectorImpl.java:515)
	at org.apache.reef.tang.implementation.java.InjectorImpl.getInstance(InjectorImpl.java:533)
	at org.apache.reef.client.DriverLauncher.getLauncher(DriverLauncher.java:90)
	at edu.snu.vortex.client.JobLauncher.main(JobLauncher.java:80)
Caused by: java.lang.IllegalStateException: tcpPortProvider cannot find a free port.
	at org.apache.reef.wake.remote.transport.netty.NettyMessagingTransport.<init>(NettyMessagingTransport.java:172)
	... 25 more```

Task의 call()함수에서 memento 를 decode하는데 애를 먹고 있습니다..
int idx = 0
...
.set(TaskConfiguration.MEMENTO, String.valueOf(idx))
...
으로 memento 를 설정했습니다.

수업 시간에서는
final String mementoStr = new String(memento)
을 이용해서 이 값을 사용하시던데 해보았지만 아무런 값이 나오지 않습니다..

byte[] valueDecoded= Base64.decodeBase64(memento);
String s = new String(valueDecoded)
와 같은 방법을 사용해도 역시 아무런 데이터가 나오지 않습니다.

Task의 call함수에서 System.out.println(memento)를 하게 되면
[B@293796aa 등과 같이뜨는것을 보아, 뭔가 전달이 되긴 되는것 같습니다.

어떻게 memento를 사용할 수 있을까요?

혹시라도 저랑 유사한 상황을 겪을 분들을 위해서 공유 드립니다.
local에서 실행할 때와 YARN에서 실행할 때 log가 생성되는 경로가 서로 다릅니다.

local은 실행한 폴더 아래에 생성되지만,
YARN 인 경우에는 $HADOOP_HOME/logs/userlogs에 실행 결과가 생성되니 참고하세요.

이번 과제를 수행하면서 주어진 CNN 모델을 생성하려고 했는데,
fc6 layer부터 막혀서 도움을 청하고자 합니다.

mpool5 Layer에서 얻은 [batch_size, 9, 8, Channel] shape로 fully connected를 시도하였으나,
논문에서와 같이 9 X 1, 1 X n 처럼 쪼개지지 않던데.. 어떤 문서를 보면 도움이 될 지 알 수 있을까요?

감사합니다.

너무 기초적인 질문입니다만.. 제가 Tensorflow에 무지하다보니 구현상에 어려움을 겪고 있습니다.. ㅠ_ㅠ

Input data를 filename_queue에서 FixedLengthRecordReader를 사용하여 데이터를 가지고 오고자 하여,
Tensorflow에서 제공하는 CIFAR10 tutorial을 참조하여 코드를 구현하였습니다.

reshape시 Tensorflow가 요구하는 shape로 reshape되지 않는 현상이 발생하여,
다음과같은 에러가 떠서 실행을 하지 못하고 있는데, 이에 대한 문서를 확인할 수 있을까요..?

예제에서는 tf.strided_slice로 구현해놓았는데, 해당 함수를 사용했을 경우 아래와 같은 에러가 발생하고,
Exception in thread Thread-7: Traceback (most recent call last): File "/usr/lib64/python3.5/threading.py", line 914, in _bootstrap_inner self.run() File "/usr/lib64/python3.5/threading.py", line 862, in run self._target(*self._args, **self._kwargs) File "/home/youngsu/.local/lib64/python3.5/site-packages/tensorflow/python/training/queue_runner_impl.py", line 238, in _run enqueue_callable() File "/home/youngsu/.local/lib64/python3.5/site-packages/tensorflow/python/client/session.py", line 1235, in _single_operation_run target_list_as_strings, status, None) File "/usr/lib64/python3.5/contextlib.py", line 66, in __exit__ next(self.gen) File "/home/youngsu/.local/lib64/python3.5/site-packages/tensorflow/python/framework/errors_impl.py", line 466, in raise_exception_on_not_ok_status pywrap_tensorflow.TF_GetCode(status)) tensorflow.python.framework.errors_impl.InvalidArgumentError: Input to reshape is a tensor with 153597 values, but the requested shape has 153600 [[Node: Reshape = Reshape[T=DT_FLOAT, Tshape=DT_INT32, _device="/job:localhost/replica:0/task:0/cpu:0"](StridedSlice_1, Reshape/shape)]]

tf.slice를 사용했을 경우 다음과 같은 에러가 발생합니다.
Tensor("Cast:0", shape=(4,), dtype=int32, device=/device:CPU:0) Tensor("Slice_1:0", shape=(614400,), dtype=float32, device=/device:CPU:0) Traceback (most recent call last): File "/home/youngsu/.local/lib64/python3.5/site-packages/tensorflow/python/framework/common_shapes.py", line 654, in _call_cpp_shape_fn_impl input_tensors_as_shapes, status) File "/usr/lib64/python3.5/contextlib.py", line 66, in __exit__ next(self.gen) File "/home/youngsu/.local/lib64/python3.5/site-packages/tensorflow/python/framework/errors_impl.py", line 466, in raise_exception_on_not_ok_status pywrap_tensorflow.TF_GetCode(status)) tensorflow.python.framework.errors_impl.InvalidArgumentError: Cannot reshape a tensor with 614400 elements to shape [512,300,1] (153600 elements) for 'Reshape' (op: 'Reshape') with input shapes: [614400], [3] and with input tensors computed as partial shapes: input[1] = [512,300,1].
해당 문제를 어제 저녁부터 찾아보았는데.. 해결이 어려워서 도움을 요청하고자 합니다..

HW2 과제 중에 제가 data 처리를 위해 Data class를 하나 생성하였습니다.
그러고 나서 실행을 해보니 해당 class를 처리하기 위한 coder가 없다고 하여 CustomCoder를 생성하는 부분을 찾아보고 있는데요.
자세하게 설명된 부분을 찾기 어려워 진행에 어려움이 생겼습니다. 혹시 참조할만한 문서가 있는지 알고싶습니다.

I got below error message when I run spark_app_mr_run.sh

When the following message is shown, Ctrl-C to exit:
INFO spark.SparkRunner: Batch pipeline execution complete.
Starting Spark in 10 seconds...
./spark_runtime/bin/spark-submit: line 27: /Users/soo/spark-2.0.0-bin-hadoop2.6/bin/spark-class: No such file or directory
./spark_runtime/bin/spark-submit: line 27: exec: /Users/soo/spark-2.0.0-bin-hadoop2.6/bin/spark-class: cannot execute: No such file or directory

다음 아래 링크에 나와 있는 scribed lecture notes를 참조해요.
앞으로는 latex로 제출해야 합니다.
http://www.cs.umd.edu/~jkatz/gradcrypto2/scribes.html

안녕하세요, TA 정주성입니다.

숙제3의 스펙 문서에 명시되어 있는 데이터셋 파일들은 약 일주일이 지난 후 파일 서버(s3)에서 내릴 예정입니다.
추가로 다운로드 받으실 분들은 이번 주 내로 모두 받아주시기 바랍니다.

감사합니다.

It seems that no update to bd17f_hw2.tar.gz is needed for (re-)compiling vortex_app.

Please follow these steps

• Install protobuf 2.5
  • Downloadable at https://github.com/google/protobuf/releases/tag/v2.5.0
  • On Ubuntu:
  1. Run sudo apt-get install autoconf automake libtool curl make g++ unzip
  2. Extract the downloaded tarball and run
     • sudo ./configure
     • sudo make
     • sudo make check
     • sudo make install
  3. To check for a successful installation of version 2.5.0, run protoc --version
• cd vortex_runtime
• mvn clean install -DskipTests (this installs vortex_runtime in your local maven repository)
• cd ..
• cd vortex_app
• mvn clean install -DskipTests (now this can pick up the installed vortex_runtime from your local maven repository)

Please check ASAP if this works for you and let me know in the comments if it doesn't. You can also refer to vortex_runtime/README.md for detailed installation instructions. Thanks!