2021-09-04 19:45

M1 Macでmoldをビルドする

moldが最近のコミットでmacOS対応されていたので、手元のMacBook Air M1でビルドできるか試してみた。

環境は以下の通り。

❯ sw_vers
ProductName:    macOS
ProductVersion: 11.5.2
BuildVersion:   20G95
❯ clang -v
Apple clang version 12.0.5 (clang-1205.0.22.11)
Target: arm64-apple-darwin20.6.0
Thread model: posix
InstalledDir: /Library/Developer/CommandLineTools/usr/bin

以下の手順でいけた。

❯ brew install xxhash openssl cmake
❯ export CPLUS_INCLUDE_PATH=(brew --prefix xxhash)/include:(brew --prefix openssl)/include
❯ export LIBRARY_PATH=(brew --prefix xxhash)/lib:(brew --prefix openssl)/lib
❯ make EXTRA_LDFLAGS="-lcrypto"

以下作業手順。

moldをgit cloneしてディレクトリに移動:

❯ pwd
/Users/okonomi/src/github.com/rui314/mold

makeするとエラー:

❯ make
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/arch-aarch64.o elf/arch-aarch64.cc
In file included from elf/arch-aarch64.cc:1:
elf/mold.h:33:10: fatal error: 'xxh3.h' file not found
#include <xxh3.h>
         ^~~~~~~~
1 error generated.
make: *** [elf/arch-aarch64.o] Error 1

ファイル名でググるとxxHashというライブラリらしい。homebrewにあったのでインストール:

❯ brew install xxhash

環境変数でインクルードパスを追加:

❯ export CPLUS_INCLUDE_PATH=(brew --prefix xxhash)/include

もう一度make:

❯ make
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/arch-aarch64.o elf/arch-aarch64.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/arch-i386.o elf/arch-i386.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/arch-x86-64.o elf/arch-x86-64.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/archive-file.o elf/archive-file.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/cmdline.o elf/cmdline.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/compress.o elf/compress.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/concurrent-map.o elf/concurrent-map.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/filepath.o elf/filepath.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/gc-sections.o elf/gc-sections.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/hyperloglog.o elf/hyperloglog.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/icf.o elf/icf.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/input-sections.o elf/input-sections.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/linker-script.o elf/linker-script.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/main.o elf/main.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/mapfile.o elf/mapfile.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/memory-mapped-file.o elf/memory-mapped-file.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/object-file.o elf/object-file.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/output-chunks.o elf/output-chunks.cc
elf/output-chunks.cc:3:10: fatal error: 'openssl/rand.h' file not found
#include <openssl/rand.h>
         ^~~~~~~~~~~~~~~~
1 error generated.
make: *** [elf/output-chunks.o] Error 1

次はopensslのファイルがない。homebrewでインストール:

❯ brew install openssl

インクルードパスを追加:

❯ export CPLUS_INCLUDE_PATH=(brew --prefix xxhash)/include:(brew --prefix openssl)/include

もう一度make:

❯ make
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/output-chunks.o elf/output-chunks.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/output-file.o elf/output-file.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/passes.o elf/passes.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/perf.o elf/perf.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/relocatable.o elf/relocatable.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/subprocess.o elf/subprocess.cc
elf/subprocess.cc:186:7: warning: 'daemon' is deprecated: first deprecated in macOS 10.5 - Use posix_spawn APIs instead. [-Wdeprecated-declarations]
  if (daemon(1, 0) == -1)
      ^
/Library/Developer/CommandLineTools/SDKs/MacOSX.sdk/usr/include/stdlib.h:292:6: note: 'daemon' has been explicitly marked deprecated here
int      daemon(int, int) __DARWIN_1050(daemon) __OSX_AVAILABLE_BUT_DEPRECATED_MSG(__MAC_10_0, __MAC_10_5, __IPHONE_2_0, __IPHONE_2_0, "Use posix_spawn APIs instead.") __WATCHOS_PROHIBITED __TVOS_PROHIBITED;
         ^
1 warning generated.
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/symbols.o elf/symbols.cc
clang++  -g -pthread -std=c++20 -fPIE -DMOLD_VERSION=\"0.9.4\" -DGIT_HASH=\"b4953951f0f09d163ca3560baf88396bef5c02c5\"  -O2 -Ithird-party/tbb/include  -c -o elf/tar.o elf/tar.cc
mkdir -p out/tbb
(cd out/tbb; cmake -G'Unix Makefiles' -DBUILD_SHARED_LIBS=OFF -DTBB_TEST=OFF -DCMAKE_CXX_FLAGS=-D__TBB_DYNAMIC_LOAD_ENABLED=0 -DTBB_STRICT=OFF ../../third-party/tbb)
/bin/sh: cmake: command not found
make: *** [out/tbb/libs/libtbb.a] Error 127

cmakeコマンドがない。これもhomebrewでインストール:

❯ brew install cmake

make実行:

❯ make
mkdir -p out/tbb
(cd out/tbb; cmake -G'Unix Makefiles' -DBUILD_SHARED_LIBS=OFF -DTBB_TEST=OFF -DCMAKE_CXX_FLAGS=-D__TBB_DYNAMIC_LOAD_ENABLED=0 -DTBB_STRICT=OFF ../../third-party/tbb)
-- The CXX compiler identification is AppleClang 12.0.5.12050022
-- Detecting CXX compiler ABI info
-- Detecting CXX compiler ABI info - done
-- Check for working CXX compiler: /Library/Developer/CommandLineTools/usr/bin/c++ - skipped
-- Detecting CXX compile features
-- Detecting CXX compile features - done
CMake Warning at CMakeLists.txt:109 (message):
  You are building oneTBB as a static library.  This is highly discouraged
  and such configuration is not supported.  Consider building a dynamic
  library to avoid unforeseen issues.


-- CMAKE_BUILD_TYPE is not specified. Using default: RelWithDebInfo
-- Looking for C++ include pthread.h
-- Looking for C++ include pthread.h - found
-- Performing Test CMAKE_HAVE_LIBC_PTHREAD
-- Performing Test CMAKE_HAVE_LIBC_PTHREAD - Success
-- Found Threads: TRUE
-- Checking for one of the modules 'hwloc'
-- TBBBind build target is disabled due to unsupported environment
-- Configuring done
-- Generating done
-- Build files have been written to: /Users/okonomi/src/github.com/rui314/mold/out/tbb
/Library/Developer/CommandLineTools/usr/bin/make -C out/tbb tbb
[  3%] Building CXX object src/tbb/CMakeFiles/tbb.dir/address_waiter.cpp.o
[  6%] Building CXX object src/tbb/CMakeFiles/tbb.dir/allocator.cpp.o
[ 10%] Building CXX object src/tbb/CMakeFiles/tbb.dir/arena.cpp.o
[ 13%] Building CXX object src/tbb/CMakeFiles/tbb.dir/arena_slot.cpp.o
[ 17%] Building CXX object src/tbb/CMakeFiles/tbb.dir/concurrent_bounded_queue.cpp.o
[ 20%] Building CXX object src/tbb/CMakeFiles/tbb.dir/dynamic_link.cpp.o
[ 24%] Building CXX object src/tbb/CMakeFiles/tbb.dir/exception.cpp.o
[ 27%] Building CXX object src/tbb/CMakeFiles/tbb.dir/governor.cpp.o
[ 31%] Building CXX object src/tbb/CMakeFiles/tbb.dir/global_control.cpp.o
[ 34%] Building CXX object src/tbb/CMakeFiles/tbb.dir/itt_notify.cpp.o
[ 37%] Building CXX object src/tbb/CMakeFiles/tbb.dir/main.cpp.o
[ 41%] Building CXX object src/tbb/CMakeFiles/tbb.dir/market.cpp.o
[ 44%] Building CXX object src/tbb/CMakeFiles/tbb.dir/misc.cpp.o
[ 48%] Building CXX object src/tbb/CMakeFiles/tbb.dir/misc_ex.cpp.o
[ 51%] Building CXX object src/tbb/CMakeFiles/tbb.dir/observer_proxy.cpp.o
[ 55%] Building CXX object src/tbb/CMakeFiles/tbb.dir/parallel_pipeline.cpp.o
[ 58%] Building CXX object src/tbb/CMakeFiles/tbb.dir/private_server.cpp.o
[ 62%] Building CXX object src/tbb/CMakeFiles/tbb.dir/profiling.cpp.o
[ 65%] Building CXX object src/tbb/CMakeFiles/tbb.dir/rml_tbb.cpp.o
[ 68%] Building CXX object src/tbb/CMakeFiles/tbb.dir/rtm_mutex.cpp.o
[ 72%] Building CXX object src/tbb/CMakeFiles/tbb.dir/rtm_rw_mutex.cpp.o
[ 75%] Building CXX object src/tbb/CMakeFiles/tbb.dir/semaphore.cpp.o
[ 79%] Building CXX object src/tbb/CMakeFiles/tbb.dir/small_object_pool.cpp.o
[ 82%] Building CXX object src/tbb/CMakeFiles/tbb.dir/task.cpp.o
[ 86%] Building CXX object src/tbb/CMakeFiles/tbb.dir/task_dispatcher.cpp.o
[ 89%] Building CXX object src/tbb/CMakeFiles/tbb.dir/task_group_context.cpp.o
[ 93%] Building CXX object src/tbb/CMakeFiles/tbb.dir/version.cpp.o
[ 96%] Building CXX object src/tbb/CMakeFiles/tbb.dir/queuing_rw_mutex.cpp.o
[100%] Linking CXX static library ../../appleclang_12.0_cxx11_64_relwithdebinfo/libtbb.a
[100%] Built target tbb
(cd out/tbb; ln -sf *_relwithdebinfo libs)
clang++  elf/arch-aarch64.o elf/arch-i386.o elf/arch-x86-64.o elf/archive-file.o elf/cmdline.o elf/compress.o elf/concurrent-map.o elf/filepath.o elf/gc-sections.o elf/hyperloglog.o elf/icf.o elf/input-sections.o elf/linker-script.o elf/main.o elf/mapfile.o elf/memory-mapped-file.o elf/object-file.o elf/output-chunks.o elf/output-file.o elf/passes.o elf/perf.o elf/relocatable.o elf/subprocess.o elf/symbols.o elf/tar.o -o mold -L/opt/homebrew/opt/xxhash/lib  -pthread -lz -lxxhash -ldl -lm out/tbb/libs/libtbb.a
Undefined symbols for architecture arm64:
  "_RAND_bytes", referenced from:
      mold::elf::BuildIdSection<mold::elf::X86_64>::write_buildid(mold::elf::Context<mold::elf::X86_64>&) in output-chunks.o
      mold::elf::BuildIdSection<mold::elf::I386>::write_buildid(mold::elf::Context<mold::elf::I386>&) in output-chunks.o
      mold::elf::BuildIdSection<mold::elf::AARCH64>::write_buildid(mold::elf::Context<mold::elf::AARCH64>&) in output-chunks.o
ld: symbol(s) not found for architecture arm64
clang: error: linker command failed with exit code 1 (use -v to see invocation)
make: *** [mold] Error 1

コンパイルは通ったみたい。次のリンクの段階でエラー。_RAND_bytesというシンボルが見つからない？
ググるとopensslで定義されてるみたい。ライブラリのパスを通す:


❯ export LIBRARY_PATH=(brew --prefix xxhash)/lib:(brew --prefix openssl)/lib

makeしてもまだエラーが出る:

❯ make
clang++  elf/arch-aarch64.o elf/arch-i386.o elf/arch-x86-64.o elf/archive-file.o elf/cmdline.o elf/compress.o elf/concurrent-map.o elf/filepath.o elf/gc-sections.o elf/hyperloglog.o elf/icf.o elf/input-sections.o elf/linker-script.o elf/main.o elf/mapfile.o elf/memory-mapped-file.o elf/object-file.o elf/output-chunks.o elf/output-file.o elf/passes.o elf/perf.o elf/relocatable.o elf/subprocess.o elf/symbols.o elf/tar.o -o mold  -pthread -lz -lxxhash -ldl -lm out/tbb/libs/libtbb.a
Undefined symbols for architecture arm64:
  "_RAND_bytes", referenced from:
      mold::elf::BuildIdSection<mold::elf::X86_64>::write_buildid(mold::elf::Context<mold::elf::X86_64>&) in output-chunks.o
      mold::elf::BuildIdSection<mold::elf::I386>::write_buildid(mold::elf::Context<mold::elf::I386>&) in output-chunks.o
      mold::elf::BuildIdSection<mold::elf::AARCH64>::write_buildid(mold::elf::Context<mold::elf::AARCH64>&) in output-chunks.o
ld: symbol(s) not found for architecture arm64
clang: error: linker command failed with exit code 1 (use -v to see invocation)
make: *** [mold] Error 1

clang++の引数を見るとopensslのライブラリが指定されてないみたい。EXTRA_LDFLAGSで追加の引数を渡せるらしい。
❯ make EXTRA_LDFLAGS="-lcrypto"
clang++  elf/arch-aarch64.o elf/arch-i386.o elf/arch-x86-64.o elf/archive-file.o elf/cmdline.o elf/compress.o elf/concurrent-map.o elf/filepath.o elf/gc-sections.o elf/hyperloglog.o elf/icf.o elf/input-sections.o elf/linker-script.o elf/main.o elf/mapfile.o elf/memory-mapped-file.o elf/object-file.o elf/output-chunks.o elf/output-file.o elf/passes.o elf/perf.o elf/relocatable.o elf/subprocess.o elf/symbols.o elf/tar.o -o mold -lcrypto -pthread -lz -lxxhash -ldl -lm out/tbb/libs/libtbb.a
ln -sf mold ld
clang -fPIC -shared -o mold-wrapper.so elf/mold-wrapper.c -ldl

通った！

❯ ./mold -v
mold 0.9.4 (b4953951f0f09d163ca3560baf88396bef5c02c5; compatible with GNU ld and GNU gold)

動いてそう。

2021-06-29 21:19

webpackerをインストールしてるrailsアプリで単純にassets:precompileを実行したい

webpackerをインストールしてるとassets:precompileでwebpackerの処理も動く。

単純にassets:precompileだけ動かしたかったので方法がないか調べた。

これでいけた。

rm bin/yarn
WEBPACKER_PRECOMPILE=false bin/rails assets:precompile

確認したバージョン:
  • rails 6.1.4
  • webpacker 5.4.0

以下調査ログ。

普通に実行してみる:

❯ bin/rails assets:precompile
yarn install v1.22.10
[1/4] 🔍  Resolving packages...
success Already up-to-date.
✨  Done in 0.19s.
Compiling...
Compiled all packs in /Users/okonomi/src/local/rails-webpacker-sandbox/public/packs
Hash: e4cb1aa40fed2663ee2c
Version: webpack 4.46.0
Time: 446ms
Built at: 2021/06/29 21:03:08
                                        Asset       Size  Chunks                         Chunk Names
       js/application-c3e3aae48c4c321181e9.js   69.4 KiB       0  [emitted] [immutable]  application
    js/application-c3e3aae48c4c321181e9.js.br   15.4 KiB          [emitted]
    js/application-c3e3aae48c4c321181e9.js.gz   17.8 KiB          [emitted]
   js/application-c3e3aae48c4c321181e9.js.map    205 KiB       0  [emitted] [dev]        application
js/application-c3e3aae48c4c321181e9.js.map.br   43.8 KiB          [emitted]
js/application-c3e3aae48c4c321181e9.js.map.gz   50.9 KiB          [emitted]
                                manifest.json  364 bytes          [emitted]
                             manifest.json.br  133 bytes          [emitted]
                             manifest.json.gz  142 bytes          [emitted]
Entrypoint application = js/application-c3e3aae48c4c321181e9.js js/application-c3e3aae48c4c321181e9.js.map
[0] (webpack)/buildin/module.js 552 bytes {0} [built]
[4] ./app/javascript/packs/application.js 480 bytes {0} [built]
[5] ./app/javascript/channels/index.js 205 bytes {0} [built]
[6] ./app/javascript/channels sync _channel\.js$ 160 bytes {0} [built]
    + 3 hidden modules

yarn installのあとwebpack compileが動いてる。

どんなrakeタスクが動いてる確認する:

❯ bin/rails assets:precompile --trace
** Invoke assets:precompile (first_time)
** Invoke assets:environment (first_time)
** Execute assets:environment
** Invoke environment (first_time)
** Execute environment
** Invoke yarn:install (first_time)
** Execute yarn:install
yarn install v1.22.10
[1/4] 🔍  Resolving packages...
success Already up-to-date.
✨  Done in 0.19s.
** Execute assets:precompile
** Invoke webpacker:compile (first_time)
** Invoke webpacker:verify_install (first_time)
** Invoke webpacker:check_node (first_time)
** Execute webpacker:check_node
** Invoke webpacker:check_yarn (first_time)
** Execute webpacker:check_yarn
** Invoke webpacker:check_binstubs (first_time)
** Execute webpacker:check_binstubs
** Execute webpacker:verify_install
** Invoke environment
** Execute webpacker:compile
Everything's up-to-date. Nothing to do

yarn:installとかwebpacker系のタスクが動いてる。

webpackerのタスクは環境変数でスキップできる。

https://github.com/rails/webpacker/blob/master/CHANGELOG.md#added-gem-1

❯ env WEBPACKER_PRECOMPILE=false bin/rails assets:precompile --trace
** Invoke assets:precompile (first_time)
** Invoke assets:environment (first_time)
** Execute assets:environment
** Invoke environment (first_time)
** Execute environment
** Invoke yarn:install (first_time)
** Execute yarn:install
yarn install v1.22.10
[1/4] 🔍  Resolving packages...
success Already up-to-date.
✨  Done in 0.19s.
** Execute assets:precompile

yarn:installがどこから呼ばれるのかソースコードを検索:

❯ grep -r "yarn:install" .bundle/ruby/3.0.0/gems
.bundle/ruby/3.0.0/gems/railties-6.1.4/lib/rails/tasks/yarn.rake:  Rake::Task["assets:precompile"].enhance [ "yarn:install" ]
.bundle/ruby/3.0.0/gems/webpacker-5.4.0/docs/engines.md:  # yarn:install was added in Rails 5.1
.bundle/ruby/3.0.0/gems/webpacker-5.4.0/lib/tasks/webpacker/compile.rake:  # yarn:install was added in Rails 5.1

railtiesのlib/rails/tasks/yarn.rakeを見る:

# Run Yarn prior to Sprockets assets precompilation, so dependencies are available for use.
if Rake::Task.task_defined?("assets:precompile") && File.exist?(Rails.root.join("bin", "yarn"))
  Rake::Task["assets:precompile"].enhance [ "yarn:install" ]
end

assets:precompileタスクが定義されているのとbin/yarnが存在する場合にyarn:installが呼ばれるようになってる。

bin/yarnを消してみる:

❯ rm bin/yarn
❯ WEBPACKER_PRECOMPILE=false bin/rails assets:precompile --trace
** Invoke assets:precompile (first_time)
** Invoke assets:environment (first_time)
** Execute assets:environment
** Invoke environment (first_time)
** Execute environment
** Execute assets:precompile

yarn:installが呼ばれなくなった！

まとめ

webpackerをインストールしてるrailsアプリで単純にassets:precompileだけ動かしたい場合は、以下のようにする:
  • bin/yarnを削除する
  • 環境変数WEBPACKER_PRECOMPILE=falseを設定する

備考

rails 6.0だとbin/yarnの存在チェックはなかった:

https://github.com/rails/rails/blob/6-0-stable/railties/lib/rails/tasks/yarn.rake 
# Run Yarn prior to Sprockets assets precompilation, so dependencies are available for use.
if Rake::Task.task_defined?("assets:precompile")
  Rake::Task["assets:precompile"].enhance [ "yarn:install" ]
end

2021-06-12 16:53

Rubyインストールで「please install libyaml ...」のエラーが出るときは~/.gemを掃除してみると解決するかもしれない

ruby 3.0.1をインストールしようとしたらエラーが出た。
結論から言うと~/.gem/ruby/3.0.0を削除すると解決した。

以下やったことメモ。

エラー内容:

❯ asdf install ruby 3.0.1
Downloading openssl-1.1.1k.tar.gz...
-> https://dqw8nmjcqpjn7.cloudfront.net/892a0875b9872acd04a9fde79b1f943075d5ea162415de3047c327df33fbaee5
Installing openssl-1.1.1k...
Installed openssl-1.1.1k to /Users/okonomi/.asdf/installs/ruby/3.0.1

Downloading ruby-3.0.1.tar.gz...
-> https://cache.ruby-lang.org/pub/ruby/3.0/ruby-3.0.1.tar.gz
Installing ruby-3.0.1...
ruby-build: using readline from homebrew

BUILD FAILED (macOS 11.4 using ruby-build 20210423)

Inspect or clean up the working tree at /var/folders/z3/9l1cmgy92175ph5q9dxg9h080000gp/T/ruby-build.20210612170008.31086.JdPjRE
Results logged to /var/folders/z3/9l1cmgy92175ph5q9dxg9h080000gp/T/ruby-build.20210612170008.31086.log

Last 10 log lines:
The Ruby yaml extension was not compiled.
ERROR: Ruby install aborted due to missing extensions
Configure options used:
  --prefix=/Users/okonomi/.asdf/installs/ruby/3.0.1
  --with-openssl-dir=/Users/okonomi/.asdf/installs/ruby/3.0.1/openssl
  --enable-shared
  --with-readline-dir=/opt/homebrew/opt/readline
  CC=clang
  LDFLAGS=-L/Users/okonomi/.asdf/installs/ruby/3.0.1/lib
  CPPFLAGS=-I/Users/okonomi/.asdf/installs/ruby/3.0.1/include

ログを見てみる:

❯ tail -n 20 /var/folders/z3/9l1cmgy92175ph5q9dxg9h080000gp/T/ruby-build.20210612170008.31086.log
                                    power_assert 1.2.0
                                    rake 13.0.3
                                    test-unit 3.3.7
                                    rexml 3.2.5
                                    rss 0.2.9
                                    rbs 1.0.4
                                    typeprof 0.12.0
installing bundled gem cache:       /Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/gems/3.0.0/cache
/Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/3.0.0/yaml.rb:3: warning: It seems your ruby installation is missing psych (for YAML output).
To eliminate this warning, please install libyaml and reinstall your ruby.
The Ruby yaml extension was not compiled.
ERROR: Ruby install aborted due to missing extensions
Configure options used:
  --prefix=/Users/okonomi/.asdf/installs/ruby/3.0.1
  --with-openssl-dir=/Users/okonomi/.asdf/installs/ruby/3.0.1/openssl
  --enable-shared
  --with-readline-dir=/opt/homebrew/opt/readline
  CC=clang
  LDFLAGS=-L/Users/okonomi/.asdf/installs/ruby/3.0.1/lib
  CPPFLAGS=-I/Users/okonomi/.asdf/installs/ruby/3.0.1/include

このエラーを誰が出してるのか色々調べたらruby-buildだった:
https://github.com/rbenv/ruby-build/blob/master/bin/ruby-build#L1138

    failed = %w[openssl readline zlib yaml].reject do |lib|
      begin
        require lib
      rescue LoadError
        $stderr.puts "The Ruby #{lib} extension was not compiled."
      end
    end

インストール後の動作確認で失敗してるらしい。
require 'yaml'がエラーになる？実際そうなるか試してみる。

いったん動作確認を無効化して3.0.1をインストールする。

ruby-buildの定義ファイルを編集してverify_opensslを削除:

❯ vi ~/.asdf/plugins/ruby/ruby-build/share/ruby-build/3.0.1
install_package "openssl-1.1.1k" "https://www.openssl.org/source/openssl-1.1.1k.tar.gz#892a0875b9872acd04a9fde79b1f943075d5ea162415de3047c327df33fbaee5" mac_openssl --if has_broken_mac_openssl
install_package "ruby-3.0.1" "https://cache.ruby-lang.org/pub/ruby/3.0/ruby-3.0.1.tar.gz#369825db2199f6aeef16b408df6a04ebaddb664fb9af0ec8c686b0ce7ab77727" ldflags_dirs enable_shared standard

ruby 3.0.1インストール:

❯ asdf install ruby 3.0.1
Downloading openssl-1.1.1k.tar.gz...
-> https://dqw8nmjcqpjn7.cloudfront.net/892a0875b9872acd04a9fde79b1f943075d5ea162415de3047c327df33fbaee5
Installing openssl-1.1.1k...
Installed openssl-1.1.1k to /Users/okonomi/.asdf/installs/ruby/3.0.1

Downloading ruby-3.0.1.tar.gz...
-> https://cache.ruby-lang.org/pub/ruby/3.0/ruby-3.0.1.tar.gz
Installing ruby-3.0.1...
ruby-build: using readline from homebrew
Installed ruby-3.0.1 to /Users/okonomi/.asdf/installs/ruby/3.0.1
❯ asdf global ruby 3.0.1
❯ ruby -v
ruby 3.0.1p64 (2021-04-05 revision 0fb782ee38) [arm64-darwin20]

インストールできた。

require 'yaml'を試す:

❯ irb
<internal:/Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:in `require': incompatible library version - /Users/okonomi/.gem/ruby/3.0.0/gems/io-console-0.5.9/lib/io/console.bundle (LoadError)
        from <internal:/Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:in `require'
        from /Users/okonomi/.gem/ruby/3.0.0/gems/reline-0.2.5/lib/reline.rb:1:in `<top (required)>'
        from <internal:/Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:in `require'
        from <internal:/Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:in `require'
        from /Users/okonomi/.gem/ruby/3.0.0/gems/irb-1.3.5/lib/irb.rb:13:in `<top (required)>'
        from <internal:/Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:in `require'
        from <internal:/Users/okonomi/.asdf/installs/ruby/3.0.1/lib/ruby/3.0.0/rubygems/core_ext/kernel_require.rb>:85:in `require'
        from /Users/okonomi/.gem/ruby/3.0.0/gems/irb-1.3.5/exe/irb:9:in `<top (required)>'
        from /Users/okonomi/.asdf/installs/ruby/3.0.1/bin/irb:23:in `load'
        from /Users/okonomi/.asdf/installs/ruby/3.0.1/bin/irb:23:in `<main>'

irbが起動できない…？

incompatible library versionと言われてるgemをディレクトリごとどかしてみる:

❯ mv ~/.gem/ruby/3.0.0 ~/.gem/ruby/3.0.0_

改めて確認:

❯ irb
irb(main):001:0> require 'yaml'
=> true

irbが起動してrequireも成功した。

ruby-buildの定義ファイルからverify_opensslを削除したのを戻してもう一度3.0.1をインストールしてみる:


❯ vi ~/.asdf/plugins/ruby/ruby-build/share/ruby-build/3.0.1
❯ asdf uninstall ruby 3.0.1
❯ asdf install ruby 3.0.1
Downloading openssl-1.1.1k.tar.gz...
-> https://dqw8nmjcqpjn7.cloudfront.net/892a0875b9872acd04a9fde79b1f943075d5ea162415de3047c327df33fbaee5
Installing openssl-1.1.1k...
Installed openssl-1.1.1k to /Users/okonomi/.asdf/installs/ruby/3.0.1

Downloading ruby-3.0.1.tar.gz...
-> https://cache.ruby-lang.org/pub/ruby/3.0/ruby-3.0.1.tar.gz
Installing ruby-3.0.1...
ruby-build: using readline from homebrew
Installed ruby-3.0.1 to /Users/okonomi/.asdf/installs/ruby/3.0.1

成功した！

M1 Macの問題かなとかエラーメッセージ通りlibyamlが認識されてないのかとか別のところ調べててだいぶ手こずった。

2021-02-09 22:58

RailsのView Componentについて確認した

Rails

Rails 6.1でView Componentが導入されるというのをずいぶん前にみて、Rails 6.1がリリースされて最終的にどうなったのか把握してなかったので確認した。

結論からいうと、Rails 6.1からrenderにrender_inメソッドを持つオブジェクトを渡せるようになった、だけだった:

class ViewComponent
  def render_in(view_context)
    'hello'
  end
end

<%= render ViewComponent.new %>
RenderingHelper supports rendering objects that respond_to? :render_in.

あと、Rails的には別にView Componentという呼称は使ってないみたい。
View Component的なことをやりやすいようにRails側にフックポイントを用意した、と理解した。

導入の元ネタになったgithub/view_componentもrender_inメソッドを実装してる:

https://github.com/github/view_component/blob/main/lib/view_component/base.rb#L58

個人的に、いままではビュー用のロジックを書く場所として、ビューヘルパかactive_decoratorを導入してデコレータを作るの2択だったけど、局所的で独立性が高いロジックは座りが悪い感じがあった。render_inメソッドを定義したクラスを作るパターンでどうなるか、試してみたい。

2021-02-02 22:04

Rustをはじめた

低レイヤを理解したいと思って、ちょっと前にRuiさんのCコンパイラ作成入門をやってた。
ローカル変数を使えるところまでできたのでひと段落させて、次どうしようかなと考えて、そういえばRustが気になってたのでCコンパイラをRustで再実装してみようと始めてみた。

やってみると全然わからなくて、リンクリストに要素を追加するところが公式ドキュメントを斜め読みしながらやっても全然コンパイルが通らなくて困った。

気を取り直して実践Rust入門を買ってちょっとずつ読んでる。
ちょっとしたツールをRustでぱっと描けるくらいにはなりたい。





2021-01-03 18:15

2020年観た映画

Twitterでやってる人を見かけて、マネして映画を観たらメモに残すようにしてた。

  • 1月
    • フォードVSフェラーリ
    • ナイブズ・アウト
  • 2月
    • 1917
  • 3月
    • ミッド・サマー
    • ザ・ウォーク
    • 劇場版ＧのレコンギスタⅡ
    • デジモンアドベンチャー LAST EVOLUTION 絆
  • 4月
    • イエスマン
    • スノーデン
    • デジモンアドベンチャー
    • キャスト・アウェイ
    • ゴーン・ガール
    • コンテイジョン
    • タイラー・レイク
    • スターシップ9
  • 5月
    • 攻殻機動隊
    • イノセンス
    • 人狼 JIN-ROH
    • ブラックマジック M-66
    • プライベートライアン
    • デジモンアドベンチャー 僕らのウォーゲーム
    • デジモンアドベンチャー02 ディアボロモンの逆襲
    • レディ・プレイヤー1
    • パプリカ
  • 6月
    • スノーピアサー
    • アイアン・スカイ／第三帝国の逆襲
    • ハーレイ・クインの華麗なる覚醒
  • 7月
    • シンクロナイズドモンスター
    • 泣きたい私は猫をかぶる
  • 8月
    • ジュピター
    • マクマホン・ファイル
    • ゼイラム
    • Fate/Stay night Heaven’s Feel Ⅲ
    • 007/カジノ・ロワイヤル
    • 9人の翻訳家 囚われたベストセラー
  • 9月
    • ソードフィッシュ
    • TENET
  • 10月
    • WXIII パトレイバー3
    • プラダを着た悪魔
    • インセプション
    • 劇場版 ヴァイオレット・エヴァーガーデン
    • 機動警察パトレイバー 2 the Movie
  • 11月
    • ボーン・アイデンティティ
    • ボーン・スプレマシー
    • ボーン・アルティメイタム
    • 蜘蛛の巣を払う女
    • 2012
    • 劇場版∀ガンダムI 地球光・II 月光蝶
    • 魔女見習いをさがして
    • ボーン・レガシー
    • ソルト
    • ザ・シューター
    • ドラゴンタトゥーの女
    • 6アンダーグラウンド
  • 12月
    • ゾディアック
    • 劇場版 SHIROBAKO
    • ミッドナイト・スカイ

もともと映画は映画館で観るのが主だったけど、3月からはご時世柄ほとんど配信で観てた。
配信で観るのが普通になってしまったので、映画館の鑑賞料金がとても高く感じてしまってよっぽど気になる映画じゃないと観なくなりそう。

一年の終わりに振り返るのがなかなか面白いので、今年も観た映画をメモするのを続けようと思う。

2020-12-31 12:18

このサイトをRails 6.1にアップデートした

ブログ開発日記

Rails 6.1がリリースされたのでアップデートした。
適当にやったらサイトがエラーで映らなくなってしまったので、きちんと手順を書いておく。

Gemfileのrailsのバージョンを6.1に変更:

gem "rails", "6.1.0"

インストール:

bundle install

アップデートコマンド実行:

bin/rails app:update

Rubocopで整形済のファイルがあるので差分を見て調整する。

Active Storageのマイグレーションファイルが追加されたのでマイグレーション実行:

bin/rails db:migrate

あとはRailsDiffを見てapp:updateで反映されなかったファイルを手で反映していく。

http://railsdiff.org/6.0.0/6.1.0

以上でおわり。

6.1で入った機能も使っていきたい。

2020-10-29 21:59

HerokuのdynoタイプをFreeに変更した

このサイトのランニングコストを下げたかったので構成を見直した。

HerokuのHobby dynoだとサイトを独自ドメインでhttps化できる。でも月7ドル。
Cloudflareを使えば無料でhttps化できる。
Cloudflareを使うにはドメインのネームサーバをCloudflareに切り替える必要がある。
このサイトのドメインはムームードメインで取ってて、あわせてメールの受信にムームーメールも使ってる。
ムームーメールを使ってるとムームードメインのネームサーバをサービス外のものに変更できない。
なのでまずムームーメールを剥がした。

ムームードメインに設定してたDNSの内容をCloudflareのDNSにコピペして、
ムームードメインの設定でネームサーバをCloudflareに切り替えて、
切り替わったのが確認できたらdynoタイプをFreeに変更した。

これでランニングコストはドメインとメール転送に動かしてるAWSのSES + Lambdaだけになった。
だいぶ身軽になってよかった。

2020-10-26 23:33

独自ドメインメアド宛のメールをSES + LambdaでGmailに転送するようにした

独自ドメインでメールアドレスを作るのにムームーメールを使ってたけど、ちょっと前に年間600円から1200円に値上げしたしランニングコストを下げたかったので、SESで受けてLambdaでGmailに再送信するようにした。
LambdaのプロビジョニングはServerless Frameworkで、再送信処理はaws-lambda-ses-forwarderを使った。

多分AWSの無料枠に収まると思う。ちょっと節約できてよかった。

2020-09-29 23:51

Webページのスクリーンショットを撮るアプリを作った

Webページのスクショ撮影をWeb UIでやりたいなと思って作ってみた。

https://github.com/okonomi/web-screenshot

構成としてはRailsがWeb UIでLambdaがスクショ撮影&保存。
LambdaでPuppeteerを動かしてheadless chromeで撮影したスクショをS3に保存する。
RailsアプリからLambdaの起動とS3の画像参照をやってる。

出来上がってみればそんなに難しいことはやってないけど、結局3日くらいかかった。

LambdaでPuppeteer動かすのにはじめ@serverless-chrome/lambdaを使おうとしてて、ローカルでは動作するのにLambdaにデプロイしたら動かなくてハマった。chrome-aws-lambdaを使ったらすんなり動いた。

Rails側でscreenshotsテーブル作るの無駄かなと思ってフォームオブジェクトにして一覧表示はS3バケットのオブジェクト一覧取得でと思ったけど、付加情報の保存とか拡張性とか考えて普通にテーブル作る形に戻した。

あとはpuppeteer-ruby使えばRailsだけで完結してLambdaいらないのではと思ってやってみたらDockerコンテナ化したときに動かなくて諦めた。イメージサイズも400MB以上増えたのでよくなかった。
でもpuppeteer-rubyは面白いプロダクトなので見守っていきたい。

serverless-plugin-typescriptとserverless-layersを試せたのはよかった。
いままでテンプレートで生成されたままserverless-webpackを使ってたけど、TypeScriptオンリーならWebpackいらないよなーと思って切り替えた。余計なスタックがひとつ減ってすっきりした。
serverless-layersはChromeの実行ファイルがでかいのでデプロイごとにアップロードしなくて済むように入れた。node_modulesが別途デプロイされるようになって、package.jsonに更新がなければデプロイをスキップするのでデプロイサイクルが速くなってよかった。

S3の署名付きURLを初めて使った。オブジェクトを公開せずに一時的にアクセスできるURLを発行できる。いったんRailsでリクエスト受けてS3オブジェクト参照、とかしなくていい。便利なので今後も使いそう。

Lambdaを直接起動するのも初めてやった。API Gatewayを前に立てたりS3のCreateObjectイベントで起動しかやったことなかった。余計なものが挟まらないので問題があったときの切り分けが楽。
でもRailsとLambdaが密結合になるのでそこは注意したほうがいいかもしれない。S3のオブジェクト参照もそう。

総じて無駄な試行錯誤が多くて時間がかかってた。スッと方針決めてサッと作れるようになりたい。

このあとは、スクショ撮影時の画面サイズを選べるようにしたり、Lambdaの実行結果をRails側に通知したりするのをやってみたい。

そういえば今回Serverless Frameworkのプロジェクトを新規作成したら設定ファイルがserverless.ymlじゃなくserverless.tsになっててびっくりした。
v1.72.0で入ったらしい。

https://github.com/serverless/serverless/releases/tag/v1.72.0

2020-04-20 22:02

画像アップロードできるようにした

ブログ開発日記

Photo by Glenn Carstens-Peters on Unsplash


重い腰を上げて画像をアップロードできるようにした。
S3やCloud Storageも考えたけど、Herokuのadd-onがあって手軽そうだったのでCloudinaryにした。
Herokuのコンソールでadd-onをインストールして、ドキュメントのとおりActiveStorageの設定を有効にしたらあっさりアップロードできた。
やってみれば簡単だった。

2020-04-12 22:03

ログインエラーが出ていたのを直した

ブログ開発日記

Ruby 2.7.1にアップデートしたのでブログに書いておこうと思ってログインしたらエラーになった。
Herokuアプリのログを確認してみたところ:

2020-04-12T12:04:23.599633+00:00 app[web.1]: I, [2020-04-12T21:04:23.599545 #3]  INFO -- : [14cc8621-cf83-41f0-bc6f-a6ce692ec238] Started POST "/auth/github?origin=https://oknm.jp/auth" for 175.131.16.228 at 2020-04-12 21:04:23 +0900
2020-04-12T12:04:23.600394+00:00 app[web.1]: I, [2020-04-12T21:04:23.600343 #3]  INFO -- : [14cc8621-cf83-41f0-bc6f-a6ce692ec238] (github) Request phase initiated.
2020-04-12T12:04:23.604646+00:00 heroku[router]: at=info method=POST path="/auth/github?origin=https://oknm.jp/auth" host=oknm.jp request_id=14cc8621-cf83-41f0-bc6f-a6ce692ec238 fwd="175.131.16.228" dyno=web.1 connect=1ms service=8ms status=302 bytes=1307 protocol=http
2020-04-12T12:04:24.167130+00:00 heroku[router]: at=info method=GET path="/auth/github/callback?error=redirect_uri_mismatch&error_description=The+redirect_uri+MUST+match+the+registered+callback+URL+for+this+application.&error_uri=https%3A%2F%2Fdeveloper.github.com%2Fapps%2Fmanaging-oauth-apps%2Ftroubleshooting-authorization-request-errors%2F%23redirect-uri-mismatch&state=adaf9f33d654c539841482c559e8b4b77c46a2f239aa5efa" host=oknm.jp request_id=58139b4d-7aa9-41b7-9037-6436dc4f6c24 fwd="175.131.16.228" dyno=web.1 connect=1ms service=8ms status=302 bytes=816 protocol=https
2020-04-12T12:04:24.162186+00:00 app[web.1]: I, [2020-04-12T21:04:24.162082 #3]  INFO -- : [58139b4d-7aa9-41b7-9037-6436dc4f6c24] Started GET "/auth/github/callback?error=redirect_uri_mismatch&error_description=The+redirect_uri+MUST+match+the+registered+callback+URL+for+this+application.&error_uri=https%3A%2F%2Fdeveloper.github.com%2Fapps%2Fmanaging-oauth-apps%2Ftroubleshooting-authorization-request-errors%2F%23redirect-uri-mismatch&state=adaf9f33d654c539841482c559e8b4b77c46a2f239aa5efa" for 175.131.16.228 at 2020-04-12 21:04:24 +0900
2020-04-12T12:04:24.163086+00:00 app[web.1]: I, [2020-04-12T21:04:24.163019 #3]  INFO -- : [58139b4d-7aa9-41b7-9037-6436dc4f6c24] (github) Callback phase initiated.
2020-04-12T12:04:24.163635+00:00 app[web.1]: E, [2020-04-12T21:04:24.163560 #3] ERROR -- : [58139b4d-7aa9-41b7-9037-6436dc4f6c24] (github) Authentication failure! redirect_uri_mismatch: OmniAuth::Strategies::OAuth2::CallbackError, redirect_uri_mismatch | The redirect_uri MUST match the registered callback URL for this application. | https://developer.github.com/apps/managing-oauth-apps/troubleshooting-authorization-request-errors/#redirect-uri-mismatch
2020-04-12T12:04:24.364745+00:00 app[web.1]: I, [2020-04-12T21:04:24.364644 #3]  INFO -- : [54454333-96e9-4f35-9fd3-606895a438f2] Started GET "/auth/failure?message=redirect_uri_mismatch&origin=https%3A%2F%2Foknm.jp%2Fauth&strategy=github" for 175.131.16.228 at 2020-04-12 21:04:24 +0900
redirect_uri_mismatchとのこと。前まで動いてたのになぜ…。

いろいろ調べたところOmniAuth.config.full_hostを設定すればいいらしい？

参考: OmniAuth: ロードバランサ配下での redirect_uri_mismatch 問題 - tkrdの日記

とりあえず固定値で設定したところログインできるようになった。

https://github.com/okonomi/blg/commit/2b23ee190f8ff7c2be02654f8a390ad11b8a8ca2

なにかのgemのアップデートが影響してるのかな…

2019-12-30 23:11

onkcopをejectした

ブログ開発日記


onkcopが更新されなくなって久しく、rubocopのアップデートに追従していない状態なので、onkcopを外してrubocopとプラグインを入れ直した。

コードスタイルにあまり思想はないので、既存コードに大きく手を入れなくていい範囲で.rubocop.ymlを書いておいた。

onkcopの設定内容は今でも有用なので、どうするか迷ったときは参考にしたい。

2019-12-29 23:12

Xcodeをアンインストールする

最近モバイルアプリの開発は特に行っていないので容量を食っているXcodeをアンインストールすることにした。
手順をメモしておく。

Command Line Toolsをインストールする

Xcodeは要らないけどXcodeに含まれてるCommand Line Toolsはrbenvとかで必要。
Command Line Toolsは単独でインストールできるので、Xcodeをアンインストールするまえにインストールしておく。

デベロッパーサイトからダウンロードする。他の方法もあるかも。

https://developer.apple.com/download/more/

Command Line Toolsを切り替える

Xcodeのやつからさっきインストールしたやつに切り替える。

変更前:
$ xcode-select --print-path
/Applications/Xcode.app/Contents/Developer
変更:
$ sudo xcode-select --switch /Library/Developer/CommandLineTools/
変更後:
$ xcode-select --print-path
/Library/Developer/CommandLineTools

Xcodeをアンインストールする

普通のアプリ削除と同じノリでアンインストールする。
手で削除してもいいし、削除ツールを使ってもいいと思う。

結果

7Gくらい空いたのでよかった。

2019-12-21 14:18

パンくずリストにbuoysを使うことにした

Rails

Railsでパンくずリストを出すのにgretelを好んで使ってたけど、2016年からリリースがなくてこのまま使い続けるのも…と思ってrubygems.orgで検索したところbuoysというのを見つけた。

https://github.com/muryoimpl/buoys

buoysはgretelを参考に作られてて、かつよりシンプルにしているみたい。思えばgretelは機能が豊富で便利だけど使うのがちょっとややこしかったかも…

使い方はgretelと同じなので特に苦労はなく、結果的によりよいと思えるgemに移行できてよかった。

gretelはメンテナが交代したそうなので、今後また活発になることを期待したい。

Status of the project · Issue #100 · lassebunk/gretel

とりあえず応援の意味を込めて新しいリポジトリにスターを付けておいた。

https://github.com/WilHall/gretel

ちなみにbuoysはなんて読むんだこれ…と思ったが「ブイ」らしい。

buoysの意味・使い方 - 英和辞典 WEBLIO辞書

2019-12-08 17:36

reviewdogにverboseオプションがほしい

GitlabにホストしてるRailsアプリのプロジェクトにreviewdogを導入しようとしたらなぜかMergeRequestにコメントがつかなくて試行錯誤で数時間潰れて結果bundle installが抜けててrubocopが実行エラーになってた、というのをつい最近経験したので下記Issueに気持ちをコメントしておいた。

Feature request: introduce logger and verbose mode · Issue #354 · reviewdog/reviewdog

lintのstdout,stderrはここにあるので、これを取り出せばよさそう:
https://github.com/reviewdog/reviewdog/blob/master/project/run.go#L47-L48

gitコマンドの実行はあちこちに散らばってるので、wrapperでくるむとかが必要かも:
https://github.com/reviewdog/reviewdog/search?utf8=%E2%9C%93&q=exec.Command%28%22git%22&type=

2019-06-23 15:14

secret_key_baseがどういうふうに扱われているか

Rails

Railsアプリを本番デプロイしたらsecret_key_baseが未定義っておこられたので、どういう扱いになってるのか確認してみた。
確認したRailsのバージョンは6.0.0.rc1。

はじめにまとめ


secret_key_baseの設定場所は4箇所ある:
  1. 環境変数: ENV["SECRET_KEY_BASE"]
  2. credencials: config/credentials.yml.enc
  3. secrets: config/secrets.yml （Encrypted secretsが有効ならconfig/secrets.yml.enc）
  4. tmp/development_secret.txt
環境ごとの評価順:
  1. developmentかtestなら、secrets、tmp/development_secret.txtの順
  2. それ以外の環境なら、環境変数、credencials、secretsの順

secret_key_baseの取得

 Rails.applicatin.secret_key_base
#=> "bb7a320962dda4262e21262f80229946f5a3b3c05cc8968d71d1ae9e40c64b5d7afb5340c196134089590b69d8a51a05ee801217b90eb859236bf4b14f8d5a76"

secret_key_baseの定義場所

Rails::Applicationにメソッドとして定義されている。

railties/lib/rails/application.rb
 module Rails
   # snip
 
   class Application < Engine
     # snip
 
     def secret_key_base
       if Rails.env.development? || Rails.env.test?
         secrets.secret_key_base ||= generate_development_secret
       else
         validate_secret_key_base(
           ENV["SECRET_KEY_BASE"] || credentials.secret_key_base || secrets.secret_key_base
         )
       end
     end
   end
 end
  • 環境がdevelopmentかtestの場合
    • secrets.secret_key_baseが未設定なら、generate_development_secretを実行し結果をsecrets.secret_key_baseに保存する
    • secrets.secret_key_baseを返す
  • それ以外の場合
    • ENV["SECRET_KEY_BASE"]、credentials.secret_key_base、secrets.secret_key_baseの順番で評価してバリデーションした上で結果を返す

secrets.secret_key_baseとは

Rails::Application#secretsが定義されてる。

railties/lib/rails/application.rb
     def secrets
       @secrets ||= begin
         secrets = ActiveSupport::OrderedOptions.new
         files = config.paths["config/secrets"].existent
         files = files.reject { |path| path.end_with?(".enc") } unless config.read_encrypted_secrets
         secrets.merge! Rails::Secrets.parse(files, env: Rails.env)
 
         # Fallback to config.secret_key_base if secrets.secret_key_base isn't set
         secrets.secret_key_base ||= config.secret_key_base
 
         secrets
       end
     end
  • config/secrets.ymlを読み込む
  • Rails 5.1で導入されたEncrypted secretsが有効ならconfig/secrets.yml.encを読み込む
  • config/secrets.ymlにsecret_key_baseが未定義ならconfigから読み込む
config/secrets.ymlはRails 4.1で導入されたようなので、それ以前はconfig/application.rbとかに書いてたのかな？
https://guides.rubyonrails.org/4_1_release_notes.html#config-secrets-yml

generate_development_secretとは

railties/lib/rails/application.rb
       def generate_development_secret
         if secrets.secret_key_base.nil?
           key_file = Rails.root.join("tmp/development_secret.txt")
 
           if !File.exist?(key_file)
             random_key = SecureRandom.hex(64)
             FileUtils.mkdir_p(key_file.dirname)
             File.binwrite(key_file, random_key)
           end
 
           secrets.secret_key_base = File.binread(key_file)
         end
 
         secrets.secret_key_base
       end
 secret_key_baseが未設定ならtmp/development_secret.txtを自動生成してその内容を返すらしい。へー。

まとめ

  •  開発中はsecret_key_baseが自動生成されるので未設定で良さそう
  •  本番環境は環境変数、credencials、secretsなど適切な方法で設定しておく

2019-06-15 20:34

シンタックスハイライトをつけた

ブログ開発日記

コードを書いたときにシンタックスハイライトが効くようにしてみた。

enable syntax highlighting using highlight.js · okonomi/[email protected]

highlight.jsを使った。
TrixエディタのUIだとHTMLの直接編集ができないので<code class="ruby">みたいに言語を指定したりできないけど、highlight.jsは勝手に言語を判別してなんとなくいい感じに色付けしてくれるので楽。

Ruby:
class User < ApplicationRecord
  before_create :set_remember_token

  private

    def set_remember_token
      self.remember_token = generate_remember_token
    end

    def generate_remember_token
      SecureRandom.hex(20)
    end
end
HTML:
<!DOCTYPE html>
<html>
  <head>
    <title>Sample</title>
  </head>
  <body>
    <p>Hello</p>
  </body>
</html>
まあ無いよりはマシかな…？

2019-06-14 22:47

Docker Composeで開発環境を構築した

ブログ開発日記 Docker

Railsサーバとwebpack-dev-serverを別コンテナで起動して、WEBPACKER_DEV_SERVER_HOSTでRailsにwebpack-dev-serverの居場所を教えてあげる形にした。

version: "3.7"

services:
  web: &app_base
    build: .
    ports:
      - "3000:3000"
    volumes:
      - .:/app
      - bundle:/app/.bundle
      - node_modules:/app/node_modules
      - home:/root
    environment:
      BUNDLE_PATH: /app/.bundle
      BUNDLE_JOBS: 4
      WEBPACKER_DEV_SERVER_HOST: webpacker
    command: /bin/sh -c "rm -f tmp/pids/server.pid && bin/rails s -p 3000 -b '0.0.0.0'"
    depends_on:
      - db
  webpacker:
    <<: *app_base
    ports:
      - "3035:3035"
    command: bin/webpack-dev-server
  db:
    image: postgres:11.2
    ports:
      - "5432:5432"
    volumes:
      - pg_data:/data
    environment:
      PGDATA: /data

volumes:
  bundle:
  node_modules:
  pg_data:
  home:

2019-06-07 18:38

OGP対応した

ブログ開発日記

meta-tagsを使ってOGP対応した。

https://github.com/kpumuk/meta-tags

Chrome拡張とFacebookやTwitterの開発ツールで動作確認した。
descriptionはとりあえずサイト名を設定してるので、きちんと本文のはじめの方だけ切り出して設定するとかを後でやる。

2019-06-06 21:12

HerokuのデプロイをDocker化した

Docker ブログ開発日記

Dockerの勉強がてら、HerokuのデプロイをDocker化（という言葉であってるのか？）した。

まずstackをcontainerに変更する。
herokuコマンドで切り替え:

heroku stack:set container -a oknmjp
Review Appはapp.jsonの指定を変更:

{
   "stack": "container"
}
次に、アプリの定義ファイルheroku.ymlを作る:

build:
  docker:
    web: Dockerfile.production
  config:
    GITHUB_OAUTH_CLIENT_KEY: xxx
    GITHUB_OAUTH_CLIENT_SECRET: xxx
    SECRET_KEY_BASE: xxx
release:
  image: web
  command:
    - bin/rails db:prepare
run:
  web: bin/rails server -p $PORT
あとはDockerfile.productionをいい感じに用意する。

ハマったこと:
  • イメージビルド時にbin/rails assets:precompileを実行しているが、SECRET_KEY_BASEを設定する必要があった
  • Railsサーバの起動ポートは$PORTで指定しないといけない
解決してないこと:
  • ビルド時にSECRET_KEY_BASEとかの漏洩しちゃいけない値はどうDockerに渡せばいいのか
    • アプリのConfig Varsはビルド時には参照できない
    • いまはとりあえずダミー値を渡してるけどあんまり良くない気がする
まだDocker化した恩恵は感じてないけど…

2019-06-02 17:11

RailsアプリをDockerで動かすときのDockerfile

Rails Docker

シンプルなRailsアプリを作って、それをDockerで動かすためのDockerfileを書いてみた。
こんなかんじ:

FROM ruby:2.6.3-alpine3.9 AS builder

ENV RAILS_ENV production

WORKDIR /app

RUN apk add --update --no-cache \
    build-base \
    libxml2-dev \
    libxslt-dev \
    sqlite-dev \
    nodejs \
    yarn \
    tzdata

# install gems
RUN gem install bundler
COPY Gemfile .
COPY Gemfile.lock .
RUN bundle install --clean --frozen --jobs $(nproc) --without development test

# install npm packages
COPY package.json .
COPY yarn.lock .
RUN yarn install --frozen-lockfile

# compile assets
COPY Rakefile .
COPY bin bin
COPY .browserslistrc .
COPY postcss.config.js .
COPY babel.config.js .
COPY config config
COPY app/assets app/assets
COPY app/javascript app/javascript
RUN bin/rails assets:precompile


FROM ruby:2.6.3-alpine3.9

ENV RAILS_ENV production
ENV RAILS_LOG_TO_STDOUT 1
ENV RAILS_SERVE_STATIC_FILES 1

WORKDIR /app

RUN apk add --update --no-cache \
    sqlite-libs \
    tzdata

COPY --from=builder /usr/local/bundle /usr/local/bundle
COPY --from=builder /app/public/assets /app/public/assets
COPY --from=builder /app/public/packs /app/public/packs
COPY . .

RUN bin/rails db:schema:load

EXPOSE 3000
ENTRYPOINT ["bin/rails"]

あと.dockerignoreはこうした:

.bundle
.dockerignore
.git
.gitignore
Dockerfile
log
node_modules
public/assets
public/packs
README.md
storage
test
tmp

  • マルチステージビルドを使って、ビルドステージではgemのインストールとassets:precompileを行う。
  • 次のステージでRailsサーバを動かすためだけの最小限のファイルをコピーする。
これでイメージサイズが160Mくらい。もう少し小さくできそうな気もする。
あとDBとか他のサーバと合わせて動かすとどうなるかちょっと分かってない。

2019-06-02 17:05

ブログ開発日記

投稿ページの<title>タグに個別のタイトルを表示するようにした。

2019-05-18 22:51

ActionTextのフォームをE2Eテストした

ブログ開発日記

ActionTextのリッチテキストエディタは単純な<textarea>ではなく、JSでテキスト入力をトラップして処理してる（らしい）ので、capybaraでフォームの入力をしようとしても普通のやり方だとうまくいかなかった。

どうしたらいいのかなと思ってたけど、ちょうどいいPRが出ていた。
page.execute_scriptでJSを実行して文字列をリッチテキストエディタに入力させるらしい。なるほど。
同じようにやったらテストが上手く動くようになった。

2019-05-12 22:22

onkcopを導入した

ブログ開発日記

コードが汚くなってきたのでrubocopを導入したくて、調整するのが面倒なのでonkcopを入れてみた。よく調整されてるし、.rubocop.ymlに設定理由がコメントされてて勉強になる。

そのままの設定だとbin/以下のファイルで引っかかるけど自分で作ったファイルじゃないので除外設定した。
普通に設定するとonkcopで指定されてる除外設定を上書きしてしまうので、追加されるようにinherit_modeを指定する。

inherit_mode:
  merge:
    - Exclude

AllCops:
  Exclude:
    - "bin/*"
参考:

2019-05-12 19:03

記事編集画面に<code>タグを挿入するボタンを付けた

ブログ開発日記

ActionTextが内部で使ってるTrixは自動的にツールバーを出してくれるけど、<code>タグの機能がなかったので付けた。
Trix.config.textAttributesに要素を追加するのと、Trix.config.toolbar.getDefaultHTMLを置き換えたらできた。
ツールバーにボタンを追加するのは現状デフォルトのHTMLを全部置き換えるしかなくて、単純にボタンを追加するというAPIがない。
Issueでリクエストが出ていたので+1しておいた。そのうち対応されたらいいなと思う。

2019-05-11 23:18

ブログ開発日記

長文を書くときに一旦保存したいなと思ったので、下書き機能をつけた。

2019-05-11 22:30

第86回 Ruby関西 勉強会に参加した

イベント

@higakiさんのRuby初級者向けレッスン。Rubyの例外について基本と応用の説明。
rescueにelseを指定できるとかensureでreturnしちゃいけないとか知らなかった。

@znzさんのRubyの開発リポジトリがSubversionからGitに移行した話。
Rubyの開発はバージョン管理なし > CVS > Subversion > Git と移行していったそうで、バージョン管理の歴史だなぁと思った。

@kozo2さんのrubydownの話。
Notebookって何かなと思ったけど、ドキュメントの中にコード片とその実行結果を埋め込むためのツールがNotebookで、それの代表格がJupyter Notebookということかな。
Notebookの利用例としてアプリのログ集計とかの日次レポートを作ってメールで送信するというのがなるほどと思った。
rubydownはgemなので既存のRailsアプリに組み込んだりとかもやりやすそう。

@ogomrさんのGraphQLの発表はライブコーディングだったけどめっちゃスムーズでわかりやすかった。
モデルにドメインロジックを書かないという話があったけど、どこに書くのかっていうのがちょっとわからなかった。
GraphQL（というかgraphql gem？）を使うとコード量が増えるように思うけど、それはそれぞれのクラスに責務が分離されるから、とのこと。

序盤、プロジェクターが準備できていないというハプニングがあったけど、なんかそれも結果オーライでゆったりした雰囲気でリラックスして参加できた。次回も参加したい。

2019-05-11 19:27

ブログ開発日記

同じ日に複数投稿したら時系列がよくわからなくなるので投稿時間も表示するようにした。
<input>にtype="datetime-local"があるの知らなかった。
あとタイムゾーンの設定でちょっとハマってしまった。
config.time_zoneを設定しておけばよさそうと理解した。
念の為TZ環境変数も設定しておいた。

2019-05-11 15:00

タグ機能を実装した

ブログ開発日記

投稿にタグを付けられるようにした。タグの選択はオシャレなUIにしたかったけど手間がかかりそうだったのでとりあえず<select multiple>にした。

2019-05-10 00:00

ブログタイトルを設定できるようにした

ブログ開発日記

BLOG_TITLE環境変数で設定できるようにした。

設定ファイルとかDBで設定するのはなんか手間のわりにメリットが少ないかなあと思って環境変数にしたけど、viewファイルで環境変数を直接参照しててなんかかっこ悪い気がするけどどうなんだろう。他のプロジェクトはどうやってるんだろうか。

2019-05-09 00:00

Dependabotの設定ファイルを作った

ブログ開発日記

id:sue445さんの記事を参考にDependabotの設定ファイルを置いてみた。
こんな内容にした:

# c.f. https://dependabot.com/docs/config-file/
version: 1

update_configs:
  - package_manager: "ruby:bundler"
    directory: "/"
    update_schedule: "daily"
    allowed_updates:
      - match:
          update_type: "all"
    automerged_updates:
      - match:
          dependency_type: "development"
          update_type: "all"
      - match:
          dependency_type: "production"
          update_type: "semver:patch"
    version_requirement_updates: "off"
  - package_manager: "javascript"
    directory: "/"
    update_schedule: "daily"
    allowed_updates:
      - match:
          update_type: "all"
    automerged_updates:
      - match:
          dependency_type: "development"
          update_type: "all"
      - match:
          dependency_type: "production"
          update_type: "semver:patch"
    version_requirement_updates: "off"

2019-05-06 00:00

"Deploy to Heroku"ボタンを付けた

ブログ開発日記

READMEに"Deploy to Heroku"ボタンを付けてみた。簡単にデプロイできるようになって便利。

2019-05-03 00:00

ブログ開発日記

投稿のURLにIDが見えてるとちょっとかっこ悪いというか、ソートがID順ではないのにID順なのを期待してしまいそうでややこしいのでランダム値にした。

DBマイグレーションでカラム追加したときに既存レコードにデータをどう設定するかという問題でちょっと悩んだが、面倒になってデプロイ後にrails consoleで対応した。
migration 時にデータを操作するのは悪手か? - Qiita

2019-05-02 00:00

ブログ開発日記

このサイトをGatsby on NetlifyからRails on Herokuに移行した。

Gatsbyで手っ取り早く作ったけど、Gatsbyに慣れてないせいでかゆいところに手が届かなかった。
じゃあもう自分で作ったほうが手っ取り早いなと思ってRailsで作り直した。

Rails 6.0.0.rc1で作ってる。いまのところ特に不具合に遭遇せず普通に開発できてる。

あとAtomフィードをつけた。AtomFeedHelperで簡単にできた。
https://api.rubyonrails.org/classes/ActionView/Helpers/AtomFeedHelper.html

2019-05-01 00:00

bulmaで見た目を整えた

ブログ開発日記

前から使ってみたかったbulmaを使ってみた。
https://bulma.io/

bulmaはクラス名が叙述的になっていてわかりやすい。ちょっとRSpecに近い書き味。

あとは投稿日をつけたり、ActionTextを導入したり。

ActionTextを入れたあとsystem specが一部失敗するようになってしまった。ちょっと調べたけどわからなかったので、のちほど調査することにしていまは無視することにした。

2019-03-31 00:00

reviewdog organizationのメンバーになった

先日reviewdog organizationのメンバーになった。

Twitterを見てたらreviewdogが開発を手伝ってくれる人を募集しているとのことで、以前プルリクを投げたこともあるし、なにか手伝えることがあるかなと思って手を上げた。

Looking for maintainers · Issue \#196 · reviewdog/reviewdog

あわせてreviewdogはorganizationに移管された。今後はチームで開発していく体制になるのかな？


自分はGoはほとんど書けないので、いちユーザーとしての意見をあげたりドキュメントの修正とかをやっていこうかなと思っている。

2019-02-10 00:00

Railsアプリを作るときにいつも叩いてるコマンド

Rails

Railsアプリを作るときにいつもやってることをメモしておく。

まずディレクトリ作ってそこに入って:
$ mkdir awesome-rails-app
$ cd awesome-rails-app
Gemfile作って:
$ bundle init
RailsをGemfileに追加:
$ bundle add rails --skip-install
Railsをvendor/bundle以下にインストール:
$ bundle install --path=vendor/bundle -j4
vendor/bundleにインストールしたRailsを使ってrails new実行(-fオプションでファイル上書き):
$ bundle exec rails new . -f
/vendor/bundleをGit管理から除外:
echo /vendor/bundle >> .gitignore

おわり。

Railsをグローバルにインストールしたくないのでこんなことしてる。Railsの依存でいろんなgemが入るのが嫌なので…。